網路城邦
上一篇 回創作列表 下一篇   字體:
用科技來升級一下大腦
2015/02/02 10:32:41瀏覽234|回應0|推薦6
CIO堅持一鼓作氣創新才能突破 天氣公司靠雲端轉型大資料企業

從2百萬個資料源彙整氣象資訊,到有能力監控23億個預測點,天氣公司執行副總暨資訊長Bryson Koehler只用了2年。他靠一鼓作氣地持續創新,將天氣公司轉型成大資料企業,氣象預報資訊連蘋果、Google都愛用


全球9億臺Android裝置和近2億個iOS裝置,不論是手機或是平板,都用了同一家公司提供的氣象資訊服務,就是成立40年的美國老牌天氣公司(The Weather Company)。天氣公司則每隔15分鐘就會更新一次天氣預報資訊,給Google、蘋果、三星等公司,再由他們轉發給所有訂閱的手機用戶。


為了提供準確到連相隔5英里鄰近地區的天氣差異都能預報,天氣公司盡可能蒐集了全球各地的氣象資料,不管是來自政府單位的資料、衛星圖片、雷達資訊、各地氣象預報資訊,天氣公司打造了一套SUN系統(Storage Utility Network),可以從全球23億個提供天氣資料的預測點蒐集資訊,每小時能蒐集15次,一天累計超過了20TB的氣象資訊。


天氣公司打造了一套天氣預報引擎來分析蒐集到的龐大資料,並且能快速地提供預報,最快只要11毫秒就能計算出一則預報資訊,不只提供給手機供應商,也提供給上億人次下載的氣象App使用者,全球每天有5萬條航班的機師也得靠天氣公司的預報來駕駛飛機。


但是在3、4年前,這一切都還沒發生,天氣公司只有能力從200萬資料源蒐集資訊,相較於現在有能力定時監控全球23億個資料預測來源,光是資料蒐集能力就提高了1千倍。天氣公司如何做到?關鍵人物就是天氣公司執行副總暨資訊長Bryson Koehler。


那時,天氣公司只是全美最大的老牌氣象電視臺,擁有1億收視用戶,當時智慧手機開始流行之際,天氣公司的行動App也超過五千萬人次下載。


但天氣公司高層仍舊整天憂心忡忡,因為自從智慧型手機開始流行之後,他們非常擔心有一天電視機會退流行,甚至是消失。電視臺播送電視節目的通路面臨消失的局勢,就算擁有再多用戶都無法讓這群高階主管們安心。


當時天氣公司只有能力從2百萬個資料源蒐集資料,主要也是滿足美國市場的氣象預報需求為主。


氣象臺想要變成大資料科技公司


天氣公司為了鎖定未來行動裝置的新通路,甚至將天氣服務擴大到全球市場,在2012年先後併購了提供天氣預報服務的Weather Underground和在媒體產業提供氣象資料和分析產品的Weather Central,並且從氣象頻道更名為天氣公司,天氣公司高層決心要將傳統的電視臺轉型成有能力對全球發布各式氣象預報資料的大資料科技公司,這就是Bryson Koehler在2012年7月進入天氣公司被賦予的任務。


Bryson Koehler1表示,高層們都意識到天氣公司的價值不應是提供天氣資料,而是能夠幫助企業或使用者利用氣象資訊來決策,進而改善生活。「天氣資訊至少影響了全球三分之一的GDP產值。」他說:「在決策上非常有價值。」


非資訊背景的Bryson Koehler,曾在Vicorp電信服務擔任業務總監3年,2002年進入洲際酒店集團擔任全球電子商務總監,後來更成為了資深副總裁,負責全球營收和顧客技術部門,要運用科技來服務全球各地的旅客。


當他在2012年7月進入天氣公司擔任資訊長時,Bryson Koehler面臨的處境是,併購之後總計有13座各自獨立運作的資料中心,而且資料中心內的伺服器新舊都有,甚至有臺1980年代的VAX大型主機還在服役。


累積了數十年的龐大氣象資料,散布在各式各樣的資料庫系統中,而且難以擴充,幾乎常見的資料庫廠牌都有,SQL Server、Oracel資料庫、Mongo、MySQL、PostgreSQL等,當時也有部分資料儲存在Hadoop中。


以前,天氣公司每次系統當機,光是自動產生的事件說明文件厚達400頁,根本沒人想看。系統過於複雜,以致於,無法很快地進行系統異動或更新,甚至平均每100次系統異動或功能更新,只有75次能成功,至少有四分之一的努力是做白工。


必須改變,而且要激烈地改變


Bryson Koehler回憶說:「當時我立刻就知道,必須改變,而且是要激烈地改變!惟有改變,才能擁有彈性。」


所以,他很快就決定必須要擺脫資料中心,將基礎架構搬上雲端,「想要成為天氣預報全球第一個資訊供應商,得先具備全球性的架構擴充力。」


Bryson Koehler用「詭異」來形容天氣預報需求的變動,風和日麗的日子,幾乎沒人享用,但是遇到了雨天,甚至是暴雨、颱風等重大氣象事件時,「特定地區天氣預報服務的流量往往會爆增數千倍」。


甚至行動裝置更考驗著天氣預報的能耐,在手機還不普及前,民眾多半用家裡或公司電腦,出門前查一下氣象網站提供的資訊,一天大概只需查個兩、三次。他說,因此,當時「距離」因素對氣象預報的影響不大。


但是,現在人手一隻手機,透過App時不時都會看一下氣象資訊,可能這一刻在市區查詢天氣,開著車十分鐘到5公里外山腳下時,天氣可能從晴朗轉陰雨,若手機上的氣象資訊沒有辦法分辨出使用者位置的改變,來修正兩點距離變化的氣候影響,使用者就會抱怨氣象預報不準。若要打造個人化的服務來滿足行動使用者的需求,距離就成了重要的考量變因,而且得針對更小區域來蒐集天氣資料。


可是,2年前,若要自行建立出有能力滿足「詭異」擴充異動需求,又能滿足全球個人化行動氣象服務的資訊架構相當昂貴,Bryson Koehler認為:「資料中心不應是我們的業務」,所以,他最後選擇了使用Amazon的AWS服務來重建企業資訊架構。


使用至今,天氣公司租用的虛擬機器核心數達19,782個、光是耗用的記憶體也達到200TB,每秒鐘會產生4GB的資料。這些虛擬機器分散在AWS四個跨國區域(意指資料中心),每天最大能產生高達150億筆。不過,他認為,AWS服務還是有所不足,例如AWS還缺乏了如同Windows環境下Active Directory權限管控機制,來簡化複雜雲端元件間的安全管理。


天氣公司不只用雲端架構來蒐集或發布資料,也利用了大量虛擬機器叢集來建立預測引擎計算各式預測模型,以提高預報準確度,目前已可達到約77%的準確度。甚至天氣公司還可以分辨出預報錯誤時的使用者瀏覽行為變化,回頭用來淘汰錯誤資訊,以修正預報正確性。


將天氣公司從傳統電視臺轉型成科技公司,Bryson Koehler表示,轉型關鍵不只是技術能力,更重要的是文化,這包括了人和團隊。


要善用成熟雲端平臺,需要敏捷團隊


喜歡聽爵士樂的Bryson Koehler用音樂來比喻他的IT團隊,相較於預錄式的音樂,Bryson Koehler更喜歡聽現場Live演奏。「預錄音樂在錄音室可以反覆嘗試找出最完美的版本,但是很無聊,現場音樂你不知道會發生什麼情況,大家都得臨場反應即興發揮。」


他認為:「過去20年來,資訊廠商將IT訓練成了預錄式的音樂。」試圖建立一套可以重複使用,排除同樣狀況的處理模式,例如一套操作手冊或一套制式工作制度,就像是預錄的音樂一樣。但是「現在真實世界的IT並非如此,你需要一個習慣Live演奏,習慣面對不穩定的情況,能夠對任何事情反應的團隊。」例如鼓手掉了鼓棒,吉他手要能趁機補上一段獨奏,來延續這場表演。「這才是IT團隊具備的文化,想要善用複雜且成熟的雲端平臺,你需要敏捷團隊。」


要建立這樣團隊也有方法,Bryson Koehler舉了另一個比喻來解釋,就像是團隊運動比賽,如棒球、足球那樣,最佳的隊伍往往都是相互依靠,經常傳球,隊員不會自己運球硬闖的團隊。「不會讓IT成員以為自己是孤立一個人,而是要讓人人都能意識到自己被團隊所包圍。」他說。


但CIO的責任不只是建立團隊而已,Bryson Koehler表示,面臨轉型過程,最大的考驗之一,就是團隊會出現一段失去信念的時期,例如他們曾有人抱怨太辛苦不上雲端,質疑上雲端真的會更好?或想回到原來習慣的資料中心架構不想改變作法。Bryson Koehler說:「CIO要保持信心,真心相信願景終將成真,也要不怕走遠路。」先讓自己聚焦在想要的願景上,再督促IT團隊保持前進的動力,就能克服挑戰。


成功轉型,他還有另一個秘訣,Bryson Koehler不相信漸進式的改變(Incrementally Change),「CIO想要變革成功,不能相信漸進改變,就像開車得踩足油門一鼓作氣攻頂。」Bryson Koehler說,否則走走停停上山,半途沒油就會滑下來回到同樣的谷底,只要幫助IT團隊站上山頂,翻過山頂後的下山動能,就能自動幫助他們滑到成功的那一端。


參考資料(文/王宏仁 | 2015-01-12發表)

http://www.ithome.com.tw/people/93357
( 知識學習科學百科 )
回應 推薦文章 列印 加入我的文摘
上一篇 回創作列表 下一篇

引用
引用網址:https://classic-blog.udn.com/article/trackback.jsp?uid=edd&aid=20581584