網路城邦
上一篇 回創作列表 下一篇  字體:
你臉書了嗎? - 談Big Data
2013/09/02 01:03:39瀏覽3127|回應10|推薦93


前幾天有一則新聞報導,台灣是世界上玩臉書比例最高的地方。大家有沒有想過,到底臉書要儲存多少資料,應該是天文數字吧?而且臉書是如何做到,幾乎所有的資訊可以即時反應?難道是使用超級電腦?而且旁邊跳出來的廣告,又往往與你個人有關,好像有讀心術呢!

8月23日東吳大學潘校長帶領了訪問團到華府訪問,由於內人是商數系校友,所以出席餐會。席間,也是商數系畢業的社資處許主任,對東吳未來的展望作了一些簡短介紹,其間特別提及新成立的海量資料(Big Data)硏究中心,成為台灣第一所有針對海量資料硏究的大學,也引起了我談一談的興趣。

海量(巨量)資料(Big Data)處理這個名詞,大約在三年前(2010年),突然出現在資訊世界,好像一夜之間暴紅,再紅的發紫,從大學到政府,從個人到大公司,大家都在談論。其實這套理論早在十多年前就已經在資訊學術界萌芽,雅虎首先將之運用在其資料儲存及處理,同時期如孤狗,亞馬遜,WalMart與後來的臉書等大公司也都將這套Big Data理論運用的嚇嚇叫!

事實上,自從過去十多年來,數位資訊科技日漸成熟,我們生活的世界幾乎全部可以換算成數位碼,也就是0與1的排列組合,經由網路的傳輸,無遠弗界,將每種排列組合形成一種模組,不同的模組就代表了這個花花世界的每一個事與物。所以,不論是一張照片還是一段影片在網路上都只是一些0與1,這也是有線電視數位傳輸的方式。

所以理論上,全世界的每一個人,在他的電腦上,智慧手機上的每一個動作(當然包含電子郵件,所打開過的網站,和網友的對談),以及任何與網路聯線的機器(例如飛機,X光機...)產生出的數據,都可以被用數位方式記錄下來,而美國國家安全局,也利用過濾網路數位資料的方式,監視著全世界。

0與1的排列組合

很多人會問,這怎麼可能?要有多大的儲存硬體?多貴呀!這個問題也就是為什麼,這種處理海量資料(Big Data)的軟體理論,在十多年前就被發展出來,卻等到這兩三年才突然變的蓬勃熱門起來。因為硬體的儲存,及數位資料壓縮技術突飛猛進,而使得硬體價錢一落千丈,這就讓許多公司或政府,可以比較輕鬆的建立海量資料中心。

非常費電的數據中心

但是,如果只有海量資料(Big Data)的儲存,而不能快速的存取,也是枉然。每個人都有用孤狗搜尋的經驗吧!能在天文數字的孤狗資料中,在一秒鐘之內找到你所要的資料。這是如何做到的?絶對不是靠所謂超級電腦,而是把許許多多可能和你我手上功能差不多的電腦,利用平行運算的方式加在一起處理資料,理論上這種加法,是可以加到無限大,而且永遠保持一樣的速度。

然而,再者,在商言商,如果資金只有進而沒有出,也不會吸引投資人。所以因為有幾家新成立的或是大型廠商,成功的把海量數據資料(Big Data)轉成商業模式而賺了大錢之後,讓所有人眼睛一亮,原來數據可以轉換成金礦。

40年前的電腦打孔卡

在談天時,我提到,跟據我的觀察,台灣過去數十年資訊業發展,太注重於資訊硬體的發展或代工,而忽視軟體業,社會上提到某人是竹科硬體工程師,無不投以羨慕的眼光,如果是軟體工程師則沒有反應,似乎軟體從業人員只是硬體的附屬品。這個現象和美國,印度,剛好相反。在美國的職場中充滿著高薪的軟體工程師職位,薪資甚至不輸給醫師、律師。

如何要把台灣的軟體行業獨立壯大,必須提高軟體行業的薪資,才能吸引真正聰明,有創意的年輕人參與。上面所提到的臉書,就是一個成功的例子,一個聰明的哈佛小子,在運用了無中生有的軟體,發展了一個新的商業模式,創造了一個數百億美金的虛擬帝國。所創造的產值可能超過竹科所有的廠家總和吧(我沒有真正算過)!

所以,硬體的價值有限,只會一天比一天廉價,而軟體的價值才會是無限大的!

而如何建立未來的科技模式呢?我的建議是,可能找幾個真正聰明的,在不同領域,不同年紀的電腦玩家(不是電玩玩家),讓他們天馬行空的幻想,如何去處理他們現在的生活,以及創造他們未來的世界,建立起一些模式後,再以軟體結合,或許可以創造一些我們老一輩,所謂有經驗的人,想都想不到的東西。至於是否有商業價值,以後再說吧!想一想,就算五年前,又有誰知道臉書的價值在那裏呢?

這也是多年前,我在修約翰霍普金斯大學的第一門軟體工程課時,教授所訂定的學期作業,要求天馬行空的幻想,可惜當時沒想到要發展臉書,否則今天我也是億萬富翁!

 

順便一提:我試著將此文寫得通俗一點,除了Big Data之外,不提其他專有名詞。

 
( 興趣嗜好電腦3C )
回應 推薦文章 列印 加入我的文摘
上一篇 回創作列表 下一篇

引用
引用網址:https://classic-blog.udn.com/article/trackback.jsp?uid=JulianCWang&aid=8293910

 回應文章

iM
等級:8
留言加入好友
2015/01/15 07:58
讚!!
九里安西王(Julian)(JulianCWang) 於 2015-01-20 06:51 回覆:
希望有一點點用處呢!

SANDY
等級:7
留言加入好友
2014/09/28 15:36

因為這個月初才看到台灣新聞談Big  Data  的新聞  ,  後來看到您這篇  ,  天哪 , 台灣現在才談Big  data

實在太慢了  ,   難怪台灣的精英人才沒有舞台發展  ,  都跑到國外去了  ........   現在台灣硬體工業越來越不行 ....  技術員 ,  工程師  流動性 超高  .... 而且很多都污染環境 ...  真的有點跟不上國際潮流 ....

 

九里安西王(Julian)(JulianCWang) 於 2014-09-29 08:29 回覆:
這也是台灣的宿命
英文不好
大家都只追求小確辛
從前的衝勁都沒了
跟世界潮流愈來愈遠
唉!

漫步在雲端
等級:6
留言加入好友
2014/06/29 18:47

把圖書館的書還了

拿起大數據閱讀

想到應回過頭來複習大哥的文章

您是學生物科技的嗎  後來才改念資訊嗎

當年霍普金斯大學已經該始研究big data嗎

那台灣遠遠落後外國

如果沒有創造力的分析人才  大量數據不具商業價值

難怪goole的搜尋引擎  這麼好用

 

九里安西王(Julian)(JulianCWang) 於 2014-07-02 10:38 回覆:
大數據雖然被硏究了十數年
但是
一直到三年前才突然爆發
大家都在談
這是因為軟硬體發展到了可以支持大數據的結果
台灣地小人稠
本來就應該發展軟體才是
但是普遍英文太差
靠硬體工業還能撐多久

鄉下老師
等級:8
留言加入好友
2014/03/03 06:53
我就是可憐的台灣軟體工程師,但是我只想「做對的事情」!有您這種先進的真知灼見加持,我會更有鬥志。台灣不是不用軟體,但是只會向國外買,如你所說的被賣了還替人數鈔票!我希望用相對便宜的價錢開發一些國內「專家們」認定只有外國才有的軟體,替自己與後進們開出一條在業界存活地小路。
九里安西王(Julian)(JulianCWang) 於 2014-03-03 09:59 回覆:
等您很久了,常常拜讀您針對台灣IT發展及評論的格文,中肯,又一針見血,非常佩服,但是台灣有其他更多的人在關心嗎?

個人身在國外,憂心忡忡,也是希望能帶動一些人對所謂電腦科技的正確概念。

台灣地小人稠,應該以印度為師,發展軟體工業,又環保,而不是利潤少又污染的硬體。

不然的話,遲早會軟硬兼失呀!

ynn600
等級:8
留言加入好友
2014/01/18 22:05

感謝你的用心和體諒, 我這個電腦白癡完全看得懂. ^-^

ynn

九里安西王(Julian)(JulianCWang) 於 2014-01-19 06:13 回覆:
不客氣呢!這也是我寫此文的目的之一。

漫步在雲端
等級:6
留言加入好友
2014/01/08 21:18

軟體工程師的薪水

為什麼比硬體工程師少

開發應用軟體不是比較困難嗎

抱歉  說了一堆外行話

 

九里安西王(Julian)(JulianCWang) 於 2014-01-09 10:51 回覆:
全世界大概只有台灣的軟體工程師薪水少,因為台灣不重視軟體嘛!

好宅豬大叔
等級:8
留言加入好友
2013/10/07 23:08
沒想到我的老母校組團出國訪問。
九里安西王(Julian)(JulianCWang) 於 2013-10-08 02:52 回覆:
我們還見過前兩任的劉姓東吳校長們!

OldMan - 風景線
等級:7
留言加入好友
2013/09/05 01:09

退休後開始天天上FB,顧名思義,social meidia嘛。

台灣的經濟環境,硬體工程師需求大吧。例如,設計app只能買2千萬人,可是製作手機,手提,router,甚至server,可以賣全世界。而且,雖說硬體除了材料設計等,還是以軟體為核心,同樣要有程式開發的訓練吧。

九里安西王(Julian)(JulianCWang) 於 2013-09-05 11:31 回覆:
老人兄您好!

請看"軟硬之間?",那是我的回覆,只是個人淺見,請多指教。

卡娃思
等級:8
留言加入好友
2013/09/03 22:20

臉書,我玩了,不過是在離開工作職場,回歸家庭主婦後開始摸索,工作中是不碰的。

這二年很多的關心行動付出來自臉書,親朋好友見面機會少的,從臉書大家彼此關注,過年相聚時刻,話題聊不完,因為知道親人間發生了哪些事,對人際關係的互動,有它的作用。大家似乎不再那麼的冷漠了,

只是,有些親友把不宜公開的私密事情公開,看了真是都替他們緊張。

有時候正面的訊息,會購買推廣,瀏覽的朋友會比較多。商業訊息太多的時候,我只有隱藏那動態。

閱讀本文,很輕鬆,通俗的確不離專業的表達,謝謝您!

九里安西王(Julian)(JulianCWang) 於 2013-09-04 08:43 回覆:

謝謝您的美言!題目比較硬,反應稍冷呢!

事實上,最危險的行為是公開自己的生日。尤其在美國,所有的個人隱私都連接著個人生日。

我也希望把Big Data的觀念,推廣出去,以及重視軟體發展。


貓弟
等級:7
留言加入好友
2013/09/02 19:43

我不玩臉書耶~也沒有臉書的帳號

落伍了嗎? 奸笑(呵呵、嘿嘿)

九里安西王(Julian)(JulianCWang) 於 2013-09-03 05:19 回覆:
科技進步這麼快,很少有人可以跟上所有的最新科技!您寫部落格,就已經比90%以上的其他人先進了吧!