在寫這篇大數據文章之前,我發現身邊很多IT人對于這些熱門的新技術、新趨勢往往趨之若鶩卻又很難說的透徹,如果你問他大數據是什么?估計很少能說出一二三來。究其原因,一是因為大家對大數據這類新技術有著相同的原始渴求,至少知其然在聊天時不會顯得很“土鱉”;二是在工作和生活環境中真正能參與實踐大數據的案例實在太少了,所以大家沒有必要花時間去知其所以然。
我希望有些不一樣,所以對該如何去認識大數據進行了一番思索,包括查閱了資料,翻閱了最新的專業書籍,但我并不想把那些零散的資料碎片或不同理解論述簡單規整并堆積起來形成毫無價值的轉述或評論,我很真誠的希望進入事物探尋本質。
如果你說大數據就是數據大,或者侃侃而談4個V,也許很有深度的談到BI或預測的價值,又或者拿Google和Amazon舉例,技術流可能會聊起hadoop和Cloud Computing,不管對錯,只是無法勾勒對大數據的整體認識,不說是片面,但至少有些管窺蠡測、隔衣瘙癢了。……也許,“解構”是最好的方法。
怎樣結構大數據?
首先,我認為大數據就是互聯網發展到現今階段的一種表象或特征而已,沒有必要神話它或對它保持敬畏之心,在以云計算為代表的技術創新大幕的襯托下,這些原本很難收集和使用的數據開始容易被利用起來了,通過各行各業的不斷創新,大數據會逐步為人類創造更多的價值。
其次,想要系統的認知大數據,必須要全面而細致的分解它,我著手從三個層面來展開:
第一層面是理論,理論是認知的必經途徑,也是被廣泛認同和傳播的基線。我會從大數據的特征定義理解行業對大數據的整體描繪和定性;從對大數據價值的探討來深入解析大數據的珍貴所在;從對大數據的現在和未來去洞悉大數據的發展趨勢;從大數據隱私這個特別而重要的視角審視人和數據之間的長久博弈。
第二層面是技術,技術是大數據價值體現的手段和前進的基石。我將分別從云計算、分布式處理技術、存儲技術和感知技術的發展來說明大數據從采集、處理、存儲到形成結果的整個過程。
第三層面是實踐,實踐是大數據的最終價值體現。我將分別從互聯網的大數據,政府的大數據,企業的大數據和個人的大數據四個方面來描繪大數據已經展現的美好景象及即將實現的藍圖。
和大數據相關的理論
特征定義
最早提出大數據時代到來的是麥肯錫:“數據,已經滲透到當今每一個行業和業務職能領域,成為重要的生產因素。人們對于海量數據的挖掘和運用,預示著新一波生產率增長和消費者盈余浪潮的到來。”
業界(IBM 最早定義)將大數據的特征歸納為4個“V”(量Volume,多樣Variety,價值Value,速Velocity),或者說特點有四個層面:第一,數據體量巨大。大數據的起始計量單位至少是P(1000個T)、E(100萬個T)或Z(10億個T);第二,數據類型繁多。比如,網絡日志、視頻、圖片、地理位置信息等等。第三,價值密度低,商業價值高。第四,處理速度快。最后這一點也是和傳統的數據挖掘技術有著本質的不同。
其實這些V并不能真正說清楚大數據的所有特征,下面這張圖對大數據的一些相關特性做出了有效的說明。
古語云:三分技術,七分數據,得數據者得天下。先不論誰說的,但是這句話的正確性已經不用去論證了。維克托·邁爾-舍恩伯格在《大數據時代》一書中舉了百般例證,都是為了說明一個道理:在大數據時代已經到來的時候要用大數據思維去發掘大數據的潛在價值。書中,作者提及最多的是Google如何利用人們的搜索記錄挖掘數據二次利用價值,比如預測某地流感爆發的趨勢;Amazon如何利用用戶的購買和瀏覽歷史數據進行有針對性的書籍購買推薦,以此有效提升銷售量;Farecast如何利用過去十年所有的航線機票價格打折數據,來預測用戶購買機票的時機是否合適。
那么,什么是大數據思維?維克托·邁爾-舍恩伯格認為,1-需要全部數據樣本而不是抽樣;2-關注效率而不是精確度;3-關注相關性而不是因果關系。
阿里巴巴的王堅對于大數據也有一些獨特的見解,比如,
“今天的數據不是大,真正有意思的是數據變得在線了,這個恰恰是互聯網的特點。”
“非互聯網時期的產品,功能一定是它的價值,美國云服務器 江西電信服務器,今天互聯網的產品,數據一定是它的價值。”
“你千萬不要想著拿數據去改進一個業務,這不是大數據。你一定是去做了一件以前做不了的事情。”
特別是最后一點,我是非常認同的,大數據的真正價值在于創造,在于填補無數個還未實現過的空白。