本來很喜歡讀書的人，最近被看書所折磨，參加了總公司的讀書會，沒想又參加了部門的讀書會，又的寫一篇讀書筆記了，這耽擱了我不少修煉技術的時間了。不過寫東西這事情，我倒是越來越喜歡了，今天和大伙再分享一篇讀書筆記，本次讀的是邁爾-舍恩伯格的《大數據時代》，很棒的書，建議感興趣的人們都可以去讀讀。網上可以下載到pdf，也不太長，很快就可以讀完。

大數據-互聯網新的制高點

　　在淘寶十周年及阿里巴巴集團前CEO馬云的卸任晚會上，馬云說道：“大家還沒搞清PC時代的時候，移動互聯網來了，還沒搞清移動互聯網的時候，大數據時代來了。”馬云這句話威力巨大，導致第二周中國股市里許多與大數據相關企業的股票的漲停。這也充分證明大數據已經得到當今社會的一致認同。

　　那什么是大數據呢？它的價值在哪里？它顛覆了那些傳統的行為方式？它最終會給我們這個紛繁復雜的社會帶來怎樣的重大變革？邁爾-舍恩伯格的《大數據時代》是解答這些疑問最權威的著作。

　　那什么是大數據呢？書中做出了自己的解釋：大數據是建立在海量數據的基礎之上，對未來預測的能力，大數據的核心就是預測。對未來準確的預測能力，或許能算一種人類夢寐以求的終極能力，回顧人類的歷史，我們會發現人類的發展幾乎都是在不停和未知的不確定性事物做斗爭，不管是個人還是組織甚至大到民族和國家，只有正確的掌控未來的發展方向才會一直保有旺盛的生命力，而錯誤的理解未來一定會付出慘痛的代價，甚至最終滅亡。人類對未來預測能力的渴求由來已久，所以才會產生很多浪漫的神鬼故事和超人的傳說。而現在計算機技術的發展，給人類帶來可以預測未來的技術，未來不再那么飄忽不定，而是可以通過一定手段進行近乎準確的預測，這樣的能力在古代只能存在于上帝的手中，而現在呢，只要你學習掌控了大數據的能力，你就能擁有上帝般的能力，這就像尼采所說的“上帝已死”，人人皆有可能成為上帝，因此大數據的到來，必定開啟一個重大時代的轉型。

　　大數據是賦予數據一種全量分析的新能力，這新能力的效果可以類比互聯網通過給計算機添加通信功能而改變了世界的例子。這也是大數據能產生偉大能量的動力之源。那么什么是全量分析的新能力呢？在大數據興起之前，我們是身處在一個小數據時代，小數據時代的數據分析的方式是采樣分析，方法的核心是使用最少的數據獲取最多的信息，小數據時代的保證數據分析準確性的前提是采樣的隨機性，采樣的隨機性越高，分析結果的準確性也就越高，而采樣樣本的增多不會對分析結果的準確性有太大的影響，因此采樣分析的方法里有一個核心的理念：認為樣本的隨機性比樣本的數量更加的重要，但是隨機性的定義往往是很難做到準確，并且隨機性的定義里很容易摻雜認識事物的偏見，從而導致最終分析的結果和實際的結果相去甚遠，小數據時代的分析是一個妥協性的技術，它是因為人類還沒有掌握大規模數據存儲和分析能力的無奈選擇。而現在，隨著技術的發展，特別是互聯網技術的發展，人類擁有了大規模數據存儲和分析能力，對數據的分析我們不用在假設隨機性采樣的前提，而是可以直接對全量的數據進行運算和分析，量變產生質變，全量數據的分析導致分析的結果更加接近于事實的真相。數據擁有了更好挖掘其價值的手段，這種新能力的出現和互聯網的出現同樣的偉大。

　　大數據同時還改變了人類傳統預測未來的方式。傳統的預測未來的方式是研究事物之間的因果關系，什么樣的結果一定是由什么樣的原因所引起，在采樣分析的時代里，我們常常會在隨機性的定義上強加那些能推導出預定結果的原因，采樣分析的偏見也就由此產生。大數據時代的數據分析不再是分析事物間的因果關系，而是通過事物之間的相關關系進行分析，相關關系分析的核心是量化兩個數據之間的數理關系，當其中一個數據值增加的時候，另一個數據的數值也可能隨之增加，因此可以由一個數據的變化推導出另一個數據變化的結果，書中有很多例子描述這種相關關系的分析方法，例如谷歌通過搜索的關鍵字預測了流感爆發的時間、地點和規模；沃爾瑪通過相關關系分析，發現颶風來臨時候蛋撻的銷售會猛增，因此在颶風來臨之前將蛋撻和颶風用品擺放在一起。所以大數據會給人類帶來新的價值觀：知道是什么結果就夠了，沒必要去關心這個結果產生的原因。我個人相信這種新的預測未來的方式比因果分析方式所帶來的變革更加深遠，人類不會再拘泥于有因必有果的怪圈，而是能更加自由和大膽的去探索那些未知的領域。

　　一個能產生巨大能力的技術必然會催生一個實現它價值的新組織，大數據也不會例外。本書的作者總結了大數據的三大價值來源：數據本身、技能和思維，這三個價值來源也會催生三種不同類型的公司，它們分別是基于數據本身的公司、基于技能的公司和基于思維的公司。基于數據的公司是擁有大規模數據，但是沒有挖掘數據技能的公司；基于技能的公司則是那些提供挖掘數據價值的能力公司；而第三種基于思維的公司是指有怎樣挖掘數據的新價值的獨特想法的公司。而當下正處在大數據時代的早期，因此前兩種公司會顯得特別突出，因為現今處理大數據的技術任然十分欠缺而能擁有大規模數據的公司也是少數，但是技術的鴻溝會隨著時間的推移而被填平同時采集大規模數據的手段也會變得越來越容易，未來肯定是最后一種公司才會從大數據里攫取最多的價值。書看到這里邁爾-舍恩伯格終于寫到了大數據對企業對行業的影響，作為一名互聯網的從業者，我就會不自然的去思考大數據和互聯網的關系，大數據對互聯網企業的作用。

　　在看《大數據時代》前，我常常以為大數據是互聯網專有的東西，我覺得大數據就是使用像hadoop這樣的技術對互聯網積累的數據進行價值的挖掘，從而反向的服務被互聯網所影響的人或者組織。但是當我看完《大數據時代》后，我覺得我以前的觀念不是不對而是過于片面了，也許我們應該這么來理解大數據才會準確，大數據因為是互聯網的發展推進了技術手段的進步，最終產生了一種解決人類預測能力難度的解決方案，它的意義可以和蒸汽機的發明開啟了工業文明所起到作用相提并論，不過不管怎樣去理解大數據和互聯網的關系，有一點是不可否認的，互聯網和大數據的聯系是最緊密的，可以說是因為有了互聯網才會有大數據時代的出現。互聯網是大數據之父，而它的這個兒子潛力無限，威力巨大，它一定會超越這個父親。

　　大數據時代的到來，谷歌公司功不可沒，沒有谷歌公司無私的發表分布式文件系統、mapreduce和bigtable的論文，就不會有開源的hadoop技術出現，這也不可能讓大規模數據分析的能力滲透到各個領域，但是要理解大數據和互聯網的關系，我們要進行更深入的思考，為什么互聯網公司會產生這樣的技術，為什么互聯網公司會那么迅速的應用大數據的技術呢？這需要根據互聯網自身的特點來回答這個問題。

　　首先第一互聯網是很容易產生大數據的行業，比如谷歌公司，每天幾十億的點擊率，想象一下，幾十億的點擊率意味著什么，這就如同幾十億人同時在一天寫一個字，或者一句話或者一篇文章，同時谷歌公司還要以幾乎是毫秒級的速度處理好每一條信息，因此互聯網是天生就要解決大數據問題的行業。第二點，互聯網總是在絞盡腦汁的思考新的盈利模式，我們縱觀下當今世界已經上市的互聯網公司，它們的市值都很高，但是這些上市的公司真正掙到錢的卻少之又少，就算一些盈利較好的公司，其盈利的能力和同等市值的傳統公司相比也是相去甚遠，投資者的信任源自于他們對互聯網企業未來的盈利能力的信任，但是這種信任是有保質期的，我相信如果互聯網公司不去創新盈利模式，或許不用很長的時間投資者就會慢慢失去這種耐心，但是互聯網公司又絕對不能采取傳統公司那樣的盈利的模式，因為投資者期許它的是創新的方式，互聯網最大的財富就是它所擁有的海量數據，因此挖掘現有數據資源價值的能力首先會被互聯網企業所思考，最后一點就是互聯網是一個開拓、冒險，創新的行業，互聯網去做上面的事情不是被迫的，而是主動，互聯網的從業者都是很開心的解決上面的問題，有這樣文化的行業必然會激發人類的無窮潛力，創造出前所未有的東西。

　　互聯網開啟了大數據時代，這其實也彰顯了互聯網雄心勃勃的野心，掌控了預測的能力就是掌控了未來，弱小的人們會慢慢過分依賴這種非凡的能力，這就如同出埃及記里先知摩西帶領苦難的猶太人逃離埃及建立新國家的能力，因為先知有預測未來的能力，所以備受欺凌的猶太人就會特別信任摩西，能追隨摩西完成艱難的冒險，因此實力強勁的互聯網公司并不會想成為書中所描述三種類型公司的某一種，而是會成為三者兼備的公司，因為他們都想在自己所涉獵的領域里產生屬于自己的大數據時代。擁有自己的大數據時代的公司，就和圣經里的先知一樣，它們會影響社會的輿論，引領人們的生活方式以及人們的價值觀，這是領袖的能力，而領袖所擁有的財富一定會遠遠超出用金錢可以衡量到的價值。

　　大數據是互聯網新的發展方向，是互聯網新的制高點。談到這里，我們或許可以把馬云先生那句話改改，也能表達同樣的意思：在互聯網里大家還未占領PC時代的制高點的時候，移動互聯網這個制高點來了，大家還沒占領移動互聯網制高點時候，大數據的制高點來了。每一個制高點都預示一個新的時代的到來，作為身在追趕優秀公司的企業里的一名員工，我很有一種危機感，我們的追趕不能僅僅著眼于現在看到的方式，而是需要投入一定的精力去迎接新時代的到來，這就好比一群人在賽跑，或許目前大家都是用兩條腿在跑，突然來了一個契機，有些人抓住了它，抓住它的人改成了自行車，或者汽車甚至是飛機和你比賽，而你錯過了契機，還在用兩只腿苦苦支撐自己的比賽，到時候不管你再怎么努力，結果都是悲慘的。

　　想獲得勝利的互聯網公司一定要去抓住這個制高點，不管你愿不愿意，這是新時代的選擇，我們需要勇氣和信心迎接新的挑戰。