我們對(duì)大數(shù)據(jù)技術(shù)的使用也經(jīng)歷了一個(gè)發(fā)展過程。從最開始的Google在搜索引擎中開始使用大數(shù)據(jù)技術(shù)，到現(xiàn)在無(wú)處不在的各種人工智能應(yīng)用，伴隨著大數(shù)據(jù)技術(shù)的發(fā)展，大數(shù)據(jù)應(yīng)用也從曲高和寡走到了今天的遍地開花。

Google從最開始發(fā)表大數(shù)據(jù)劃時(shí)代論文的時(shí)候，也許自己也沒有想到，自己開啟了一個(gè)大數(shù)據(jù)的新時(shí)代。今天大數(shù)據(jù)和人工智能的種種成就，離不開全球數(shù)百萬(wàn)大數(shù)據(jù)從業(yè)者的努力，這其中也包括你和我。歷史也許由天才開啟，但終究還是由人民創(chuàng)造，作為大數(shù)據(jù)時(shí)代的參與者，我們正在創(chuàng)造歷史。

大數(shù)據(jù)應(yīng)用的搜索引擎時(shí)代

作為全球最大的搜索引擎公司，Google也是我們公認(rèn)的大數(shù)據(jù)鼻祖，它存儲(chǔ)著全世界幾乎所有可訪問的網(wǎng)頁(yè)，數(shù)目可能超過萬(wàn)億規(guī)模，全部存儲(chǔ)起來(lái)大約需要數(shù)萬(wàn)塊磁盤。為了將這些文件存儲(chǔ)起來(lái)，Google開發(fā)了GFS(Google 文件系統(tǒng))，將數(shù)千臺(tái)服務(wù)器上的數(shù)萬(wàn)塊磁盤統(tǒng)一管理起來(lái)，然后當(dāng)作一個(gè)文件系統(tǒng)，統(tǒng)一存儲(chǔ)所有這些網(wǎng)頁(yè)文件。

你可能會(huì)覺得，如果只是簡(jiǎn)單地將所有網(wǎng)頁(yè)存儲(chǔ)起來(lái)，好像也沒什么太了不起的。沒錯(cuò)，但是 Google得到這些網(wǎng)頁(yè)文件是要構(gòu)建搜索引擎，需要對(duì)所有文件中的單詞進(jìn)行詞頻統(tǒng)計(jì)，然后根據(jù)PageRank算法計(jì)算網(wǎng)頁(yè)排名。這中間，Google需要對(duì)這數(shù)萬(wàn)塊磁盤上的文件進(jìn)行計(jì)算處理，這聽上去就很了不起了吧。當(dāng)然，也正是基于這些需求，Google又開發(fā)了MapReduce大數(shù)據(jù)計(jì)算框架。

其實(shí)在Google之前，世界上最知名的搜索引擎是Yahoo。但是Google憑借自己的大數(shù)據(jù)技術(shù)和 PageRank算法，使搜索引擎的搜索體驗(yàn)得到了質(zhì)的飛躍，人們紛紛棄Yahoo而轉(zhuǎn)投Google。所以當(dāng)Google發(fā)表了自己的GFS和MapReduce論文后，Yahoo應(yīng)該是最早關(guān)注這些論文的公司。

Doug Cutting率先根據(jù)Google論文做了Hadoop，于是Yahoo就把Doug Cutting挖了過去，專職開發(fā)Hadoop。可是Yahoo和Doug Cutting的蜜月也沒有持續(xù)多久，Doug Cutting不堪 Yahoo的內(nèi)部斗爭(zhēng)，跳槽到專職做Hadoop商業(yè)化的公司Cloudera，而Yahoo則投資了 Cloudera的競(jìng)爭(zhēng)對(duì)手HortonWorks。

頂尖的公司和頂尖的高手一樣，做事有一種優(yōu)雅的美感。你可以看Google一路走來(lái)，從搜索引擎、Gmail、地圖、Android、無(wú)人駕駛，每一步都將人類的技術(shù)邊界推向更高的高度。而差一點(diǎn)的公司即使也曾經(jīng)獲得過顯赫的地位，但是一旦失去做事的美感和節(jié)奏感，在這個(gè)快速變革的時(shí)代，隕落得比流星還快。

大數(shù)據(jù)應(yīng)用的數(shù)據(jù)倉(cāng)庫(kù)時(shí)代

Google的論文剛發(fā)表的時(shí)候，吸引的是Yahoo這樣的搜索引擎公司和Doug Cutting這樣的開源搜索引擎開發(fā)者，其他公司還只是吃瓜群眾。但是當(dāng)Facebook推出Hive的時(shí)候，嗅覺敏感的科技公司都不淡定了，他們開始意識(shí)到，大數(shù)據(jù)的時(shí)代真正開啟了。

曾經(jīng)我們?cè)谶M(jìn)行數(shù)據(jù)分析與統(tǒng)計(jì)時(shí)，僅僅局限于數(shù)據(jù)庫(kù)，在數(shù)據(jù)庫(kù)的計(jì)算環(huán)境中對(duì)數(shù)據(jù)庫(kù)中的數(shù)據(jù)表進(jìn)行統(tǒng)計(jì)分析。并且受數(shù)據(jù)量和計(jì)算能力的限制，我們只能對(duì)最重要的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)和分析。這里所謂最重要的數(shù)據(jù)，通常指的都是給老板看的數(shù)據(jù)和財(cái)務(wù)相關(guān)的數(shù)據(jù)。

而Hive可以在Hadoo上進(jìn)行SQL操作，實(shí)現(xiàn)數(shù)據(jù)統(tǒng)計(jì)與分析。也就是說(shuō)，我們可以用更低廉的價(jià)格獲得比以往多得多的數(shù)據(jù)存儲(chǔ)與計(jì)算能力。我們可以把運(yùn)行日志、應(yīng)用采集數(shù)據(jù)、數(shù)據(jù)庫(kù)數(shù)據(jù)放到一起進(jìn)行計(jì)算分析，獲得以前無(wú)法得到的數(shù)據(jù)結(jié)果，企業(yè)的數(shù)據(jù)倉(cāng)庫(kù)也隨之呈指數(shù)級(jí)膨脹。

不僅是老板，公司中每個(gè)普通員工比如產(chǎn)品經(jīng)理、運(yùn)營(yíng)人員、工程師，只要有數(shù)據(jù)訪問權(quán)限，都可以提出分析需求，從大數(shù)據(jù)倉(cāng)庫(kù)中獲得自己想要了解的數(shù)據(jù)分析結(jié)果。

你看，在數(shù)據(jù)倉(cāng)庫(kù)時(shí)代，只要有數(shù)據(jù)，幾乎就一定要進(jìn)行統(tǒng)計(jì)分析，如果數(shù)據(jù)規(guī)模比較大，我們就會(huì)想到要用Hadoop大數(shù)據(jù)技術(shù)，這也是Hadoop在這個(gè)時(shí)期發(fā)展特別快的一個(gè)原因。技術(shù)的發(fā)展同時(shí)又促進(jìn)了技術(shù)應(yīng)用，這也為接下來(lái)大數(shù)據(jù)應(yīng)用走進(jìn)數(shù)據(jù)挖掘時(shí)代埋下伏筆。

大數(shù)據(jù)應(yīng)用的數(shù)據(jù)挖掘時(shí)代

大數(shù)據(jù)一旦進(jìn)入更多的企業(yè)，我們就會(huì)對(duì)大數(shù)據(jù)提出更多期望，除了數(shù)據(jù)統(tǒng)計(jì)，我們還希望發(fā)掘出更多數(shù)據(jù)的價(jià)值，大數(shù)據(jù)隨之進(jìn)入數(shù)據(jù)挖掘時(shí)代。

講個(gè)真實(shí)的案例，很早以前商家就通過數(shù)據(jù)發(fā)現(xiàn)，買尿不濕的人通常也會(huì)買啤酒，于是精明的商家就把這兩樣商品放在一起，以促進(jìn)銷售。啤酒和尿不濕的關(guān)系，你可以有各種解讀，但是如果不是通過數(shù)據(jù)挖掘，可能打破腦袋也想不出它們之間會(huì)有關(guān)系。在商業(yè)環(huán)境中，如何解讀這種關(guān)系并不重要，重要的是它們之間只要存在關(guān)聯(lián)，就可以進(jìn)行關(guān)聯(lián)分析，最終目的是讓用戶盡可能看到想購(gòu)買的商品。

除了商品和商品有關(guān)系，還可以利用人和人之間的關(guān)系推薦商品。如果兩個(gè)人購(gòu)買的商品有很多都是類似甚至相同的，不管這兩個(gè)人天南海北相隔多遠(yuǎn)，他們一定有某種關(guān)系，比如可能有差不多的教育背景、經(jīng)濟(jì)收入、興趣愛好。根據(jù)這種關(guān)系，可以進(jìn)行關(guān)聯(lián)推薦，讓他們看到自己感興趣的商品。

更進(jìn)一步，大數(shù)據(jù)還可以將每個(gè)人身上的不同特性挖掘出來(lái)，打上各種各樣的標(biāo)簽：90 后、生活在一線城市、月收入 1～2 萬(wàn)、宅……這些標(biāo)簽組成了用戶畫像，并且只要這樣的標(biāo)簽足夠多，就可以完整描繪出一個(gè)人，甚至比你最親近的人對(duì)你的描述還要完整、準(zhǔn)確。

除了商品銷售，數(shù)據(jù)挖掘還可以用于人際關(guān)系挖掘。你聽過“六度分隔理論”嗎，它認(rèn)為世界上兩個(gè)互不認(rèn)識(shí)的人，只需要很少的中間人就能把他們聯(lián)系起來(lái)。這個(gè)理論在美國(guó)的實(shí)驗(yàn)結(jié)果是，通過六步就能聯(lián)系上兩個(gè)不認(rèn)識(shí)的美國(guó)人。也是基于這個(gè)理論，F(xiàn)acebook研究了十幾億用戶的數(shù)據(jù)，試圖找到關(guān)聯(lián)兩個(gè)陌生人之間的數(shù)字，答案是驚人的3.57。你可以看到，各種各樣的社交軟件記錄著我們的好友關(guān)系，通過關(guān)系圖譜挖掘，幾乎可以把世界上所有的人際關(guān)系網(wǎng)都描繪出來(lái)。

現(xiàn)代生活幾乎離不開互聯(lián)網(wǎng)，各種各樣的應(yīng)用無(wú)時(shí)不刻不在收集數(shù)據(jù)，這些數(shù)據(jù)在后臺(tái)的大數(shù)據(jù)集群中一刻不停地在被進(jìn)行各種分析與挖掘。這些分析和挖掘帶給我們的是美好還是恐懼，依賴大數(shù)據(jù)從業(yè)人員的努力。但是可以肯定，不管最后結(jié)果如何，這個(gè)進(jìn)程只會(huì)加速不會(huì)停止，你我只能投入其中。

大數(shù)據(jù)應(yīng)用的機(jī)器學(xué)習(xí)時(shí)代

我們很早就發(fā)現(xiàn)，數(shù)據(jù)中蘊(yùn)藏著規(guī)律，這個(gè)規(guī)律是所有數(shù)據(jù)都遵循的，過去發(fā)生的事情遵循這個(gè)規(guī)律，將來(lái)要發(fā)生的事情也遵循這個(gè)規(guī)律。一旦找到了這個(gè)規(guī)律，對(duì)于正在發(fā)生的事情，就可以按照這個(gè)規(guī)律進(jìn)行預(yù)測(cè)。

在過去，我們受數(shù)據(jù)采集、存儲(chǔ)、計(jì)算能力的限制，只能通過抽樣的方式獲取小部分?jǐn)?shù)據(jù)，無(wú)法得到完整的、全局的、細(xì)節(jié)的規(guī)律。而現(xiàn)在有了大數(shù)據(jù)，可以把全部的歷史數(shù)據(jù)都收集起來(lái)，統(tǒng)計(jì)其規(guī)律，進(jìn)而預(yù)測(cè)正在發(fā)生的事情。

這就是機(jī)器學(xué)習(xí)。

把歷史上人類圍棋對(duì)弈的棋譜數(shù)據(jù)都存儲(chǔ)起來(lái)，針對(duì)每一種盤面記錄何種落子可以得到更高的贏面。得到這個(gè)統(tǒng)計(jì)規(guī)律以后，就可以利用這個(gè)規(guī)律和人下棋，每一步都計(jì)算落在何處將得到更大的贏面，于是我們就得到了一個(gè)會(huì)下棋的機(jī)器人，這就是前兩年轟動(dòng)一時(shí)的AlphaGo，以壓倒性優(yōu)勢(shì)下贏了人類的頂尖棋手。

再舉個(gè)和我們生活更近的例子。把人聊天的對(duì)話數(shù)據(jù)都收集起來(lái)，記錄每一次對(duì)話的上下文，如果上一句是是問今天過得怎么樣，那么下一句該如何應(yīng)對(duì)，通過機(jī)器學(xué)習(xí)可以統(tǒng)計(jì)出來(lái)。將來(lái)有人再問今天過得怎么樣，就可以自動(dòng)回復(fù)下一句話，于是我們就得到一個(gè)會(huì)聊天的機(jī)器人。Siri、天貓精靈、小愛同學(xué)，這樣的語(yǔ)音聊天機(jī)器人在機(jī)器學(xué)習(xí)時(shí)代已經(jīng)滿大街都是了。

將人類活動(dòng)產(chǎn)生的數(shù)據(jù)，通過機(jī)器學(xué)習(xí)得到統(tǒng)計(jì)規(guī)律，進(jìn)而可以模擬人的行為，使機(jī)器表現(xiàn)出人類特有的智能，這就是人工智能 AI。

現(xiàn)在我們對(duì)待人工智能還有些不理智的態(tài)度，有的人認(rèn)為人工智能會(huì)越來(lái)越強(qiáng)大，將來(lái)會(huì)統(tǒng)治人類。實(shí)際上，稍微了解一點(diǎn)人工智能的原理就會(huì)發(fā)現(xiàn)，這只是大數(shù)據(jù)計(jì)算出來(lái)的統(tǒng)計(jì)規(guī)律而已，表現(xiàn)的再智能，也不可能理解這樣做的意義，而有意義才是人類智能的源泉。按目前人工智能的發(fā)展思路，永遠(yuǎn)不可能出現(xiàn)超越人類的智能，更不可能統(tǒng)治人類。

寫在最后

大數(shù)據(jù)從搜索引擎到機(jī)器學(xué)習(xí)，發(fā)展思路其實(shí)是一脈相承的，就是想發(fā)現(xiàn)數(shù)據(jù)中的規(guī)律并為我們所用。所以很多人把數(shù)據(jù)稱作金礦，大數(shù)據(jù)應(yīng)用就是從這座蘊(yùn)含知識(shí)寶藏的金礦中發(fā)掘中有商業(yè)價(jià)值的真金白銀出來(lái)。

數(shù)據(jù)中蘊(yùn)藏著價(jià)值已經(jīng)是眾所周知的事情了，那么如何從這些龐大的數(shù)據(jù)中發(fā)掘出我們想要的知識(shí)價(jià)值，這正是大數(shù)據(jù)技術(shù)目前正在解決的事情，包括大數(shù)據(jù)存儲(chǔ)與計(jì)算，也包括大數(shù)據(jù)分析、挖掘、機(jī)器學(xué)習(xí)等應(yīng)用。

美國(guó)的西部淘金運(yùn)動(dòng)帶來(lái)了美國(guó)的大拓荒時(shí)代，來(lái)自全世界各地的人涌向美國(guó)西部，將人口、資源、生產(chǎn)力帶到了荒蠻的西部地帶，一條條鐵路也將美國(guó)的東西海岸連接起來(lái)，整個(gè)美國(guó)也隨之繁榮起來(lái)。大數(shù)據(jù)這座更加龐大的金礦目前也正發(fā)揮著同樣的作用，全世界無(wú)數(shù)的政府、企業(yè)、個(gè)人正在關(guān)注著這座金礦，無(wú)數(shù)的資源正在向這里涌來(lái)。

我們不曾生活在美國(guó)西部淘金的繁榮時(shí)代，錯(cuò)過了那個(gè)光榮與夢(mèng)想、自由與激情的個(gè)人英雄主義時(shí)代。但是現(xiàn)在，一個(gè)更具劃時(shí)代意義的大數(shù)據(jù)淘金時(shí)代正在到來(lái)，而你我正身處其中。