采集記錄足夠多的數(shù)據(jù)，使工作更加針對(duì)化和精準(zhǔn)化，這是大數(shù)據(jù)嗎？這不是大數(shù)據(jù)而只是數(shù)據(jù)化。

什么是大數(shù)據(jù)呢？例如洛杉磯警方曾對(duì)以往的刑事案件做了統(tǒng)計(jì)，通過算法得出了第二天的高概率犯罪地點(diǎn)，然后有針對(duì)性的派警察去該處巡邏，從而使得當(dāng)?shù)氐姆缸铿F(xiàn)象下降20%。這是大數(shù)據(jù)。

再比如，經(jīng)濟(jì)學(xué)家都認(rèn)為股票無法預(yù)測(cè)，而一位劍橋大學(xué)畢業(yè)的博士搞了個(gè)公司，對(duì)有史以來幾乎所有的證券交易的數(shù)據(jù)進(jìn)行記錄，然后通過算法進(jìn)行分析。

他對(duì)什么國家政策、公司業(yè)績、行業(yè)走向等等一眼都不看，100%地排除主觀意志的，只根據(jù)計(jì)算結(jié)果來進(jìn)行投資，最后賺了大錢。這是大數(shù)據(jù)。

大數(shù)據(jù)的精髓并不在于數(shù)據(jù)的精準(zhǔn)和數(shù)量，而在于對(duì)內(nèi)在規(guī)律的挖掘和對(duì)未來趨勢(shì)的預(yù)測(cè)。其思路是：一個(gè)結(jié)果是有很多原因的，原因作用的強(qiáng)度可能是隨機(jī)的，我們對(duì)其中作用的機(jī)理并不清楚。

我們難以找出規(guī)律性，但知道規(guī)律性就蘊(yùn)含在結(jié)果數(shù)據(jù)之中，如果我們能建設(shè)合適的模型，寫出好的算法，就有可能把這個(gè)規(guī)律性提煉出來，從而能科學(xué)地發(fā)現(xiàn)真相和預(yù)測(cè)未來。

今天上午在貴州省大數(shù)據(jù)中心看到了大數(shù)據(jù)應(yīng)用的事例。

金潤建設(shè)和鵬潤達(dá)這兩家企業(yè)分別投標(biāo)200多次，一次也沒中過，依然積極地投。投標(biāo)是要成本的，這兩家公司那里來的動(dòng)力？

通過大數(shù)據(jù)的知識(shí)挖掘技術(shù)，發(fā)現(xiàn)了它們總是陪著固定的一家公司一同招標(biāo)，最后總是那家公司中標(biāo)。圍標(biāo)、串標(biāo)、陪標(biāo)的秘密被大數(shù)據(jù)挖掘出來了?

數(shù)據(jù)蘊(yùn)含著無窮的價(jià)值，大數(shù)據(jù)就是“鉆石礦”，但必須善于挖掘。

關(guān)于大數(shù)據(jù)，只需要了解這幾點(diǎn)。

第一：什么是大數(shù)據(jù)

簡(jiǎn)而言之，大數(shù)據(jù)是指大數(shù)據(jù)集，這些數(shù)據(jù)集經(jīng)過計(jì)算分析可以用于揭示某個(gè)方面相關(guān)的模式和趨勢(shì)。數(shù)據(jù)量不在多，只要足以得出可靠的結(jié)論即可。

第二：如何獲取大數(shù)據(jù)

大數(shù)據(jù)無處不在，隨著時(shí)間的推移，一個(gè)簡(jiǎn)單的Google搜索就能夠找到幾乎所有的數(shù)據(jù)存儲(chǔ)庫。里面不知道有多少數(shù)據(jù)可用于訪問和分析。我現(xiàn)在這里提供一個(gè)可供學(xué)習(xí)的數(shù)據(jù)集列表：（https://www.kdnuggets.com/datasets/index.html）

第三：用這些數(shù)據(jù)做什么

數(shù)據(jù)采集、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)清洗、數(shù)據(jù)分析、數(shù)據(jù)可視化

1.數(shù)據(jù)采集

在發(fā)生任何事情之前，需要一些數(shù)據(jù)。這可以通過多種方式獲得，通常通過對(duì)公司W(wǎng)eb服務(wù)的API調(diào)用。尤其是我們?cè)诠ぷ髦杏龅降臄?shù)據(jù)很多都是來自系統(tǒng)內(nèi)的數(shù)據(jù)，來自數(shù)據(jù)庫的數(shù)據(jù)來自日志的數(shù)據(jù)。

數(shù)據(jù)采集常用的手段有：SQL／Python，其中SQL是數(shù)據(jù)分析的必備技能，Python是加分項(xiàng)。

2.數(shù)據(jù)存儲(chǔ)

大數(shù)據(jù)的主要難點(diǎn)在于如何管理數(shù)據(jù)的存儲(chǔ)。這完全取決于負(fù)責(zé)建立數(shù)據(jù)存儲(chǔ)的預(yù)算和個(gè)人具備的專業(yè)知識(shí)，因?yàn)榇蠖鄶?shù)需要一些編程知識(shí)來實(shí)施，一個(gè)良好的數(shù)據(jù)庫能讓我們直接地存儲(chǔ)和查詢數(shù)據(jù)。

3.數(shù)據(jù)清理

采集來的數(shù)據(jù)一般是不規(guī)整的，字段缺失或者有錯(cuò)誤是常有的事情，如果我們不對(duì)這些數(shù)據(jù)進(jìn)行清洗，分析出的結(jié)果就會(huì)出現(xiàn)各種異常。在數(shù)據(jù)清洗這一塊就需要用到一些簡(jiǎn)單的統(tǒng)計(jì)學(xué)基礎(chǔ)。

4.數(shù)據(jù)挖掘

數(shù)據(jù)挖掘是發(fā)現(xiàn)數(shù)據(jù)庫內(nèi)的見解的過程。這樣做是為了能用掌握的數(shù)據(jù)提供預(yù)測(cè)和做出一些正確的決定，這部分往往涉及一些算法，也是最困難的部分。

5.數(shù)據(jù)分析

一旦收集完所有數(shù)據(jù)，就需要分析以尋找數(shù)據(jù)的模式和趨勢(shì)，發(fā)現(xiàn)一些不同尋常的地方，比如異常點(diǎn)或增長點(diǎn)、下降點(diǎn)。

6.數(shù)據(jù)可視化

也許最重要的是數(shù)據(jù)的可視化。這是先完成所有工作并輸出理想情況下任何人都能理解的可視化的部分。最常使用某種編程語言（如Plot.ly、d3.js）或軟件（Tableau）來完成。

第四：就業(yè)前景

就根據(jù)教育部近日公布的2017年度高校本科專業(yè)備案和審批結(jié)果顯示，新增2311個(gè)專業(yè)中，“數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)”、“機(jī)器人工程”等專業(yè)熱度最高。大數(shù)據(jù)和人工智能一定是未來有美好前景的專業(yè)。從谷歌搜索熱度看，自2010年左右熱度只增不減。

歡迎各位或者各位的孩子們加入數(shù)據(jù)分析師的隊(duì)伍！

這里從大數(shù)據(jù)和AI人工智能關(guān)系層面做個(gè)簡(jiǎn)單的分享！

大數(shù)據(jù)：人工智能背后的基石

大數(shù)據(jù)是人工智能的基石，目前的深度學(xué)習(xí)主要是建立在大數(shù)據(jù)的基礎(chǔ)上，即對(duì)大數(shù)據(jù)進(jìn)行訓(xùn)練，并從中歸納出可以被計(jì)算機(jī)運(yùn)用在類似數(shù)據(jù)上的知識(shí)或規(guī)律。

簡(jiǎn)單而言何為大數(shù)據(jù)？

雖然很多人將其定義為“大數(shù)據(jù)就是大規(guī)模的數(shù)據(jù)”。

但是，這個(gè)說法并不準(zhǔn)確！

“大規(guī)模”只是指數(shù)據(jù)的量而言。

數(shù)據(jù)量大，并不代表著數(shù)據(jù)一定有可以被深度學(xué)習(xí)算法利用的價(jià)值。

例如：地球繞太陽運(yùn)轉(zhuǎn)的過程中，每一秒鐘記錄一次地球相對(duì)太陽的運(yùn)動(dòng)速度、位置，可以得到大量數(shù)據(jù)。可如果只有這樣的數(shù)據(jù)，其實(shí)并沒有太多可以挖掘的價(jià)值！

大數(shù)據(jù)這里我們參閱馬丁·希爾伯特的總結(jié)，今天我們常說的大數(shù)據(jù)其實(shí)是在2000年后，因?yàn)樾畔⒔粨Q、信息存儲(chǔ)、信息處理三個(gè)方面能力的大幅增長而產(chǎn)生的數(shù)據(jù)：

信息交換：據(jù)估算，從1986年到2007年這20年間，地球上每天可以通過既有信息通道交換的信息數(shù)量增長了約217倍，這些信息的數(shù)字化程度，則從1986年的約20%增長到2007年的約99.9%。在數(shù)字化信息爆炸式增長的過程里，每個(gè)參與信息交換的節(jié)點(diǎn)都可以在短時(shí)間內(nèi)接收并存儲(chǔ)大量數(shù)據(jù)。

信息存儲(chǔ)：全球信息存儲(chǔ)能力大約每3年翻一番。從1986年到2007年這20年間，全球信息存儲(chǔ)能力增加了約120倍，所存儲(chǔ)信息的數(shù)字化程度也從1986年的約1%增長到2007年的約94%。1986年時(shí)，即便用上我們所有的信息載體、存儲(chǔ)手段，我們也不過能存儲(chǔ)全世界所交換信息的大約1%，而2007年這個(gè)數(shù)字已經(jīng)增長到大約16%。信息存儲(chǔ)能力的增加為我們利用大數(shù)據(jù)提供了近乎無限的想象空間。

信息處理：有了海量的信息獲取能力和信息存儲(chǔ)能力，我們也必須有對(duì)這些信息進(jìn)行整理、加工和分析的能力。谷歌、Facebook等公司在數(shù)據(jù)量逐漸增大的同時(shí)，也相應(yīng)建立了靈活、強(qiáng)大的分布式數(shù)據(jù)處理集群。

大數(shù)據(jù)在應(yīng)用層面：大數(shù)據(jù)往往可以取代傳統(tǒng)意義上的抽樣調(diào)查、大數(shù)據(jù)都可以實(shí)時(shí)獲取、大數(shù)據(jù)往往混合了來自多個(gè)數(shù)據(jù)源的多維度信息、大數(shù)據(jù)的價(jià)值在于數(shù)據(jù)分析以及分析基礎(chǔ)上的數(shù)據(jù)挖掘和智能決策。

美國《大西洋月刊》公布的一段A.I.聊天記錄截圖

延伸閱讀：聊天機(jī)器人竟自創(chuàng)語言“對(duì)話” 臉書將其緊急關(guān)停

實(shí)際上人工智能的發(fā)展，離不開海量數(shù)據(jù)進(jìn)行訓(xùn)練，究其根本大數(shù)據(jù)的循環(huán)往復(fù)無數(shù)次的訓(xùn)練和深度學(xué)習(xí)才有了人工+智能！

實(shí)際上人工智能、大數(shù)據(jù)、物聯(lián)網(wǎng)以及云計(jì)算，彼此之間皆存在著千絲萬縷的“親緣”關(guān)系！！！

大數(shù)據(jù)是我的主要研究方向之一，同時(shí)也在帶大數(shù)據(jù)方向的研究生，所以我來回答一下這個(gè)問題。

首先，大數(shù)據(jù)技術(shù)是一系列圍繞數(shù)據(jù)價(jià)值化的技術(shù)總稱，包括數(shù)據(jù)采集技術(shù)、數(shù)據(jù)存儲(chǔ)技術(shù)、數(shù)據(jù)分析技術(shù)、數(shù)據(jù)呈現(xiàn)技術(shù)以及數(shù)據(jù)應(yīng)用技術(shù)等，其中大數(shù)據(jù)技術(shù)與物聯(lián)網(wǎng)技術(shù)、云計(jì)算技術(shù)、邊緣計(jì)算技術(shù)和人工智能技術(shù)有緊密的聯(lián)系。

按照目前大數(shù)據(jù)產(chǎn)業(yè)鏈的分布來說，大數(shù)據(jù)技術(shù)是從數(shù)據(jù)采集技術(shù)開始的，目前主要的數(shù)據(jù)采集渠道包括物聯(lián)網(wǎng)系統(tǒng)（占比百分之90以上）、Web系統(tǒng)（含App）和傳統(tǒng)信息系統(tǒng)，比較常見的數(shù)據(jù)采集方式就是通常“爬蟲”等方式來實(shí)現(xiàn)，另外涉及到數(shù)據(jù)清洗技術(shù)，重點(diǎn)在于Sql語言的學(xué)習(xí)和掌握。

數(shù)據(jù)分析是目前大數(shù)據(jù)技術(shù)的重點(diǎn)，數(shù)據(jù)分析技術(shù)有兩種常見的方式，分別是機(jī)器學(xué)習(xí)方式和統(tǒng)計(jì)學(xué)方式，不論采用哪種方式都需要具備一定的數(shù)學(xué)基礎(chǔ)和編程基礎(chǔ)。以機(jī)器學(xué)習(xí)方式為例，首先要掌握常見的機(jī)器學(xué)習(xí)算法，包括決策樹、k-mean、SVM、Apriori、EM、PageRank、kNN、樸素貝葉斯等，接下來需要通過編程語言完成算法實(shí)現(xiàn)，目前Python語言在機(jī)器學(xué)習(xí)領(lǐng)域有廣泛的使用。

通過Python語言來進(jìn)行數(shù)據(jù)分析需要掌握一些比較常見的庫，包括Numpy、Scipy、Matplotlib（用于結(jié)果呈現(xiàn)）、pandas等。Python語言借助于大量的庫能夠?yàn)閿?shù)據(jù)分析人員節(jié)省大量的時(shí)間，而且調(diào)整起來也比較方便。目前大數(shù)據(jù)比較常見的落地應(yīng)用就是數(shù)據(jù)分析，尤其是結(jié)合具體行業(yè)的場(chǎng)景大數(shù)據(jù)分析。

在產(chǎn)業(yè)互聯(lián)網(wǎng)領(lǐng)域，由于企業(yè)的數(shù)據(jù)具有高度的機(jī)密性，所以通常對(duì)于數(shù)據(jù)的應(yīng)用邊界有嚴(yán)格的要求，此時(shí)就需要采用云計(jì)算和邊緣計(jì)算相結(jié)合的數(shù)據(jù)處理方式，讓數(shù)據(jù)在網(wǎng)絡(luò)邊緣進(jìn)行處理，把結(jié)果返回到云端。

隨著大數(shù)據(jù)技術(shù)和5G網(wǎng)絡(luò)的逐漸落地應(yīng)用，大數(shù)據(jù)技術(shù)也將被賦予更多的含義，相信未來大數(shù)據(jù)技術(shù)體系會(huì)越來越龐大，相關(guān)的研究方向也會(huì)越來越多。

我從事互聯(lián)網(wǎng)行業(yè)多年，目前也在帶計(jì)算機(jī)專業(yè)的研究生，主要的研究方向集中在大數(shù)據(jù)和人工智能領(lǐng)域，我會(huì)陸續(xù)寫一些關(guān)于互聯(lián)網(wǎng)技術(shù)方面的文章，感興趣的朋友可以關(guān)注我，相信一定會(huì)有所收獲。

如果有互聯(lián)網(wǎng)方面的問題，或者考研方面的問題，都可以咨詢我，謝謝！

由于互聯(lián)網(wǎng)的存在大數(shù)據(jù)收集才成為可能！所謂大數(shù)據(jù)就是從海量的互聯(lián)網(wǎng)信息中通過運(yùn)用統(tǒng)計(jì)學(xué)、概率論的原理，去偽存真得出有用信息經(jīng)過云計(jì)算成為指導(dǎo)有關(guān)部門的決策依據(jù)！當(dāng)然必須分門別類的收集大數(shù)據(jù)，政治、軍事、經(jīng)濟(jì)、文化、社會(huì)、各行各業(yè)等等均有所側(cè)重！具體如何實(shí)現(xiàn)請(qǐng)問這方面的專家學(xué)者！

1989年，當(dāng)萬維網(wǎng)出現(xiàn)之后，給我們帶來了第四次傳播革命，互聯(lián)網(wǎng)以其海量的空間、互動(dòng)的方式，使得信息數(shù)量急劇增加，根據(jù)ZDNET的數(shù)據(jù)顯示，2013 年中國產(chǎn)生的數(shù)據(jù)總量超過0.8ZB，2 倍于2012 年，相當(dāng)于2009 年全球的數(shù)據(jù)總量，而預(yù)計(jì)到2020年，中國產(chǎn)生的數(shù)據(jù)總量將達(dá)到16ZB。尤其在“摩爾定律”使得存儲(chǔ)能力極速提升、社交媒體的出現(xiàn)使得生產(chǎn)數(shù)據(jù)的能力高速發(fā)展、新數(shù)據(jù)挖掘技術(shù)使得數(shù)據(jù)分析能力大大擴(kuò)展三大動(dòng)力的推動(dòng)下，全世界進(jìn)入了大數(shù)據(jù)時(shí)代，2013年也被稱為大數(shù)據(jù)元年，意味著大數(shù)據(jù)開始進(jìn)入商用階段。在大數(shù)據(jù)時(shí)代，DT+將成為大勢(shì)所趨。

大數(shù)據(jù)及其本質(zhì)特征

大數(shù)據(jù)是指以服務(wù)于決策為目的，需要新型數(shù)據(jù)處理模式才能對(duì)其內(nèi)容進(jìn)行采集、存儲(chǔ)、管理和分析的海量、高增長率和多樣化的信息資本。

大數(shù)據(jù)具有如下本質(zhì)特征：一是根本目的是服務(wù)于決策，大數(shù)據(jù)能夠幫助各類組織和個(gè)人大幅度提升決策能力，做出更好的決策和判斷；二是量度大，大數(shù)據(jù)通常是指100T以上的數(shù)據(jù)量，這難以依靠傳統(tǒng)的計(jì)算手段有效計(jì)算，而必須依靠新的計(jì)算手段和數(shù)據(jù)挖掘工具；三是頻率高，大數(shù)據(jù)是用戶參與與互動(dòng)而產(chǎn)生的數(shù)據(jù)，根據(jù)用戶的網(wǎng)絡(luò)痕跡來及時(shí)地了解用戶的相關(guān)數(shù)據(jù)，這種數(shù)據(jù)是按照天甚至小時(shí)來計(jì)的高頻數(shù)據(jù)。而傳統(tǒng)的數(shù)據(jù)頻率都很低，很多數(shù)據(jù)是按照月甚至按照年份來計(jì)算的；四是速度快，大數(shù)據(jù)是實(shí)時(shí)性的數(shù)據(jù)，能夠?qū)崟r(shí)反應(yīng)。例如，在百度搜索框輸入一個(gè)關(guān)鍵詞，能夠瞬間呈現(xiàn)，而傳統(tǒng)的數(shù)據(jù)收集方式則是嚴(yán)重滯后的；五是維度豐富多樣，大數(shù)據(jù)是全樣本數(shù)據(jù)、多維度數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)，既包括普通的結(jié)構(gòu)化數(shù)據(jù)，又包括視頻和音頻等非結(jié)構(gòu)化數(shù)據(jù)。正是因?yàn)榇髷?shù)據(jù)的維度多樣性，其也更為復(fù)雜。六是永遠(yuǎn)在線。在線是大數(shù)據(jù)的前提條件，從這個(gè)角度來說，大數(shù)據(jù)是永遠(yuǎn)在線的，能夠隨時(shí)被調(diào)用的。大數(shù)據(jù)通過分析各種網(wǎng)絡(luò)終端上的用戶痕跡，能夠更好地分析用戶的行為、情感、思想、愛好與需求，來更好地進(jìn)行決策和分析。七是本質(zhì)是信息資本。大數(shù)據(jù)是能夠?yàn)檎推髽I(yè)帶來未來經(jīng)濟(jì)利益的信息資源，其本質(zhì)是信息資產(chǎn)，而且隨著大數(shù)據(jù)的應(yīng)用越來越廣，其價(jià)值會(huì)越來越大。因此，不應(yīng)該僅僅把大數(shù)據(jù)看成成本，而把其看成和土地、資本、人才等一樣的新生產(chǎn)要素。

政府?dāng)?shù)據(jù)公開是大數(shù)據(jù)發(fā)展的保障

大數(shù)據(jù)的重要組成部分是政府?dāng)?shù)據(jù)，因此政府?dāng)?shù)據(jù)公開的程度和廣度將在很大程度上決定著大數(shù)據(jù)的發(fā)展水平。目前，美國等西方發(fā)達(dá)國家大力推進(jìn)數(shù)據(jù)開放運(yùn)動(dòng)，在數(shù)據(jù)公開程度上居于世界前列。2011年9月20日，美國、巴西、印度尼西亞、墨西哥、挪威、菲律賓、南非、英國等八個(gè)國家（G8）聯(lián)合簽署了《開放數(shù)據(jù)聲明》，在紐約發(fā)起“開放政府聯(lián)盟”（OGP），以向本國社會(huì)開放更多的信息。2013年6月，8國集團(tuán)首腦簽署了《開放數(shù)據(jù)憲章》，制定開放數(shù)據(jù)行動(dòng)方案，并設(shè)定了開放數(shù)據(jù)憲章的五大原則：開放數(shù)據(jù)為默認(rèn)；為激勵(lì)創(chuàng)新發(fā)布數(shù)據(jù)；為改善治理發(fā)布數(shù)據(jù)；注重?cái)?shù)量和質(zhì)量；讓所有人可用。尤其需要指出的是，其中最重要的一條就是“開放為默認(rèn)，不開放為特例”的原則，這就約束政府部門盡最大可能地公開所有數(shù)據(jù)，而反觀我國，由于政府?dāng)?shù)據(jù)開放的程度很低，各部門基于自身的利益，基本上采取的是“開放為特例，不開放為默認(rèn)”的原則，這也導(dǎo)致形成一個(gè)個(gè)的“信息孤島”。

2007年，國務(wù)院通過了《中華人民共和國政府信息公開條例》，國務(wù)院辦公廳印發(fā)的《2015年政府信息公開工作要點(diǎn)》更加明確地強(qiáng)調(diào)推進(jìn)行政權(quán)力清單、財(cái)政資金、公共服務(wù)、國有企業(yè)、環(huán)境保護(hù)等九大領(lǐng)域的信息公開工作。2015年8月19日，國務(wù)院總理李克強(qiáng)主持召開國務(wù)院常務(wù)會(huì)議，通過《關(guān)于促進(jìn)大數(shù)據(jù)發(fā)展的行動(dòng)綱要》。目前，我國的政府?dāng)?shù)據(jù)開放存在著五大挑戰(zhàn)：一是開放與安全，在實(shí)踐中，很多人以數(shù)據(jù)安全為由來反對(duì)數(shù)據(jù)開放，這是一種很片面的觀點(diǎn)；二是人才和文化，我國的數(shù)據(jù)人才在量和質(zhì)上都存在重大缺陷，而且也沒有形成“數(shù)據(jù)文化”；三是政策標(biāo)準(zhǔn)不統(tǒng)一；四是政策法規(guī)不健全。

我國在政府?dāng)?shù)據(jù)開放方面，我國存在三大主要問題：一是我國尚未建立起全國統(tǒng)一的大數(shù)據(jù)平臺(tái)，導(dǎo)致形成一個(gè)個(gè)的信息孤島，影響了政府?dāng)?shù)據(jù)開放的成效；二是我國的數(shù)據(jù)污染很嚴(yán)重，很多原始數(shù)據(jù)存在夸大或瞞報(bào)現(xiàn)象；三是一些地方?jīng)]有把大數(shù)據(jù)當(dāng)成政府公共服務(wù)的重要部分，而當(dāng)成盈利的資源。

大數(shù)據(jù)蘊(yùn)藏著新哲學(xué)思想和優(yōu)勢(shì)

首先，大數(shù)據(jù)拓展了新的哲學(xué)思想。大數(shù)據(jù)既能處理“因果關(guān)系”又能處理“相關(guān)關(guān)系”，即不僅能夠回答“為什么”又能回答“是什么”。在小數(shù)據(jù)時(shí)代，只能通過抽樣調(diào)查的方式來回答“為什么”。而大數(shù)據(jù)則能通過全樣本的方式來回答“是什么”，即發(fā)現(xiàn)相關(guān)關(guān)系，這能夠幫助我們更好地地認(rèn)識(shí)和了解世界。例如，沃爾瑪發(fā)現(xiàn)在尿布旁邊放上啤酒能夠提高啤酒的銷量，就把尿布和啤酒混搭銷售。毫無疑問，尿布和啤酒之間并無因果關(guān)系，而二者在一起就形成很好的相關(guān)關(guān)系。

其次，大數(shù)據(jù)分析具有顯著優(yōu)勢(shì)。一是大數(shù)據(jù)能夠?qū)崿F(xiàn)分析的高度智能化，既能實(shí)現(xiàn)信息收集和分析的智能化，又能實(shí)現(xiàn)數(shù)據(jù)與用戶需求的有效匹配；二是及時(shí)、迅速。大數(shù)據(jù)分析改變之前的市場(chǎng)調(diào)研和數(shù)據(jù)分析相對(duì)滯后的模式和方式，能夠及時(shí)、迅速地進(jìn)行分析。例如，傳統(tǒng)的市場(chǎng)調(diào)研一般耗時(shí)幾個(gè)月，而基于互聯(lián)網(wǎng)的大數(shù)據(jù)調(diào)研則只需要幾天就能得到調(diào)研結(jié)果；三是成本相對(duì)較低。由于可以大量使用技術(shù)手段，其成本相應(yīng)較低。一般來說，傳統(tǒng)的市場(chǎng)調(diào)研方式，每一份問卷都需要近百元，而互聯(lián)網(wǎng)調(diào)研一份問卷只需要4元左右。

大數(shù)據(jù)實(shí)施的三大關(guān)鍵點(diǎn)

首先，數(shù)據(jù)的可獲得度。目前在國內(nèi)，大數(shù)據(jù)的發(fā)展嚴(yán)重受制于政府信息的公開性不夠，很多數(shù)據(jù)難以獲得，導(dǎo)致難以實(shí)現(xiàn)真正的大數(shù)據(jù)挖掘和分析，這就要求政府及時(shí)開放更多的數(shù)據(jù)，以提高數(shù)據(jù)的可獲得度。

其次，進(jìn)行科學(xué)的模型建構(gòu)。模型的科學(xué)性直接決定著數(shù)據(jù)分析的質(zhì)量，這就要求有高超的建模水平，當(dāng)然數(shù)據(jù)量越多也有助于模型的合理構(gòu)建。

第三，利用專家對(duì)觀點(diǎn)進(jìn)行提煉。為決策提供依據(jù)的基于數(shù)據(jù)挖掘的獨(dú)到、高質(zhì)量的觀點(diǎn)，高度依賴于高質(zhì)量的數(shù)據(jù)解釋，這就體現(xiàn)了行業(yè)專家的價(jià)值。

在大數(shù)據(jù)時(shí)代，大數(shù)據(jù)已經(jīng)成為整個(gè)社會(huì)的底層架構(gòu)和標(biāo)配，其上的一切都必須按照大數(shù)據(jù)的要求進(jìn)行重構(gòu)，大數(shù)據(jù)在解決大問題方面尤為有效，目前在語音搜索、智慧城市建設(shè)、互聯(lián)網(wǎng)金融治理等方面取得了長足的進(jìn)展，未來更多的領(lǐng)域都必將被大數(shù)據(jù)所革命和重構(gòu)。

簡(jiǎn)單來說，大數(shù)據(jù)就是大量的信息，尤其指存在于互聯(lián)網(wǎng)和數(shù)字終端中的數(shù)字信息。大數(shù)據(jù)到底有多大?統(tǒng)計(jì)數(shù)據(jù)表明，在一天之中，互聯(lián)網(wǎng)產(chǎn)生的全部內(nèi)容可以刻滿1.68 億張DVD。IBM 公司的研究稱，在整個(gè)人類文明所獲得的全部數(shù)據(jù)中，有90% 是過去2 年內(nèi)產(chǎn)生的。而到了2020 年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44 倍。

大數(shù)據(jù) Big Data， 據(jù)說源出自Alvin Toffler，上世紀(jì)70年代的作品《第三次浪潮》。數(shù)據(jù)已經(jīng)被使用了十幾年了，比如它們總是被用于各種分析，所以為什么說是「大數(shù)據(jù)」呢？主要是因?yàn)槲覀儸F(xiàn)在可用數(shù)據(jù)的數(shù)據(jù)量（Volume）、處理速度（Velocity）以及數(shù)據(jù)種類（Variety），所以它具有如下三個(gè)特點(diǎn)：三個(gè)特點(diǎn)：大容量、高速度、多種類。數(shù)據(jù)并不新，只是比之前大得多。

當(dāng)然，大數(shù)據(jù)也有其缺陷。啪菠蘿·畢加索說，大數(shù)據(jù)就是多，就是多。原來的設(shè)備存不下、算不動(dòng)。Sch?nberger說，大數(shù)據(jù)，不是隨機(jī)樣本，而是所有數(shù)據(jù)；不是精確性，而是混雜性；不是因果關(guān)系，而是相關(guān)關(guān)系。

世界剛剛來到一場(chǎng)變革的起點(diǎn)，它將影響各行各業(yè)以及每個(gè)人生活。 不過，很多人仍將大數(shù)據(jù)視為一個(gè)可以忽略的事情。以下二十個(gè)事實(shí)相信會(huì)讓你對(duì)大數(shù)據(jù)的認(rèn)識(shí)更具體一些:

1.數(shù)據(jù)量正在爆炸，過去兩年生產(chǎn)的數(shù)據(jù)量比之前整個(gè)人類歷史生產(chǎn)的數(shù)據(jù)還要多。

2.數(shù)據(jù)正以更快的速度猛增，到2020年，每人每秒將會(huì)生產(chǎn)1.7兆字節(jié)新信息。

3.到那時(shí)，累積數(shù)字信息量會(huì)從今天的4.4澤字節(jié)增長到約44澤字節(jié)。

4．我們每秒都在生產(chǎn)新數(shù)據(jù)。比如，每秒進(jìn)行4萬次搜索查詢（僅谷歌），每天3.5次搜索，每年1.2萬億次搜索。

5.2015年8月，一天內(nèi)有超過10億人使用FB。

6.FB用戶平均每分鐘發(fā)送3125萬條信息，觀看277萬條視頻。

7.我們目睹了視頻與圖片數(shù)據(jù)量的巨增，僅每分鐘上傳至YouTube的視頻就達(dá)300小時(shí)。

8.2015年，人們將會(huì)拍攝一萬億張照片，在線分享數(shù)以億計(jì)的照片.到2017年，近80％的照片將由智能手機(jī)拍攝。

9.今年，14億多部智能手機(jī)將滿載能夠搜集各種數(shù)據(jù)的傳感器，更別提用戶自己生產(chǎn)的數(shù)據(jù)了。

10.到2020年，全球?qū)⒂谐^61億智能手機(jī)用戶（超基本固話用戶）。

11.五年內(nèi)，世界將有超過500億個(gè)智能連接設(shè)備，都被設(shè)計(jì)用來搜集、分析和分享數(shù)據(jù)。

12.到2020年，至少三分之一的數(shù)據(jù)將通過云端傳輸。

13.分布式計(jì)算機(jī)（使用云端的計(jì)算機(jī)網(wǎng)絡(luò)來執(zhí)行計(jì)算任務(wù)）非常真實(shí)。谷歌每天使用它，約有1千臺(tái)計(jì)算機(jī)來回答單個(gè)搜索查詢，耗時(shí)不超過0.2秒。

14.預(yù)測(cè)Hadoop（分布式計(jì)算機(jī)開源軟件）市場(chǎng)將以復(fù)合年增長率58％增長。

15.估計(jì)顯示，通過更好地吸收大數(shù)據(jù)，醫(yī)療保健每年能節(jié)約3千億美元，相當(dāng)于毎年削減1千美元的人均成本（男人、女人和小孩）。 16.白宮在大數(shù)據(jù)項(xiàng)目上的投入已超2億美元。

17. 對(duì)一家典型的《財(cái)富》一千強(qiáng)公司來說，數(shù)據(jù)存取可能性增加10％，就會(huì)帶來超過6500萬美元的額外凈收入。

18.充分開發(fā)大數(shù)據(jù)的零售商能將營業(yè)毛利提高60％。

19. 到2016年，73％的組織巳經(jīng)投資或計(jì)劃投資大數(shù)據(jù)。

20.我最喜歡的事實(shí)之一：現(xiàn)在，得到分析使用的數(shù)據(jù)還不到總量的0.5%，試想一下這里的潛力。

大數(shù)據(jù)，是當(dāng)今公眾津津樂道的一個(gè)熱詞，人們紛紛在探討大數(shù)據(jù)所帶來的科技進(jìn)步及所蘊(yùn)含的巨大價(jià)值，甚至有人把大數(shù)據(jù)形容為未來世界的石油，更有人宣稱掌握了大數(shù)據(jù)的人，就可以像上帝一樣來俯瞰整個(gè)世界。《大數(shù)據(jù)》一書的作者維克托認(rèn)為，2020年世界將進(jìn)入大數(shù)據(jù)時(shí)代。那么，到底什么是大數(shù)據(jù)？它將帶給相關(guān)產(chǎn)業(yè)、特別是普通公眾什么樣的影響？

世界是一部戰(zhàn)爭(zhēng)史、貨幣史、金融史，同時(shí)世界也是一部信息史。數(shù)據(jù)或者信息技術(shù)的每一次革命都必然會(huì)迎來人類的一次革命性變化。

國家圖書館的藏書量有2600萬冊(cè)，如果從數(shù)據(jù)來看的話，一個(gè)家庭一年產(chǎn)生的數(shù)據(jù)相當(dāng)于半個(gè)國家圖書館的數(shù)據(jù)總量。當(dāng)一個(gè)時(shí)代的人沒有辦法用那個(gè)時(shí)代的工具來處理的數(shù)據(jù)就可以稱為大數(shù)據(jù)。而大數(shù)據(jù)并非現(xiàn)在才出現(xiàn)，現(xiàn)在的大數(shù)據(jù)是現(xiàn)代人用現(xiàn)代工具處理不了的數(shù)據(jù)。其實(shí)古人也會(huì)遇到同樣的問題，比如人口普查，中國在東漢時(shí)期就有幾千萬人，這顯然是大數(shù)據(jù)。

在談到大數(shù)據(jù)的時(shí)候，人們往往知道的就是數(shù)據(jù)很大，但是它具體有什么特征呢？大數(shù)據(jù)的特征應(yīng)該有以下幾個(gè)方面（4V）。首先是量特別大（Volume），現(xiàn)在的數(shù)據(jù)計(jì)算單位，已經(jīng)從GB到達(dá)了TB、PB，甚至是EB了；其次是多樣性（Variety），絕大多數(shù)大數(shù)據(jù)是非結(jié)構(gòu)性的，其種類十分復(fù)雜，我們現(xiàn)在的技術(shù)手段還沒法對(duì)此進(jìn)行處理；再次是速度（Velocity），數(shù)據(jù)產(chǎn)生和傳送的頻率非常快；最后是價(jià)值（Value），從大量的低質(zhì)量、低價(jià)值的數(shù)據(jù)中獲取知識(shí)，猶如從大海中撈針，獲取數(shù)據(jù)成本很高，但有待挖掘價(jià)值大。

大數(shù)據(jù)給企業(yè)和商業(yè)帶來了巨大的價(jià)值，比如在互聯(lián)網(wǎng)金融領(lǐng)域降低了不良貸款率，減少了交易成本。谷歌利用大數(shù)據(jù)預(yù)測(cè)季節(jié)性流感的爆發(fā)和傳播。AT&T將用戶在WiFi網(wǎng)絡(luò)中的地理位置、網(wǎng)絡(luò)瀏覽歷史記錄以及使用的應(yīng)用等數(shù)據(jù)銷售給廣告客戶。當(dāng)用戶距離商家很近時(shí)，就有可能收到該商家提供的折扣很大的電子優(yōu)惠券，等等。

我們現(xiàn)在所說的大數(shù)據(jù)革命發(fā)生在2008年之后，所謂大數(shù)據(jù)革命是指我們需要更多的是數(shù)據(jù)，用數(shù)據(jù)來描述一個(gè)世界。從本質(zhì)上來說，科學(xué)實(shí)際是不斷將自然界或者人體量化，用數(shù)據(jù)來描述世界的過程。比如早期有人口遷徙的大數(shù)據(jù)，后來有用數(shù)據(jù)表示的長度、重量、體積、面積，用數(shù)據(jù)表示的時(shí)間、空間、顏色，還有電流、電壓、聲音、圖像的數(shù)據(jù)化，再到今天基因數(shù)據(jù)化研究、物理學(xué)、量子力學(xué)、以及其他數(shù)據(jù)的研究。2013年的化學(xué)諾貝爾獎(jiǎng)獲得主實(shí)際上做的是大數(shù)據(jù)者的分析，用計(jì)算機(jī)的數(shù)學(xué)模型，壓縮海量化學(xué)反應(yīng)的數(shù)據(jù)，從而準(zhǔn)確的用數(shù)據(jù)或者大數(shù)據(jù)方式描述醫(yī)學(xué)或者遺傳學(xué)。

在大數(shù)據(jù)時(shí)代我們?nèi)绾伪Ｗo(hù)自己的隱私呢？專家們也給出了一些具體的建議：首先，國家相關(guān)的法律也對(duì)個(gè)人隱私的保護(hù)問題進(jìn)行了相應(yīng)的規(guī)定和約束，2013年1月份全國人大通過了關(guān)于個(gè)人用戶隱私保護(hù)的決定，同時(shí)工信部根據(jù)全國人大的決定，出臺(tái)了關(guān)于互聯(lián)網(wǎng)和電信網(wǎng)個(gè)人信息保護(hù)的條例以保護(hù)用戶的隱私，這些都對(duì)個(gè)人隱私的保護(hù)具有一定的作用。其次，企業(yè)要履行自己的社會(huì)責(zé)任，通過特定的技術(shù)手段對(duì)用戶信息進(jìn)行不可逆的處理。一旦發(fā)生用戶信息外泄，企業(yè)要承擔(dān)相應(yīng)的責(zé)任。最后，用戶也需要注意保護(hù)自己的隱私。一些信息泄露事件的出現(xiàn)，也與廣大用戶本身對(duì)個(gè)人信息的保護(hù)意識(shí)不足有一定關(guān)系。所以，在大數(shù)據(jù)時(shí)代，迫切需要向用戶開展加強(qiáng)自身信息保護(hù)意識(shí)的教育，也就是安全上網(wǎng)的知識(shí)普及和教育。