我剛剛從校門口走進(jìn)來，剛剛好趕上，其實(shí)大數(shù)據(jù)我不是專家，但是最近也一直在研究，研究下來我發(fā)現(xiàn)什么問題呢？我發(fā)現(xiàn)大數(shù)據(jù)和哈姆雷特一樣，一萬個人有一萬個哈姆雷特，一百萬個人就有一百萬個大數(shù)據(jù)，最近這半年以來，在無數(shù)場合聽到無數(shù)人講大數(shù)據(jù)，其實(shí)我覺得錯了，因?yàn)樗麄冎v的我都不認(rèn)同，但是人是會被改變的，我就被改變了，今天想和大家聊聊這個話題，各位聽了一天的演講，我想聊聊這個話題: 數(shù)據(jù)大、數(shù)據(jù)統(tǒng)計和大數(shù)據(jù)。
第一個問題，到底什么是大數(shù)據(jù)。我不知道前面的演講嘉賓有沒有回答過這個問題，我是回答不了，因?yàn)槲铱吹搅藷o數(shù)的版本介紹，什么是大數(shù)據(jù)，這個問題我回避不了，總歸要談，我們談?wù)勈裁?，我只能談?wù)勱懤桌斫獾氖裁词谴髷?shù)據(jù)，在這之前我們聽聽別人怎么說，我找到三個定義。第一個定義，大數(shù)據(jù)是來自大數(shù)據(jù)時代這本書的，我就不讀了，講的很高大上，無法在一時間用常規(guī)軟件工具進(jìn)行捕捉管理和處理的數(shù)據(jù)集合，一看就是搞IT的人寫的，IT產(chǎn)業(yè)界經(jīng)常搞一些花樣，越復(fù)雜越好，越復(fù)雜越能賣錢，當(dāng)年我們也是這樣干的，最早說數(shù)據(jù)庫，后來數(shù)據(jù)庫不行了，之后我們出現(xiàn)了數(shù)據(jù)倉庫，出現(xiàn)了大數(shù)據(jù)，概念往往是業(yè)界炒出來的，從概念上透過現(xiàn)象看本質(zhì)，后臺到底是什么，一路走來，為什么會出現(xiàn)大數(shù)據(jù)這個事兒。我們另外了看到了Gartner，Gartner曲線是我們IT界、科技界一個很好的東西，Gartner的模式是大數(shù)據(jù)是需要新處理模式才能希望具有更高的決策力。麥肯錫說大數(shù)據(jù)是一種規(guī)模大到在獲取、存儲、管理分析方面大大超出了傳統(tǒng)數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合，具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)及多樣的數(shù)據(jù)類型和價值密度低四大特征。
我有自己的觀點(diǎn)，我想用幾個案例來說明，第一個案例，死亡紅點(diǎn)和英國撤軍。很簡單在伊拉克戰(zhàn)爭的時候，軍方和官方的記錄記錄了所有的死亡事件的人數(shù)和地點(diǎn)，有大量的數(shù)據(jù)，首先是大量數(shù)據(jù)，然后維基解密放出來了，有人就做了一張地圖，數(shù)字是文字，我們圖像化可標(biāo)識化，于是出現(xiàn)了紅點(diǎn)地圖，把鼠標(biāo)移到紅點(diǎn)上就會告訴你這個地方出過什么事，死過多少人，大家一看觸目驚心，原來死了這么多人，于是據(jù)說這張地圖促成了英國退出伊拉克戰(zhàn)爭，我要問大家的問題是，這些數(shù)據(jù)難道原來不存在嗎？這些數(shù)據(jù)原來就是存在的，但是我們做了一件什么事情，這張地圖把數(shù)據(jù)圖像化，也就是把復(fù)雜的事物變成一個動態(tài)的誰都能看得懂的圖片，你說它是大數(shù)據(jù)，原來我是堅(jiān)決不承認(rèn)的，今天我變更一下我的觀點(diǎn)，我認(rèn)同這是廣義大數(shù)據(jù)，以后你們聽到類似的案例，唯一的特點(diǎn)就是數(shù)據(jù)足夠大，大數(shù)據(jù)基本條件首先要數(shù)據(jù)大，沒有數(shù)據(jù)大，談不上大數(shù)據(jù)，然而有了數(shù)據(jù)大就是大數(shù)據(jù)嗎？我不認(rèn)同。我們稱之為廣義大數(shù)據(jù)，就是一個數(shù)據(jù)大，加上數(shù)據(jù)圖形化。
第二個案例，林彪活捉廖耀湘，我們看過一部電影，描寫淮海戰(zhàn)役，當(dāng)時有一個地方叫做胡家窩棚，有一支部隊(duì)打到那里，打完以后寫報告，報告報到總部，林彪看到報告，為什么這里繳獲的長槍和短槍比其他地方多，為什么在那里俘虜和擊斃的軍官和士兵的比例比其他地方高，問完了幾個為什么，領(lǐng)導(dǎo)就是厲害，提完了問題自己回答，他說我明白了，這里就是他們的指揮部，于是要求部隊(duì)全面向這個地方包圍，提出要活捉廖耀湘。第一數(shù)據(jù)大，第二林彪的大腦對數(shù)據(jù)進(jìn)行了檢索進(jìn)行了統(tǒng)計，統(tǒng)計出來發(fā)現(xiàn)，這個案例在統(tǒng)計范圍之外，就拿出來了對此進(jìn)行了邏輯判斷，這是數(shù)據(jù)統(tǒng)計，為什么林彪同志親自編了順口溜，因?yàn)楫?dāng)時部隊(duì)的文化素質(zhì)不高，不編順口溜記不住，一編順口溜就記住了，所有人按照這個特征尋找這個人這是數(shù)據(jù)分析，把數(shù)據(jù)特征下發(fā)給每個戰(zhàn)士，每個戰(zhàn)士幫他們做數(shù)據(jù)檢索，然后活捉廖耀湘。這是我們經(jīng)?？吹降陌咐镏v的第二類，我們用到了大數(shù)據(jù)技術(shù)，在我看來，那不是大數(shù)據(jù)技術(shù)，那是大量數(shù)據(jù)下的數(shù)據(jù)統(tǒng)計和分析技術(shù)。我們終于靠著大數(shù)據(jù)的概念，讓領(lǐng)導(dǎo)知道數(shù)據(jù)統(tǒng)計多么重要，這是一個很不容易的事情。
我今天轉(zhuǎn)變一下我的觀點(diǎn)，也是廣義大數(shù)據(jù)技術(shù)，原來我不認(rèn)為這叫大數(shù)據(jù)，今天我們認(rèn)為這是第二種類型的廣義大數(shù)據(jù)技術(shù)，我們在來看案例三。
這是一個經(jīng)典案例，到處被引用，有人說是假的，我們不管真假，我們來看看，沃爾瑪對消費(fèi)者購物行為分析的時候，男性用戶購買嬰兒尿布的時候常常會帶幾瓶啤酒，各位知道為什么嗎？男人一般不愿去超市了，什么時候去超市呢？因?yàn)槔掀派撕⒆?，在家?guī)Ш⒆?，于是就自己去超市了，買了幾瓶啤酒，邊喝啤酒邊看球，沃爾瑪通過銷售數(shù)據(jù)的結(jié)果倒推了邏輯，大數(shù)據(jù)是根據(jù)邏輯推出結(jié)果的，還是根據(jù)結(jié)果倒推邏輯，很多人不明白這個道理，大數(shù)據(jù)到底通過結(jié)果還是根據(jù)邏輯來推出結(jié)果，還是結(jié)果倒出邏輯，我告訴大家這個案例告訴我們，是先有結(jié)果，是我們先發(fā)現(xiàn)為什么男人買尿布的時候還會購買啤酒，我們先發(fā)現(xiàn)了結(jié)果，倒過來發(fā)現(xiàn)這個邏輯，你看到一個夫婦結(jié)婚了，為什么這個女的愛上了這個男的，你以后才知道，倒過來推理才知道為什么會愛上他，這個項(xiàng)目這個案例開始有點(diǎn)大數(shù)據(jù)的味道了。然而在陸雷的觀點(diǎn)里面還不是狹義大數(shù)據(jù)，還屬于廣義大數(shù)據(jù)，為什么？因?yàn)榇蠹乙呀?jīng)知道邏輯了，一旦這個事情有了邏輯，那么我們就變成了在數(shù)據(jù)基礎(chǔ)和數(shù)據(jù)統(tǒng)計分析之后的邏輯推理，因果都知道了，那么就是邏輯推理了。
最后一個案例，這才是真正的大數(shù)據(jù)，叫做洗車和下雨，這是我的私人案例，為什么總是一洗車就下雨，我們經(jīng)常發(fā)現(xiàn)一洗車就下雨，不洗車不下雨，我個人稱之為洗車魔咒，我女兒都知道，她看到我車干干凈凈，明天就要帶雨傘。當(dāng)我們把這個規(guī)律統(tǒng)計為當(dāng)大部分人洗車，第二天下雨概念很大的時候，我們還要天氣預(yù)報干什么，我們只給去洗車店調(diào)查就行了，但是當(dāng)中的邏輯是什么，我不知道。我們不知道這當(dāng)中的邏輯，但是我根據(jù)結(jié)果，根本這么多人洗車第二天下雨的結(jié)果倒推出來洗車和下雨這兩件事情一定有聯(lián)系，什么聯(lián)系不知道不重要，大數(shù)據(jù)研究的不是過程，大數(shù)據(jù)不是研究邏輯的，大數(shù)據(jù)就是研究前面的因和后面的果。我們做大數(shù)據(jù)研究的人，只有天才才可以做狹義大數(shù)據(jù)研究，只有天才才能感受到品位和感受到兩個不相干的事件當(dāng)中可能存在的邏輯，然后先做假設(shè)，通過大量的數(shù)據(jù)進(jìn)行實(shí)證研究，看看有沒有關(guān)聯(lián)。所以當(dāng)我們不知道洗車和下雨有什么邏輯關(guān)系，大部分人洗車第二天下雨就成立了，這就是一個大數(shù)據(jù)研究，今天我告訴大家邏輯是什么，我要破除大數(shù)據(jù)，變成一個邏輯推理，真相只有一個，為什么我們一洗車就會下雨，我就問你，你什么時候會去洗車，是車臟了的時候才會去洗，為什么車臟，因?yàn)楹芫脹]下雨了，是不是這個道理，所以邏輯推演為因?yàn)楹芫脹]下雨了，所以第二天下雨的幾率就很大，所以就成立了。所以這又不是大數(shù)據(jù)了，變成了一個邏輯推理題，真正的大數(shù)據(jù)是為天才而設(shè)的，只有有非常品位的人，有數(shù)據(jù)敏感的人，為意外發(fā)現(xiàn)看起來這兩種看起來毫不相關(guān)的事情當(dāng)中存在的邏輯關(guān)系，然而他們要做的事情不是研究邏輯，而是關(guān)聯(lián)比例和關(guān)聯(lián)相關(guān)，這才是狹義大數(shù)據(jù)所研究的大數(shù)據(jù)。以上是我個人觀點(diǎn)，僅供參考，未必正確。百家爭鳴，有我一家。謝謝！
|
當(dāng)前位置：
友情鏈接
