新用戶登錄后自動創建賬號
登錄近幾年,大數據這個概念已經被炒的甚囂塵上。似乎大數據是一個無比高深的話題,碰巧,筆者在大學的研究方向就是和大數據相關的人工智能,而且也有很多朋友是在大型視頻網站團購網站等互聯網公司從事大數據相關工作,所以在這里就給大家介紹一下大數據的概念。當然,我們不會去解釋大數據相關技術(CF協同濾波,MapReduce,DeepLearning等等),畢竟讀者們不太可能會去自己編寫大數據的程序。我們只從應用角度,給大家講講大數據的概念以及應用方式。希望大家看完這一章后,可以知道,在自己的領域,可以怎樣用大數據的理念和方法,來提高效率。
大數據是什么?
雖然大數據聽著是一個很高科技的詞兒,其實它早就滲透到你我的生活中,比如,你每天在網上看視頻時,視頻網站推薦給你的視頻就是基于大數據。當你在淘寶購物時,網頁邊欄推薦給你的也是基于大數據。要說明白大數據,首先我們要從一個大家都熟悉的簡單概念說起,那就是:數據分析。“數據分析”是一個現代詞匯,但是利用數據分析的結果來指導行動,卻是古往今來一直都有的一個理念。網上有一段子:
林彪帶兵打仗的時候,有個特別的習慣,那就是每次戰斗結束后,都要用小本子記下所繳獲的武器種類、數量等數據,樂此不疲。大家對此都不以為意。有一天,在又一次遭遇戰后,士兵在給他念繳獲的武器數量時,他突然叫停,然后興奮地指出,這次遭遇戰很可能遇到的是敵人的指揮部隊。原因是,這次繳獲的小槍與大槍的比例高于普通的戰斗,小車與大車的比例以及軍官與士兵的比例也都高于平均,因此他得到了這個結論。在這個數據的指導下,部隊一鼓作氣,追擊逃脫的部隊,成功的把敵人的指揮官抓獲。
如果這個故事屬實,那么這個可能是筆者知道的最早的基于嚴謹的數據分析來指導行為的例子。進入現代以后,人們對數據的分析應用就更加頻繁。企業在做戰略規劃的時候要進行數據分析,公司在做營銷推廣方案時也要做數據分析。那么,“大數據”和前面說的“數據分析”之間有什么關系和區別呢?
從粗獷到細致
我們知道,數據分析需要有幾個步驟:采集、統計、分析,而數據的總量直接和采集相關。在互聯網興起之前,人們采集數據的方式無外乎是人為觀察和記錄,當然,后期也有利用傳感器來輔助記錄。但是,互聯網技術近幾年的發展,卻使得數據的采集水平記錄達到一個史無前例的高度。在互聯網時代之前,人們只能統計到一些基礎的用戶信息:年齡,住址,電話,婚姻狀況等。到了互聯網時代,我們可以收集到一個用戶手機上裝有什么應用,喜歡上什么網站,購物記錄,在某個頁面上停留了多久,鼠標在頁面什么位置點擊。而移動互聯網時代的來臨,使得更多動態數據可以被采集,比如用戶的 睡眠時間、運動量、位置、在商場內的移動路線、打車次數、心率等等信息。這些數據最終匯聚在一起,形成了一個非常龐大的數據庫。
以林彪帶兵打仗為例,假設他的小本子有500頁,每頁上記滿1000個字,正反兩面都寫,那么總的數據量也就約=2M。這個和互聯網時代動輒上T上P的數據量比,基本上是小巫見大巫。(1P約=1000T,1T約=1000G,1G約=1000M,一個大型視頻網站1秒鐘就能產生幾百M的用戶數據)。這些數據海量數據的集中,就形成了“大數據”的最重要的一個特征:多維度的、細致的、海量的數據。
注:“海量”并不是大數據的必要條件,它更多是因為數據的維度多,粒度細,而導致的數據量的增大。
從統計到預測
得益于先進的機器學習算法,使得我們對大數據的使用,從統計一個數據結果,到利用結果和特性來推斷一個人可能進行的行為。
《BigData》一書中提到一個很有意思的例子:一個父親突然收到一個百貨公司發給他的關于嬰兒用品的傳單,這個父親非常憤怒,因為他的女兒才只有16歲?但是,過了幾天后,他卻上門道歉,因為,經過和他女兒細聊,發現他的女兒確實懷孕了。
那么,百貨公司是如何預測一個人的行為呢?像上文所說,通過互聯網,我們可以采集到大量用戶的種種信息,包括固定的屬性,和一些已有的行為;比如最近買了什么。經過對采集到的數據分析,發現購買嬰兒用品的人有如下特征:年齡范圍在14~40、買嬰兒用品前幾個月購買大量酸味食品,等等等等。那么,得到這個結論后,再來一個有類似特點的顧客,百貨公司就可以猜測,她可能在未來一段時期內,對嬰兒用品感興趣。于是便向其發送對應的廣告。
再比如,智能推薦廣告:視頻網站經過統計發現,點擊了啤酒廣告的人,有如下特點:看體育類戰爭類視頻較多,看韓劇較少。那么很顯然,下次再有啤酒廣告時,把它們投給這樣的用戶就更有效一些。
注:上面舉的這兩個例子,只是為了形象的說明大數據預測是怎樣運作的。在實際應用中,大數據分析引擎要分析的屬性比這個細致的多,使用到的算法也比這個復雜的多,而且得到的很多結論,往往是沒有直觀的物理意義的一個組合概率模型。
從慢到快
上述兩個特點基本上已經把大數據的形態給刻畫了出來,但是,要到實際中應用,還需要再加一個特點:速度夠快。
數據收集起來之后,要使用的話,就離不開計算。當數據的量級在幾個M時,可能一個計算器就能滿足統計需求。當數據量達到幾個G時,就必須使用一臺計算機來計算。而當有幾個T幾個P的數據擺在你面前時,一臺計算機恐怕已經難以勝任,很幸運的是,我們有了云計算的概念。也就是說,將一個計算任務,分配給”云端“的好多臺計算機同時進行處理,從而達到對處理時間的苛刻要求。
云計算技術的發展,使得在大尺度上計算海量數據成為可能。如果沒有足夠快的處理速度,我們收集起來的用戶消費數據,算了半年才出一個結果,那估計用戶的消費習慣、社會時尚已經是時過境遷。除了處理速度快,還有一個因素也要快,那就是信息采集反饋的速度。比如,用戶電話打進來的瞬間,我們是否立刻收集到該用戶相關信息,然后給出用戶可能的問題預測?產品投放出去后,我們是否可以很快收集到銷量信息以及對應的用戶數據?這一切,都決定了我們是否可以有效地將大數據的統計結果應用到商業活動中,最終使大數據從理論的圣壇上走下來,產生了實際的商業價值。綜上所述,大數據并不是玄乎其玄的東西,它只是在幾種現代技術的推動下,將數據分析做到了極致的結果。
大數據的應用場景
大數據誕生以來,在各個領域都有非常多的應用,比如改善航線、預測污染、優化醫療等等。這里,我們把應用方式分成兩大類,分別介紹一下。
精準的廣告投放
我們知道廣告界的一個難題“如何找到對的那一半人”。而大數據正是可以用來更加精準的定位廣告的目標用戶。廣告投放包括第三方廣告渠道和自有廣告渠道兩種:
第三方廣告渠道由于是第三方操作的,所以對于廣告主來說只能去選擇合適的渠道種類。第三方渠道總體上可以分為兩大類:互聯網廣告渠道(視頻網站、門戶網站、廣告聯盟等)和非互聯網廣告渠道(戶外廣告、樓宇廣告、電視廣告等)。目前,互聯網廣告已經在大數據精準投放上走的比較遠,比如前面說的視頻網站根據用戶點播行為,來投放合適的廣告類型。所以,在這樣的渠道上投放廣告時,只需要廣告主能和渠道方合作定義好自己的用戶群,便可以將廣告投放的比較精準。
非互聯網廣告渠道,因為沒有特別有效的用戶細分手段(廣告只能投放到人群,而非個人),投放形式本身就限制了其精準的效果。對此,未來的一個出路就是,各種路牌廣能采集到附近用戶的信息,來動態調整廣告內容。
比如,沒有廣告牌都有一個iBeacon設備,會和打開iBeacon連接的手機產生互動,根據手機信息,反查到用戶的性別,從而決定顯示什么廣告。
而對于自有廣告渠道來說,我們可以操作的空間就比較大。拿短息渠道為例,很多公司都會通過手機短信,給用戶發送最新的促銷信息,但是,以往這種信息通常是全量發送,或者是根據一定的可視化的分類(例如,信用卡的消費額度)來分類發送促銷信息。而我們有了大數據的武器后,就可以對用戶群進行進一步細分,甚至是1對1的發送。比如,信用卡公司可以根據用戶的刷卡的頻次、場所、購物內容、還款的及時性、消費時段等等來作為分析因素,來預測用戶對什么樣的商品感興趣,從而發送相應的商品廣告。再比如,化妝品公司,可以根據用戶的年齡、工作內容、作息習慣、娛樂場所、季節、婚育狀況、衣著習慣、朋友圈話題等等,來預測她可能更關心什么樣的皮膚護理問題,從而推薦對應的化妝品門類。通過對多維度、細致的信息分析,使得廣告推送更有針對性
個性化的用戶服務定制
個性化服務要解決的問題是,不同用戶服務內容和定價的個性化。以我們熟知的車險為例,目前的定價方式,只是簡單的根據用戶的年齡、駕齡、婚姻狀況、車價和以往的車險理賠記錄等顯式的屬性來進行區分,而在大數據時代,則可以把這種區分做到極致的個性化。比如,我們可以統計用戶的駕駛習慣(駕駛時間,單次駕駛時長)、駕駛環境(常去路線的交通狀況、總體事故率、季節天氣)、身體狀況(生病頻率等),來更加針對性的對用戶的理賠概率進行估計,從而得到更加合理的投保額度。再比如,對于培訓機構來說,可以分析特定屬性的用戶(年齡、性別、各種成績等),對特定類型的授課方式或者授課內容的成績反應,來有針對性的進行課業的搭配,從而使每個用戶的成績達到最大化。同樣,醫學領域,也可以利用大數據來進行個性化疾病預防和治療。智能穿戴設備為這一切打下了堅實的基礎:
手環,監測你的運動量、心跳變化
智能血壓儀,每天監測血壓
體重秤,每天體重變化
空氣凈化器,監測環境的污染情況
上網習慣,檢測你的作息時間
訂餐記錄,檢測你的飲食情況
如果以后有了更方便的血液檢測手段,每天能獲得血液檢測記錄,那將是更有效的數據
這些數據分散開的話,最多只會影響對人們的生活習慣,比如,體重重了,要少吃多運動。但是一旦數據全都被打通,結合大數據分析技術,就可以預測出每個人的疾病發病概率。對每個人治療時,也可以在藥物和用量上變得更加有針對性。
機遇與挑戰
大數據應用在國外已經興起很長時間,但是在國內,卻是剛剛起步階段。一方面是國內對數據收集的管控比較嚴,導致數據基礎設施沒有跟上。而更重要的,還是人們對大數據的理念還沒有完全吃透,大部分大數據應用的思想,只為專業的大數據工程師所掌握。而就在我們還沒有準備迎接傳統互聯網大數據的潮流時,近幾年,移動互聯網有了勢如破竹的發展。大部分公司,移動端業務,都已經超過了PC網站,這給大數據帶來了新的機遇與挑戰:
(隨著種種O2O連接技術的發展,使得商家能夠更方便的觸摸到附近的用戶,而因為用戶的移動性,需要商家能夠在用戶經過線下店的短暫時間內作出響應)
如果廣大產品設計者,能夠充分掌握大數據思想,在設計產品時,打通數據之間的壁壘,將海量數據同服務更加有效的連接起來,相信各個行業都會迎來一片更廣闊的天地。