【正文】 到瓶頸，需要新模式，抑或加強(qiáng)原有模式。這兩點(diǎn)上，大數(shù)據(jù)都會起到大的作用。 BAT大數(shù)據(jù)思路迥異 百度是基于用戶搜索行為的需求數(shù)據(jù)，阿里掌握著交易以及信用數(shù)據(jù)，騰訊則掌握著社交關(guān)系數(shù)據(jù)。各有千秋。它們對大數(shù)據(jù)的應(yīng)用方向并不相同。百度和阿里更為激進(jìn)。騰訊觀望多過行動，也可能是說得少做得多。 首先是動機(jī) 百度收入95％以上來自廣告，淘寶的主要收入模式也是廣告。百度、淘寶和CCTV是中國前三大廣告投放陣地。騰訊主要收入來自游戲和社交增值業(yè)務(wù)，廣告收入占比僅為三成左右。本階段大數(shù)據(jù)變現(xiàn)的主要途徑是精準(zhǔn)廣告，這契合百度和阿里的訴求，兩家將大數(shù)據(jù)升級為公司戰(zhàn)略。其次是技術(shù)搜索引擎是技術(shù)驅(qū)動，百度和其創(chuàng)始人李彥宏最具技術(shù)基因。馬云對外宣稱因?yàn)槠洳欢夹g(shù)所以阿里技術(shù)最強(qiáng)。只有騰訊不怎么強(qiáng)調(diào)技術(shù)，一直強(qiáng)調(diào)產(chǎn)品能力。大數(shù)據(jù)是技術(shù)活兒，百度和阿里這兩位自認(rèn)為技術(shù)很強(qiáng)的玩家探索在先符合常理。百度和阿里在大數(shù)據(jù)技術(shù)已經(jīng)進(jìn)行較多布局，從人才到架構(gòu)到基礎(chǔ)設(shè)施再到技術(shù)理論。百度有深度學(xué)習(xí)研究院、高價(jià)聘請大數(shù)據(jù)領(lǐng)域人才以及與高校合作，正在建設(shè)亞洲最大云計(jì)算[注]機(jī)房；阿里有飛天計(jì)劃，有先進(jìn)的跨機(jī)房5k集群、Apsara分布式計(jì)算系統(tǒng)，還有數(shù)據(jù)委員會這樣的架構(gòu)。幾家在云計(jì)算平臺上的不同態(tài)度可以佐證我的觀點(diǎn)。云平臺和大數(shù)據(jù)是連體嬰。“移動端”、合作伙伴和用戶個(gè)人的數(shù)據(jù)，均需要“云”來收集、存儲和處理。要掌握大數(shù)據(jù)，一定要具備承載數(shù)據(jù)的開放的云。阿里云09年成立，百度云12年推出，分別對應(yīng)到IaaS[注]模式和PaaS[注]（Amazon VS Google）。它們的云服務(wù)在向開發(fā)者和用戶提供基礎(chǔ)設(shè)施、云端服務(wù)的同時(shí)，收集第三方網(wǎng)站、應(yīng)用、硬件和用戶的數(shù)據(jù)。百度遷徙能夠生效便是得益于第三方App為百度貢獻(xiàn)位置數(shù)據(jù)。騰訊云去年9月才推出，起步晚了點(diǎn)。雖然騰訊開放平臺成熟，但開放平臺更多是分享騰訊的用戶和資源出來，目的不是收集數(shù)據(jù)。而且開放平臺是運(yùn)營、合作、生態(tài)層面的事，云平臺才是技術(shù)問題。最后是位置典型的互聯(lián)網(wǎng)交易場景大概是這樣的，用戶在聊天、社交、娛樂的過程中，會被吸引注意力，關(guān)注“興趣”，抑或因?yàn)榕d趣而發(fā)現(xiàn)新的信息。然后用戶去了解、去尋找想要的東西（需求、欲望、找到所求），最后在網(wǎng)上完成交易（電商和O2O[注]）。 廣告收費(fèi)模式可以看出三家的位置差異。百度是CPC，按照點(diǎn)擊次數(shù)付費(fèi)（不管點(diǎn)擊后的行為），阿里淘寶客等廣告則直接可以對應(yīng)到購買行為,CPA（按實(shí)際效果）和CPS（按效果傭金）居多。騰訊門戶、聊天Banner廣告更親睞于CPM或者CPT（按照展示次數(shù)或者時(shí)長），廣點(diǎn)通是CPA，但亮點(diǎn)案例集中在應(yīng)用下載領(lǐng)域，而不是交易領(lǐng)域。 三家都不希望只處于某一個(gè)環(huán)節(jié)，而是期望上中下通吃。百度有貼吧這樣的興趣社交產(chǎn)品，有視頻這種注意力型業(yè)務(wù)，還推出了直接在結(jié)果頁下單的“微購”，上下延展；騰訊重組了搜索業(yè)務(wù)（與搜狗合并）和電商業(yè)務(wù)（與京東合并），向下的機(jī)會還有；阿里投資微博、布局智能電視以及做導(dǎo)購網(wǎng)站做微淘，努力在向上走。幾個(gè)互聯(lián)網(wǎng)巨頭的動機(jī)、技術(shù)和位置的不同，在大數(shù)據(jù)應(yīng)用上的思路也不同：騰訊蜻蜓點(diǎn)水，阿里布局為先，百度技術(shù)至上。相同的是，幾家都在想方設(shè)法籠絡(luò)更多的數(shù)據(jù)，收集數(shù)據(jù)是第一階段，形成收集數(shù)據(jù)的能力和機(jī)制是第二階段，第三階段才是數(shù)據(jù)挖掘，目前BAT三家均處于從第二階段到第三階段之間，一旦大數(shù)據(jù)應(yīng)用全面進(jìn)入第三階段，積累更深、投入更多的百度或?qū)⒂型@出優(yōu)勢。 AppStore和iPhone的誕生，將人們帶入了智能手機(jī)和移動互聯(lián)網(wǎng)時(shí)代，顛覆了傳統(tǒng)的軟件業(yè)和手機(jī)業(yè)。未來，對大數(shù)據(jù)商業(yè)價(jià)值的發(fā)掘?qū)⒔o互聯(lián)網(wǎng)公司拓展出更大的增長空間，甚至有可能催生出全新的商業(yè)模式和硬件產(chǎn)品，就像AppStore和iPhone那樣，給人們的工作和生活方式帶來顛覆性的變化。5企業(yè)應(yīng)如何應(yīng)對大數(shù)據(jù)時(shí)代2014年新春，百度遷徙圖與春運(yùn)的完美“聯(lián)姻”使得大數(shù)據(jù)又借勢火了一把，大數(shù)據(jù)再次以風(fēng)靡之勢席卷輿論，一股大數(shù)據(jù)熱正在不斷擴(kuò)散。其實(shí)，提起大數(shù)據(jù)，相信大多數(shù)人并不陌生，但對于大數(shù)據(jù)的有效應(yīng)用大家更多的是處在摸索和嘗試階段。特別是一些中小企業(yè)往往把大數(shù)據(jù)建設(shè)想象得過于龐大，而對大數(shù)據(jù)望而卻步。這種假象這很大程度掩蓋了中小企業(yè)依靠數(shù)據(jù)來挖掘市場潛力的機(jī)會。 大數(shù)據(jù)在百度遷徙圖上的應(yīng)用根據(jù)IDC研究，然而只有1%數(shù)據(jù)中的一般進(jìn)行了有意義的分析。但這微不足道的比例，也足以讓大家注意到大數(shù)據(jù)的重要性和潛力。事實(shí)證明，大數(shù)據(jù)的迅速增長及相關(guān)技術(shù)的發(fā)展正在給企業(yè)帶來全新的商業(yè)機(jī)遇。據(jù)《麻省理工學(xué)院斯隆管理評論》和IBM商業(yè)價(jià)值研究院聯(lián)合舉行的2011年新智能企業(yè)全球高管調(diào)查和研究項(xiàng)目指出，絕大多數(shù)企業(yè)都已抓住了這些機(jī)遇。2011年，58%的企業(yè)已經(jīng)將分析技術(shù)用于在市場或行業(yè)內(nèi)創(chuàng)造競爭優(yōu)勢，而2010年這一比例僅為37%。值得注意的是，采用分析技術(shù)的企業(yè)持續(xù)超越同行的可能性要高兩倍。面對大數(shù)據(jù)可能帶來的商業(yè)機(jī)遇，中小企業(yè)為什么會望而卻步呢？其實(shí)這是把大數(shù)據(jù)廣義化的結(jié)果。從廣義的大數(shù)據(jù)建設(shè)來講，其涉及的技術(shù)要求、耗資成本、人力匹配等要素對一般中小企業(yè)來講存在很大的挑戰(zhàn)性。即使有大數(shù)據(jù)建設(shè)意愿，因?yàn)闆]有成熟的系統(tǒng)架構(gòu)理念，也使得老板們無從下手。其實(shí)，企業(yè)的數(shù)據(jù)可以分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)3種類型。而其中，85%的數(shù)據(jù)屬于廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)等之中的非結(jié)構(gòu)化數(shù)據(jù)。這些非結(jié)構(gòu)化數(shù)據(jù)的產(chǎn)生往往伴隨著社交網(wǎng)絡(luò)、移動計(jì)算和傳感器等新的渠道和技術(shù)的不斷涌現(xiàn)和應(yīng)用。在這些數(shù)據(jù)中，僅依托社交網(wǎng)絡(luò)而存在的數(shù)據(jù)對企業(yè)開拓新的市場需求就是一個(gè)巨大的機(jī)遇。如果企業(yè)能夠從這些依托社交網(wǎng)絡(luò)的數(shù)據(jù)（如網(wǎng)民對某行業(yè)的議論、某種需求訴求、某產(chǎn)品功能吐槽、電子網(wǎng)站上價(jià)格、媒體上的某新產(chǎn)品發(fā)布會等等）中獲取新的洞察力，并將其與已知業(yè)務(wù)的各個(gè)細(xì)節(jié)相融合，挖掘用戶需求點(diǎn)，創(chuàng)新產(chǎn)品，這就是機(jī)遇，也是競爭力。以房產(chǎn)行業(yè)為例。假如房企有效采集到論壇、微博、博客、貼吧、新聞跟帖上網(wǎng)關(guān)于住房話題議論數(shù)據(jù)，如民對房屋設(shè)計(jì)、小區(qū)環(huán)境、家居質(zhì)量、交通情況、個(gè)人住房需求偏好以及用戶賬號的個(gè)人注冊信息等，就可以從中分類分析不同年齡段、性別、地區(qū)的客戶消費(fèi)偏好、消費(fèi)能力，以此為依據(jù)去了解區(qū)域市場的需求，肯定會有別樣的收獲。雖然，大數(shù)據(jù)在國內(nèi)應(yīng)該還處在探索和嘗試階段，但是一些行業(yè)巨頭進(jìn)軍大數(shù)據(jù)的步伐從未停滯。從阿里巴巴到騰訊，從無印良品到海爾和小米，他們都在通過各種不同的方式或形式投身于大數(shù)據(jù)應(yīng)用中。雖然這些企業(yè)分布在不同行業(yè)，但它們都有一個(gè)共同的特點(diǎn)，那就是在利用互聯(lián)網(wǎng)思維和大數(shù)據(jù)有效地為客戶提供更符合需求的產(chǎn)品。拿房地產(chǎn)巨頭之一的萬科來說。萬科在客戶行為數(shù)據(jù)調(diào)查中發(fā)現(xiàn)，移動互聯(lián)時(shí)代家里的網(wǎng)絡(luò)WiFi必不可少，但經(jīng)常會出現(xiàn)每個(gè)房間WiFi信號強(qiáng)度有別的尷尬，因此在其樓房中統(tǒng)一配備了WiFi增強(qiáng)系統(tǒng)；同時(shí)，因?yàn)楝F(xiàn)在很多年輕人變得很宅，習(xí)慣在沙發(fā)上坐一整天，于是設(shè)計(jì)了“土豆位”的概念，迎合3C時(shí)代年輕人的生活習(xí)慣。而在社區(qū)配套服務(wù)上，萬科更嘗試讓業(yè)主、客戶可以在社區(qū)建設(shè)之初就參與到社區(qū)配套的設(shè)計(jì)和運(yùn)營上來，引入時(shí)下最新的互聯(lián)網(wǎng)概念 “眾籌”，根據(jù)業(yè)主需求未來有可能實(shí)現(xiàn)“眾籌”健身房、超市、美容院等。同樣，這種從網(wǎng)絡(luò)數(shù)據(jù)中挖掘新的市場需求的做法也適用于婚戀公司。比如，作為一家婚戀網(wǎng)站，百合網(wǎng)不僅需要經(jīng)常做一些研究報(bào)告，分析注冊用戶的年齡、地域、學(xué)歷、經(jīng)濟(jì)收入等數(shù)據(jù)，即便是每名注冊用戶小小的頭像照片，這背后也大有挖掘的價(jià)值。百合網(wǎng)研究規(guī)劃部李琦曾經(jīng)對百合網(wǎng)上海量注冊用戶的頭像信息進(jìn)行分析，發(fā)現(xiàn)那些受歡迎頭像照片不僅與照片主人的長相有關(guān)，同時(shí)照片上人物的表情、臉部比例、清晰度等因素也在很大程度上決定了照片主人受歡迎的程度。例如，對于女性會員，微笑的表情、直視前方的眼神和淡淡的妝容能增加自己受歡迎的概率，而那些臉部比例占照片1/穿著正式、眼神直視沒有多余pose的男性則更可能成為婚戀網(wǎng)站上的寵兒。拋開以其他形式存在的結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)不說，單單以基于社交及新聞媒介存在的信息數(shù)據(jù)而言，其就表現(xiàn)出以下三個(gè)特點(diǎn)。第一，數(shù)據(jù)呈現(xiàn)類型繁多。拜互聯(lián)網(wǎng)和通信技術(shù)近年來迅猛發(fā)展所賜，如今的網(wǎng)絡(luò)數(shù)據(jù)類型早已不是單一的文本形式，還包括辦公文檔、文本、圖片、XML、HTML、各類報(bào)表、圖像、音頻、視頻、數(shù)字等等各種豐富的數(shù)據(jù)信息，這對對數(shù)據(jù)的抓取及處理能力提出了更高的要求。第二，數(shù)據(jù)量巨大。大數(shù)據(jù)到底有多大？一組名為“互聯(lián)網(wǎng)上一天”的數(shù)據(jù)告訴我們，一天之中，；發(fā)出的郵件有2940億封之多（相當(dāng)于美國兩年的紙質(zhì)信件數(shù)量）；發(fā)出的社區(qū)帖子達(dá)200萬個(gè)（相當(dāng)于《時(shí)代》雜志770年的文字量）。一分鐘內(nèi)，微博推特上新發(fā)的數(shù)據(jù)量超過10萬；社交網(wǎng)絡(luò)“臉譜”的瀏覽量超過600萬……第三，“碎片化”傳播。自媒體時(shí)代的社交媒介。沒有任何的組織目標(biāo)和指導(dǎo)方針，它的“碎片化”信息數(shù)據(jù)傳播迎合了社會信息化的進(jìn)程，反應(yīng)了信息數(shù)據(jù)的時(shí)效性、即時(shí)性、反饋性。散布在世界各地的微博主隨時(shí)傳播著產(chǎn)品信息和評論，見證著企業(yè)各種活動，評論產(chǎn)品的好壞等，以一種旁觀和參與兼顧的姿態(tài)記錄對自己接觸的所有事物的認(rèn)知、建議、訴求、情緒。隨著網(wǎng)絡(luò)社交在線的互動性、便捷性增強(qiáng)，在社會化媒體進(jìn)行評級、撰寫點(diǎn)評、博文、點(diǎn)贊，產(chǎn)生大量的非結(jié)構(gòu)性數(shù)據(jù)和碎片化數(shù)據(jù)，那么這些流傳于網(wǎng)絡(luò)的信息數(shù)據(jù)會是以什么樣的形成存在呢？就拿上文中談到的房地產(chǎn)數(shù)據(jù)來說，這些數(shù)據(jù)完全可以來源于網(wǎng)絡(luò)房產(chǎn)類話題的網(wǎng)友議論內(nèi)容，比如微博上網(wǎng)友在討論住房是提到的對wifi的信號的訴求；論壇上房產(chǎn)頻道網(wǎng)友住房不布置設(shè)想；貼吧上網(wǎng)友對住房小區(qū)配套設(shè)施的吐槽等等。這些網(wǎng)友的訴求、吐槽、設(shè)想信息數(shù)據(jù)分析結(jié)果，將指導(dǎo)產(chǎn)品的設(shè)計(jì)和社區(qū)配套的建設(shè)，包含戶型、景觀、住宅性能和鄰里空間等方面。有人說，發(fā)現(xiàn)知識正是大數(shù)據(jù)的真正價(jià)值，僅僅存儲數(shù)據(jù)而不去挖掘內(nèi)在信息并沒有意義。但是，作為發(fā)現(xiàn)知識的必要條件，如何獲取這些支撐我們?nèi)ネ诰騼?nèi)在信息的數(shù)據(jù)，是企業(yè)建設(shè)大數(shù)據(jù)的基石。Web是一個(gè)巨大的資源寶庫，目前頁面數(shù)目已超過800億，每小時(shí)還以驚人的速度增長，里面有你需要的大量有價(jià)值的信息，例如潛在客戶的列表與聯(lián)系信息，競爭產(chǎn)品的價(jià)格列表，實(shí)時(shí)金融新聞，供求信息，論文摘要等等?？墒怯捎陉P(guān)鍵信息都是以半結(jié)構(gòu)化或自由文本形式存在于大量的HTML網(wǎng)頁中，很難直接加以利用。面對類型繁多、數(shù)量巨大以及碎片化的網(wǎng)絡(luò)信息數(shù)據(jù)，如何能對這些數(shù)據(jù)的有效、準(zhǔn)確、全面采集是企業(yè)大數(shù)據(jù)戰(zhàn)略的一個(gè)重要組成部分之一。以樂思網(wǎng)絡(luò)信息采集系統(tǒng)的功能為例，系統(tǒng)可以根據(jù)用戶自定義的任務(wù)配置，批量而精確地抽取因特網(wǎng)目標(biāo)網(wǎng)頁中的半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)，轉(zhuǎn)化為結(jié)構(gòu)化的記錄，保存在本地?cái)?shù)據(jù)庫中，用于內(nèi)部使用或外網(wǎng)發(fā)布，快速實(shí)現(xiàn)外部信息的獲取。通過自定義任務(wù)配置，實(shí)施目標(biāo)網(wǎng)站信息自動抓取，實(shí)現(xiàn)HTML頁面內(nèi)各種數(shù)據(jù)的采集，如文本信息，URL，數(shù)字，日期，圖片等；對每類信息自定義來源與分類；下載圖片與各類文件；對于登陸網(wǎng)友實(shí)現(xiàn)用戶名與密碼自動登錄，并可以Windows任務(wù)計(jì)劃器配合，定期抽取目標(biāo)網(wǎng)站；智能替換去除與內(nèi)容無關(guān)部分如廣告；實(shí)現(xiàn)多頁面，多篇、多段文章內(nèi)容自動瀏覽及自動抽取與合并；實(shí)現(xiàn)數(shù)據(jù)直接進(jìn)入數(shù)據(jù)庫而不是文件中，直接或模擬提交表單；實(shí)現(xiàn)所有主流數(shù)據(jù)庫：MS SQL Server, Oracle, DB2, MySQL, Sybase, Interbase, MS Access數(shù)據(jù)匹配。廣義的大數(shù)據(jù)建設(shè)我們力不從心，但這并不能阻擋我們應(yīng)用網(wǎng)絡(luò)大數(shù)據(jù)挖掘企業(yè)新的市場需求的步伐。通過收集企業(yè)外部信息，包括與本公司相關(guān)的信息，與競爭對手相關(guān)的信息，行業(yè)信息，價(jià)格信息，與合作伙伴相關(guān)的信息，用戶網(wǎng)上反饋的各種信息，科研技術(shù)信息，用戶家庭月收入、存款及還款信息，來自于零售商業(yè)、服務(wù)業(yè)的個(gè)人消費(fèi)開支結(jié)構(gòu)信息，從而先于行業(yè)、競爭對手鎖定客戶的需求，加快銷售節(jié)奏，實(shí)現(xiàn)銷售目標(biāo)。 互聯(lián)網(wǎng)企業(yè)在很早之前就認(rèn)識到用戶體驗(yàn)的質(zhì)量與企業(yè)的收入呈簡單的線性關(guān)系。對大范圍的用戶體驗(yàn)數(shù)據(jù)進(jìn)行分析，已成為主流的大數(shù)據(jù)處理方向，這也是大數(shù)據(jù)應(yīng)用先行企業(yè)信奉的準(zhǔn)則。，在分析這些數(shù)據(jù)后為顧客量身定制最佳的用戶體驗(yàn)，同時(shí)收獲資深運(yùn)營洞察力及反詐騙能力。作為一家為購車用戶提供汽車資訊及購買服務(wù)的網(wǎng)站，廣告的收益也是其營業(yè)額的一部分。這些標(biāo)語廣告被廣泛貼在各大廠商的轎車、卡車、SUV和貨車上。，用戶在頁面上停留越久，廣告的效果就越明顯。：高性能、高安全性及為廣告商追蹤流量源，這也是有原因的?，F(xiàn)階段，bot和網(wǎng)絡(luò)蜘蛛流量作為持續(xù)已久的威脅會極大降低網(wǎng)絡(luò)性能。一些惡意的bot會將所售汽車列表抓取下來用于垃圾郵件以傳播虛假網(wǎng)站，讓那些毫無戒備的顧客泄露個(gè)人信息。日志文件是鑒別惡意行為和優(yōu)化網(wǎng)站性能的關(guān)鍵，但人工處理這些網(wǎng)絡(luò)日志及流量數(shù)據(jù)是一件麻煩又耗時(shí)的事情。在沒有實(shí)時(shí)報(bào)告的情況下。大量的訪問源會生成非常多的系統(tǒng)數(shù)據(jù)，、索引、查詢和分析這些海量內(nèi)容。Spluck獨(dú)有的“machine data web”(機(jī)器數(shù)據(jù)網(wǎng))能夠組織和識別日志數(shù)據(jù)。此外該軟件預(yù)報(bào)機(jī)制還能幫助團(tuán)隊(duì)鑒別非法抓取行為和bot流量，并將它們與合法用戶的流量區(qū)分開。這些報(bào)告舉足輕重，為后臺人員抵制非法流量提供有力數(shù)據(jù)。這項(xiàng)投資的實(shí)際回報(bào)有兩點(diǎn)。第一，高效、實(shí)時(shí)的數(shù)據(jù)采集每年為公司節(jié)省400人工作時(shí)。第二，能夠幫助公司緩解在流量高峰期的訪問壓力。例如在2012年美國橄欖球超級杯大賽中，公司通過詳細(xì)的性能統(tǒng)計(jì)采取了一系列措施，預(yù)計(jì)節(jié)省了服務(wù)器和管理成本160000美元?！癝plunk軟件能夠讓我們在短時(shí)間內(nèi)處理大量問題，”技術(shù)運(yùn)營部主管Jon Abend說，“不僅網(wǎng)絡(luò)日志，我們還可以實(shí)時(shí)地分析應(yīng)用日志、應(yīng)用服務(wù)器、中間件部件及系統(tǒng)度量日志等。各類相關(guān)用戶——如性能工程師、中間件團(tuán)隊(duì)、搜索引擎市場團(tuán)隊(duì)等——通過本軟件都會獲得管理各類系統(tǒng)的能力?！睆慕衲昶穑⑦€在以每小時(shí)250萬個(gè)網(wǎng)絡(luò)日志、每周1TB、每月750萬查詢量的速度繼續(xù)增加。有了這樣對大數(shù)據(jù)分析處理的能力。  結(jié) 論 近些年，大數(shù)據(jù)已經(jīng)和云計(jì)算一樣，成為時(shí)代的話題。大數(shù)據(jù)是