【文章內(nèi)容簡(jiǎn)介】 此 ， 亟 需將大數(shù)據(jù)的發(fā)展提升到戰(zhàn)略高度 ， 以此為契機(jī) ， 通過(guò)各種創(chuàng)新 和 探 索 ，推動(dòng)產(chǎn)業(yè)升級(jí)和創(chuàng)新、經(jīng)濟(jì)轉(zhuǎn)型和民生建設(shè)。 我國(guó)的 大 數(shù)據(jù)發(fā) 展 不僅是 時(shí) 代的需 要 ，更有 著 得天獨(dú) 厚 的基礎(chǔ) 優(yōu) 勢(shì) 。我 國(guó) 龐大的人口和經(jīng)濟(jì)規(guī)模為大數(shù)據(jù)發(fā)展提供了肥沃的土壤 ， 也 為理念 、 技術(shù)和模式的創(chuàng)新提供了無(wú)限的可能性 。 可見(jiàn) ， 大力發(fā) 展 大 數(shù)據(jù)產(chǎn) 業(yè) ,主動(dòng) 掌 握新一 代 信息技 術(shù) 產(chǎn)業(yè)發(fā) 展 的主動(dòng) 權(quán) ,推動(dòng) 整 個(gè) 國(guó) 家和社會(huì)的良性 、 可持續(xù)發(fā)展 ， 是以大數(shù)據(jù)為代表的第三次產(chǎn)業(yè) 革 命 帶給我國(guó)的歷史契機(jī)。 （二）全球大數(shù)據(jù)產(chǎn)業(yè)分析 大數(shù)據(jù) 涵 蓋數(shù)據(jù) 從 產(chǎn)生到 最 終被分 析 利用的 各 個(gè)環(huán)節(jié) ， 其中所 涉 及的相關(guān)技術(shù)都可以被稱為大數(shù)據(jù)技術(shù) ， 而對(duì)數(shù)據(jù)施加影響的各 方 則 共同構(gòu)成了大數(shù)據(jù)產(chǎn)業(yè)鏈。 根據(jù) IDC 的報(bào)告顯示，全球大數(shù)據(jù)市場(chǎng)規(guī)模年增長(zhǎng)率達(dá) 40%，在 2017 年將達(dá) 530 億美元。其中，大數(shù)據(jù)技術(shù)及服務(wù)市場(chǎng)復(fù)合年增長(zhǎng) 率 （ CAGR） 將達(dá) %， 2020 年收入將達(dá) 238 億美元 ， 其增速約為信 息通信技術(shù)（ ICT）市場(chǎng)整體增速的七倍之多。 當(dāng)前各 界 對(duì)大數(shù) 據(jù) 產(chǎn)業(yè)鏈 的 劃分有 諸 多版本 ， 其中邏 輯 相對(duì)清晰 的刻畫來(lái)自于彭博發(fā)布的研究報(bào)告 ， 將大數(shù)據(jù)產(chǎn)業(yè)分為六大區(qū)塊 ， 包 括數(shù)據(jù)源類 、 基礎(chǔ)設(shè)施類 、 分析類 、 應(yīng)用類 、 跨基礎(chǔ)設(shè)施類和開(kāi)源項(xiàng) 目類 。本報(bào)告依據(jù)此劃分進(jìn)行闡述 ， 但所引述的大數(shù)據(jù)應(yīng)用和探 索 案 例并不限于彭博的報(bào)告內(nèi) 容 ，在地域上也不局限于北美地 區(qū) 。 大數(shù)據(jù) 的 定義沒(méi) 有 明確的 限 定和邊 界 ，能夠 歸 入大數(shù) 據(jù) 范 疇 的案 例數(shù)不勝數(shù) ， 本文主要以啟發(fā)性和獨(dú)創(chuàng)性為主線 ， 選擇最具典型 意 義 的案例進(jìn)行描述 ， 希望盡可能地從數(shù)據(jù)源 、 分析方法和價(jià)值實(shí)現(xiàn) 等 角 度體現(xiàn)出大數(shù)據(jù)的真正內(nèi) 涵 。 圖 .大數(shù)據(jù) 產(chǎn) 業(yè)鏈分 布 （彭博） 數(shù)據(jù) 源（ Data sources） 本區(qū)塊 內(nèi) 的企 業(yè) 基 于自身 業(yè) 務(wù)產(chǎn) 生 或 采集了 大 量數(shù)據(jù) ， 并通過(guò) 租 售等方 式 直接對(duì) 外 交付數(shù) 據(jù) ，還包 括 純粹提 供 數(shù)據(jù)交 易 平臺(tái) 的 企 業(yè) 。 判斷企業(yè)是否屬于數(shù)據(jù)源的關(guān)鍵在于 ， 這類企業(yè)的客戶還需要對(duì) 所 獲 得的數(shù)據(jù)進(jìn)行分析和挖掘才能對(duì)決策形成真正的支持。 大數(shù)據(jù) 與 傳統(tǒng)數(shù) 據(jù) 分析理 念 的一大 區(qū) 別就在 于 強(qiáng) 調(diào) 數(shù) 據(jù) 的外部性 ， 即數(shù)據(jù)離開(kāi)了其產(chǎn)生和消費(fèi)的傳統(tǒng)路徑 ， 為其他行業(yè)或領(lǐng)域所 用 。數(shù) 據(jù)外部性的典型場(chǎng)景包括 ： 電信運(yùn)營(yíng)商和政府合作 ， 可以在交通運(yùn)輸、 市政規(guī)劃和人口統(tǒng)計(jì)等方面發(fā)揮作用 ； 金融數(shù)據(jù)和電商數(shù)據(jù)結(jié)合 ， 可 以用于諸如小微貸款一類的金融產(chǎn)品和服務(wù) ； 物流數(shù)據(jù)和電商數(shù) 據(jù) 相 結(jié)合 ， 可以勾勒出經(jīng)濟(jì)領(lǐng)域的宏觀和微觀運(yùn)行情況 ； 農(nóng)業(yè)和氣象 數(shù) 據(jù) 應(yīng)用到金融領(lǐng)域 ， 可以為農(nóng)業(yè)保險(xiǎn)和理賠提供高價(jià)值的信息 ； 遙 感 衛(wèi) 星數(shù)據(jù)與耕地抽樣數(shù)據(jù)相結(jié)合 ， 可以打破傳統(tǒng)的統(tǒng)計(jì)路徑 ， 實(shí)現(xiàn) 更 為 客 觀的糧 食 產(chǎn)量統(tǒng) 計(jì) ；電表 數(shù) 據(jù)可供 房 地產(chǎn) 行 業(yè) 進(jìn)行空 置 率的估 算 。 數(shù)據(jù)源 類 企業(yè)就 是 實(shí)現(xiàn)數(shù) 據(jù) 外部性 的 基礎(chǔ)渠 道 ，在對(duì) 各 類數(shù)據(jù) 進(jìn) 行采集和整合之后 ， 提供給各行各業(yè)進(jìn)行目的和方法各不相同的 分 析 和挖掘 ， 使 數(shù)據(jù)的 價(jià) 值得以充分實(shí)現(xiàn) 。 比如 Bluekai 公司收集和 銷 售 的用戶數(shù)據(jù)包括： 圖 .Bluekai 公司售賣 的 數(shù)據(jù) 總體而 言 ， 數(shù)據(jù) 源區(qū)塊內(nèi) 的 企 業(yè) 可 分 為數(shù)據(jù) 交 易、產(chǎn) 生 、采集 和 聚合幾大類： ? 彭 博 社（ Bloomberg） 和路 透 社 （ Thomson Reuters） 采 集 并 整 合 金融相關(guān)數(shù)據(jù)，然后提供給金融機(jī)構(gòu)。 ?? 安客誠(chéng) （ Acxiom） 通過(guò)聚 合 超市、 藥 店、專 賣 店等企 業(yè) 的 客 戶 數(shù) 據(jù)，經(jīng)過(guò)加工之后轉(zhuǎn)賣給所需的企業(yè)。 ? BlueKai、 Lotame、 RapLeaf 等企業(yè)搜集并出售客戶的上網(wǎng)行為數(shù) 據(jù)，主要提供給廣告業(yè)客戶。 ? AggData 和 Datafiniti 定位為數(shù)據(jù)的聚合者 ， 將來(lái)自網(wǎng)絡(luò)的不同 來(lái)源的數(shù)據(jù)聚合在一起，并提供下 載 服務(wù)。 ? Opera solutions， 本身不擁有數(shù)據(jù) ， 而是通過(guò)購(gòu)買或搜集用戶的 行為信 息 （如征信數(shù)據(jù) 、 醫(yī)療就診記錄等 ） ， 再銷售給所需的企業(yè)。 ? Factual 定位于各類數(shù)據(jù)的交易平臺(tái)，尤其是地理位置相關(guān)的數(shù) 據(jù) 集。 ? InfoChimps 定位于各類數(shù)據(jù)的交易平臺(tái) ， 尤其是地理位置 、 社交 網(wǎng)絡(luò)、網(wǎng)絡(luò)信息等方面的數(shù)據(jù)。 ? Datamarket 為客戶提供國(guó)民經(jīng)濟(jì)與工業(yè)相關(guān)的數(shù)據(jù)集。 ? Yodlee 聚合并提供私人銀行財(cái)務(wù)數(shù)據(jù)。 ? SureScripts 主要采集醫(yī)院的處方數(shù)據(jù)。 ? 為提供分享醫(yī)療見(jiàn)解的平臺(tái)，通過(guò)收費(fèi)模式允許醫(yī)藥 公 司訪問(wèn) 數(shù) 據(jù)。 ? Moovit 通過(guò)眾包方式采集公共交通信息 ， 包括負(fù)載信息和公交車 準(zhǔn)點(diǎn)信息。 ? 租車公司 Zipcar 通過(guò)車輛內(nèi)置系統(tǒng) ， 采集乘車人和車輛本身的數(shù) 據(jù)。 ? 旅游網(wǎng) 站 Tripadvisor，提供平臺(tái)供用戶發(fā)布自己對(duì)景點(diǎn)、 飯 店 和酒店的評(píng)論，形成了一個(gè)高價(jià)值的旅游相關(guān)產(chǎn)業(yè)數(shù)據(jù)源。 ? Truecaller，通過(guò)讀取用戶手機(jī)上的通訊簿，采集全球的電話號(hào) 碼，并與相應(yīng)的社交媒體關(guān)聯(lián)，為用戶提供聯(lián)系信息搜索服務(wù)。 模式創(chuàng)新 數(shù)據(jù)銀行 在大數(shù) 據(jù) 時(shí)代 ， 數(shù) 據(jù)已經(jīng) 成 為一種 資 產(chǎn) ，企 業(yè) 、組織 和 個(gè)人開(kāi) 始 普遍認(rèn)知到自身所擁有數(shù)據(jù)的外部?jī)r(jià)值 ， 數(shù)據(jù)價(jià)值挖潛的概念在 全 社 會(huì)發(fā)酵 。 與金融資產(chǎn)類似 ， 數(shù)據(jù)資產(chǎn)的供給和需求方分別對(duì)數(shù)據(jù) 資 產(chǎn) 存在著管理和融資的需求 ， 因此在大數(shù)據(jù)產(chǎn)業(yè)鏈的數(shù)據(jù)源區(qū)塊 ， 孕育 著 一種類似銀行性質(zhì)的產(chǎn)業(yè)形態(tài) ， 即數(shù)據(jù)銀行。 從融資 角 度看， 數(shù) 據(jù)銀行 的 本質(zhì)在 于 實(shí)現(xiàn)數(shù) 據(jù) 供需的 對(duì) 接，為 數(shù) 據(jù)所有者找到數(shù)據(jù)資產(chǎn)價(jià)值變現(xiàn)的出口 ， 同時(shí)使需求方獲得自身 業(yè) 務(wù) 發(fā)展所需的數(shù)據(jù)資源 。 與傳統(tǒng)銀行或交易平臺(tái)不同的是 ， 數(shù)據(jù)銀 行 并 不是簡(jiǎn)單地對(duì)供需進(jìn)行對(duì)接和撮合 ： 數(shù)據(jù)資產(chǎn)類型各異 ， 沒(méi)有統(tǒng) 一 的 形式和度量 ， 數(shù)據(jù)銀行必須積極從多個(gè)源頭引入資源 ， 以專業(yè)的 知 識(shí) 和技能建立原始數(shù)據(jù)和最終應(yīng)用之間的通路 ， 讓數(shù)據(jù)需求方可以 順 利 以市場(chǎng)化的手段獲得所需的數(shù)據(jù)資源。 從資產(chǎn) 管 理的角 度 看，數(shù) 據(jù) 銀行的 本 質(zhì)在于 為 數(shù)據(jù)資 源 的價(jià)值 體 現(xiàn)提供便利 。 傳統(tǒng)銀行所管理的金融資產(chǎn) ， 其形態(tài)和內(nèi)容已經(jīng)為 資產(chǎn) 供需雙方所普遍理解 ， 而數(shù)據(jù)資產(chǎn)尤其是原始數(shù)據(jù)的價(jià)值需要通 過(guò) 各 種手段主動(dòng)挖掘才能體現(xiàn) ， 且不同的需求方對(duì)于同一數(shù)據(jù)的價(jià)值 認(rèn) 知 也存在較大偏差 。 因此 ， 在數(shù)據(jù)價(jià)值實(shí)現(xiàn)和數(shù)據(jù)資產(chǎn)流通的過(guò)程 中 必 須進(jìn)行數(shù)據(jù)清洗 、 格式化以及必要的應(yīng)用場(chǎng)景開(kāi)發(fā)等工 作 ， 并且 以 相 應(yīng)的機(jī)制設(shè)計(jì)和技術(shù)實(shí)現(xiàn) ， 聚合數(shù)據(jù)的供給和需 求 ， 確保數(shù)據(jù)資 產(chǎn) 接 入、發(fā)布和訪問(wèn)通道的順暢。 數(shù)據(jù)的 原 始形態(tài) 通 常與應(yīng) 用 方的需 求 有一定 差 距，因 此 更準(zhǔn)確 地 說(shuō) ， 數(shù) 據(jù) 資 源必須經(jīng)過(guò)有目的的發(fā)掘 和 特定的處理環(huán)節(jié) ， 才能真 正 實(shí) 現(xiàn)資產(chǎn)化 。 相對(duì)于數(shù)據(jù)交易平 臺(tái) 一類的形態(tài) ， 數(shù)據(jù)銀行最大的差 異 點(diǎn) 在于需 要 對(duì) 數(shù)據(jù) 的 轉(zhuǎn)化 和 規(guī) 整。數(shù)據(jù)的質(zhì)量 直 接與企 業(yè) 成本負(fù) 相 關(guān) ， 據(jù) Gartner 公司估算，數(shù)據(jù)混雜的 CRM 系統(tǒng)將使企業(yè)收入下降 25%， 而 Experian 公 司 則認(rèn)為不準(zhǔn)確的數(shù) 據(jù) 很可能導(dǎo) 致 公司的收入平均損 失 12%。 通過(guò)脫敏 、 去噪和去重處理 ， 以及針對(duì)文本 、 圖像和音 視 頻 等海量非結(jié)構(gòu)化數(shù) 據(jù) 的標(biāo)注和特征抽取 ， 能夠?qū)?shù) 據(jù) 轉(zhuǎn)化為需求 方 易 于理解和利用的形式 ， 降低數(shù)據(jù)分析和挖掘的難 度 。 這一環(huán)節(jié)是 數(shù)據(jù) 資產(chǎn)融資和管理的關(guān)鍵 ， 是提取和挖掘數(shù)據(jù)所含高價(jià)值信息和知 識(shí) 的 前提，是大數(shù)據(jù)技術(shù)發(fā)展和應(yīng)用開(kāi)拓的核心推動(dòng)力。 圖 .數(shù)據(jù)銀 行 模式 綜上所 述 ，數(shù)據(jù) 銀 行的本 質(zhì) 就在于 實(shí) 現(xiàn)了數(shù) 據(jù) 資源的 商 品化、 標(biāo) 準(zhǔn)化 、 資產(chǎn)化 ， 承載著數(shù)據(jù)資產(chǎn)形成 、 管理和交易的職責(zé) 。 由 于 歐美 先進(jìn)國(guó)家在數(shù)據(jù)利用方面有較深傳統(tǒng) ， 在多個(gè)行業(yè)內(nèi)自發(fā)形成了 數(shù) 據(jù) 流通的渠道 ， 數(shù)據(jù)資源商品化 、 標(biāo)準(zhǔn)化和資產(chǎn) 化 的動(dòng)作已滲透到 大 數(shù) 據(jù)產(chǎn)業(yè)鏈的各個(gè)環(huán)節(jié)中 ， 全社會(huì)對(duì)于數(shù)據(jù)銀 行 或綜合性數(shù)據(jù)交易 平 臺(tái) 的需求并不突出 。 但是 ， 對(duì) 于 信息產(chǎn)業(yè)相對(duì)落后 、 數(shù)據(jù)利用意識(shí) 比 較 淡薄的國(guó)家和地區(qū) ， 數(shù)據(jù)銀行形態(tài)的培育非常重要 ， 從 而 在市場(chǎng) 供 給 和需求之間對(duì)數(shù)據(jù)資源進(jìn)行深度資產(chǎn)化改造 ， 使數(shù)據(jù)真正成為大 數(shù) 據(jù) 產(chǎn)業(yè)以及其他行業(yè)和領(lǐng)域發(fā)展的助推器。 眾包模式 隨著大 數(shù) 據(jù)的應(yīng)用擴(kuò)展和 深 化，社 會(huì) 對(duì)數(shù)據(jù) 的 需求日 益 上升， 現(xiàn) 有的數(shù)據(jù)獲取渠道和方式已無(wú)法滿足科學(xué)研究和產(chǎn)業(yè)發(fā)展的需 求 ，更 為便捷的獲取方式 、 更為廣泛的覆蓋面和更為真實(shí)準(zhǔn)確 的 數(shù)據(jù)已 成 為 迫切的需要 。 隨著互聯(lián)網(wǎng) 、 移動(dòng)互聯(lián) 網(wǎng) 和智能設(shè)備的發(fā)展 ， 每個(gè) 人 都 成為一個(gè)潛在的數(shù)據(jù)采集點(diǎn)，導(dǎo)致眾包 （ crowdsourcing）模式成為 大數(shù)據(jù)時(shí)代一種極具現(xiàn)實(shí)意義的數(shù)據(jù)采集方式。 眾包這一概念由美 國(guó) 《連線 》 雜志的記者杰夫 ?豪 （ JeffHowe）在 2020 年 6 月明確提出，指把工作任 務(wù) 以自由 、 自愿的形式外包 給 大 眾的方法 ， 通常用于完成那些耗費(fèi)大量人力的繁重任務(wù) 。 眾包的 思 路 并非新 鮮 事物， 18 世紀(jì) 英 國(guó) 就通 過(guò) 向民間 征 集海洋 經(jīng) 度的精 確 測(cè) 量 方法 ， 解決了牛頓 、 惠更斯和哈雷等著名科學(xué)家未能解決的問(wèn)題 ， 獲 獎(jiǎng)?wù)呤且晃粊?lái)自于鄉(xiāng)村的木匠 。 此后的幾個(gè)世紀(jì)中 ， 類似的方法 曾經(jīng) 有力地推動(dòng)了航空、計(jì)算機(jī)等行業(yè)的發(fā)展。 隨著互 聯(lián) 網(wǎng)的出現(xiàn)，眾包 的 覆蓋范 圍 和可參 與 度 都大 大 提 升 ， 日 益成為一種可行的商業(yè)模式與組織方式 。 以當(dāng)前的技術(shù)發(fā)展情況而言， 數(shù)據(jù)的采集 、 標(biāo)注和清理 等 重復(fù)性工 作 還很難完全實(shí)現(xiàn)自動(dòng)化 ， 比如 人體特征的采集 、 圖片的標(biāo)注和重復(fù)數(shù)據(jù)的剔除等 ， 而這些工作 所 需 耗用的人力隨著數(shù)據(jù)量的劇增而成為企業(yè)或組織難以承受的重負(fù) 。 對(duì) 于這些需要大量人力介入才能保證質(zhì)量的工作 ， 眾包模式提供了 一 種 成本可控、規(guī)模易伸縮的實(shí)現(xiàn)途 徑 。 比較典型的案例有： ? Twitter 使用亞馬 遜 的眾包平臺(tái) Mechanical Turk， 來(lái)響 應(yīng) 用戶對(duì) 熱點(diǎn)話題的搜索查詢。 ?? 《國(guó)家地理》曾發(fā)動(dòng)近 萬(wàn)人在蒙古的衛(wèi)星圖像中搜尋成吉思 汗 的墓地。 ? 澳大利 亞 昆士蘭 的 公交乘 客 用隨身 應(yīng) 用采集 信 息 （ 比 如 公車到 站 時(shí)間等 ） ，提升 市 民的通 勤 效 率 ， 2020 年 已 經(jīng)可以 做 到通知 下一 班車的到站時(shí)間。 ? 個(gè)人手 工 藝術(shù)品 網(wǎng)站 Etsy 發(fā)動(dòng)用 戶 來(lái)鑒定 新 發(fā)布的 手 工 品是 否 存在版權(quán) 侵 權(quán)的問(wèn)題。 ? Foursquare（據(jù)報(bào)道 ， 將被雅虎以 9 億美元的價(jià)格收購(gòu) ） 和 Factual 等公司 讓 企業(yè)用 戶 自己提 交 地理位 置 信息的 做 法，也 屬 于眾包 采 集的范疇。 ? 亞馬遜與移動(dòng)打車應(yīng)用 Flywheel 合作 ， 呼叫小型配送中心附近的 出租車來(lái)為用戶遞送包裹。 在大數(shù) 據(jù) 時(shí)代， 由 于需要 采 集海量 的 底層 原 始 數(shù)據(jù)， 在 成本可 接 受的范圍內(nèi) ， 很多時(shí)候已無(wú)法基于現(xiàn)有采集設(shè)備來(lái)完成任務(wù) ， 因 此 眾 包 模式在大數(shù)據(jù)產(chǎn)業(yè)中最重要的應(yīng)用場(chǎng)景就是數(shù)據(jù)的采集 。 同 時(shí) ，海 量數(shù)據(jù)的加工和標(biāo)注等任務(wù)所需的人力和時(shí)間太高 ， 使得眾包模 式 在 數(shù)據(jù)處理環(huán)節(jié)也具有較大的應(yīng)用空間。 除了采 集 和加工 等 高人力 和 時(shí)間消 耗 的任務(wù) 之 外，通 過(guò) 眾包模 式 也可以將需要高智力和技術(shù)水平的問(wèn)題外包給大眾 ， 通過(guò)受眾面 的 擴(kuò) 大來(lái)提高任務(wù)完成的效率 。 比如 ， 將原始數(shù)據(jù)公布于眾 ， 讓公眾 積 極 參與到對(duì)數(shù)據(jù)的分析挖掘和應(yīng)用創(chuàng)新活動(dòng)中 ， 能夠有效推動(dòng)大數(shù) 據(jù) 技 術(shù)和產(chǎn)業(yè)的發(fā)展。 基礎(chǔ)架構(gòu) （ Infrastructure） 與傳統(tǒng) IT 基礎(chǔ)架構(gòu)相比 ， 大數(shù)據(jù)基礎(chǔ)架構(gòu)必須應(yīng) 對(duì) 空前規(guī)模 的數(shù) 據(jù)和各類音頻 、 圖像 、 視頻和文