【文章內容簡介】 此 ， 亟 需將大數據的發(fā)展提升到戰(zhàn)略高度 ， 以此為契機 ， 通過各種創(chuàng)新 和 探 索 ，推動產業(yè)升級和創(chuàng)新、經濟轉型和民生建設。 我國的 大 數據發(fā) 展 不僅是 時 代的需 要 ，更有 著 得天獨 厚 的基礎 優(yōu) 勢 。我 國 龐大的人口和經濟規(guī)模為大數據發(fā)展提供了肥沃的土壤 ， 也 為理念 、 技術和模式的創(chuàng)新提供了無限的可能性 。 可見 ， 大力發(fā) 展 大 數據產 業(yè) ,主動 掌 握新一 代 信息技 術 產業(yè)發(fā) 展 的主動 權 ,推動 整 個 國 家和社會的良性 、 可持續(xù)發(fā)展 ， 是以大數據為代表的第三次產業(yè) 革 命 帶給我國的歷史契機。 （二）全球大數據產業(yè)分析 大數據 涵 蓋數據 從 產生到 最 終被分 析 利用的 各 個環(huán)節(jié) ， 其中所 涉 及的相關技術都可以被稱為大數據技術 ， 而對數據施加影響的各 方 則 共同構成了大數據產業(yè)鏈。 根據 IDC 的報告顯示，全球大數據市場規(guī)模年增長率達 40%，在 2017 年將達 530 億美元。其中，大數據技術及服務市場復合年增長 率 （ CAGR） 將達 %， 2020 年收入將達 238 億美元 ， 其增速約為信 息通信技術（ ICT）市場整體增速的七倍之多。 當前各 界 對大數 據 產業(yè)鏈 的 劃分有 諸 多版本 ， 其中邏 輯 相對清晰 的刻畫來自于彭博發(fā)布的研究報告 ， 將大數據產業(yè)分為六大區(qū)塊 ， 包 括數據源類 、 基礎設施類 、 分析類 、 應用類 、 跨基礎設施類和開源項 目類 。本報告依據此劃分進行闡述 ， 但所引述的大數據應用和探 索 案 例并不限于彭博的報告內 容 ，在地域上也不局限于北美地 區(qū) 。 大數據 的 定義沒 有 明確的 限 定和邊 界 ，能夠 歸 入大數 據 范 疇 的案 例數不勝數 ， 本文主要以啟發(fā)性和獨創(chuàng)性為主線 ， 選擇最具典型 意 義 的案例進行描述 ， 希望盡可能地從數據源 、 分析方法和價值實現(xiàn) 等 角 度體現(xiàn)出大數據的真正內 涵 。 圖 .大數據 產 業(yè)鏈分 布 （彭博） 數據 源（ Data sources） 本區(qū)塊 內 的企 業(yè) 基 于自身 業(yè) 務產 生 或 采集了 大 量數據 ， 并通過 租 售等方 式 直接對 外 交付數 據 ，還包 括 純粹提 供 數據交 易 平臺 的 企 業(yè) 。 判斷企業(yè)是否屬于數據源的關鍵在于 ， 這類企業(yè)的客戶還需要對 所 獲 得的數據進行分析和挖掘才能對決策形成真正的支持。 大數據 與 傳統(tǒng)數 據 分析理 念 的一大 區(qū) 別就在 于 強 調 數 據 的外部性 ， 即數據離開了其產生和消費的傳統(tǒng)路徑 ， 為其他行業(yè)或領域所 用 。數 據外部性的典型場景包括 ： 電信運營商和政府合作 ， 可以在交通運輸、 市政規(guī)劃和人口統(tǒng)計等方面發(fā)揮作用 ； 金融數據和電商數據結合 ， 可 以用于諸如小微貸款一類的金融產品和服務 ； 物流數據和電商數 據 相 結合 ， 可以勾勒出經濟領域的宏觀和微觀運行情況 ； 農業(yè)和氣象 數 據 應用到金融領域 ， 可以為農業(yè)保險和理賠提供高價值的信息 ； 遙 感 衛(wèi) 星數據與耕地抽樣數據相結合 ， 可以打破傳統(tǒng)的統(tǒng)計路徑 ， 實現(xiàn) 更 為 客 觀的糧 食 產量統(tǒng) 計 ；電表 數 據可供 房 地產 行 業(yè) 進行空 置 率的估 算 。 數據源 類 企業(yè)就 是 實現(xiàn)數 據 外部性 的 基礎渠 道 ，在對 各 類數據 進 行采集和整合之后 ， 提供給各行各業(yè)進行目的和方法各不相同的 分 析 和挖掘 ， 使 數據的 價 值得以充分實現(xiàn) 。 比如 Bluekai 公司收集和 銷 售 的用戶數據包括： 圖 .Bluekai 公司售賣 的 數據 總體而 言 ， 數據 源區(qū)塊內 的 企 業(yè) 可 分 為數據 交 易、產 生 、采集 和 聚合幾大類： ? 彭 博 社（ Bloomberg） 和路 透 社 （ Thomson Reuters） 采 集 并 整 合 金融相關數據，然后提供給金融機構。 ?? 安客誠 （ Acxiom） 通過聚 合 超市、 藥 店、專 賣 店等企 業(yè) 的 客 戶 數 據，經過加工之后轉賣給所需的企業(yè)。 ? BlueKai、 Lotame、 RapLeaf 等企業(yè)搜集并出售客戶的上網行為數 據，主要提供給廣告業(yè)客戶。 ? AggData 和 Datafiniti 定位為數據的聚合者 ， 將來自網絡的不同 來源的數據聚合在一起，并提供下 載 服務。 ? Opera solutions， 本身不擁有數據 ， 而是通過購買或搜集用戶的 行為信 息 （如征信數據 、 醫(yī)療就診記錄等 ） ， 再銷售給所需的企業(yè)。 ? Factual 定位于各類數據的交易平臺，尤其是地理位置相關的數 據 集。 ? InfoChimps 定位于各類數據的交易平臺 ， 尤其是地理位置 、 社交 網絡、網絡信息等方面的數據。 ? Datamarket 為客戶提供國民經濟與工業(yè)相關的數據集。 ? Yodlee 聚合并提供私人銀行財務數據。 ? SureScripts 主要采集醫(yī)院的處方數據。 ? 為提供分享醫(yī)療見解的平臺，通過收費模式允許醫(yī)藥 公 司訪問 數 據。 ? Moovit 通過眾包方式采集公共交通信息 ， 包括負載信息和公交車 準點信息。 ? 租車公司 Zipcar 通過車輛內置系統(tǒng) ， 采集乘車人和車輛本身的數 據。 ? 旅游網 站 Tripadvisor，提供平臺供用戶發(fā)布自己對景點、 飯 店 和酒店的評論，形成了一個高價值的旅游相關產業(yè)數據源。 ? Truecaller，通過讀取用戶手機上的通訊簿，采集全球的電話號 碼，并與相應的社交媒體關聯(lián)，為用戶提供聯(lián)系信息搜索服務。 模式創(chuàng)新 數據銀行 在大數 據 時代 ， 數 據已經 成 為一種 資 產 ，企 業(yè) 、組織 和 個人開 始 普遍認知到自身所擁有數據的外部價值 ， 數據價值挖潛的概念在 全 社 會發(fā)酵 。 與金融資產類似 ， 數據資產的供給和需求方分別對數據 資 產 存在著管理和融資的需求 ， 因此在大數據產業(yè)鏈的數據源區(qū)塊 ， 孕育 著 一種類似銀行性質的產業(yè)形態(tài) ， 即數據銀行。 從融資 角 度看， 數 據銀行 的 本質在 于 實現(xiàn)數 據 供需的 對 接，為 數 據所有者找到數據資產價值變現(xiàn)的出口 ， 同時使需求方獲得自身 業(yè) 務 發(fā)展所需的數據資源 。 與傳統(tǒng)銀行或交易平臺不同的是 ， 數據銀 行 并 不是簡單地對供需進行對接和撮合 ： 數據資產類型各異 ， 沒有統(tǒng) 一 的 形式和度量 ， 數據銀行必須積極從多個源頭引入資源 ， 以專業(yè)的 知 識 和技能建立原始數據和最終應用之間的通路 ， 讓數據需求方可以 順 利 以市場化的手段獲得所需的數據資源。 從資產 管 理的角 度 看，數 據 銀行的 本 質在于 為 數據資 源 的價值 體 現(xiàn)提供便利 。 傳統(tǒng)銀行所管理的金融資產 ， 其形態(tài)和內容已經為 資產 供需雙方所普遍理解 ， 而數據資產尤其是原始數據的價值需要通 過 各 種手段主動挖掘才能體現(xiàn) ， 且不同的需求方對于同一數據的價值 認 知 也存在較大偏差 。 因此 ， 在數據價值實現(xiàn)和數據資產流通的過程 中 必 須進行數據清洗 、 格式化以及必要的應用場景開發(fā)等工 作 ， 并且 以 相 應的機制設計和技術實現(xiàn) ， 聚合數據的供給和需 求 ， 確保數據資 產 接 入、發(fā)布和訪問通道的順暢。 數據的 原 始形態(tài) 通 常與應 用 方的需 求 有一定 差 距，因 此 更準確 地 說 ， 數 據 資 源必須經過有目的的發(fā)掘 和 特定的處理環(huán)節(jié) ， 才能真 正 實 現(xiàn)資產化 。 相對于數據交易平 臺 一類的形態(tài) ， 數據銀行最大的差 異 點 在于需 要 對 數據 的 轉化 和 規(guī) 整。數據的質量 直 接與企 業(yè) 成本負 相 關 ， 據 Gartner 公司估算，數據混雜的 CRM 系統(tǒng)將使企業(yè)收入下降 25%， 而 Experian 公 司 則認為不準確的數 據 很可能導 致 公司的收入平均損 失 12%。 通過脫敏 、 去噪和去重處理 ， 以及針對文本 、 圖像和音 視 頻 等海量非結構化數 據 的標注和特征抽取 ， 能夠將數 據 轉化為需求 方 易 于理解和利用的形式 ， 降低數據分析和挖掘的難 度 。 這一環(huán)節(jié)是 數據 資產融資和管理的關鍵 ， 是提取和挖掘數據所含高價值信息和知 識 的 前提，是大數據技術發(fā)展和應用開拓的核心推動力。 圖 .數據銀 行 模式 綜上所 述 ，數據 銀 行的本 質 就在于 實 現(xiàn)了數 據 資源的 商 品化、 標 準化 、 資產化 ， 承載著數據資產形成 、 管理和交易的職責 。 由 于 歐美 先進國家在數據利用方面有較深傳統(tǒng) ， 在多個行業(yè)內自發(fā)形成了 數 據 流通的渠道 ， 數據資源商品化 、 標準化和資產 化 的動作已滲透到 大 數 據產業(yè)鏈的各個環(huán)節(jié)中 ， 全社會對于數據銀 行 或綜合性數據交易 平 臺 的需求并不突出 。 但是 ， 對 于 信息產業(yè)相對落后 、 數據利用意識 比 較 淡薄的國家和地區(qū) ， 數據銀行形態(tài)的培育非常重要 ， 從 而 在市場 供 給 和需求之間對數據資源進行深度資產化改造 ， 使數據真正成為大 數 據 產業(yè)以及其他行業(yè)和領域發(fā)展的助推器。 眾包模式 隨著大 數 據的應用擴展和 深 化，社 會 對數據 的 需求日 益 上升， 現(xiàn) 有的數據獲取渠道和方式已無法滿足科學研究和產業(yè)發(fā)展的需 求 ，更 為便捷的獲取方式 、 更為廣泛的覆蓋面和更為真實準確 的 數據已 成 為 迫切的需要 。 隨著互聯(lián)網 、 移動互聯(lián) 網 和智能設備的發(fā)展 ， 每個 人 都 成為一個潛在的數據采集點，導致眾包 （ crowdsourcing）模式成為 大數據時代一種極具現(xiàn)實意義的數據采集方式。 眾包這一概念由美 國 《連線 》 雜志的記者杰夫 ?豪 （ JeffHowe）在 2020 年 6 月明確提出，指把工作任 務 以自由 、 自愿的形式外包 給 大 眾的方法 ， 通常用于完成那些耗費大量人力的繁重任務 。 眾包的 思 路 并非新 鮮 事物， 18 世紀 英 國 就通 過 向民間 征 集海洋 經 度的精 確 測 量 方法 ， 解決了牛頓 、 惠更斯和哈雷等著名科學家未能解決的問題 ， 獲 獎者是一位來自于鄉(xiāng)村的木匠 。 此后的幾個世紀中 ， 類似的方法 曾經 有力地推動了航空、計算機等行業(yè)的發(fā)展。 隨著互 聯(lián) 網的出現(xiàn)，眾包 的 覆蓋范 圍 和可參 與 度 都大 大 提 升 ， 日 益成為一種可行的商業(yè)模式與組織方式 。 以當前的技術發(fā)展情況而言， 數據的采集 、 標注和清理 等 重復性工 作 還很難完全實現(xiàn)自動化 ， 比如 人體特征的采集 、 圖片的標注和重復數據的剔除等 ， 而這些工作 所 需 耗用的人力隨著數據量的劇增而成為企業(yè)或組織難以承受的重負 。 對 于這些需要大量人力介入才能保證質量的工作 ， 眾包模式提供了 一 種 成本可控、規(guī)模易伸縮的實現(xiàn)途 徑 。 比較典型的案例有： ? Twitter 使用亞馬 遜 的眾包平臺 Mechanical Turk， 來響 應 用戶對 熱點話題的搜索查詢。 ?? 《國家地理》曾發(fā)動近 萬人在蒙古的衛(wèi)星圖像中搜尋成吉思 汗 的墓地。 ? 澳大利 亞 昆士蘭 的 公交乘 客 用隨身 應 用采集 信 息 （ 比 如 公車到 站 時間等 ） ，提升 市 民的通 勤 效 率 ， 2020 年 已 經可以 做 到通知 下一 班車的到站時間。 ? 個人手 工 藝術品 網站 Etsy 發(fā)動用 戶 來鑒定 新 發(fā)布的 手 工 品是 否 存在版權 侵 權的問題。 ? Foursquare（據報道 ， 將被雅虎以 9 億美元的價格收購 ） 和 Factual 等公司 讓 企業(yè)用 戶 自己提 交 地理位 置 信息的 做 法，也 屬 于眾包 采 集的范疇。 ? 亞馬遜與移動打車應用 Flywheel 合作 ， 呼叫小型配送中心附近的 出租車來為用戶遞送包裹。 在大數 據 時代， 由 于需要 采 集海量 的 底層 原 始 數據， 在 成本可 接 受的范圍內 ， 很多時候已無法基于現(xiàn)有采集設備來完成任務 ， 因 此 眾 包 模式在大數據產業(yè)中最重要的應用場景就是數據的采集 。 同 時 ，海 量數據的加工和標注等任務所需的人力和時間太高 ， 使得眾包模 式 在 數據處理環(huán)節(jié)也具有較大的應用空間。 除了采 集 和加工 等 高人力 和 時間消 耗 的任務 之 外，通 過 眾包模 式 也可以將需要高智力和技術水平的問題外包給大眾 ， 通過受眾面 的 擴 大來提高任務完成的效率 。 比如 ， 將原始數據公布于眾 ， 讓公眾 積 極 參與到對數據的分析挖掘和應用創(chuàng)新活動中 ， 能夠有效推動大數 據 技 術和產業(yè)的發(fā)展。 基礎架構 （ Infrastructure） 與傳統(tǒng) IT 基礎架構相比 ， 大數據基礎架構必須應 對 空前規(guī)模 的數 據和各類音頻 、 圖像 、 視頻和文