【文章內容簡介】 通過收費模式允許醫(yī)藥 公司訪問數據。l Moovit 通過眾包方式采集公共交通信息，包括負載信息和公交車 準點信息。l 租車公司 Zipcar 通過車輛內置系統(tǒng)，采集乘車人和車輛本身的數 據。l 旅游網站 Tripadvisor，提供平臺供用戶發(fā)布自己對景點、飯店 和酒店的評論，形成了一個高價值的旅游相關產業(yè)數據源。l Truecaller，通過讀取用戶手機上的通訊簿，采集全球的電話號碼，并與相應的社交媒體關聯，為用戶提供聯系信息搜索服務。 模式創(chuàng)新數據銀行在大數據時代，數據已經成為一種資產，企業(yè)、組織和個人開始 普遍認知到自身所擁有數據的外部價值，數據價值挖潛的概念在全社 會發(fā)酵。與金融資產類似，數據資產的供給和需求方分別對數據資產 存在著管理和融資的需求，因此在大數據產業(yè)鏈的數據源區(qū)塊，孕育 著一種類似銀行性質的產業(yè)形態(tài)，即數據銀行。從融資角度看，數據銀行的本質在于實現數據供需的對接，為數 據所有者找到數據資產價值變現的出口，同時使需求方獲得自身業(yè)務 發(fā)展所需的數據資源。與傳統(tǒng)銀行或交易平臺不同的是，數據銀行并 不是簡單地對供需進行對接和撮合：數據資產類型各異，沒有統(tǒng)一的 形式和度量，數據銀行必須積極從多個源頭引入資源，以專業(yè)的知識 和技能建立原始數據和最終應用之間的通路，讓數據需求方可以順利 以市場化的手段獲得所需的數據資源。從資產管理的角度看，數據銀行的本質在于為數據資源的價值體 現提供便利。傳統(tǒng)銀行所管理的金融資產，其形態(tài)和內容已經為資產 供需雙方所普遍理解，而數據資產尤其是原始數據的價值需要通過各 種手段主動挖掘才能體現，且不同的需求方對于同一數據的價值認知 也存在較大偏差。因此，在數據價值實現和數據資產流通的過程中必須進行數據清洗、格式化以及必要的應用場景開發(fā)等工作，并且以相應的機制設計和技術實現，聚合數據的供給和需求，確保數據資產接 入、發(fā)布和訪問通道的順暢。數據的原始形態(tài)通常與應用方的需求有一定差距，因此更準確地 說，數據資源必須經過有目的的發(fā)掘和特定的處理環(huán)節(jié)，才能真正實 現資產化。相對于數據交易平臺一類的形態(tài)，數據銀行最大的差異點 在于需要對數據的轉化和規(guī)整。數據的質量直接與企業(yè)成本負相關， 據 Gartner 公司估算，數據混雜的 CRM 系統(tǒng)將使企業(yè)收入下降 25%， 而 Experian 公司則認為不準確的數據很可能導致公司的收入平均損 失 12%。通過脫敏、去噪和去重處理，以及針對文本、圖像和音視頻 等海量非結構化數據的標注和特征抽取，能夠將數據轉化為需求方易 于理解和利用的形式，降低數據分析和挖掘的難度。這一環(huán)節(jié)是數據 資產融資和管理的關鍵，是提取和挖掘數據所含高價值信息和知識的 前提，是大數據技術發(fā)展和應用開拓的核心推動力。綜上所述，數據銀行的本質就在于實現了數據資源的商品化、標 準化、資產化，承載著數據資產形成、管理和交易的職責。由于歐美 先進國家在數據利用方面有較深傳統(tǒng)，在多個行業(yè)內自發(fā)形成了數據 流通的渠道，數據資源商品化、標準化和資產化的動作已滲透到大數 據產業(yè)鏈的各個環(huán)節(jié)中，全社會對于數據銀行或綜合性數據交易平臺 的需求并不突出。但是，對于信息產業(yè)相對落后、數據利用意識比較 淡薄的國家和地區(qū)，數據銀行形態(tài)的培育非常重要，從而在市場供給 和需求之間對數據資源進行深度資產化改造，使數據真正成為大數據 產業(yè)以及其他行業(yè)和領域發(fā)展的助推器。眾包模式隨著大數據的應用擴展和深化，社會對數據的需求日益上升，現有的數據獲取渠道和方式已無法滿足科學研究和產業(yè)發(fā)展的需求，更為便捷的獲取方式、更為廣泛的覆蓋面和更為真實準確的數據已成為 迫切的需要。隨著互聯網、移動互聯網和智能設備的發(fā)展，每個人都 成為一個潛在的數據采集點，導致眾包（crowdsourcing）模式成為 大數據時代一種極具現實意義的數據采集方式。眾包這一概念由美國《連線》雜志的記者杰夫?豪（JeffHowe）在 2006 年 6 月明確提出，指把工作任務以自由、自愿的形式外包給大 眾的方法，通常用于完成那些耗費大量人力的繁重任務。眾包的思路 并非新鮮事物，18 世紀英國就通過向民間征集海洋經度的精確測量 方法，解決了牛頓、惠更斯和哈雷等著名科學家未能解決的問題，獲 獎者是一位來自于鄉(xiāng)村的木匠。此后的幾個世紀中，類似的方法曾經 有力地推動了航空、計算機等行業(yè)的發(fā)展。隨著互聯網的出現，眾包的覆蓋范圍和可參與度都大大提升，日 益成為一種可行的商業(yè)模式與組織方式。以當前的技術發(fā)展情況而言， 數據的采集、標注和清理等重復性工作還很難完全實現自動化，比如 人體特征的采集、圖片的標注和重復數據的剔除等，而這些工作所需 耗用的人力隨著數據量的劇增而成為企業(yè)或組織難以承受的重負。對 于這些需要大量人力介入才能保證質量的工作，眾包模式提供了一種 成本可控、規(guī)模易伸縮的實現途徑。比較典型的案例有：l Twitter 使用亞馬遜的眾包平臺 Mechanical Turk，來響應用戶對 熱點話題的搜索查詢。l 《國家地理》曾發(fā)動近 萬人在蒙古的衛(wèi)星圖像中搜尋成吉思汗的墓地。l 澳大利亞昆士蘭的公交乘客用隨身應用采集信息（比如公車到站 時間等），提升市民的通勤效率，2011 年已經可以做到通知下一 班車的到站時間。l 個人手工藝術品網站 Etsy 發(fā)動用戶來鑒定新發(fā)布的手工品是否 存在版權侵權的問題。l Foursquare（據報道，將被雅虎以 9 億美元的價格收購）和 Factual 等公司讓企業(yè)用戶自己提交地理位置信息的做法，也屬于眾包采 集的范疇。l 亞馬遜與移動打車應用 Flywheel 合作，呼叫小型配送中心附近的 出租車來為用戶遞送包裹。在大數據時代，由于需要采集海量的底層原始數據，在成本可接 受的范圍內，很多時候已無法基于現有采集設備來完成任務，因此眾 包模式在大數據產業(yè)中最重要的應用場景就是數據的采集。同時，海 量數據的加工和標注等任務所需的人力和時間太高，使得眾包模式在 數據處理環(huán)節(jié)也具有較大的應用空間。除了采集和加工等高人力和時間消耗的任務之外，通過眾包模式 也可以將需要高智力和技術水平的問題外包給大眾，通過受眾面的擴 大來提高任務完成的效率。比如，將原始數據公布于眾，讓公眾積極 參與到對數據的分析挖掘和應用創(chuàng)新活動中，能夠有效推動大數據技 術和產業(yè)的發(fā)展。 基礎架構（Infrastructure）與傳統(tǒng) IT 基礎架構相比，大數據基礎架構必須應對空前規(guī)模的數 據和各類音頻、圖像、視頻和文本等非結構化信息；互聯網、移動互 聯網和物聯網數據的指數級增長，使得基礎架構必須擁有高度的可擴 展性；為了快速應對變化、響應市場，實時分析的需求日益強烈，基 礎架構必須具有強大的數據吞吐和計算能力?；A架構區(qū)塊中的企業(yè)主要提供大數據的存儲和管理產品或服務， 為后續(xù)的分析和挖掘提供支撐，包含各類新興的 NoSQL、NewSQL、MPP 和圖數據庫，以及云服務、數據轉換工具、管理/監(jiān)控工具和存儲設 備等。l Neo4j。圖形數據庫，將結構化數據以圖結構進行存儲，具備完全 的事物特性。l Aster data。MPP 數據庫，起源于斯坦福大學，已被 Teradata 收 購。l Cloudera?；?Hadoop 的產品與解決方案提供商。l MapR。基于 Hadoop 的產品與解決方案提供商，用自身文件系統(tǒng)取 代 HDFS，實現高速、鏡像、快照等功能。l Cleversafe。分布式存儲產品，為提升系統(tǒng)吞吐率優(yōu)化了 HDFS 的 副本設置。l VoltDB。內存數據庫產品，NewSQL 的代表之一。同時滿足關系型 數據庫的 ACID 原則以及 NoSQL 的可擴展性。l StackIQ。Hadoop 系統(tǒng)管理工具。l Greenplum。MPP 數據庫的代表之一，具有高可擴展性的關系型并行數據庫。l 微軟 Dryad。關系型數據庫的并行實現，能夠將 SQL 語句轉化為 基于 DAG 的多個操作。l Box 和 Dropbox。提供大數據存儲的云服務。 跨平臺（Cross infrastructure）本區(qū)塊中多為提供計算、存儲和分析平臺或服務的大型廠商，提 供對大數據分析進行支撐的軟硬件一體化方案。l IBM 在 DB2 中集成了 BLU 技術、列式優(yōu)化和并行向量處理等技術， 以內存計算大幅提升數據分析效率。在基礎平臺方面，為 Hadoop 平臺提供支持，同時有針對性地對 GPFS 文件系統(tǒng)進行了改造。l 微軟推出了基于 Hadoop 的大數據處理的組件，實現了 SQL Server 與 Hadoop 的連接；推出 LINQ Pack、Project“Daytona”以及 Excel DataScope，讓用戶可以在 Windows Azure 云上進行大數據分析； 2015 年初， 微軟 收購 R 語言的商業(yè)版提供商 Revolution Analytics，加強數據分析方面的能力建設。l SAS 通過與 Hadoop 的集成，為客戶提供分布式的分析產品。l 1010data 公司提供基于云計算平臺的數據分析服務。l Talend 公司針對數據集成提供專業(yè)的 ETL 工具和主數據管理云服 務。l 惠普推出了針對 Hadoop 平臺優(yōu)化的 AppSystem for Apache Hadoop，提供包括底層硬件、Hadoop 和實時數據分析的一體式解決方案。 開源（Open source）由企業(yè)、高?；蚩蒲袡C構所研發(fā)并開源的大數據產品，是當前大 數據基礎技術發(fā)展的最大推動力，通常集中在基礎性平臺和分析工具 兩大類。l Hadoop。起源于雅虎公司，是當前主流的大數據存儲和處理平臺， 實現了分布式的計算框架 MapReduce 和文件存儲系統(tǒng) HDFS。l Spark。誕生于加州伯克利大學 AMP 實驗室，是新一代大數據分布 式處理框架，以高效的內存計算著稱，逐漸成為大數據處理環(huán)節(jié) 的主流平臺。l MongoDB。由 10gen 公司開發(fā)，著名的分布式 NoSQL 數據庫，由于 功能豐富，在使用方面最接近關系數據庫。l Storm。由推特開發(fā)的大數據流式分析解決方案，在接收數據的同 時就進行計算和分析，具備一定的故障處理能力。l Mahout。數據挖掘工具，起源于 Apache 基金會，實現了一個分布 式機器學習算法的集合。l Solr。起源于 Apache Lucene 項目的開源企業(yè)搜索平臺，功能包 括全文檢索、命中標示和分面搜索等。 分析（Analytics）除了存儲，大數據管理的另一項大的挑戰(zhàn)是數據分析，只有通過分析才能獲取智能、深入、有價值的信息。數據分析大致可以分為以下幾類：數據挖掘，大數據分析的理論核心，基于不同的數據類型和 格式呈現出數據的各種特性，挖掘其中蘊涵的價值；預測性分析，大 數據分析最重要的應用領域之一，通過訓練數據建立模型，并以此為 基礎預測未來的趨勢和走向；非結構化分析，針對海量的音頻、圖像、 視頻和文本數據，結合人工智能技術抽取和提煉，使之能夠用于后續(xù) 的分析的挖掘；可視化分析，直觀的呈現數據統(tǒng)計分布特性，使普通 用戶能夠對數據形成大致的理解。 在大數據海量、多源、異構特性和實時處理的需求推動下，專門針對大數據的分析工具蓬勃發(fā)展，尤其是對于非結構化數據以及對未 來進行預測的分析。從創(chuàng)業(yè)和獲得投資的情況來看，本區(qū)塊是整個大 數據產業(yè)鏈中最為活躍的部分，其中典型的企業(yè)或產品如下所述：l 甲骨文宣布收購 Endeca Technologies，為企業(yè)用戶提供非結構化數據的搜索和管理服務。l SAP 推出了 Hana 平臺，能夠對非結構化數據進行高速分析，是大 數據內存計算的代表性技術之一。l Google 推出企業(yè)級大數據分析云服務 BigQuery，用來在云端處理 大數據，幫助企業(yè)在云平臺上分析數據、構建應用和分享服務。l Dataminr 公司通過對社會化媒體進行分析，為金融行業(yè)與政府部 門提供服務，曾在股市下跌前三分鐘，預知黑莓股票將被拋售。l Splunk。專注于日志分析，首家上市的新興大數據公司，首個交 易日市值即突破 30 億美元。l Palantir Technologies。數據分析工具提供商，旗下 Palantir Gotham 系統(tǒng)主要用于反恐，協(xié)助美國中央情報局發(fā)現本拉登行 蹤；Palantir Metropolis 則主要為對沖基金、銀行等提供服務。l 為行業(yè)尤其是政府、金融等行業(yè)提供解決方案，2014 年底以 150 億美元估值完成融資。l Clear story 為客戶提供數據整合工具，可以整合包括 Facebook 在內的多種數據源。l Affectiva 專注于人臉表情識別，商業(yè)媒體評為發(fā)展最快的創(chuàng)業(yè) 公司之一。2012 年美國總統(tǒng)競選期間，Affectiva 追蹤人們觀看 奧巴馬和羅姆尼辯論片段的表情，結果以 73%正確率判斷出了選 民投票結果。 可視化圖形是直觀呈現數據的直接方法，數據可視化就是研究如何利用 圖形，展現數據中隱含的信息，發(fā)掘數據中所包含的規(guī)律。數據可視 化所需的專業(yè)知識橫跨計算機、統(tǒng)計和心理學。隨著大數據的發(fā)展， 海量的數據需要以直觀、便捷的方式展示給技術和業(yè)務人員。大數據可視化分析領域的典型公司包括：l Risk Management Solutions 用熱圖來直觀標示自然災害的風險 和類別，包括地震、龍卷風、颶風、暴風、森林大火和火山爆發(fā) 等，進而為保險公司提供自然災難風險模型，供客戶估算理賠風 險。l Compuware 公司每天采集 80 億個數據點，對外提供 Web 服務故障 熱圖，監(jiān)測全球 1500 個 Web 服務。l RetailNext 基于店內的攝像頭、WiFi 和其他探測設備所采集的 數據，用熱圖顯示顧客在商店內的實