【正文】 9“大數(shù)據(jù)”的采集和預(yù)處理 9“大數(shù)據(jù)”存儲(chǔ)技術(shù) 10“大數(shù)據(jù)”分析技術(shù) 10“大數(shù)據(jù)”與云計(jì)算 113大數(shù)據(jù)產(chǎn)業(yè)的應(yīng)用 12 12“大數(shù)據(jù)”在典型領(lǐng)域中的應(yīng)用 13：立體的大數(shù)據(jù)生態(tài)系統(tǒng) 14 14 15 164問(wèn)題與挑戰(zhàn) 18 18 18 18 18 19 19 195對(duì)大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的建議 20 20 21 221“大數(shù)據(jù)”的時(shí)代背景“大數(shù)據(jù)”的概念紐約時(shí)報(bào)在2012年宣布“大數(shù)據(jù)時(shí)代”已經(jīng)降臨，“大數(shù)據(jù)”成為了時(shí)下最火熱的詞匯。當(dāng)時(shí)搜索引擎要存儲(chǔ)和處理的數(shù)據(jù)，不僅數(shù)量之大前所未有，而且以非結(jié)構(gòu)化數(shù)據(jù)為主，傳統(tǒng)技術(shù)無(wú)法應(yīng)對(duì)。根據(jù)這一計(jì)劃，美國(guó)希望利用大數(shù)據(jù)技術(shù)再多個(gè)領(lǐng)域?qū)崿F(xiàn)突破，包括科研教學(xué)、環(huán)境保護(hù)、國(guó)土安全等，此舉標(biāo)志著，美國(guó)把應(yīng)對(duì)大數(shù)據(jù)技術(shù)革命帶來(lái)的機(jī)遇和挑戰(zhàn)，提高到國(guó)家戰(zhàn)略層面，形成了全體動(dòng)員格局。舉例而言，在一個(gè)連續(xù)監(jiān)控三個(gè)小時(shí)的視頻中，能夠提供有效信息幫助刑偵人員破案的畫(huà)面可能只有三五秒。以大數(shù)據(jù)為結(jié)點(diǎn)，各項(xiàng)新一代信息技術(shù)應(yīng)用產(chǎn)生的信息將不斷匯集，并通過(guò)對(duì)不同來(lái)源數(shù)據(jù)的統(tǒng)一性、綜合性的處理、分析與優(yōu)化，將結(jié)果反饋或交叉反饋到物聯(lián)網(wǎng)、移動(dòng)互聯(lián)網(wǎng)、數(shù)字家庭、社會(huì)化網(wǎng)絡(luò)等應(yīng)用中，又進(jìn)一步改善使用體驗(yàn)，并創(chuàng)造出巨大的商業(yè)價(jià)值、經(jīng)濟(jì)價(jià)值和社會(huì)價(jià)值。真正能夠利用好大數(shù)據(jù)、并將其價(jià)值轉(zhuǎn)化成生產(chǎn)力的企業(yè)必將具備強(qiáng)勁有力的競(jìng)爭(zhēng)優(yōu)勢(shì)，從而成為行業(yè)的領(lǐng)導(dǎo)者。第三是個(gè)性化精準(zhǔn)推薦?！按髷?shù)據(jù)”的采集和預(yù)處理在數(shù)據(jù)分析界有著一個(gè)“拇指法則”，即數(shù)據(jù)分析工作至少有70%~80%的時(shí)間都花在搜集和準(zhǔn)備數(shù)據(jù)上，而僅有20%~30%的時(shí)間花在分析本身上。這些不同類型的傳感器，無(wú)時(shí)無(wú)刻不在產(chǎn)生大量的數(shù)據(jù)，這些成為大數(shù)據(jù)的重要來(lái)源之一。其中海量存儲(chǔ)包含數(shù)據(jù)容量和數(shù)據(jù)文件量?jī)蓚€(gè)方面，為保障系統(tǒng)存儲(chǔ)容量能夠以較低成本存儲(chǔ)海量數(shù)據(jù)并能實(shí)現(xiàn)快速平滑擴(kuò)展，分布式存儲(chǔ)和存儲(chǔ)虛擬化技術(shù)被廣泛采用；為更好的對(duì)系統(tǒng)中海量文件進(jìn)行有效管理，將數(shù)據(jù)傳輸和數(shù)據(jù)控制分離開(kāi)的對(duì)象存儲(chǔ)架構(gòu)應(yīng)用廣泛。（2） 數(shù)據(jù)挖掘算法大數(shù)據(jù)分析的理論核心就是數(shù)據(jù)挖掘算法，各種數(shù)據(jù)挖掘的算法基于不同的數(shù)據(jù)類型和格式能更加科學(xué)的呈現(xiàn)出數(shù)據(jù)本身具備的特點(diǎn)，而這些數(shù)據(jù)挖掘的算法能夠快速的處理大數(shù)據(jù)。云計(jì)算的出現(xiàn)改變了數(shù)據(jù)的存儲(chǔ)和訪問(wèn)方式，在云計(jì)算出現(xiàn)之前，數(shù)據(jù)大多分散保存在每個(gè)人的個(gè)人計(jì)算機(jī)中、每家企業(yè)的服務(wù)器中。咨詢機(jī)構(gòu)麥肯錫最早提出“大數(shù)據(jù)時(shí)代已經(jīng)到來(lái)”，在2012年發(fā)布的《大數(shù)據(jù)：創(chuàng)新、競(jìng)爭(zhēng)和生產(chǎn)力的下一個(gè)領(lǐng)域》文章上表明，在零售業(yè)、制造業(yè)、醫(yī)療衛(wèi)生和公共部門，“大數(shù)據(jù)”可以加快產(chǎn)業(yè)規(guī)模的增長(zhǎng)速度，降低生產(chǎn)運(yùn)營(yíng)成本；對(duì)于企業(yè)而言，采用“大數(shù)據(jù)”可以提升企業(yè)的競(jìng)爭(zhēng)力，改善企業(yè)的營(yíng)銷規(guī)劃，客戶定位，產(chǎn)品創(chuàng)新、工作流程優(yōu)化、人力資源管理、物理管理和風(fēng)險(xiǎn)控制等多方面的能力。這種認(rèn)知可以是宏觀的，也可以是微觀的。在IT領(lǐng)域，一個(gè)典型的案例就是eBay通過(guò)數(shù)據(jù)分析技術(shù)可以精確計(jì)算出廣告中的每一個(gè)關(guān)鍵字為公司帶來(lái)的回報(bào)，通過(guò)對(duì)廣告投放的優(yōu)化，自2007年以來(lái)eBay產(chǎn)品銷售的廣告費(fèi)降低了99%，而頂級(jí)賣家占總銷售額的百分比卻上升至32%。 以上都是“大數(shù)據(jù)”在一些實(shí)際領(lǐng)域的應(yīng)用，未來(lái)“大數(shù)據(jù)”將會(huì)在更多的領(lǐng)域得到應(yīng)用，決策行為將會(huì)基于數(shù)據(jù)分析做出，通過(guò)對(duì)數(shù)據(jù)的整理和分析，政府和企業(yè)能夠預(yù)測(cè)個(gè)體下一步的需求，進(jìn)而提供更加智能與高效率的管理和服務(wù)。利用城市管理中產(chǎn)生的大量信息與數(shù)據(jù)，積極促進(jìn)城市機(jī)構(gòu)之間的實(shí)時(shí)溝通和協(xié)助，分析原因，制定對(duì)策，有效平衡社會(huì)、商業(yè)和環(huán)境發(fā)展需要，優(yōu)化現(xiàn)有的可用資源，以最優(yōu)化的方式為城市公民提供全面又超前的服務(wù)，積極提高公民的生活幸福感—這種高效、智能且可持續(xù)的城市管理被稱為智慧城市。最后，智慧城市可實(shí)現(xiàn)通過(guò)協(xié)調(diào)不同部門的資源，以提高更快、更有效的影響。2012年11月，住房和城鄉(xiāng)建設(shè)部辦公廳發(fā)布《關(guān)于開(kāi)展國(guó)家智慧城市試點(diǎn)工作的通知》，將建設(shè)智慧城市作為貫徹黨中央、國(guó)務(wù)院關(guān)于創(chuàng)新驅(qū)動(dòng)發(fā)展、推動(dòng)新型城鎮(zhèn)化、全面建成小康社會(huì)的重要舉措，要求各地高度重視，抓住機(jī)遇，通過(guò)積極開(kāi)展智慧城市建設(shè)，提升城市管理能力和服務(wù)水平，促進(jìn)產(chǎn)業(yè)轉(zhuǎn)型發(fā)展。在中國(guó)智慧城市建設(shè)中，應(yīng)當(dāng)注意以下幾點(diǎn)：（1）要因城而異，不能照搬西方的模式。而數(shù)據(jù)造假、數(shù)據(jù)鴻溝等問(wèn)題在大數(shù)據(jù)時(shí)代依然存在，偏見(jiàn)和盲區(qū)存在于大數(shù)據(jù)中，大數(shù)據(jù)得出的結(jié)論并不是完全客觀、準(zhǔn)確的，它并不能提供價(jià)值判斷，也不能完全取代人的經(jīng)驗(yàn)和直覺(jué)。這需要政府和企業(yè)從政策、技術(shù)和法律等多個(gè)方向進(jìn)行思考和應(yīng)對(duì)。此外，還需要150萬(wàn)名熟悉如何應(yīng)用海量數(shù)據(jù)的管理者和分析員。實(shí)施大數(shù)據(jù)戰(zhàn)略，對(duì)于政府部門來(lái)說(shuō)，不僅意味著要上馬多少高新科技項(xiàng)目，更意味著要調(diào)整自身運(yùn)作的機(jī)制，進(jìn)行一次政府理念的創(chuàng)新，政府職能的轉(zhuǎn)變、政府流程的再造。關(guān)于這一問(wèn)題，政府部門一方面要進(jìn)行縱向信息系統(tǒng)整合，自上而下進(jìn)行統(tǒng)一的部署，在上下級(jí)部門之間利用多級(jí)網(wǎng)絡(luò)和中心數(shù)據(jù)庫(kù)，構(gòu)建統(tǒng)一的信息平臺(tái)；另一方面要實(shí)現(xiàn)橫向電子政務(wù)信息系統(tǒng)整合，實(shí)現(xiàn)跨部門的政府信息資源共享和政務(wù)協(xié)同；最后還要改變現(xiàn)存的內(nèi)部管理觀念，實(shí)現(xiàn)性質(zhì)體制的改革和創(chuàng)新。但是在發(fā)展的過(guò)程中，需要注意的是“大數(shù)據(jù)”產(chǎn)業(yè)聯(lián)盟不能簡(jiǎn)單的等同于“大數(shù)據(jù)中心”，要防止過(guò)熱發(fā)展而帶來(lái)的風(fēng)險(xiǎn)，政府要做到“整體規(guī)劃，穩(wěn)步發(fā)展”。作為“大數(shù)據(jù)”的來(lái)源方，公眾應(yīng)該時(shí)刻關(guān)注國(guó)家、企業(yè)的數(shù)據(jù)保護(hù)措施，積極參與數(shù)據(jù)保護(hù)計(jì)劃。公眾需要正確看待大數(shù)據(jù)，積極的支持大數(shù)據(jù)的發(fā)展。以百度、阿里、騰訊等為首的互聯(lián)網(wǎng)行業(yè)需要做到：(1)加大力度整合內(nèi)部系統(tǒng)，構(gòu)建內(nèi)部數(shù)據(jù)倉(cāng)庫(kù)。政府部門想要讓大數(shù)據(jù)全面落地要做到妥善利用數(shù)據(jù)，重視歷史數(shù)據(jù)的價(jià)值，對(duì)不同來(lái)源的數(shù)據(jù)進(jìn)行整合。（2）政府部門作為“大數(shù)據(jù)”的實(shí)踐者應(yīng)該建構(gòu)一套數(shù)據(jù)系統(tǒng)，這個(gè)數(shù)據(jù)系統(tǒng)需要包括3個(gè)必備因素：天上有云（云平臺(tái)）、地上有網(wǎng)（物聯(lián)網(wǎng)、泛在網(wǎng)）、中間有數(shù)（數(shù)據(jù)）。目前大數(shù)據(jù)應(yīng)用市場(chǎng)還沒(méi)有很大，要等到數(shù)據(jù)、技術(shù)和系統(tǒng)的準(zhǔn)備有了一定的突破之后才會(huì)出現(xiàn)飛速的發(fā)展，但是從現(xiàn)在工業(yè)界發(fā)展的情境看來(lái)，很多企業(yè)出現(xiàn)了跟風(fēng)上項(xiàng)目、跟風(fēng)賣產(chǎn)品的現(xiàn)象。業(yè)內(nèi)專家估計(jì)，全球范圍內(nèi)所有數(shù)據(jù)中心的總功率高達(dá)3000萬(wàn)千瓦，幾乎等于30座核電站的發(fā)電量。數(shù)據(jù)安全在大數(shù)據(jù)時(shí)代也同樣面臨挑戰(zhàn)。（2）注重政府統(tǒng)籌，打破行業(yè)、地域壁壘，建立智慧城市大數(shù)據(jù)的共建共享機(jī)制。總體上說(shuō)，中國(guó)東部地區(qū)智慧城市建設(shè)重點(diǎn)在于以信息技術(shù)促進(jìn)轉(zhuǎn)變經(jīng)濟(jì)發(fā)展方式，提高社會(huì)管理水平，提升城市競(jìng)爭(zhēng)力，塑造城市品牌。全球在智慧城市的實(shí)踐中展現(xiàn)了各自不同的設(shè)計(jì)理念：美國(guó)在智慧城市建設(shè)方面選擇智能電網(wǎng)進(jìn)行突破，注重于商業(yè)機(jī)構(gòu)的合作，利用Ur