【正文】 將大數(shù)據(jù)應(yīng)用與智慧城市的建設(shè)中，將迎來五大轉(zhuǎn)變：化被動為主動：傳統(tǒng)模式下人們往往是被動處理各類緊急事件，而大數(shù)據(jù)模式下將提供預(yù)測、預(yù)警機(jī)制，可主動部署人力，調(diào)動資源?？偨Y(jié)大數(shù)據(jù)技術(shù)使Facebook對于用戶理解越來越深入，廣告投放也就越精準(zhǔn)，廣告價值也就越高。 根據(jù)不同的群組，F(xiàn)acebook為用戶推送他們可能潛在感興趣的廣告。 網(wǎng)絡(luò)視頻、網(wǎng)絡(luò)音樂和網(wǎng)絡(luò)游戲通過大數(shù)據(jù)平臺收集用戶的行為數(shù)據(jù)，通過分析理解每個用戶的動機(jī)和潛在價值，來調(diào)整視頻網(wǎng)站、音樂網(wǎng)站和游戲的設(shè)計，并對這些用戶行為進(jìn)行實(shí)時自動營銷，以更好的滿足用戶需求。 網(wǎng)絡(luò)廣告利用大數(shù)據(jù)理論和技術(shù)，可深入分析網(wǎng)絡(luò)廣告的效果及其對商品銷售等的影響、廣告“讀者”對之的反應(yīng)等。項(xiàng)目成果做到了快速實(shí)時的需求訪問并獲得準(zhǔn)確數(shù)據(jù)，通過對大數(shù)據(jù)的分析可做出車輛保修問題的早期洞察，提高維修效率。司法系統(tǒng)：公安市場大規(guī)模的信息化和裝備投資產(chǎn)生了海量的非結(jié)構(gòu)化數(shù)據(jù)，公安的實(shí)戰(zhàn)應(yīng)用是大數(shù)據(jù)的重要應(yīng)用領(lǐng)域。大數(shù)據(jù)產(chǎn)業(yè)鏈全景圖重點(diǎn)應(yīng)用領(lǐng)域 （1）、公共領(lǐng)域據(jù)《證劵日報》市場研究中心統(tǒng)計分析發(fā)現(xiàn)，目前我國在公共領(lǐng)域?qū)Υ髷?shù)據(jù)的運(yùn)用主要集中在電力行業(yè)、智能交通、電子政務(wù)和司法系統(tǒng)四個方面。在國內(nèi)，一些廠商也把海量非結(jié)構(gòu)化信息處理技術(shù)和Hadoop架構(gòu)進(jìn)行有效結(jié)合集成，并結(jié)合企業(yè)在大數(shù)據(jù)采集、存儲、分析挖掘、可視化方面的具體需求，開發(fā)企業(yè)級大數(shù)據(jù)分析挖掘系統(tǒng)。（4） 、大企業(yè)的定制化解決方案大數(shù)據(jù)軟件技術(shù)起源于以國外Google、Yahoo等巨頭公司的分布式計算平臺，并隨著這些技術(shù)的開源基礎(chǔ)架構(gòu)，在國內(nèi)互聯(lián)網(wǎng)公司中得到廣泛定制化應(yīng)用。每個現(xiàn)代企業(yè)機(jī)構(gòu)，無論規(guī)模大小，都會產(chǎn)生海量的機(jī)器數(shù)據(jù)，利用這些數(shù)據(jù)是目前機(jī)構(gòu)或企業(yè)的關(guān)鍵任務(wù)。但是現(xiàn)有的數(shù)據(jù)處理方法僅適用于結(jié)構(gòu)化數(shù)據(jù)，無法將大量的非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一、整合，從而就無法發(fā)掘數(shù)據(jù)中的價值。（2） 、非結(jié)構(gòu)化大數(shù)據(jù)處理分析成為難點(diǎn)和重點(diǎn)隨著互聯(lián)網(wǎng)和通信技術(shù)的迅猛發(fā)展，數(shù)據(jù)類型早已不是單一的結(jié)構(gòu)化數(shù)據(jù)，還充斥著廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)等之中網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等多類型的數(shù)據(jù)。最終用戶的關(guān)注焦點(diǎn)集中如何解決企業(yè)的業(yè)務(wù)問題，而不是購買誰的數(shù)據(jù)庫或者操作系統(tǒng)。有了這種思維模式的改變，大數(shù)據(jù)的應(yīng)用就有了希望。但作為國內(nèi)走在大數(shù)據(jù)行業(yè)前列的一些企業(yè)，技術(shù)水平也能達(dá)到較高水平，比如永洪科技在大數(shù)據(jù)、分布式計算、數(shù)據(jù)分析等領(lǐng)域具備核心競爭力、自主創(chuàng)新并擁有多項(xiàng)發(fā)明專利。應(yīng)用方面，中國三大通信運(yùn)營商都在結(jié)合自身業(yè)務(wù)情況，積極推進(jìn)大數(shù)據(jù)應(yīng)用工作，并取得了較好的進(jìn)展。2011年作為大數(shù)據(jù)在國內(nèi)的元年，預(yù)計未來幾年大數(shù)據(jù)市場將迎來高速增長期，有望突破40億元。大數(shù)據(jù)領(lǐng)域的企業(yè)并購熱度也在上升，單筆平均并購金額方面，大數(shù)據(jù)超過云計算位居IT領(lǐng)域榜首，在總并購額上也位居第二。美國政府還投資兩億美元促進(jìn)大數(shù)據(jù)核心技術(shù)研究和應(yīng)用，把大數(shù)據(jù)放在與集成電路、互聯(lián)網(wǎng)同等重要的位置，從國家層面推進(jìn)。2012年1月，世界經(jīng)濟(jì)論壇年會把“大數(shù)據(jù)、大影響”作為重要議題。該過程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計算涉及的數(shù)據(jù)量和計算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。統(tǒng)計與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對系統(tǒng)資源，特別是I/O會有極大的占用。也有一些用戶會在導(dǎo)入時使用來自Twitter的Storm來對數(shù)據(jù)進(jìn)行流式計算，來滿足部分業(yè)務(wù)的實(shí)時計算需求。 　　在大數(shù)據(jù)的采集過程中，其主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高，因?yàn)橥瑫r有可能會有成千上萬的用戶來進(jìn)行訪問和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問量在峰值時達(dá)到上百萬，所以需要在采集端部署大量數(shù)據(jù)庫才能支撐。大數(shù)據(jù)處理方法 大數(shù)據(jù)的處理方法有很多，普遍適用的大數(shù)據(jù)處理流程，可以概括為四步，分別是采集、導(dǎo)入和預(yù)處理、統(tǒng)計和分析，最后是數(shù)據(jù)挖掘。有機(jī)構(gòu)預(yù)測，“大數(shù)據(jù)”的發(fā)展，將使零售業(yè)凈利潤增長60%以上，制造業(yè)的產(chǎn)品開發(fā)、組裝成本將下降50%以上。大數(shù)據(jù)的技術(shù) 大數(shù)據(jù)技術(shù)是指從各種各樣類型的巨量數(shù)據(jù)中，快速獲得有價值信息的技術(shù)。大數(shù)據(jù)不單單是指數(shù)量的量大，而且包括了以下的四個方面：首先，數(shù)據(jù)的體量（volumes）大，大數(shù)據(jù)的起始計量單位至少是P（1000個T）、E（100萬個T）或Z（10億個T），和我們所熟知的G相比，體量不可謂不大。. . . . .大數(shù)據(jù)行業(yè)分析報告（2014）江蘇振邦智慧城市信息系統(tǒng)有限公司2014年4月25日學(xué)習(xí)參考. . . . . 目錄一、大數(shù)據(jù)概述 1大數(shù)據(jù)簡介 1大數(shù)據(jù)特征 1大數(shù)據(jù)的技術(shù) 2大數(shù)據(jù)的應(yīng)用 2大數(shù)據(jù)處理方法 2二、大數(shù)據(jù)發(fā)展現(xiàn)狀與趨勢分析 4國外現(xiàn)狀 4國內(nèi)現(xiàn)狀 5發(fā)展趨勢分析 6三、重點(diǎn)應(yīng)用領(lǐng)域及行業(yè)企業(yè)分析 8重點(diǎn)應(yīng)用領(lǐng)域 9重點(diǎn)企業(yè) 13國內(nèi)運(yùn)營商分析 18四、存在問題及對策分析 19數(shù)據(jù)量的成倍增長挑戰(zhàn)數(shù)據(jù)存儲能力 19數(shù)據(jù)類型的多樣性挑戰(zhàn)數(shù)據(jù)挖掘能力 20對大數(shù)據(jù)的處理速度挑戰(zhàn)數(shù)據(jù)處理的時效性 20數(shù)據(jù)跨越組織邊界傳播挑戰(zhàn)信息安全 20大數(shù)據(jù)時代的到來挑戰(zhàn)人才資源 20五、大數(shù)據(jù)方面的相關(guān)政策和法規(guī) 21數(shù)據(jù)生產(chǎn)的相關(guān)政策和法規(guī) 21數(shù)據(jù)共享的相關(guān)政策與法規(guī) 21隱私保護(hù)的相關(guān)政策和法規(guī) 22學(xué)習(xí)參考. . . . .一、大數(shù)據(jù)概述大數(shù)據(jù)簡介 隨著網(wǎng)絡(luò)和信息技術(shù)的不斷普及，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級增長。大數(shù)據(jù)特征大數(shù)據(jù)指的是所涉及的資料量規(guī)模巨大到無法通過目前主流軟件工具，在合理時間內(nèi)達(dá)到收集、管理、處理、并整理成為幫助企業(yè)經(jīng)營決策目的的咨詢。最后，是指數(shù)據(jù)的真實(shí)性（veracity）高，隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應(yīng)用數(shù)據(jù)等新數(shù)據(jù)源的興起，傳統(tǒng)數(shù)據(jù)源的局限被打破，信息的真實(shí)性和安全性顯得極其重要。大數(shù)據(jù)的應(yīng)用 大數(shù)據(jù)的應(yīng)用范圍非常廣。 在政府決策上，分析幾十年來的天氣數(shù)據(jù)，將各地降雨、氣溫、土壤狀況和歷年農(nóng)作物產(chǎn)量做成精密圖表，就可以預(yù)測農(nóng)產(chǎn)品生產(chǎn)趨勢，政府的激勵措施、作物存儲量和農(nóng)業(yè)服務(wù)也可以隨之確定。比如，電商會使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫MySQL和Oracle等來存儲每一筆事務(wù)數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫也常用于數(shù)據(jù)的采集。雖然采集端本身會有很多數(shù)據(jù)庫，但是如果要對這些海量數(shù)據(jù)進(jìn)行有效的分析，還是應(yīng)該將這些來自前端的數(shù)據(jù)導(dǎo)入到一個集中的大型分布式數(shù)據(jù)庫，或者分布式存儲集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡單的清洗和預(yù)處理工作。統(tǒng)計與分析主要利用分布式數(shù)據(jù)庫，或者分布式計算集群來對存儲于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等，以滿足大多數(shù)常見的分析需求，在這方面，一些實(shí)時性需求會用到EMC的GreenPlum、Oracle的Exadata，