【正文】 將大數(shù)據(jù)應(yīng)用與智慧城市的建設(shè)中，將迎來(lái)五大轉(zhuǎn)變：化被動(dòng)為主動(dòng)：傳統(tǒng)模式下人們往往是被動(dòng)處理各類緊急事件，而大數(shù)據(jù)模式下將提供預(yù)測(cè)、預(yù)警機(jī)制，可主動(dòng)部署人力，調(diào)動(dòng)資源。總結(jié)大數(shù)據(jù)技術(shù)使Facebook對(duì)于用戶理解越來(lái)越深入，廣告投放也就越精準(zhǔn)，廣告價(jià)值也就越高。 根據(jù)不同的群組，F(xiàn)acebook為用戶推送他們可能潛在感興趣的廣告。 網(wǎng)絡(luò)視頻、網(wǎng)絡(luò)音樂(lè)和網(wǎng)絡(luò)游戲通過(guò)大數(shù)據(jù)平臺(tái)收集用戶的行為數(shù)據(jù)，通過(guò)分析理解每個(gè)用戶的動(dòng)機(jī)和潛在價(jià)值，來(lái)調(diào)整視頻網(wǎng)站、音樂(lè)網(wǎng)站和游戲的設(shè)計(jì)，并對(duì)這些用戶行為進(jìn)行實(shí)時(shí)自動(dòng)營(yíng)銷，以更好的滿足用戶需求。 網(wǎng)絡(luò)廣告利用大數(shù)據(jù)理論和技術(shù)，可深入分析網(wǎng)絡(luò)廣告的效果及其對(duì)商品銷售等的影響、廣告“讀者”對(duì)之的反應(yīng)等。項(xiàng)目成果做到了快速實(shí)時(shí)的需求訪問(wèn)并獲得準(zhǔn)確數(shù)據(jù)，通過(guò)對(duì)大數(shù)據(jù)的分析可做出車輛保修問(wèn)題的早期洞察，提高維修效率。司法系統(tǒng)：公安市場(chǎng)大規(guī)模的信息化和裝備投資產(chǎn)生了海量的非結(jié)構(gòu)化數(shù)據(jù)，公安的實(shí)戰(zhàn)應(yīng)用是大數(shù)據(jù)的重要應(yīng)用領(lǐng)域。大數(shù)據(jù)產(chǎn)業(yè)鏈全景圖重點(diǎn)應(yīng)用領(lǐng)域 （1）、公共領(lǐng)域據(jù)《證劵日?qǐng)?bào)》市場(chǎng)研究中心統(tǒng)計(jì)分析發(fā)現(xiàn)，目前我國(guó)在公共領(lǐng)域?qū)Υ髷?shù)據(jù)的運(yùn)用主要集中在電力行業(yè)、智能交通、電子政務(wù)和司法系統(tǒng)四個(gè)方面。在國(guó)內(nèi)，一些廠商也把海量非結(jié)構(gòu)化信息處理技術(shù)和Hadoop架構(gòu)進(jìn)行有效結(jié)合集成，并結(jié)合企業(yè)在大數(shù)據(jù)采集、存儲(chǔ)、分析挖掘、可視化方面的具體需求，開(kāi)發(fā)企業(yè)級(jí)大數(shù)據(jù)分析挖掘系統(tǒng)。（4） 、大企業(yè)的定制化解決方案大數(shù)據(jù)軟件技術(shù)起源于以國(guó)外Google、Yahoo等巨頭公司的分布式計(jì)算平臺(tái)，并隨著這些技術(shù)的開(kāi)源基礎(chǔ)架構(gòu)，在國(guó)內(nèi)互聯(lián)網(wǎng)公司中得到廣泛定制化應(yīng)用。每個(gè)現(xiàn)代企業(yè)機(jī)構(gòu)，無(wú)論規(guī)模大小，都會(huì)產(chǎn)生海量的機(jī)器數(shù)據(jù)，利用這些數(shù)據(jù)是目前機(jī)構(gòu)或企業(yè)的關(guān)鍵任務(wù)。但是現(xiàn)有的數(shù)據(jù)處理方法僅適用于結(jié)構(gòu)化數(shù)據(jù)，無(wú)法將大量的非結(jié)構(gòu)化數(shù)據(jù)與結(jié)構(gòu)化數(shù)據(jù)進(jìn)行統(tǒng)一、整合，從而就無(wú)法發(fā)掘數(shù)據(jù)中的價(jià)值。（2） 、非結(jié)構(gòu)化大數(shù)據(jù)處理分析成為難點(diǎn)和重點(diǎn)隨著互聯(lián)網(wǎng)和通信技術(shù)的迅猛發(fā)展，數(shù)據(jù)類型早已不是單一的結(jié)構(gòu)化數(shù)據(jù)，還充斥著廣泛存在于社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)、電子商務(wù)等之中網(wǎng)絡(luò)日志、音頻、視頻、圖片、地理位置信息等等多類型的數(shù)據(jù)。最終用戶的關(guān)注焦點(diǎn)集中如何解決企業(yè)的業(yè)務(wù)問(wèn)題，而不是購(gòu)買(mǎi)誰(shuí)的數(shù)據(jù)庫(kù)或者操作系統(tǒng)。有了這種思維模式的改變，大數(shù)據(jù)的應(yīng)用就有了希望。但作為國(guó)內(nèi)走在大數(shù)據(jù)行業(yè)前列的一些企業(yè)，技術(shù)水平也能達(dá)到較高水平，比如永洪科技在大數(shù)據(jù)、分布式計(jì)算、數(shù)據(jù)分析等領(lǐng)域具備核心競(jìng)爭(zhēng)力、自主創(chuàng)新并擁有多項(xiàng)發(fā)明專利。應(yīng)用方面，中國(guó)三大通信運(yùn)營(yíng)商都在結(jié)合自身業(yè)務(wù)情況，積極推進(jìn)大數(shù)據(jù)應(yīng)用工作，并取得了較好的進(jìn)展。2011年作為大數(shù)據(jù)在國(guó)內(nèi)的元年，預(yù)計(jì)未來(lái)幾年大數(shù)據(jù)市場(chǎng)將迎來(lái)高速增長(zhǎng)期，有望突破40億元。大數(shù)據(jù)領(lǐng)域的企業(yè)并購(gòu)熱度也在上升，單筆平均并購(gòu)金額方面，大數(shù)據(jù)超過(guò)云計(jì)算位居IT領(lǐng)域榜首，在總并購(gòu)額上也位居第二。美國(guó)政府還投資兩億美元促進(jìn)大數(shù)據(jù)核心技術(shù)研究和應(yīng)用，把大數(shù)據(jù)放在與集成電路、互聯(lián)網(wǎng)同等重要的位置，從國(guó)家層面推進(jìn)。2012年1月，世界經(jīng)濟(jì)論壇年會(huì)把“大數(shù)據(jù)、大影響”作為重要議題。該過(guò)程的特點(diǎn)和挑戰(zhàn)主要是用于挖掘的算法很復(fù)雜，并且計(jì)算涉及的數(shù)據(jù)量和計(jì)算量都很大，常用數(shù)據(jù)挖掘算法都以單線程為主。統(tǒng)計(jì)與分析這部分的主要特點(diǎn)和挑戰(zhàn)是分析涉及的數(shù)據(jù)量大，其對(duì)系統(tǒng)資源，特別是I/O會(huì)有極大的占用。也有一些用戶會(huì)在導(dǎo)入時(shí)使用來(lái)自Twitter的Storm來(lái)對(duì)數(shù)據(jù)進(jìn)行流式計(jì)算，來(lái)滿足部分業(yè)務(wù)的實(shí)時(shí)計(jì)算需求。 　　在大數(shù)據(jù)的采集過(guò)程中，其主要特點(diǎn)和挑戰(zhàn)是并發(fā)數(shù)高，因?yàn)橥瑫r(shí)有可能會(huì)有成千上萬(wàn)的用戶來(lái)進(jìn)行訪問(wèn)和操作，比如火車票售票網(wǎng)站和淘寶，它們并發(fā)的訪問(wèn)量在峰值時(shí)達(dá)到上百萬(wàn)，所以需要在采集端部署大量數(shù)據(jù)庫(kù)才能支撐。大數(shù)據(jù)處理方法 大數(shù)據(jù)的處理方法有很多，普遍適用的大數(shù)據(jù)處理流程，可以概括為四步，分別是采集、導(dǎo)入和預(yù)處理、統(tǒng)計(jì)和分析，最后是數(shù)據(jù)挖掘。有機(jī)構(gòu)預(yù)測(cè)，“大數(shù)據(jù)”的發(fā)展，將使零售業(yè)凈利潤(rùn)增長(zhǎng)60%以上，制造業(yè)的產(chǎn)品開(kāi)發(fā)、組裝成本將下降50%以上。大數(shù)據(jù)的技術(shù) 大數(shù)據(jù)技術(shù)是指從各種各樣類型的巨量數(shù)據(jù)中，快速獲得有價(jià)值信息的技術(shù)。大數(shù)據(jù)不單單是指數(shù)量的量大，而且包括了以下的四個(gè)方面：首先，數(shù)據(jù)的體量（volumes）大，大數(shù)據(jù)的起始計(jì)量單位至少是P（1000個(gè)T）、E（100萬(wàn)個(gè)T）或Z（10億個(gè)T），和我們所熟知的G相比，體量不可謂不大。. . . . .大數(shù)據(jù)行業(yè)分析報(bào)告（2014）江蘇振邦智慧城市信息系統(tǒng)有限公司2014年4月25日學(xué)習(xí)參考. . . . . 目錄一、大數(shù)據(jù)概述 1大數(shù)據(jù)簡(jiǎn)介 1大數(shù)據(jù)特征 1大數(shù)據(jù)的技術(shù) 2大數(shù)據(jù)的應(yīng)用 2大數(shù)據(jù)處理方法 2二、大數(shù)據(jù)發(fā)展現(xiàn)狀與趨勢(shì)分析 4國(guó)外現(xiàn)狀 4國(guó)內(nèi)現(xiàn)狀 5發(fā)展趨勢(shì)分析 6三、重點(diǎn)應(yīng)用領(lǐng)域及行業(yè)企業(yè)分析 8重點(diǎn)應(yīng)用領(lǐng)域 9重點(diǎn)企業(yè) 13國(guó)內(nèi)運(yùn)營(yíng)商分析 18四、存在問(wèn)題及對(duì)策分析 19數(shù)據(jù)量的成倍增長(zhǎng)挑戰(zhàn)數(shù)據(jù)存儲(chǔ)能力 19數(shù)據(jù)類型的多樣性挑戰(zhàn)數(shù)據(jù)挖掘能力 20對(duì)大數(shù)據(jù)的處理速度挑戰(zhàn)數(shù)據(jù)處理的時(shí)效性 20數(shù)據(jù)跨越組織邊界傳播挑戰(zhàn)信息安全 20大數(shù)據(jù)時(shí)代的到來(lái)挑戰(zhàn)人才資源 20五、大數(shù)據(jù)方面的相關(guān)政策和法規(guī) 21數(shù)據(jù)生產(chǎn)的相關(guān)政策和法規(guī) 21數(shù)據(jù)共享的相關(guān)政策與法規(guī) 21隱私保護(hù)的相關(guān)政策和法規(guī) 22學(xué)習(xí)參考. . . . .一、大數(shù)據(jù)概述大數(shù)據(jù)簡(jiǎn)介 隨著網(wǎng)絡(luò)和信息技術(shù)的不斷普及，人類產(chǎn)生的數(shù)據(jù)量正在呈指數(shù)級(jí)增長(zhǎng)。大數(shù)據(jù)特征大數(shù)據(jù)指的是所涉及的資料量規(guī)模巨大到無(wú)法通過(guò)目前主流軟件工具，在合理時(shí)間內(nèi)達(dá)到收集、管理、處理、并整理成為幫助企業(yè)經(jīng)營(yíng)決策目的的咨詢。最后，是指數(shù)據(jù)的真實(shí)性（veracity）高，隨著社交數(shù)據(jù)、企業(yè)內(nèi)容、交易與應(yīng)用數(shù)據(jù)等新數(shù)據(jù)源的興起，傳統(tǒng)數(shù)據(jù)源的局限被打破，信息的真實(shí)性和安全性顯得極其重要。大數(shù)據(jù)的應(yīng)用 大數(shù)據(jù)的應(yīng)用范圍非常廣。 在政府決策上，分析幾十年來(lái)的天氣數(shù)據(jù)，將各地降雨、氣溫、土壤狀況和歷年農(nóng)作物產(chǎn)量做成精密圖表，就可以預(yù)測(cè)農(nóng)產(chǎn)品生產(chǎn)趨勢(shì)，政府的激勵(lì)措施、作物存儲(chǔ)量和農(nóng)業(yè)服務(wù)也可以隨之確定。比如，電商會(huì)使用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)MySQL和Oracle等來(lái)存儲(chǔ)每一筆事務(wù)數(shù)據(jù)，除此之外，Redis和MongoDB這樣的NoSQL數(shù)據(jù)庫(kù)也常用于數(shù)據(jù)的采集。雖然采集端本身會(huì)有很多數(shù)據(jù)庫(kù)，但是如果要對(duì)這些海量數(shù)據(jù)進(jìn)行有效的分析，還是應(yīng)該將這些來(lái)自前端的數(shù)據(jù)導(dǎo)入到一個(gè)集中的大型分布式數(shù)據(jù)庫(kù)，或者分布式存儲(chǔ)集群，并且可以在導(dǎo)入基礎(chǔ)上做一些簡(jiǎn)單的清洗和預(yù)處理工作。統(tǒng)計(jì)與分析主要利用分布式數(shù)據(jù)庫(kù)，或者分布式計(jì)算集群來(lái)對(duì)存儲(chǔ)于其內(nèi)的海量數(shù)據(jù)進(jìn)行普通的分析和分類匯總等，以滿足大多數(shù)常見(jiàn)的分析需求，在這方面，一些實(shí)時(shí)性需求會(huì)用到EMC的GreenPlum、Oracle的Exadata，