【正文】 鄭州輕工業(yè)學(xué)院課程設(shè)計(jì)說(shuō)明書題目： 大數(shù)據(jù)處理技術(shù)研究 姓 名： 王超 田啟森 院 （系）： 計(jì)算機(jī)與通信工程 專業(yè)班級(jí)： 計(jì)算機(jī)科學(xué)與技術(shù) 學(xué) 號(hào)： 541007010138 541007010137 指導(dǎo)教師： 錢慎一 成 績(jī)： 時(shí)間： 2013年6月 26 日至 2013 年 6 月27日目錄1. 摘要： 42. 大數(shù)據(jù)概況。 43. 大數(shù)據(jù)定義： 54. 大數(shù)據(jù)技術(shù)的發(fā)展： 55. 大數(shù)據(jù)技術(shù)組成： 8 分析技術(shù) 8 可視化分析 9 數(shù)據(jù)挖掘算法 9 預(yù)測(cè)分析能力 9 語(yǔ)義引擎 9 數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理 9 存儲(chǔ)數(shù)據(jù)庫(kù) 10 分布式計(jì)算技術(shù) 116. Hadoop大數(shù)據(jù)處理的核心技術(shù) 13 Hadoop的組成 13 Hadoop的優(yōu)點(diǎn)： 16 高可靠性。 16 高擴(kuò)展性。 17 高效性。 17 高容錯(cuò)性。 17 Hadoop的不足 17 主要商業(yè)性“大數(shù)據(jù)”處理方案 18 IBM InfoSphere大數(shù)據(jù)分析平臺(tái) 18 Or a c l e Bi g Da t aApplianc 19 Mi c r o s o f t S QLServer 19 Sybase IQ 20 其他“大數(shù)據(jù)”解決方案 20 EMC 20 BigQuery 20 “大數(shù)據(jù)”與科技文獻(xiàn)信息處理 217. 大數(shù)據(jù)處理技術(shù)發(fā)展前景： 21 大數(shù)據(jù)復(fù)雜度降低 21 大數(shù)據(jù)細(xì)分市場(chǎng) 22 大數(shù)據(jù)開源 22 Hadoop將加速發(fā)展 22 打包的大數(shù)據(jù)行業(yè)分析應(yīng)用 22 大數(shù)據(jù)分析的革命性方法出現(xiàn) 23 大數(shù)據(jù)與云計(jì)算:深度融合 23 大數(shù)據(jù)一體機(jī)陸續(xù)發(fā)布 238 結(jié)語(yǔ)。 239 參考文獻(xiàn)： 231. 摘要：大數(shù)據(jù)浪潮洶涌來(lái)襲，與互聯(lián)網(wǎng)的發(fā)明一樣，這絕不僅僅是信息技術(shù)領(lǐng)域的革命，更是在全球范圍啟動(dòng)透明政府、加速企業(yè)創(chuàng)新、引領(lǐng)社會(huì)變革的利器。2. 大數(shù)據(jù)概況。大數(shù)據(jù)，IT行業(yè)的又一次技術(shù)變革，大數(shù)據(jù)的浪潮洶涌而至，對(duì)國(guó)家治理、企業(yè)決策和個(gè)人生活都在產(chǎn)生深遠(yuǎn)的影響，并將成為云計(jì)算、物聯(lián)網(wǎng)之后信息技術(shù)產(chǎn)業(yè)領(lǐng)域又一重大創(chuàng)新變革。未來(lái)的十年將是一個(gè)“大數(shù)據(jù)”引領(lǐng)的智慧科技的時(shí)代、隨著社交網(wǎng)絡(luò)的逐漸成熟，移動(dòng)帶寬迅速提升、云計(jì)算、物聯(lián)網(wǎng)應(yīng)用更加豐富、更多的傳感設(shè)備、移動(dòng)終端接入到網(wǎng)絡(luò)，由此而產(chǎn)生的數(shù)據(jù)及增長(zhǎng)速度將比歷史上的任何時(shí)期都要多、都要快。數(shù)據(jù)技術(shù)發(fā)展歷史如圖一所示：圖一3. 大數(shù)據(jù)定義：“大數(shù)據(jù)”是一個(gè)涵蓋多種技術(shù)的概念，簡(jiǎn)單地說(shuō)，是指無(wú)法在一定時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其內(nèi)容進(jìn)行抓取、管理和處理的數(shù)據(jù)集合。IBM將“大數(shù)據(jù)”理念定義為4個(gè)V，即大量化(Volume)、多樣化(Variety)、快速化(Velocity)及由此產(chǎn)生的價(jià)值(Value)。如圖二。圖二4. 大數(shù)據(jù)技術(shù)的發(fā)展：大數(shù)據(jù)技術(shù)描述了一種新一代技術(shù)和構(gòu)架，用于以很經(jīng)濟(jì)的方式、以高速的捕獲、發(fā)現(xiàn)和分析技術(shù)，從各種超大規(guī)模的數(shù)據(jù)中提取價(jià)值，而且未來(lái)急劇增長(zhǎng)的數(shù)據(jù)迫切需要尋求新的處理技術(shù)手段。如圖三所示：圖三在“大數(shù)據(jù)”(Big data)時(shí)代，通過(guò)互聯(lián)網(wǎng)、社交網(wǎng)絡(luò)、物聯(lián)網(wǎng)，人們能夠及時(shí)全面地獲得大信息。同時(shí)，信息自身存在形式的變化與演進(jìn)，也使得作為信息載體的數(shù)據(jù)以遠(yuǎn)超人們想象的速度迅速膨脹。云時(shí)代的到來(lái)使得數(shù)據(jù)創(chuàng)造的主體由企業(yè)逐漸轉(zhuǎn)向個(gè)體，而個(gè)體所產(chǎn)生的絕大部分?jǐn)?shù)據(jù)為圖片、文檔、視頻等非結(jié)構(gòu)化數(shù)據(jù)。信息化技術(shù)的普及使得企業(yè)更多的辦公流程通過(guò)網(wǎng)絡(luò)得以實(shí)現(xiàn)，由此產(chǎn)生的數(shù)據(jù)也以非結(jié)構(gòu)化數(shù)據(jù)為主。預(yù)計(jì)到2012年，非結(jié)構(gòu)化數(shù)據(jù)將達(dá)到互聯(lián)網(wǎng)整個(gè)數(shù)據(jù)量的75%以上。用于提取智慧的“大數(shù)據(jù)”，往往是這些非結(jié)構(gòu)化數(shù)據(jù)。傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、BI、鏈路挖掘等應(yīng)用對(duì)數(shù)據(jù)處理的時(shí)間要求往往以小時(shí)或天為單位。但“大數(shù)據(jù)”應(yīng)用突出強(qiáng)調(diào)數(shù)據(jù)處理的實(shí)時(shí)性。在線個(gè)性化推薦、股票交易處理、實(shí)時(shí)路況信息等數(shù)據(jù)處理時(shí)間要求在分鐘甚至秒級(jí)。全球技術(shù)研究和咨詢公司Gartner將“大數(shù)據(jù)”技術(shù)列入2012年對(duì)眾多公司和組織機(jī)構(gòu)具有戰(zhàn)略意義的十大技術(shù)與趨勢(shì)之一，而其他領(lǐng)域的研究，如云計(jì)算、下一代分析、內(nèi)存計(jì)算等也都與“大數(shù)據(jù)”的研究相輔相成。Gartner在其新興技術(shù)成熟度曲線中將“大數(shù)據(jù)”技術(shù)視為轉(zhuǎn)型技術(shù)，這意味著“大數(shù)據(jù)”技術(shù)將在未來(lái)3—5年內(nèi)進(jìn)入主流。而 “大數(shù)據(jù)”的多樣性決定了數(shù)據(jù)采集來(lái)源的復(fù)雜性，從智能傳感器到社交網(wǎng)絡(luò)數(shù)據(jù)，從聲音圖片到在線交易數(shù)據(jù)，可能性是無(wú)窮無(wú)盡的。選擇正確的數(shù)據(jù)來(lái)源并進(jìn)行交叉分析可以為企業(yè)創(chuàng)造最顯著的利益。隨著數(shù)據(jù)源的爆發(fā)式增長(zhǎng)，數(shù)據(jù)的多樣性成為“大數(shù)據(jù)”應(yīng)用亟待解決的問(wèn)題。例如如何實(shí)時(shí)地及通過(guò)各種數(shù)據(jù)庫(kù)管理系統(tǒng)來(lái)安全地訪問(wèn)數(shù)據(jù)，如何通過(guò)優(yōu)化存儲(chǔ)策略，評(píng)估當(dāng)前的數(shù)據(jù)存儲(chǔ)技術(shù)并改進(jìn)、加強(qiáng)數(shù)據(jù)存儲(chǔ)能力，最大限度地利用現(xiàn)有的存儲(chǔ)投資。從某種意義上說(shuō)，數(shù)據(jù)將成為企業(yè)的核心資產(chǎn)。“大數(shù)據(jù)”不僅是一場(chǎng)技術(shù)變革，更是一場(chǎng)商業(yè)模式變革。在“大數(shù)據(jù)”概念提出之前，盡管互聯(lián)網(wǎng)為傳統(tǒng)企業(yè)提供了一個(gè)新的銷售渠道，但總體來(lái)看，二者平行發(fā)展，鮮有交集。我們可以看到，無(wú)論是Google通過(guò)分析用戶個(gè)人信息，根據(jù)用戶偏好提供精準(zhǔn)廣告，還是Facebook將用戶的線下社會(huì)關(guān)系遷移在線上，構(gòu)造一個(gè)半真實(shí)的實(shí)名帝國(guó)，但這些商業(yè)和消費(fèi)模式仍不能脫離互聯(lián)網(wǎng)，傳統(tǒng)企業(yè)仍無(wú)法嫁接到互聯(lián)網(wǎng)中。同時(shí)，傳統(tǒng)企業(yè)通過(guò)傳統(tǒng)的用戶分析工具卻很難獲得大范圍用戶的真實(shí)需求。企業(yè)從大規(guī)模制造過(guò)渡到大規(guī)模定制，必須掌握用戶的需求特點(diǎn)。在互聯(lián)網(wǎng)時(shí)代，這些需求特征往往是在用戶不經(jīng)意的行為中透露出來(lái)的。通過(guò)對(duì)信息進(jìn)行關(guān)聯(lián)、參照、聚類、分類等方法分析，才能得到答案?！按髷?shù)據(jù)”在互聯(lián)網(wǎng)與傳統(tǒng)企業(yè)間建立一個(gè)交集。它推動(dòng)互聯(lián)網(wǎng)企業(yè)融合進(jìn)傳統(tǒng)企業(yè)的供應(yīng)鏈，并在傳統(tǒng)企業(yè)種下互聯(lián)網(wǎng)基因。傳統(tǒng)企業(yè)與互聯(lián)網(wǎng)企業(yè)的結(jié)合，網(wǎng)民和消費(fèi)者的融合，必將引發(fā)消費(fèi)模式、制造模式、管理模式的巨大變革。大數(shù)據(jù)正成為IT行業(yè)全新的制高點(diǎn)，各