大數(shù)據(jù)處理技術研究-資料下載頁
2025-06-22 21:43本頁面
【正文】 e面對的是結構化數(shù)據(jù)。很多數(shù)據(jù)超過9 0 % 是非結構化數(shù)據(jù)，E M C 有另外一個產(chǎn)品是GreenplumHD，GreenplumHD可以把非結構化的數(shù)據(jù)或者是半結構化的數(shù)據(jù)轉換成結構化數(shù)據(jù)，然后讓GreenplumDatabase去處理。 BigQueryBigQu e r y是Go og l e 推出的一項We b服務，用來在云端處理大數(shù)據(jù)。該服務讓開發(fā)者可以使用Go o g l e 的架構來運行SQL語句對超級大的數(shù)據(jù)庫進行操作。BigQuery允許用戶上傳他們的超大量數(shù)據(jù)并通過其直接進行交互式分析，從而不必投資建立自己的數(shù)據(jù)中心。Google曾表示BigQuery引擎可以快速掃描高達70TB未經(jīng)壓縮處理的數(shù)據(jù)，并且可馬上得到分析結果。大數(shù)據(jù)在云端模型具備很多優(yōu)勢，BigQuery服務無需組織提供或建立數(shù)據(jù)倉庫。而BigQuery在安全性和數(shù)據(jù)備份服務方面也相當完善。免費帳號可以讓用戶每月訪問高達100GB的數(shù)據(jù)，用戶也可以付費使用額外查詢和存儲空間。 “大數(shù)據(jù)”與科技文獻信息處理“大數(shù)據(jù)”目前主要指醫(yī)學、天文、地理、Web日志、多媒體信息等數(shù)據(jù)，鮮有提及文獻信息。事實上，現(xiàn)在的科技文獻信息日益凸顯出“大數(shù)據(jù)”的特征，主要表現(xiàn)在以下幾個方面：更新周期縮短；數(shù)量龐大；文獻的類型多樣；文獻載體數(shù)字化；文獻語種多樣化；文獻內(nèi)容交叉；文獻信息密度大?？萍嘉墨I中所含的信息類型多樣，既有結構性數(shù)據(jù)，也有非結構性文本和公式，如何利用“大數(shù)據(jù)”技術對文獻內(nèi)容進行分析，挖掘用戶訪問日志、評價反饋等數(shù)據(jù)的價值，為用戶提供服務成為科技信息服務業(yè)急需思考和解決的問題。在科技文獻信息處理中，文本分析技術、語義計算技術、數(shù)據(jù)安全需要與“大數(shù)據(jù)”解決方案結合起來考慮實施，這樣才能更有效地提供知識服務。7. 大數(shù)據(jù)處理技術發(fā)展前景：隨著大數(shù)據(jù)時代的來臨，應用越來越廣，其發(fā)展前景是很光明的。 大數(shù)據(jù)復雜度降低大數(shù)據(jù)技術的落地將會有兩個特點：一個是對MapReduce依賴越來越少，另外一個是會把Hadoop技術深入的應用到企業(yè)的軟件架構中。對于第一個特點，像Cloudera的Impala和微軟的PolyBase這樣的軟件會得到充分發(fā)展，他們繞開了MapReduce，直接對存在HDFS中的數(shù)據(jù)進行處理。對于第二個特點，大規(guī)模的使用Hadoop是個必然趨勢，漸漸的就會形成行業(yè)的標準，進而成為更有價值的軟件基礎，而不僅是自己內(nèi)部使用。 大數(shù)據(jù)細分市場大數(shù)據(jù)相關技術的發(fā)展，將會創(chuàng)造出一些新的細分市場。例如，以數(shù)據(jù)分析和處理為主的高級數(shù)據(jù)服務，將出現(xiàn)以數(shù)據(jù)分析作為服務產(chǎn)品提交的分析即服務(AnalyzeasaService)業(yè)務。將多種信息整合管理，創(chuàng)造對大數(shù)據(jù)統(tǒng)一的訪問和分析的組件產(chǎn)品?；谏缃痪W(wǎng)絡的社交大數(shù)據(jù)分析。甚至會出現(xiàn)大數(shù)據(jù)技能的培訓市場，教授數(shù)據(jù)分析課程等。 大數(shù)據(jù)開源開源軟件為大數(shù)據(jù)市場帶來更多機會。與人們的傳統(tǒng)理解不同，大數(shù)據(jù)市場開源軟件的盛行不會抑制市場的商業(yè)機會，相反開源軟件將會給基礎架構硬件、應用程序開發(fā)工具、應用、服務等各個方面的相關領域帶來更多的機會。 Hadoop將加速發(fā)展做為大數(shù)據(jù)領域的代表技術，許多企業(yè)都把明年的計劃聚焦在Hadoop之上。據(jù)預測，用戶對Hadoop的優(yōu)化將更注重硬件，同時，對企業(yè)友好的Hadoop技術市場將達到前所未有的高峰。從整體上說，不僅是Hadoop本身本會得到迅猛的發(fā)展，同時Hadoop在多個數(shù)據(jù)中心中的配置和無縫集成技術也將成為熱門。Hadoop的專業(yè)知識正在飛速增長，但是這方面優(yōu)秀的人才仍然很缺乏。基于SQL的Hadoop工具將會得到持續(xù)發(fā)展”。 打包的大數(shù)據(jù)行業(yè)分析應用隨著大數(shù)據(jù)逐漸走向各個行業(yè)，基于行業(yè)的大數(shù)據(jù)分析應用需求也日益增長。未來幾年中針對特定行業(yè)和業(yè)務流程的分析應用將會以預打包的形式出現(xiàn)，這將為大數(shù)據(jù)技術供應商打開新的市場。這些分析應用內(nèi)容還會覆蓋很多行業(yè)的專業(yè)知識，也會吸引大量行業(yè)軟件開發(fā)公司的投入。 大數(shù)據(jù)分析的革命性方法出現(xiàn)在大數(shù)據(jù)分析上，將出現(xiàn)革命性的新方法。就像計算機和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)可能是新一波技術革命。從前的很多算法和基礎理論可能會產(chǎn)生理論級別的突破。 大數(shù)據(jù)與云計算:深度融合大數(shù)據(jù)處理離不開云計算技術，云計算為大數(shù)據(jù)提供彈性可擴展的基礎設施支撐環(huán)境以及數(shù)據(jù)服務的高效模式，大數(shù)據(jù)則為云計算提供了新的商業(yè)價值，大數(shù)據(jù)技術與云計算技術必有更完美的結合。同樣的，云計算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興計算形態(tài)，既是產(chǎn)生大數(shù)據(jù)的地方，也是需要大數(shù)據(jù)分析方法的領域。 大數(shù)據(jù)一體機陸續(xù)發(fā)布自云計算和大數(shù)據(jù)概念被提出后，針對該市場推出的軟硬件一體化設備就層出不窮。在未來幾年里，數(shù)據(jù)倉庫一體機、NoSQL一體機以及其它一些將多種技術結合的一體化設備將進一步快速發(fā)展。8 結語?！按髷?shù)據(jù)”技術還處于起步階段，主要服務產(chǎn)品大都圍繞Hadoop架構發(fā)展而來，但是“大數(shù)據(jù)”不等同于Hadoop，云存儲與云計算、傳統(tǒng)關系型數(shù)據(jù)庫技術在“大數(shù)據(jù)”時代仍有其不可替代的優(yōu)勢。傳統(tǒng)的信息組織方式與“大數(shù)據(jù)”技術的結合，是文獻信息處理領域新的研究課題。9 參考文獻：1:“大數(shù)據(jù)”背景下的信息處理技術分析與研究作者： 于薇作者單位： 中國科學技術信息研究所 北京 100038刊名：數(shù)字圖書館論壇英文刊名： Digital Library Forum年，卷(期)： 2012(11)頁碼：811頁來源：萬方數(shù)據(jù)庫2：迎接大數(shù)據(jù)時代作者： 金保印作者單位：銅川市委黨校，陜西銅川72700刊名：民營科技年，卷(期)：2013年第3期來源：中文科技期刊數(shù)據(jù)庫頁碼：176頁3：大數(shù)據(jù)研究的技術層面和主要研究內(nèi)容作者： 黃宜華作者單位：南京大學計算機科學與技術系日期：2012年頁碼：116頁4：大數(shù)據(jù)技術研究作者：網(wǎng)絡部網(wǎng)管支撐處作者單位：中國移動通信日期：2012年頁碼：6頁5：IBM發(fā)布大數(shù)據(jù)全球調(diào)研白皮書雜志名： 《移動通信》年，卷(期)：2013年 第5期 來源：中文科技期刊數(shù)據(jù)庫頁碼：1頁24 / 24
研究報告相關推薦
鄂ICP備17016276號-1