大數(shù)據(jù)處理技術(shù)研究-資料下載頁
2025-06-22 21:43本頁面
【正文】 e面對的是結(jié)構(gòu)化數(shù)據(jù)。很多數(shù)據(jù)超過9 0 % 是非結(jié)構(gòu)化數(shù)據(jù)，E M C 有另外一個產(chǎn)品是GreenplumHD，GreenplumHD可以把非結(jié)構(gòu)化的數(shù)據(jù)或者是半結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)換成結(jié)構(gòu)化數(shù)據(jù)，然后讓GreenplumDatabase去處理。 BigQueryBigQu e r y是Go og l e 推出的一項(xiàng)We b服務(wù)，用來在云端處理大數(shù)據(jù)。該服務(wù)讓開發(fā)者可以使用Go o g l e 的架構(gòu)來運(yùn)行SQL語句對超級大的數(shù)據(jù)庫進(jìn)行操作。BigQuery允許用戶上傳他們的超大量數(shù)據(jù)并通過其直接進(jìn)行交互式分析，從而不必投資建立自己的數(shù)據(jù)中心。Google曾表示BigQuery引擎可以快速掃描高達(dá)70TB未經(jīng)壓縮處理的數(shù)據(jù)，并且可馬上得到分析結(jié)果。大數(shù)據(jù)在云端模型具備很多優(yōu)勢，BigQuery服務(wù)無需組織提供或建立數(shù)據(jù)倉庫。而BigQuery在安全性和數(shù)據(jù)備份服務(wù)方面也相當(dāng)完善。免費(fèi)帳號可以讓用戶每月訪問高達(dá)100GB的數(shù)據(jù)，用戶也可以付費(fèi)使用額外查詢和存儲空間。 “大數(shù)據(jù)”與科技文獻(xiàn)信息處理“大數(shù)據(jù)”目前主要指醫(yī)學(xué)、天文、地理、Web日志、多媒體信息等數(shù)據(jù)，鮮有提及文獻(xiàn)信息。事實(shí)上，現(xiàn)在的科技文獻(xiàn)信息日益凸顯出“大數(shù)據(jù)”的特征，主要表現(xiàn)在以下幾個方面：更新周期縮短；數(shù)量龐大；文獻(xiàn)的類型多樣；文獻(xiàn)載體數(shù)字化；文獻(xiàn)語種多樣化；文獻(xiàn)內(nèi)容交叉；文獻(xiàn)信息密度大?？萍嘉墨I(xiàn)中所含的信息類型多樣，既有結(jié)構(gòu)性數(shù)據(jù)，也有非結(jié)構(gòu)性文本和公式，如何利用“大數(shù)據(jù)”技術(shù)對文獻(xiàn)內(nèi)容進(jìn)行分析，挖掘用戶訪問日志、評價反饋等數(shù)據(jù)的價值，為用戶提供服務(wù)成為科技信息服務(wù)業(yè)急需思考和解決的問題。在科技文獻(xiàn)信息處理中，文本分析技術(shù)、語義計(jì)算技術(shù)、數(shù)據(jù)安全需要與“大數(shù)據(jù)”解決方案結(jié)合起來考慮實(shí)施，這樣才能更有效地提供知識服務(wù)。7. 大數(shù)據(jù)處理技術(shù)發(fā)展前景：隨著大數(shù)據(jù)時代的來臨，應(yīng)用越來越廣，其發(fā)展前景是很光明的。 大數(shù)據(jù)復(fù)雜度降低大數(shù)據(jù)技術(shù)的落地將會有兩個特點(diǎn)：一個是對MapReduce依賴越來越少，另外一個是會把Hadoop技術(shù)深入的應(yīng)用到企業(yè)的軟件架構(gòu)中。對于第一個特點(diǎn)，像Cloudera的Impala和微軟的PolyBase這樣的軟件會得到充分發(fā)展，他們繞開了MapReduce，直接對存在HDFS中的數(shù)據(jù)進(jìn)行處理。對于第二個特點(diǎn)，大規(guī)模的使用Hadoop是個必然趨勢，漸漸的就會形成行業(yè)的標(biāo)準(zhǔn)，進(jìn)而成為更有價值的軟件基礎(chǔ)，而不僅是自己內(nèi)部使用。 大數(shù)據(jù)細(xì)分市場大數(shù)據(jù)相關(guān)技術(shù)的發(fā)展，將會創(chuàng)造出一些新的細(xì)分市場。例如，以數(shù)據(jù)分析和處理為主的高級數(shù)據(jù)服務(wù)，將出現(xiàn)以數(shù)據(jù)分析作為服務(wù)產(chǎn)品提交的分析即服務(wù)(AnalyzeasaService)業(yè)務(wù)。將多種信息整合管理，創(chuàng)造對大數(shù)據(jù)統(tǒng)一的訪問和分析的組件產(chǎn)品?；谏缃痪W(wǎng)絡(luò)的社交大數(shù)據(jù)分析。甚至?xí)霈F(xiàn)大數(shù)據(jù)技能的培訓(xùn)市場，教授數(shù)據(jù)分析課程等。 大數(shù)據(jù)開源開源軟件為大數(shù)據(jù)市場帶來更多機(jī)會。與人們的傳統(tǒng)理解不同，大數(shù)據(jù)市場開源軟件的盛行不會抑制市場的商業(yè)機(jī)會，相反開源軟件將會給基礎(chǔ)架構(gòu)硬件、應(yīng)用程序開發(fā)工具、應(yīng)用、服務(wù)等各個方面的相關(guān)領(lǐng)域帶來更多的機(jī)會。 Hadoop將加速發(fā)展做為大數(shù)據(jù)領(lǐng)域的代表技術(shù)，許多企業(yè)都把明年的計(jì)劃聚焦在Hadoop之上。據(jù)預(yù)測，用戶對Hadoop的優(yōu)化將更注重硬件，同時，對企業(yè)友好的Hadoop技術(shù)市場將達(dá)到前所未有的高峰。從整體上說，不僅是Hadoop本身本會得到迅猛的發(fā)展，同時Hadoop在多個數(shù)據(jù)中心中的配置和無縫集成技術(shù)也將成為熱門。Hadoop的專業(yè)知識正在飛速增長，但是這方面優(yōu)秀的人才仍然很缺乏?；赟QL的Hadoop工具將會得到持續(xù)發(fā)展”。 打包的大數(shù)據(jù)行業(yè)分析應(yīng)用隨著大數(shù)據(jù)逐漸走向各個行業(yè)，基于行業(yè)的大數(shù)據(jù)分析應(yīng)用需求也日益增長。未來幾年中針對特定行業(yè)和業(yè)務(wù)流程的分析應(yīng)用將會以預(yù)打包的形式出現(xiàn)，這將為大數(shù)據(jù)技術(shù)供應(yīng)商打開新的市場。這些分析應(yīng)用內(nèi)容還會覆蓋很多行業(yè)的專業(yè)知識，也會吸引大量行業(yè)軟件開發(fā)公司的投入。 大數(shù)據(jù)分析的革命性方法出現(xiàn)在大數(shù)據(jù)分析上，將出現(xiàn)革命性的新方法。就像計(jì)算機(jī)和互聯(lián)網(wǎng)一樣，大數(shù)據(jù)可能是新一波技術(shù)革命。從前的很多算法和基礎(chǔ)理論可能會產(chǎn)生理論級別的突破。 大數(shù)據(jù)與云計(jì)算:深度融合大數(shù)據(jù)處理離不開云計(jì)算技術(shù)，云計(jì)算為大數(shù)據(jù)提供彈性可擴(kuò)展的基礎(chǔ)設(shè)施支撐環(huán)境以及數(shù)據(jù)服務(wù)的高效模式，大數(shù)據(jù)則為云計(jì)算提供了新的商業(yè)價值，大數(shù)據(jù)技術(shù)與云計(jì)算技術(shù)必有更完美的結(jié)合。同樣的，云計(jì)算、物聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)等新興計(jì)算形態(tài)，既是產(chǎn)生大數(shù)據(jù)的地方，也是需要大數(shù)據(jù)分析方法的領(lǐng)域。 大數(shù)據(jù)一體機(jī)陸續(xù)發(fā)布自云計(jì)算和大數(shù)據(jù)概念被提出后，針對該市場推出的軟硬件一體化設(shè)備就層出不窮。在未來幾年里，數(shù)據(jù)倉庫一體機(jī)、NoSQL一體機(jī)以及其它一些將多種技術(shù)結(jié)合的一體化設(shè)備將進(jìn)一步快速發(fā)展。8 結(jié)語?！按髷?shù)據(jù)”技術(shù)還處于起步階段，主要服務(wù)產(chǎn)品大都圍繞Hadoop架構(gòu)發(fā)展而來，但是“大數(shù)據(jù)”不等同于Hadoop，云存儲與云計(jì)算、傳統(tǒng)關(guān)系型數(shù)據(jù)庫技術(shù)在“大數(shù)據(jù)”時代仍有其不可替代的優(yōu)勢。傳統(tǒng)的信息組織方式與“大數(shù)據(jù)”技術(shù)的結(jié)合，是文獻(xiàn)信息處理領(lǐng)域新的研究課題。9 參考文獻(xiàn)：1:“大數(shù)據(jù)”背景下的信息處理技術(shù)分析與研究作者： 于薇作者單位： 中國科學(xué)技術(shù)信息研究所 北京 100038刊名：數(shù)字圖書館論壇英文刊名： Digital Library Forum年，卷(期)： 2012(11)頁碼：811頁來源：萬方數(shù)據(jù)庫2：迎接大數(shù)據(jù)時代作者： 金保印作者單位：銅川市委黨校，陜西銅川72700刊名：民營科技年，卷(期)：2013年第3期來源：中文科技期刊數(shù)據(jù)庫頁碼：176頁3：大數(shù)據(jù)研究的技術(shù)層面和主要研究內(nèi)容作者： 黃宜華作者單位：南京大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系日期：2012年頁碼：116頁4：大數(shù)據(jù)技術(shù)研究作者：網(wǎng)絡(luò)部網(wǎng)管支撐處作者單位：中國移動通信日期：2012年頁碼：6頁5：IBM發(fā)布大數(shù)據(jù)全球調(diào)研白皮書雜志名： 《移動通信》年，卷(期)：2013年 第5期 來源：中文科技期刊數(shù)據(jù)庫頁碼：1頁24 / 24
研究報(bào)告相關(guān)推薦
鄂ICP備17016276號-1