大數(shù)據(jù)bigdata培訓(xùn)課件-資料下載頁
2025-10-13 16:13本頁面
【正文】 增加的數(shù)據(jù)量是60TB(壓縮以后是10TB). 如此龐大的數(shù)據(jù)量迫使Facebook 采用新的數(shù)據(jù)處理架構(gòu).,86,新生態(tài)系統(tǒng)的浮現(xiàn),87,新生態(tài)系統(tǒng)的浮現(xiàn),在Facebook 數(shù)據(jù)分析系統(tǒng)中,關(guān)系數(shù)據(jù)庫系統(tǒng)處在系統(tǒng)的邊緣(掛接在Web server farm 上),負(fù)責(zé)進行OLTP 類的事務(wù)處理. 交易數(shù)據(jù)通過定時的裝載,導(dǎo)入核心生產(chǎn)用Hive 系統(tǒng)(production HiveHadoop cluster),重要的分析功能在Hive 系統(tǒng)里面完成.,88,新生態(tài)系統(tǒng)的浮現(xiàn),經(jīng)過分析和聚集的結(jié)果,可以重新注入關(guān)系數(shù)據(jù)庫系統(tǒng)(包括Oracle RAC,federated MySQL 等),接受用戶的查詢. 為了減輕即席查詢對核心Hive 系統(tǒng)的壓力,數(shù)據(jù)被復(fù)制到一個備份的Hive 系統(tǒng)(ad hoc HiveHadoop cluster),進行用戶即席查詢的處理,隔離未經(jīng)優(yōu)化的查詢有可能給核心Hive 系統(tǒng)造成的性能沖擊,保證核心數(shù)據(jù)分析系統(tǒng)的性能.,89,新生態(tài)系統(tǒng)的浮現(xiàn),在這個生態(tài)系統(tǒng)里,RDBMS 負(fù)責(zé)其擅長的OLTP 類應(yīng)用,為大數(shù)據(jù)分析平臺提供數(shù)據(jù)源 數(shù)據(jù)深度分析之后的匯總數(shù)據(jù)和分析結(jié)果重新導(dǎo)入RDBMS,供用戶觀察(包括可視化)和使用,90,新生態(tài)系統(tǒng)的浮現(xiàn),前端工具不再承擔(dān)分析功能,僅僅實現(xiàn)數(shù)據(jù)的可視化。RDBMS 擔(dān)任數(shù)據(jù)集市(data mart)的角色。 真正的復(fù)雜深度的分析,依靠高度可擴展的Hadoop 系統(tǒng)來完成. 由于MapReduce 技術(shù)所具有的良好的擴展性,可以實現(xiàn)大量歷史數(shù)據(jù)的在線,歷史久遠的數(shù)據(jù)也可以唾手可得地進行分析,結(jié)合新數(shù)據(jù)和新算法,有利于新知識的發(fā)現(xiàn).,91,當(dāng)前研究熱點,(1) 更加復(fù)雜的分析、更大規(guī)模的分析 在MapReduce 模型上實現(xiàn)更加復(fù)雜和更大規(guī)模的分析,比如更細(xì)粒度的仿真、時間序列分析、大規(guī)模圖分析和大規(guī)模社會計算等,92,當(dāng)前研究熱點,比如有文獻提出在MapReduce 上的增量式數(shù) 據(jù)挖掘方法,能夠極大地縮短數(shù)據(jù)挖掘的時間. 此外,基于數(shù)據(jù)流的數(shù)據(jù)分析和挖掘也是加快 知識獲取速度的可行辦法,Brown 大學(xué)已經(jīng)開 始這方面的研究(CMR 系統(tǒng)) (ftp://ftp.cs.brown.edu/pub/techreports/10/cs1001.pdf)。,93,當(dāng)前研究熱點,(3) 開發(fā)、調(diào)試與管理工具:在大數(shù)據(jù)上進行復(fù)雜的并行分析,需要開發(fā)、調(diào)試、管理等一整套支撐環(huán)境的支持,94,當(dāng)前研究熱點,(4) 云平臺上MapReduce 計算的節(jié)能問題與調(diào)度優(yōu)化: MapReduce 作為云平臺上進行大規(guī)模數(shù)據(jù)處理的重要技術(shù),其節(jié)能問題引起了研究人員的興趣,已有研究人員開始了這方面的研究. 此外,云平臺上的MapReduce 計算的調(diào)度優(yōu)化也是必須解決的問題,95,當(dāng)前研究熱點,(5) 突破MapReduce 計算模型的局限性:深入分析MapReduce 計算模型內(nèi)在的局限性,考慮如何改進或擴展MapReduce. 比如提高MapReduce 系統(tǒng)的容錯性 改善MapReduce 系統(tǒng)任務(wù)調(diào)度的方法 超越MapReduce 的局限性,實現(xiàn)更為有效的 并行計算模型,96,當(dāng)前研究熱點,Washington 大學(xué)的研究人員對MapReduce 框架進行了擴展,使之能夠有效地支持迭代式并行程序的執(zhí)行,97,當(dāng)前研究熱點,(6) 關(guān)系數(shù)據(jù)庫和MapReduce 混合技術(shù)研究: 如上文所述,關(guān)系數(shù)據(jù)庫和MapReduce 技術(shù) 各有優(yōu)缺點,如何融合關(guān)系數(shù)據(jù)庫和MapReduce 技術(shù),設(shè)計同時具備兩者優(yōu)點的技術(shù)架構(gòu)(既有MapReduce 的高度擴展性和容錯性,又有RDBMS 的高性能),也是大數(shù)據(jù)分析技術(shù)的研究趨勢,98,總結(jié),面對大數(shù)據(jù)深度分析的挑戰(zhàn),關(guān)系數(shù)據(jù)庫技術(shù)的擴展性遇到了前所未有的困難 同時,SQL 的表達能力不足以進行復(fù)雜深入的數(shù)據(jù)分析,99,總結(jié),MapReduce 技術(shù)具有簡潔的模型、良好的擴展性、容錯性和并行性,隨著其性能的不斷改進和分析能力的不斷增強(與R,Weka 的結(jié)合等),在大數(shù)據(jù)分析的技術(shù)競爭中異軍突起 關(guān)系數(shù)據(jù)庫技術(shù)和MapReduce 技術(shù)相互競爭、相互學(xué)習(xí)和相互滲透,促進了數(shù)據(jù)分析新生態(tài)系統(tǒng)的浮現(xiàn),100,總結(jié),在新生態(tài)系統(tǒng)中,關(guān)系數(shù)據(jù)庫技術(shù)和MapReduce 技術(shù)找到了自己的位置,發(fā)揮出各自的優(yōu)勢,從大數(shù)據(jù)中分析和發(fā)現(xiàn)有用的知識,101,踏實，奮斗，堅持，專業(yè)，努力成就未來。24.10.2224.10.22Tuesday, October 22, 2024 弄虛作假要不得，踏實肯干第一名。16:13:0616:13:0616:1310/22/2024 4:13:06 PM 安全象只弓，不拉它就松，要想保安全，常把弓弦繃。24.10.2216:13:0616:13Oct2422Oct24 重于泰山，輕于鴻毛。16:13:0616:13:0616:13Tuesday, October 22, 2024 不可麻痹大意，要防微杜漸。24.10.2224.10.2216:13:0616:13:06October 22, 2024 加強自身建設(shè)，增強個人的休養(yǎng)。2024年10月22日下午4時13分24.10.2224.10.22 追求卓越，讓自己更好，向上而生。2024年10月22日星期二下午4時13分6秒16:13:0624.10.22 嚴(yán)格把控質(zhì)量關(guān)，讓生產(chǎn)更加有保障。2024年10月下午4時13分24.10.2216:13October 22, 2024 重規(guī)矩，嚴(yán)要求，少危險。2024年10月22日星期二4時13分6秒16:13:0622 October 2024 好的事情馬上就會到來，一切都是最好的安排。下午4時13分6秒下午4時13分16:13:0624.10.22 每天都是美好的一天，新的一天開啟。24.10.2224.10.2216:1316:13:0616:13:06Oct24 務(wù)實，奮斗，成就，成功。2024年10月22日星期二4時13分6秒Tuesday, October 22, 2024 抓住每一次機會不能輕易流失，這樣我們才能真正強大。24.10.222024年10月22日星期二4時13分6秒24.10.22,謝謝大家
公司管理相關(guān)推薦
鄂ICP備17016276號-1