google以創(chuàng)新贏得用戶-資料下載頁
2025-02-08 14:10本頁面
【正文】 ！ 假定一年中廉價(jià) PC出幾次故障； 若我們假定 2萬臺(tái)機(jī)器，那就是每天約 110次故障。?超高可靠的硬件系統(tǒng)不僅昂貴，而且還是會(huì)發(fā)生故障? 應(yīng)用和系統(tǒng)仍需要有容錯(cuò)機(jī)制?谷歌解決方案： 創(chuàng) 建 軟 件 層 以容 錯(cuò) 標(biāo)準(zhǔn)化機(jī)器運(yùn)行任何應(yīng)用56云計(jì)算時(shí)代的突破用戶為中心1任務(wù)為中心2性能強(qiáng)大3智能化4廉價(jià)硬件5并行編程657如何基于 10000臺(tái) “片狀 ”服務(wù)器的谷歌服務(wù)器群進(jìn)行編程？?分布式容錯(cuò)存儲(chǔ)?分布式共享內(nèi)存?新的編程模式58分布式容錯(cuò)存儲(chǔ)：谷歌文件系統(tǒng) (GFS)谷歌文件系統(tǒng) (Google File System)? 數(shù)據(jù)有 3個(gè)副本（復(fù)制 3次）；? 一旦出錯(cuò)，重新復(fù)制；? Master: 管理文件的元數(shù)據(jù)? Chunkserver: 管理 64MB 的數(shù)據(jù)塊Chunkserver 1 Chunkserver NChunkserver 2ClientClientClientGFS MasterC0 C1C2C5C0C2C5C1C3C5 …谷歌有 200多個(gè) GFS集群 大的集群：? 5000臺(tái)以上的機(jī)器? 5PB (5000萬億 )以上的存儲(chǔ)空間59分布式共享內(nèi)存：谷歌 BigTable? 分布式、 連續(xù) 、多 層 存 儲(chǔ) 大表格? 行和列抽象化以存 儲(chǔ) 數(shù)據(jù)? 支持基本的數(shù)據(jù) 庫 操作（比如： Join）? 最大的表格單元容納 700T以上，涉及 2023多臺(tái)機(jī)器Tablets“”“contents:”“html…”“l(fā)anguage:” EN “”“”…“”“”……“”“”60新的編程模式 – MapReduceMapReduce: 我們自己的編程技術(shù)來實(shí)現(xiàn) – Map：把數(shù)據(jù)分布到很多機(jī)器上– 基于所擁有的數(shù)據(jù)集，每臺(tái)機(jī)器上進(jìn)行同樣的運(yùn)算– Reduce：合并所有計(jì)算結(jié)果成一個(gè)結(jié)果mapmapmapmapmapReduceData Block 1Data Block 2Data Block 3Data Block 4Data Block 5數(shù)據(jù)datadatadatadatadatadatadatadatadatadata結(jié)果datadatadatadatadatadataMap61例子：清華大學(xué)云計(jì)算課程 (2023年秋季學(xué)期 )學(xué)生在谷歌公司展示課程項(xiàng)目 “基于MapReduce技術(shù)的模擬太陽系運(yùn)行系統(tǒng) ”v 基于谷歌云計(jì)算技術(shù)的 “大規(guī)模數(shù)據(jù)處理 ”課程；v 谷歌工程師講授部分課程內(nèi)容；v 正拓展到更多的高校。大規(guī)模數(shù)據(jù)處理模擬太陽系運(yùn)行的項(xiàng)目截圖Thanks63演講完畢，謝謝觀看
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1