云計(jì)算服務(wù)的大規(guī)模計(jì)算網(wǎng)絡(luò)(編輯修改稿)
2025-06-12 01:12 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 成計(jì)算工作，在某種意義上，集群可以被看作是一臺(tái)計(jì)算機(jī)。人們使用集群的目的是為了獲得強(qiáng)大的計(jì)算能力，雖然這可以通過(guò)購(gòu)買(mǎi)具備超級(jí)計(jì)算能力的大型機(jī)來(lái)實(shí)現(xiàn)，但是在成本投入上是巨大的。對(duì)于一般計(jì)算機(jī)，計(jì)算能力是有限的，雖然摩爾定律說(shuō)計(jì)算能力每18個(gè)月可以翻一番，但要達(dá)到大型機(jī)的性能，很長(zhǎng)一段時(shí)間內(nèi)是難以實(shí)現(xiàn)的(摩爾定律被普遍認(rèn)為在過(guò)去30年相當(dāng)有效，未來(lái)10~15年應(yīng)依然適用)。因此，為突破摩爾定律的限制，將多臺(tái)低成本計(jì)算機(jī)通過(guò)集群方式，以并行計(jì)算來(lái)獲取更大的計(jì)算能力，成為各種追求高性能計(jì)算領(lǐng)域的主流方向（如圖8所示）。圖8 以集群架構(gòu)超越摩爾定律以互聯(lián)網(wǎng)應(yīng)用為例，有的計(jì)算服務(wù)要求提供超級(jí)計(jì)算能力，如大型搜索引擎的構(gòu)建，就是大量服務(wù)器群共同協(xié)作實(shí)現(xiàn)的巨量計(jì)算?？蒲蓄I(lǐng)域并行計(jì)算的主流技術(shù)是MPI(Message Passing Interface)，但以支持Fortran、C語(yǔ)言的科學(xué)計(jì)算為優(yōu)勢(shì)。云計(jì)算領(lǐng)域的代表性技術(shù)是Hadoop(還有其它類(lèi)似的分布式計(jì)算技術(shù))，突出商用的擴(kuò)展性架構(gòu)、大數(shù)據(jù)量處理，大大簡(jiǎn)化開(kāi)發(fā)難度，屏蔽系統(tǒng)底層的復(fù)雜性。Hdoop是目前在互聯(lián)網(wǎng)使用廣泛的一種云計(jì)算支撐架構(gòu)，借助于Hadoop, 程序員可以輕松地編寫(xiě)分布式并行程序，將其運(yùn)行于大型計(jì)算機(jī)集群上，完成海量數(shù)據(jù)的計(jì)算。圖9是當(dāng)前廣為流傳的Hadoop分布式文件系統(tǒng)體系架構(gòu)模型，這一類(lèi)的集群架構(gòu)將服務(wù)器按群分置不同角色群，角色協(xié)同完成大規(guī)模計(jì)算任務(wù)。圖9 Hadoop分布式文件系統(tǒng)體系架構(gòu)這些角色包括NameNode，它在 HDFS 內(nèi)部提供元數(shù)據(jù)服務(wù)；DataNode，它為 HDFS 提供存儲(chǔ)塊。NameNode 是一個(gè)通常在 HDFS 實(shí)例中的單獨(dú)機(jī)器上運(yùn)行的軟件。它負(fù)責(zé)管理文件系統(tǒng)名稱(chēng)空間和控制外部客戶機(jī)的訪問(wèn)。DataNode 響應(yīng)來(lái)自 HDFS 客戶機(jī)的讀寫(xiě)請(qǐng)求。NameNode 與每個(gè) DataNode 有定期心跳（heartbeat）消息檢查健康性。分布式文件系統(tǒng)的設(shè)計(jì)需求對(duì)應(yīng)到網(wǎng)絡(luò)的架構(gòu)上主要有：并發(fā)吞吐性能、可伸縮性、容錯(cuò)需求等。HDFS的目標(biāo)就是構(gòu)建在大規(guī)模廉價(jià)機(jī)器上的分布式文件系統(tǒng)集群，一個(gè)文件可以表示為其內(nèi)容在不同位置的多個(gè)拷貝。這樣做帶來(lái)了兩個(gè)好處：訪問(wèn)同個(gè)文件時(shí)可以從多個(gè)服務(wù)器中獲取從而改善服務(wù)的伸縮性，另外就是提高了容錯(cuò)能力，某個(gè)副本損壞了，仍然可以從其他服務(wù)器節(jié)點(diǎn)獲取該文件。同時(shí)集群
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1