數據倉庫技術(已改無錯字)
2023-01-29 01:56:38 本頁面
【正文】 ce的分布和可靠性的分布和可靠性2023/2/28 星期日 杭州斯凱網絡科技有限公司 17 化簡操作工作方式很類似，但是由于化簡操作在并行能力較差，主節(jié)點會盡量把化簡操作調度在一個節(jié)點上，或者離需要操作的數據盡可能近的節(jié)點上了；這個特性可以滿足 Google的需求，因為他們有足夠的帶寬，他們的內部網絡沒有那么多的機器。MapReduce的用途的用途2023/2/28 星期日 杭州斯凱網絡科技有限公司 18 在 Google， MapReduce用在非常廣泛的應用程序中，包括 “ 分布 grep，分布排序， web連接圖反轉，每臺機器的詞矢量， web訪問日志分析，反向索引構建，文檔聚類 ,機器學習，基于統(tǒng)計的機器翻譯 ...” 值得注意的是，MapReduce實現(xiàn)以后，它被用來重新生成 Google的整個索引?！ ?MapReduce會生成大量的臨時文件，為了提高效率，它利用 Google文件系統(tǒng)來管理和訪問這些文件。數據倉庫的架構比較數據倉庫的架構比較2023/2/28 星期日 杭州斯凱網絡科技有限公司 19硬件物理架構比較硬件物理架構比較2023/2/28 星期日 杭州斯凱網絡科技有限公司 20 數據倉庫的物理架構，包含硬件物理架構和軟件物理架構。硬件物理架構包含集中式和分布式兩種，在企業(yè)里面都有運用。 集中式硬件物理架構偏向于使用非常 power的小型機或者大型機，非常高端的海量存儲，管理簡單，在不計投入的情況下性能也能滿足企業(yè)需求。 分布式硬件物理架構目前非常流行，特征是采用價格低廉的中低端機器組成計算集群，不同的技術驅動下，在 shared nothing的架構下可以采用本機的硬盤， 在shared everything的架構下偏向使用集中存儲，分布式集群在網絡上的要求比較高，擴展性比較好， 配合好的軟件可以達到線性擴展的要求。軟件物理架構比較軟件物理架構比較2023/2/28 星期日 杭州斯凱網絡科技有限公司 21 軟件物理架構主要特征區(qū)別就是行存儲和列存儲。這個也是曾經
環(huán)評公示相關推薦
鄂ICP備17016276號-1