基于hadoop數(shù)據(jù)倉(cāng)庫(kù)(已修改)
2025-05-18 00:42 本頁(yè)面
【正文】 基于 hadoop的數(shù)據(jù)倉(cāng)庫(kù)技術(shù) 目錄 ? Hadoop簡(jiǎn)介 ? HDFS (Hadoop Distributed File System) ? MapReduce ? Hive 本文的內(nèi)容主要來(lái)自三篇 hadoop領(lǐng)域的核心論文 Hive—A Petabyte Scale Data Warehouse Using Hadoop MapReduce and Parallel DBMSs:Friends or Foes Cheetah:A High Performance,Custom Data Warehouse on Top of MapReduce 歷史 ? 20212021: Apache Nutch ? 20212021: –Google 發(fā)表 GFS 和 MapReduce相關(guān)論文 –Apache 在 Nutch中實(shí)現(xiàn) HDFS和 MapReduce ? 20212021: –Hadoop 項(xiàng)目從 Nutch中分離 –2021年 7月， Hadoop贏得 Terabyte Sort Benchmark Doug Cutting Hadoop項(xiàng)目負(fù)責(zé)人 Hadoop簡(jiǎn)介 ? Hadoop實(shí)現(xiàn)了一個(gè)分布式文件系統(tǒng)（ Hadoop Distributed File System），簡(jiǎn)稱(chēng) HDFS。HDFS有著高容錯(cuò)性的特點(diǎn)，并且設(shè)計(jì)用來(lái)部署在低廉的（ lowcost）硬件上。而且它提供高傳輸率（ high throughput）來(lái)訪(fǎng)問(wèn)應(yīng)用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（ large data set）的應(yīng)用程序。 HDFS放寬了（ relax）POSIX的要求（ requirements）這樣可以流的形式訪(fǎng)問(wèn)（ streaming access）文件系統(tǒng)中的數(shù)據(jù)。 Hadoop簡(jiǎn)介 ? Hadoop是 Apache 的一個(gè)開(kāi)源軟件項(xiàng)目 ,由Doug Cutting在 2021年開(kāi)始開(kāi)發(fā)。 ? Hadoop是一個(gè)海量數(shù)據(jù)存儲(chǔ)和計(jì)算的分布式系統(tǒng)，它由若干個(gè)成員組成，主要包括： HDFS、MapReduce、 HBase、 Hive、 Pig 和 ZooKeeper， 其中 HDFS是 Google的 GFS開(kāi)源版本， HBase 是 Google的 BigTable開(kāi)源版本， ZooKeeper是 Google的 Chubby開(kāi)源版本。 ? Hadoop在大量的公司中被使用和研究 Hadoop的體系架構(gòu) Hadoop由以下幾個(gè)部件組成 ： Hadoop Common: The mon utilities that support the other Hadoop subprojects. Avro: A data serialization system that provides dynamic integration with scripting languages. Chukwa: A data col
黨政相關(guān)相關(guān)推薦
鄂ICP備17016276號(hào)-1