基于hadoop數(shù)據(jù)倉庫(已修改)
2025-05-18 00:42 本頁面
【正文】 基于 hadoop的數(shù)據(jù)倉庫技術(shù) 目錄 ? Hadoop簡介 ? HDFS (Hadoop Distributed File System) ? MapReduce ? Hive 本文的內(nèi)容主要來自三篇 hadoop領域的核心論文 Hive—A Petabyte Scale Data Warehouse Using Hadoop MapReduce and Parallel DBMSs:Friends or Foes Cheetah:A High Performance,Custom Data Warehouse on Top of MapReduce 歷史 ? 20212021: Apache Nutch ? 20212021: –Google 發(fā)表 GFS 和 MapReduce相關論文 –Apache 在 Nutch中實現(xiàn) HDFS和 MapReduce ? 20212021: –Hadoop 項目從 Nutch中分離 –2021年 7月， Hadoop贏得 Terabyte Sort Benchmark Doug Cutting Hadoop項目負責人 Hadoop簡介 ? Hadoop實現(xiàn)了一個分布式文件系統(tǒng)（ Hadoop Distributed File System），簡稱 HDFS。HDFS有著高容錯性的特點，并且設計用來部署在低廉的（ lowcost）硬件上。而且它提供高傳輸率（ high throughput）來訪問應用程序的數(shù)據(jù)，適合那些有著超大數(shù)據(jù)集（ large data set）的應用程序。 HDFS放寬了（ relax）POSIX的要求（ requirements）這樣可以流的形式訪問（ streaming access）文件系統(tǒng)中的數(shù)據(jù)。 Hadoop簡介 ? Hadoop是 Apache 的一個開源軟件項目 ,由Doug Cutting在 2021年開始開發(fā)。 ? Hadoop是一個海量數(shù)據(jù)存儲和計算的分布式系統(tǒng)，它由若干個成員組成，主要包括： HDFS、MapReduce、 HBase、 Hive、 Pig 和 ZooKeeper， 其中 HDFS是 Google的 GFS開源版本， HBase 是 Google的 BigTable開源版本， ZooKeeper是 Google的 Chubby開源版本。 ? Hadoop在大量的公司中被使用和研究 Hadoop的體系架構(gòu) Hadoop由以下幾個部件組成 ： Hadoop Common: The mon utilities that support the other Hadoop subprojects. Avro: A data serialization system that provides dynamic integration with scripting languages. Chukwa: A data col
黨政相關相關推薦
鄂ICP備17016276號-1