大數(shù)據(jù)職業(yè)發(fā)展方向-預(yù)覽頁(yè)
【正文】 MapReduce ETL（數(shù)據(jù)倉(cāng)庫(kù)技術(shù)） Hive（數(shù)據(jù)倉(cāng)庫(kù)工具）Sqoop1Flume1HBase1Storm1Scala1KafkaMQ1Spark1Spark核心源碼剖析1CM管理1CDH集群HDFSHadoop分布式文件系統(tǒng)(HDFS)被設(shè)計(jì)成適合運(yùn)行在通用硬件(modity hardware)上的分布式文件系統(tǒng)。所以也可以理解為Hadoop是一個(gè)框架，HDFS是Hadoop中的一個(gè)部件。 2）CEPH 一個(gè)開(kāi)源代碼，是一家名為Inktank做多種存儲(chǔ)系統(tǒng)的商業(yè)軟件。 4）Lustre 是一個(gè)開(kāi)發(fā)源代碼的高性能文件系統(tǒng)，一些人聲稱(chēng)在性能敏感區(qū)域其可以作為HDFS的一個(gè)替代方案。當(dāng)集群包含的節(jié)點(diǎn)超過(guò) 4,000 個(gè)時(shí)（其中每個(gè)節(jié)點(diǎn)可能是多核的），就會(huì)表現(xiàn)出一定的不可預(yù)測(cè)性。概念Map（映射）和Reduce（歸約），是它們的主要思想，都是從函數(shù)式編程語(yǔ)言里借來(lái)的，還有從矢量編程語(yǔ)言里借來(lái)的特性。ETL一詞較常用在數(shù)據(jù)倉(cāng)庫(kù)，但其對(duì)象并不限于數(shù)據(jù)倉(cāng)庫(kù)。轉(zhuǎn)換過(guò)程：1）空值處理：可捕獲字段空值，進(jìn)行加載或替換為其他含義數(shù)據(jù)，并可根據(jù)字段空值實(shí)現(xiàn)分流加載到不同目標(biāo)庫(kù)。7）建立ETL過(guò)程的主外鍵約束：對(duì)無(wú)依賴(lài)性的非法數(shù)據(jù)，可替換或?qū)С龅藉e(cuò)誤數(shù)據(jù)文件中，保證主鍵唯一記錄的加載。兼容性： hadoop生態(tài)圈 依 賴(lài)： jdk，hadoop 定 義： 在 Hadoop 上的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)構(gòu)架適 用： Hive 構(gòu)建在基于靜態(tài)批處理的Hadoop 之上，Hadoop 通常都有較高的延遲并且在作業(yè)提交和調(diào)度的時(shí)候需要大量的開(kāi)銷(xiāo)。3）將元數(shù)據(jù)保存在關(guān)系數(shù)據(jù)庫(kù)中，大大減少了在查詢(xún)過(guò)程中執(zhí)行語(yǔ)義檢查的時(shí)間。體系結(jié)構(gòu)：1）用戶(hù)接口——用戶(hù)接口主要有三個(gè)：CLI，Client 和 WUI 2）元數(shù)據(jù)存儲(chǔ)——Hive 將元數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫(kù)中，如 mysql、derby 3）解釋器、編譯器、優(yōu)化器、執(zhí)行器——解釋器、編譯器、優(yōu)化器完成 HQL 查詢(xún)語(yǔ)句從詞法分析、語(yǔ)法分析、編譯、優(yōu)化以及查詢(xún)計(jì)劃的生成。flume Flume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類(lèi)數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對(duì)數(shù)據(jù)進(jìn)行簡(jiǎn)單處理，并寫(xiě)到各種數(shù)據(jù)接受方（可定制）的能力。另一個(gè)不同的是HBase基于列的而不是基于行的模式。Storm集群的輸入流由一個(gè)被稱(chēng)作spout的組件管理，spout把數(shù)據(jù)傳遞給bolt， bolt要么把數(shù)據(jù)保存到某種存儲(chǔ)器，要么把數(shù)據(jù)傳遞給其它的bolt。你可以在Storm之上使用各種編程語(yǔ)言。Storm會(huì)管理工作進(jìn)程和節(jié)點(diǎn)的故障。Storm保證每個(gè)消息至少能得到一次完整處理。MQ作為其底層消息隊(duì)列。 缺 點(diǎn)：1）單調(diào)乏味性； 2）脆弱性； 3）可伸縮性差； 使用性：Storm有許多應(yīng)用領(lǐng)域，包括實(shí)時(shí)分析、在線機(jī)器學(xué)習(xí)、信息流處理、連續(xù)性的計(jì)算、分布式RPC、ETL等。ScalaScala是一門(mén)多范式的編程語(yǔ)言，一種類(lèi)似java的編程語(yǔ)言，設(shè)計(jì)初衷是實(shí)現(xiàn)可伸縮的語(yǔ)言、并集成面向?qū)ο缶幊毯秃瘮?shù)式編程的各種特性。2）高吞吐量：即使是非常普通的硬件，也可以支持每秒數(shù)十萬(wàn)的消息。 這種動(dòng)作（網(wǎng)頁(yè)瀏覽，搜索和其他用戶(hù)的行動(dòng)）是在現(xiàn)代網(wǎng)絡(luò)上的許多社會(huì)功能的一個(gè)關(guān)鍵因素。基 于：MapReduce算法實(shí)現(xiàn)的分布式計(jì)算特 點(diǎn)：1）自動(dòng)容錯(cuò) 2）位置感 專(zhuān)業(yè)整理分享
物理相關(guān)推薦
鄂ICP備17016276號(hào)-1