大數(shù)據(jù)職業(yè)發(fā)展方向-在線瀏覽
2024-08-06 20:57本頁面
【正文】 性能調(diào)優(yōu)方向；※ 大數(shù)據(jù)挖掘、分析方向；※ 大數(shù)據(jù)運(yùn)維、云計(jì)算方向※ 數(shù)據(jù)分析師方向（CDA、CPDA）大數(shù)據(jù)是一項(xiàng)基于Java的分布式架構(gòu)技術(shù)，用來管理及分析海量數(shù)據(jù)。用戶既可以輸入命令執(zhí)行，又可以利用 Shell腳本編程，完成更加復(fù)雜的操作。 HDFS YARN MapReduce ETL（數(shù)據(jù)倉庫技術(shù)） Hive（數(shù)據(jù)倉庫工具）Sqoop1Flume1HBase1Storm1Scala1KafkaMQ1Spark1Spark核心源碼剖析1CM管理1CDH集群HDFSHadoop分布式文件系統(tǒng)(HDFS)被設(shè)計(jì)成適合運(yùn)行在通用硬件(modity hardware)上的分布式文件系統(tǒng)。可以創(chuàng)建、刪除、移動(dòng)或重命名文件，等等。所以也可以理解為Hadoop是一個(gè)框架，HDFS是Hadoop中的一個(gè)部件。缺 點(diǎn)：1）數(shù)據(jù)訪問延遲高，設(shè)計(jì)于大吞吐量數(shù)據(jù)的，這是以一定的延遲為代價(jià)； 2）文件數(shù)受限，存儲的文件總數(shù)受限于NameNode的內(nèi)存容量； 3）不支持多用戶寫入，也不支持任意修改文件。 2）CEPH 一個(gè)開源代碼，是一家名為Inktank做多種存儲系統(tǒng)的商業(yè)軟件。 3）Dispersed Storage Network Cleversafe這一新產(chǎn)品將Hadoop MapReduce與企業(yè)分散存儲網(wǎng)絡(luò)系統(tǒng)相融合。 4）Lustre 是一個(gè)開發(fā)源代碼的高性能文件系統(tǒng)，一些人聲稱在性能敏感區(qū)域其可以作為HDFS的一個(gè)替代方案。YARN從某種那個(gè)意義上來說應(yīng)該算做是一個(gè)云操作系統(tǒng)，它負(fù)責(zé)集群的資源管理。當(dāng)集群包含的節(jié)點(diǎn)超過 4,000 個(gè)時(shí)（其中每個(gè)節(jié)點(diǎn)可能是多核的），就會表現(xiàn)出一定的不可預(yù)測性。優(yōu) 點(diǎn)：大大減小了 JobTracker（也就是現(xiàn)在的 ResourceManager）的資源消耗，并且讓監(jiān)測每一個(gè) Job 子任務(wù) (tasks) 狀態(tài)的程序分布式化了，更安全、更優(yōu)美。概念Map（映射）和Reduce（歸約），是它們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。本 質(zhì)：一種編程模型 用 途：大規(guī)模數(shù)據(jù)集的并行運(yùn)算 特 點(diǎn)：分布可靠應(yīng) 用：大規(guī)模的算法圖形處理、文字處理等主要功能：1）數(shù)據(jù)劃分和計(jì)算任務(wù)調(diào)度； 2）數(shù)據(jù)/代碼互定位； 3）系統(tǒng)優(yōu)化； 4）出錯(cuò)檢測和恢復(fù)。ETL一詞較常用在數(shù)據(jù)倉庫，但其對象并不限于數(shù)據(jù)倉庫。軟件名稱：ExtractTransformLoad 過 程：數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、裝載 應(yīng) 用：Informatica、Datastage、OWB、 數(shù)據(jù)集成：快速實(shí)現(xiàn)ETL特 性：正確性、完整性、一致性、完備性、有效性、時(shí)效性和可獲取性等幾個(gè)特性。轉(zhuǎn)換過程：1）空值處理：可捕獲字段空值，進(jìn)行加載或替換為其他含義數(shù)據(jù)，并可根據(jù)字段空值實(shí)現(xiàn)分流加載到不同目標(biāo)庫。3）拆分?jǐn)?shù)據(jù)：依據(jù)業(yè)務(wù)需求對字段可進(jìn)行分解4）驗(yàn)證數(shù)據(jù)正確性：可利用Lookup及拆分功能進(jìn)行數(shù)據(jù)驗(yàn)證5）數(shù)據(jù)替換：對于因業(yè)務(wù)因素，可實(shí)現(xiàn)無效數(shù)據(jù)、缺失數(shù)據(jù)的替換。7）建立ETL過程的主外鍵約束：對無依賴性的非法數(shù)據(jù)，可替換或?qū)С龅藉e(cuò)誤數(shù)據(jù)文件中，保證主鍵唯一記錄的加載。Hive是建立在 Hadoop 上的數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架。兼容性： hadoop生態(tài)圈 依 賴： jdk，hadoop 定 義： 在 Hadoop 上的數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架適 用： Hive 構(gòu)建在基于靜態(tài)批處理的Hadoop 之上，Hadoop 通常都有較高的延遲并且在作業(yè)提交和調(diào)度的時(shí)候需要大量的開銷。特 性：1）支持索引，加快數(shù)
物理相關(guān)推薦
鄂ICP備17016276號-1