大數(shù)據(jù)職業(yè)發(fā)展方向-文庫吧資料
2025-07-02 20:57本頁面
【正文】 段，保證字段完整性。2）規(guī)范化數(shù)據(jù)格式：可實現(xiàn)字段格式約束定義，對于數(shù)據(jù)源中時間、數(shù)值、字符等數(shù)據(jù)，可自定義加載格式。影響特性原因：業(yè)務系統(tǒng)不同時期系統(tǒng)之間數(shù)據(jù)模型不一致；業(yè)務系統(tǒng)不同時期業(yè)務過程有變化；舊系統(tǒng)模塊在運營、人事、財務、辦公系統(tǒng)等相關信息的不一致；遺留系統(tǒng)和新業(yè)務、管理系統(tǒng)數(shù)據(jù)集成不完備帶來的不一致性。 ETL是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗,最終按照預先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。技術特點：1）向“外”橫向擴展，而非向“上”縱向擴展 2）失效被認為是常態(tài)3）把處理向數(shù)據(jù)遷移4）順序處理數(shù)據(jù)、避免隨機訪問數(shù)據(jù)5）為應用開發(fā)者隱藏系統(tǒng)層細節(jié)6）平滑無縫的可擴展性 ETL（數(shù)據(jù)倉庫技術） 用來描述將數(shù)據(jù)從來源端經(jīng)過抽取（extract）、轉(zhuǎn)換（transform）、加載（load）至目的端的過程。它極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)上。MapReduce MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。其中一個最大的問題是級聯(lián)故障，由于要嘗試復制數(shù)據(jù)和重載活動的節(jié)點，所以一個故障會通過網(wǎng)絡泛洪形式導致整個集群嚴重惡化。實 質(zhì)：一種新的Hadoop資源管理器作 用：修復MapReduce實現(xiàn)里的明顯不足，并對可伸縮性（支持一萬個節(jié)點和二十萬個內(nèi)核的集群）、可靠性和集群利用率進行了提升缺 點：這種架構(gòu)存在不足，主要表現(xiàn)在大型集群上。YARN Apache Hadoop YARN （另一種資源協(xié)調(diào)者）是一種新的 Hadoop 資源管理器，它是一個通用資源管理系統(tǒng)，可為上層應用提供統(tǒng)一的資源管理和調(diào)度，它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來了巨大好處。跨過集群完全分配元數(shù)據(jù)，也不依賴于復制，Cleversafe認為與HDFS相比，Dispersed Storage Network的速度更快，更可靠。其特點是高性能并行文件系統(tǒng)。替代品：1）DataStax不是文件系統(tǒng)，而是一個開源的代碼，NoSQL鍵/值存儲，依靠快速的數(shù)據(jù)訪問。優(yōu) 點：1）存儲超大文件，存儲文件為TB，甚至PB；2）流式數(shù)據(jù)讀取，一次寫入多次讀取，是最高效的訪問模式；3）商用硬件，設計運行普通的廉價的PC上。HDFS是Hadoop兼容最好的標準文件系統(tǒng)，因為Hadoop是一個綜合性的文件系統(tǒng)抽象，所以HDFS不是Hadoop必須的。全 稱： Hadoop Distributed File System 簡 稱： hdfs 實 質(zhì)： 分布式文件系統(tǒng) 作 用： 作為Apache Nutch的基礎架構(gòu) 特 點： 高容錯性 適 用： 大規(guī)模數(shù)據(jù)集原 理： HDFS就像一個傳統(tǒng)的分級文件系統(tǒng)。軟件語言篇： Hadoop——是一個開發(fā)和運行處理大規(guī)模數(shù)據(jù)的軟件平臺，是Appach的一個用java語言實現(xiàn)開源軟件框架，實現(xiàn)在大量計算機組成的集群中對海量數(shù)據(jù)進行分布式計算。大數(shù)據(jù)核心研發(fā)（系統(tǒng)研發(fā)）方向：基礎課程篇： Java——基礎課程（大數(shù)據(jù)任何方向必學內(nèi)容） Linux基礎——基礎課程（大數(shù)據(jù)任何方向必學內(nèi)容） Shell編程——從程序員的角度來看， Shell本身是一種用C語言編寫的程序，從用戶的角度來看，Shell是用戶與Linux操作系統(tǒng)溝通的橋梁。以傳感器技術，指紋識別技術，RFID技術，坐標定位技術等為基礎的感知能力提升同樣是物聯(lián)網(wǎng)發(fā)展的基石。存儲技術——大數(shù)據(jù)可以抽象的分為大數(shù)據(jù)存儲和大數(shù)據(jù)分析，這兩者的關系是：大數(shù)據(jù)存儲的目的是支撐大數(shù)據(jù)分析。Ambari:Hadoo
物理相關推薦
鄂ICP備17016276號-1