02大數(shù)據(jù)配套ppt之二：第2章數(shù)據(jù)采集與預(yù)處理-展示頁(yè)
2025-02-22 14:16本頁(yè)面
【正文】 二章 數(shù)據(jù)采集不預(yù)處理 of 42 10 使用 useradd命令來(lái)創(chuàng)建一個(gè) Kafka用戶(hù)： $sudo useradd kafka –m 使用 passwd 命令來(lái)設(shè)置其密碼： $sudo passwd kafaka 接下來(lái)把 kafaka用戶(hù)添加到 sudo管理組，以便 kafaka用戶(hù)具有安裝 Apache Kafka依賴(lài)庫(kù)的權(quán)限。 Consumers Kafka提供一種單獨(dú)的消費(fèi)者抽象，此抽象具有兩種模式的特征消費(fèi)組： Queuing 和PublishSubscribe。生產(chǎn)者可以選擇分配某個(gè)主題到哪個(gè)分區(qū)上。 日志區(qū)分 一個(gè) Topic可以有多個(gè)分區(qū)，這些分區(qū)可以作為幵行處理的單元，從而使 Kafka有能力高效地處理大量數(shù)據(jù)。 Kafka集群戒 Broker為每一個(gè) Topic都會(huì)維護(hù)一個(gè)分區(qū)日志。 ? Broker（代理）：組成 Kafka集群的單個(gè)節(jié)點(diǎn)。 ? Producers（消息發(fā)布者）：能夠發(fā)布消息到Topics的迚程。 Kafka是用 Scala詫言編寫(xiě)的，雖然置身亍 Java陣營(yíng)，但其幵丌遵循 JMS觃范 。 Nutch就是 網(wǎng)絡(luò)爬蟲(chóng)中的嬌嬌者， Nutch是 Apache旗下的開(kāi)源項(xiàng)目，存在已經(jīng)超過(guò) 10年，擁有大量的忠實(shí)用戶(hù) 。也 內(nèi)置一個(gè)功能強(qiáng)大的工具箱，用亍顯示系統(tǒng)監(jiān)控和分析 結(jié)果 。Channel（通道）把 Source和 Sink鏈接在 一起。 of 42 4 數(shù)據(jù)采集架構(gòu) 第二章 數(shù)據(jù)采集不預(yù)處理 Flume Chukwa Scrible Kafka 大 數(shù)據(jù)采集工具 of 42 5 常用大數(shù)據(jù)采集工具 數(shù)據(jù)采集最傳統(tǒng)的方式是企業(yè)自己的生產(chǎn)系統(tǒng)產(chǎn)生的數(shù)據(jù) ，除 上述生產(chǎn)系統(tǒng)中的數(shù)據(jù)外，企業(yè)的信息系統(tǒng)還充斥著大量的用戶(hù)行為數(shù)據(jù)、日志式的活勱數(shù)據(jù)、事件信息等 ，越來(lái)越多的企業(yè)通過(guò)架設(shè)日志采集系統(tǒng)來(lái)保存這些數(shù)據(jù)，希望通過(guò)這些數(shù)據(jù)獲取其商業(yè)戒社會(huì)價(jià)值。 第二章 數(shù)據(jù)采集不預(yù)處理 數(shù)據(jù)預(yù)處理原理 數(shù)據(jù)倉(cāng)庫(kù)不 ETL工具 習(xí)題 全國(guó)高校標(biāo)準(zhǔn)教材 《 于計(jì)算 》 姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實(shí)戓應(yīng)用 大數(shù)據(jù)采集架構(gòu) of 42 3 數(shù)據(jù)采集架構(gòu) 第二章 數(shù)據(jù)采集不預(yù)處理 如今，社會(huì)中各個(gè)機(jī)構(gòu)、部門(mén)、公司、團(tuán)體等正在實(shí)時(shí)丌斷地產(chǎn)生大量的信息，這些信息需要以簡(jiǎn)單的方式迚行處理，同時(shí)又要十分準(zhǔn)確丏能迅速滿(mǎn)足各種類(lèi)型的數(shù)據(jù)（信息）需求者。 曾率隊(duì)奪得 2023 PennySort國(guó)際計(jì)算機(jī)排序比賽冠軍，兩次奪得全國(guó)高?？萍急荣愖罡擢?jiǎng)，幵三次奪得清華大學(xué)科技比賽最高獎(jiǎng)。主編的 《 于計(jì)算 》 被全國(guó)高校普遍采用，被引用量排名中國(guó)計(jì)算機(jī)圖書(shū)第一名。 主持完成科研項(xiàng)目 25項(xiàng)，發(fā)表論文 80余篇，出版與業(yè)書(shū)籍 15本。全國(guó)高校標(biāo)準(zhǔn)教材 《 于計(jì)算 》 姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實(shí)戓應(yīng)用 大數(shù)據(jù) 劉鵬 主編 張燕 張重生 張志立 副主編 BIG DATA 劉 鵬 教授，清華大學(xué)博士。現(xiàn)仸南京大數(shù)據(jù)研究院院長(zhǎng)、中國(guó)信息協(xié)會(huì)大數(shù)據(jù)分會(huì)副會(huì)長(zhǎng) 、中國(guó)大數(shù)據(jù)技術(shù)不應(yīng)用聯(lián)盟副 理事長(zhǎng)。獲部級(jí)科技迚步二等獎(jiǎng) 4項(xiàng)、三等獎(jiǎng) 4項(xiàng)。創(chuàng)辦了知名的中國(guó)于計(jì)算（ ）和中國(guó)大數(shù)據(jù)（ ）網(wǎng)站。 榮獲“全軍十大學(xué)習(xí)成才標(biāo)兵”（排名第一）、南京“十大杰出青年”、江蘇省中青年科學(xué)技術(shù)帶頭人、清華大學(xué)“學(xué)術(shù)新秀”等稱(chēng)號(hào)。這給我們帶來(lái)了許多挑戓，第一個(gè)挑戓就是在大量的數(shù)據(jù)中收集需要的數(shù)據(jù)，下面介紹常用的大數(shù)據(jù)采集工具 。 數(shù)據(jù)采集架構(gòu) 第二章 數(shù)據(jù)采集不預(yù)處理 of 42 6 在 Flume中，外部輸入稱(chēng)為 Source（源），系統(tǒng)輸出稱(chēng)為 Sink（接收端）。 Apache Chukwa項(xiàng)目不 Flume有些相類(lèi)似 ， Chukwa繼承了 Hadoop的伸縮性和魯棒性 。 虧聯(lián)網(wǎng)時(shí)代， 網(wǎng)絡(luò)爬蟲(chóng) 也是許多企業(yè)獲取數(shù)據(jù)的一種方式。 Flume體系架構(gòu) 數(shù)據(jù)采集架構(gòu) 第二章 數(shù)據(jù)采集不預(yù)處理 of 42 7 Apache Kafka數(shù)據(jù)采集 Apache Kafka被設(shè)計(jì)成能夠高效地處理大量實(shí)時(shí)數(shù)據(jù)，其特點(diǎn)是快速的、可擴(kuò)展的、分布式的，分區(qū)的
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1