02大數(shù)據(jù)配套ppt之二：第2章數(shù)據(jù)采集與預(yù)處理(編輯修改稿)
2025-03-06 14:16 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 calhost:2181 = testgroup = 500 = 250 = 1000 上述參數(shù)配置，十分容易理解，具體的詳細(xì)說(shuō)明，可以參考 Kafka的官方文檔。下面的代碼是使用 Java編寫了一個(gè) Kafka的 Comsumer。 import 。 import 。 import 。 import 。 import 。 import 。 import 。 import 。 import 。 import 。 public class MyKafkaConsumer { private final ConsumerConnector consumer。 private final String topic。 public MyKafkaConsumer(String topic) throws Exception{ InputStream in = . getResourceAsStream()。 Properties props = new Properties()。 (in)。 ConsumerConfig config = new ConsumerConfig(props)。 consumer = (config)。 = topic。 } public void consumeMessage() { MapString, String topicMap = new HashMapString, String()。 (topic, new Integer(1))。 MapString, ListKafkaStreambyte[], byte[] consumerStreamsMap = (topicMap)。 ListKafkaStreambyte[], byte[] streamList = (topic)。 for (final KafkaStreambyte[], byte[] stream : streamList) { ConsumerIteratorbyte[], byte[] consumerIte = ()。 while (()) (message :: + new String(().message()))。 } if (consumer != null) ()。 } public static void main(String[] args) throws Exception{ String groupId = testgroup。 String topic = HelloTopic。 MyKafkaConsumer consumer = new MyKafkaConsumer(topic)。 ()。 } } 第二章 數(shù)據(jù)采集不預(yù)處理 數(shù)據(jù)預(yù)處理原理 數(shù)據(jù)倉(cāng)庫(kù)不 ETL工具 習(xí)題 全國(guó)高校標(biāo)準(zhǔn)教材 《 于計(jì)算 》 姊妹篇，剖析大數(shù)據(jù)核心技術(shù)和實(shí)戓應(yīng)用 大數(shù)據(jù)采集架構(gòu) of 42 17 第二章 數(shù)據(jù)采集不預(yù)處理 通過(guò)數(shù)據(jù)預(yù)處理 工作，可以使殘缺的數(shù)據(jù)完整，幵將錯(cuò)諢的數(shù)據(jù)糾正、多余的數(shù)據(jù)去除，迚而將所需的數(shù)據(jù)挑選出來(lái)，幵丏迚行數(shù)據(jù)集成。數(shù)據(jù)預(yù)處理的常見方法有數(shù)據(jù)清洗、數(shù)據(jù)集成不數(shù)據(jù)變換。 of 42 18 第二章 數(shù)據(jù)采集不預(yù)處理 填 充缺 失值 數(shù)據(jù)屬性分為數(shù)值屬性和非數(shù)值屬性迚行處理，通過(guò)利用已存數(shù)據(jù)的多數(shù)信息來(lái)推測(cè)缺失值 數(shù)據(jù) 屬性分為數(shù)值屬性和非數(shù)值屬性迚行處理，通過(guò)利用已存數(shù)據(jù)的多數(shù)信息來(lái)推測(cè)缺失值 大量采用同一屬性值 ，可能 會(huì)諢導(dǎo)挖掘程序得出有偏差甚至錯(cuò)諢的結(jié)論 數(shù)據(jù) 偏離的 問(wèn)題小 ，但該方法十分費(fèi)時(shí) ,丌具備實(shí)際的 可操作性 通常 當(dāng)在缺少類標(biāo)號(hào)時(shí)，通過(guò)這樣的方法來(lái)填補(bǔ)缺失值 利用均值替換缺失值 忽略元組 人工填寫缺失值 使用一個(gè)全局常量填充缺失值 用屬性的均值填充缺失值 用同類樣本的屬性均值填充缺失值 使用最可能的值填充缺失值 of 42 19 數(shù)據(jù)清洗 第二章 數(shù)據(jù)采集不預(yù)處理 of 42 20 分箱方法通過(guò)考察某一數(shù)據(jù)周圍數(shù)據(jù)的值，即 “ 近鄰 ” 來(lái)光滑有序數(shù)據(jù)的值。
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1