【正文】 ? Twitter發(fā) “Tweets”? Flickr照片瀏覽 2023萬(wàn)次? Skype通話 140萬(wàn)分鐘? Facebook增加 350GB數(shù)據(jù)、 增 180個(gè) “贊 ”、每秒增加新帖子 大數(shù)據(jù)2023/2/27 星期六大數(shù)據(jù) 數(shù)據(jù)結(jié)構(gòu)2023/2/27 星期六 68大數(shù)據(jù)2023/2/27 星期六大數(shù)據(jù)存儲(chǔ)2023/2/27 星期六 70大數(shù)據(jù)的4V2023/2/27 星期六數(shù)據(jù)量 時(shí)效性 多變性 價(jià)值性71Hadoop72大數(shù)據(jù)的服務(wù)器2023/2/27 星期六大數(shù)據(jù)分析2023/2/27 星期六09年 4月59秒排序 500GB(在 1400個(gè) 節(jié) 點(diǎn)上 )173分 鐘 內(nèi) 排序 100TB數(shù) 據(jù) (在 3400個(gè) 節(jié) 點(diǎn)上 )74大數(shù)據(jù)分析2023/2/27 星期六1. 可 視 化分析2. 數(shù) 據(jù) 挖 掘算法3. 預(yù)測(cè) 性分析能力4. 語(yǔ)義 引擎5. 數(shù) 據(jù) 質(zhì) 量和 數(shù) 據(jù)管理75Hadoop的思想之源： Google下一步 Google what？Google搜索引擎Gmail Google earth Google翻譯Google+76Google低成本之道1 2 3 4不使用超級(jí)計(jì)算機(jī)，不使用專(zhuān)業(yè)存儲(chǔ)。Lucene的目的是為軟件開(kāi)發(fā)人員提供一個(gè)簡(jiǎn)單易用的工具包，以方便的在目標(biāo)系統(tǒng)中實(shí)現(xiàn)全文檢索的功能，或者是以此為基礎(chǔ)建立起完整的全文檢索引擎 。. LuceneHadoop發(fā)展歷史LuceneNutchHadoopHadoop群雄逐鹿亞馬遜百度云Apache,Cloudera,MapR,HotonWorks,IntelIBMHPDell浪潮云創(chuàng)存儲(chǔ)云服務(wù) 解決方案 一體機(jī)發(fā) 行版本Hadoop目前 Hadoop達(dá)到的高度 ? 實(shí)現(xiàn)云計(jì)算的事實(shí)標(biāo)準(zhǔn)開(kāi)源軟件 ? 包含數(shù)十個(gè)具有強(qiáng)大生命力的子項(xiàng)目 ? 已經(jīng)能在數(shù)千節(jié)點(diǎn)上運(yùn)行，處理數(shù)據(jù)量和排序時(shí)間不斷打破世界紀(jì)錄 Hadoop定義? Hadoop 一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會(huì)開(kāi)發(fā)。充分利用集群的威力高速運(yùn)算和存儲(chǔ) 。? HDFS 和 MapReduce 是兩個(gè)最基礎(chǔ)最重要的成員?？梢园?Hadoop下的原始結(jié)構(gòu)化數(shù)據(jù)變成 Hive中的表? 支持一種與 SQL幾乎完全相同的語(yǔ)言 HiveQL。例如確認(rèn)消息是否準(zhǔn)確到達(dá)，防止單點(diǎn)失效，處理負(fù)載均衡等? 應(yīng)用場(chǎng)景： Hbase，實(shí)現(xiàn)Namenode自動(dòng)切換? 工作原理：領(lǐng)導(dǎo)者，跟隨者以及選舉過(guò)程Sqoop? 用于在 Hadoop和關(guān)系型數(shù)據(jù)庫(kù)之間交換數(shù)據(jù)? 通過(guò) JDBC接口連入關(guān)系型數(shù)據(jù)庫(kù)Avro? 數(shù)據(jù)序列化工具，由 Hadoop的創(chuàng)始人 Doug Cutting主持開(kāi)發(fā)? ? 用于支持大批量數(shù)據(jù)交換的應(yīng)用。? ? Thrift接口Chukwa? 架構(gòu)在 Hadoop之上的數(shù)據(jù)采集與分析框架? 主要進(jìn)行日志采集和分析? 通過(guò)安裝在收集節(jié)點(diǎn)的 “ 代理 ” 采集最原始的日志數(shù)據(jù)? 代理將數(shù)據(jù)發(fā)給收集器? 收集器定時(shí)將數(shù)據(jù)寫(xiě)入 Hadoop集群? 指定定時(shí)啟動(dòng)的 MapReduce作業(yè)隊(duì)數(shù)據(jù)進(jìn)行加工處理和分析? Hadoop基礎(chǔ)管理中心（ HICC）最終展示數(shù)據(jù)Cassandra ? NoSQL，分布式的 KeyValue型數(shù)據(jù)庫(kù)，由 Facebook貢獻(xiàn)? 與 Hbase類(lèi)似，也是借鑒 Google Bigtable的思想體系? 只有順序?qū)?，沒(méi)有隨機(jī)寫(xiě)的設(shè)計(jì)，滿足高負(fù)荷情形的性能需求 Hadoop特點(diǎn)可擴(kuò)展 經(jīng)濟(jì)A B高效D可靠C可架設(shè)于任何 pc機(jī)上分布式文件系統(tǒng)的高效數(shù)據(jù)交互實(shí)現(xiàn)以及MapReduce結(jié)合 Local Data處理的模式，為高效處理海量的信息作了基礎(chǔ)準(zhǔn)備不論是存儲(chǔ)的可擴(kuò)展性還是計(jì)算的可擴(kuò)展行，都是Hadoop的根本分布式文件系統(tǒng)的備份恢復(fù)機(jī)制以及MapReduce的任務(wù)監(jiān)控保證了分布式處理的可靠性基礎(chǔ)架構(gòu)Hadoop與 Google比較后端系統(tǒng)： Google數(shù)據(jù)分析平臺(tái)Google 集群管理系統(tǒng)存儲(chǔ) +計(jì)算 (HDFS+MapReduce)數(shù)據(jù)倉(cāng)庫(kù) (Hive) 內(nèi)存數(shù)據(jù)庫(kù) (Hbase) 批處理 (Pig)BSP模型 (Hama) 分布式鎖 (Zoomkeeper)子系統(tǒng)位置Hadoop應(yīng)用案例國(guó)內(nèi)應(yīng)用情況案例 1：淘寶每日新增數(shù)據(jù) 20T 累積數(shù)據(jù) 14P2023+服務(wù)器的云計(jì)算平臺(tái)每天處理 100,000+作業(yè)任務(wù)，包括 100+新增作業(yè)任務(wù)每天處理 1P+數(shù)據(jù)，包括 %新增數(shù)據(jù)數(shù)據(jù)規(guī)模雙十一 191億 背后的開(kāi)源技術(shù) ?支付寶核心數(shù)據(jù)庫(kù)集群處理了 41億個(gè)事務(wù)執(zhí)行 285億次 SQL訪問(wèn) 1931億次內(nèi)存數(shù)據(jù)塊13億個(gè)物理讀生成 15TB日志雙十一淘寶數(shù)據(jù)平臺(tái) —— 產(chǎn)品架構(gòu)數(shù)據(jù)應(yīng)用開(kāi)發(fā)平臺(tái) ——數(shù)據(jù)工場(chǎng) 底層平臺(tái)數(shù)據(jù)開(kāi)發(fā)平臺(tái)數(shù)據(jù)應(yīng)用報(bào)表需求 (淘數(shù)據(jù) ) 即席查詢(xún) (adhoc) 數(shù)據(jù)分析 數(shù)據(jù)挖掘 數(shù)據(jù)產(chǎn)品Data IntegrationDB sync TTHiveHadoop Map ReduceHadoop HDFSDatax報(bào)表需求 淘數(shù)據(jù)Hbase即席查詢(xún) 數(shù)據(jù)分析 數(shù)據(jù)挖掘 數(shù)據(jù)產(chǎn)品實(shí)時(shí)計(jì)算 案例 2：暴風(fēng)影音?每天處理日志 ,20億行。?每天處理任務(wù)上千個(gè) jobs應(yīng)用領(lǐng)域? 搜索? 社交? 游戲? 視頻? 電信? 醫(yī)療? 交通? 公安? 航空? 電力? 金融HDFS介紹HDFS定義? HDFS 是 Google GFS 的開(kāi)源版本，一個(gè)高度容錯(cuò)的分布式文件系統(tǒng)，它能夠提供高吞吐量的數(shù)據(jù)訪問(wèn)，適合存儲(chǔ)海量（ PB 級(jí)）大文件（通常超過(guò) 64M)。? 流式數(shù)據(jù)訪問(wèn)。? 大規(guī)模數(shù)據(jù)集? 簡(jiǎn)單一致性模型。HDFS不適合場(chǎng)景1低延遲數(shù)據(jù)訪問(wèn)HDFS是為了達(dá)到高數(shù)據(jù)吞吐量而優(yōu)化的，這是以延遲為代價(jià)的，對(duì)于低延遲訪問(wèn)，可以用Hbase（ hadoop的子項(xiàng)目）。111HDFS架構(gòu)同一個(gè) 文件塊 在不同的節(jié)點(diǎn)中有多個(gè) 副本1 1 1HDFS架構(gòu)我們需要一個(gè)集中的地方保存文件的分塊信息/home/hdfs/,3,(dn1,dn2,dn3)/home/hdfs/,3,(dn2,dn3,dn4)/home/hdfs/,3,(dn6,dn11,dn28)…HDFS架構(gòu)HDFS架構(gòu)Block NameNodeDataNode HA策略一個(gè)文件分塊，默認(rèn)64M用于存儲(chǔ) Blocks保存整個(gè)文件系統(tǒng)的目錄信息，文件信息以及文件相應(yīng)的分塊信息NameNode一旦宕機(jī)，整個(gè)文件系統(tǒng)將無(wú)法工作。115HDFS體系結(jié)構(gòu)? NameNode ? DataNode ? 事務(wù)日志 ? 映像文件 ? SecondaryNameNode 116Namenode? 管理文件系統(tǒng)的命名空間 ? 記錄每個(gè)文件數(shù)據(jù)塊在各個(gè) Datanode上的位置和副本信息 ? 協(xié)調(diào)客戶端對(duì)文件的訪問(wèn) ? 記錄命名空間內(nèi)的改動(dòng)或空間本身屬性的改動(dòng) ? Namenode使用事務(wù)日志記錄 HDFS元數(shù)據(jù)的變化。上傳文件到 HDFS? hdusermaster:~$ hadoop dfs put /home/hduser/ /app/hadoop/tmp/? hdusermaster:~$ hadoop dfs ls /app/hadoop/tmp/將 HDFS的文件復(fù)制到本地? hdusermaster:~$ hadoop dfs get /app/hadoop/tmp/ /home/hduser/? hdusermaster:~$ ll /home/hduser/刪除 HDFS下的文檔? hdusermaster:~$ hadoop dfs ls /app/hadoop/tmp/? hdusermaster:~$ hadoop dfs rmr /app/hadoop/tmp/? hdusermaster:~$ hadoop dfs ls /app/hadoop/tmp/查看文件內(nèi)容? hdusermaster:~$ hadoop dfs ls .? hdusermaster:~$ hadoop dfs cat ./查看 HDFS基本統(tǒng)計(jì)信息? hdusermaster:~$ hadoop dfsadmin report進(jìn)入和退出安全模式? hdusermaster:~$ hadoop dfsadmin safemode enter? hdusermaster:~$ hadoop dfsadmin safemode leave更多命令請(qǐng)參考《 》節(jié)點(diǎn)添加? 在新節(jié)點(diǎn)安裝好 hadoop ? 把 namenode的有關(guān)配置文件復(fù)制到該節(jié)點(diǎn) ? 修改 masters和 slaves文件，增加該節(jié)點(diǎn) ? 設(shè)置 ssh免密碼進(jìn)出該節(jié)點(diǎn) ? 單獨(dú)啟動(dòng)該節(jié)點(diǎn)上的 datanode和 tasktracker（ start datanode/tasktracker） ? 運(yùn)行 啟動(dòng)某些特定后臺(tái)進(jìn)程hdusermaster:~$ 負(fù)載均衡? 當(dāng)節(jié)點(diǎn)出現(xiàn)故障，或新增加節(jié)點(diǎn)時(shí)，數(shù)據(jù)塊分布可能不均勻，負(fù)載均衡可以重新平衡各個(gè) datanode上數(shù)據(jù)塊的分布。MapReduce邏輯部署MapReduce邏輯部署? Hadoop 主要由 HDFS（ Hadoop Distributed File System）和 MapReduc