基于hadoophbase的一淘搜索離線系統(tǒng)(已修改)
2025-10-23 10:24 本頁面
【正文】 基于 Hadoop/HBase的一淘搜索離線系統(tǒng) 莫 問 個人簡介 ? 花名：莫問 真名：王峰 ? 2020年碩士畢業(yè)于北航計算機系 ? 畢業(yè)后加入阿里巴巴集團 ? 雅虎中國 垂直搜索團隊 ? 阿里云 計算服務(wù)團隊 ? 淘寶 /一淘 網(wǎng)頁抓取團隊 ? 技術(shù)方向：分布式系統(tǒng)和大數(shù)據(jù)處理 提 綱 ? 一淘搜索系統(tǒng)架構(gòu) ? 基于 HBase的分布式存儲系統(tǒng) ? 基于 Hadoop的分布式計算平臺 ? 一淘全網(wǎng)商品離線處理系統(tǒng) 抓取系統(tǒng) 存儲系統(tǒng) 業(yè)務(wù)處理流程 索引構(gòu)建 搜索引擎 Web 搜索前端 淘寶商品 一淘搜索系統(tǒng)架構(gòu) 淘寶商品導(dǎo)入 基于 HBase的分布式存儲系統(tǒng) ? HBase集群 概述 ? HBase主要 數(shù)據(jù) ? HBase擴展開發(fā) ? 基于 HBase的分布式消息隊列 HBase集群概述 ? 集群版本： +擴展優(yōu)化 ? 集群規(guī)模 ： 300臺 + ? 存儲量： 300TB+ ? 每日更新量： 10% ? 監(jiān)控： Ganglia + JMX HBase主要數(shù)據(jù) ? 電子商務(wù)網(wǎng)頁 庫 （幾十億） ? 全網(wǎng) B2C商品 ? 全網(wǎng)導(dǎo)購信息（資訊、問答、論壇、點評等） ? 淘寶 +天貓商品（ 40%） ? 精選優(yōu)質(zhì)商品 ? 淘客返利商品 HBase擴展 開發(fā) ? 定制 Load Balance插件 ? 定制 Region Split/Merge插件和工具 ? 擴展 ThriftServer API ? 增強的 MapReduce Lib支持 ? 豐富更多的 Metrics指標 ? 多種 Coprocessor插 件 RegionServer RegionServer RegionServer …….. RegionServer region region region region region region region region region region region region region region RSLevel Balance RegionServer
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1