【正文】 。 ? Avro: 一種提供高效、跨語言 RPC(Remote Procedure Call Protocol)的數(shù)據(jù)序列系統(tǒng)，持久化數(shù)據(jù)存儲。 4. 高效：分布式文件系統(tǒng)的 高效數(shù)據(jù)交互實(shí)現(xiàn)以及 MapReduce結(jié)合LocalData處理的模式，為高效處理海量的信息作了基礎(chǔ)準(zhǔn)備。 2. 經(jīng)濟(jì)：框架可以運(yùn)行在任何普通的 PC上。 基于 Hadoop 分布式架構(gòu) 的優(yōu)勢 沒有不好的工具，只用不適用的工具。 Hadoop 的高效性在 MapReduce 的思想下， Hadoop 是并行工作的，以加 快任務(wù)處理速度。因此， Hadoop 也是一個能夠分布式處理大規(guī)模海量數(shù)據(jù)的軟件框架，這一點(diǎn)不足為奇?，F(xiàn)在， Doug Cutting已經(jīng)加盟 Cloudera（一家從事 Hadoop 產(chǎn)品商業(yè)化及技術(shù)支持的公司）。幸運(yùn)的是， Doug Cutting 開發(fā) Hadoop 作為 MapReduce[56]開源實(shí)現(xiàn)，讓 MapReduce 這么平易近人地走到了我們面前。 江蘇大學(xué)碩士研究生畢業(yè)論文 5 Hadoop 平臺架構(gòu) Hadoop 的產(chǎn)生 自從 Google 工程師 Jeffrey Dean 提出 Map Reduce 編程思想， MapReduce便在 Google 的各種 Web 應(yīng)用中釋放著魔力。 第七章 總結(jié)與展望。 以 JAVA和 PERL為開發(fā)工具， 通過 Hadoop平臺框架 實(shí)現(xiàn) 基于上述架構(gòu)模型的 MDVSP系統(tǒng)的各層設(shè)計，并 列出相關(guān)功能的關(guān)鍵性 JAVA和PERL代碼。主要包括聚焦蜘蛛的爬行技術(shù)、江蘇大學(xué)碩士研究生畢業(yè)論文 4 基于 Hadoop平臺下 Map/Reduce的邏輯結(jié)構(gòu)和數(shù)據(jù)流設(shè)計和系統(tǒng)采用的 MDVSPRPC遠(yuǎn)程調(diào)用的封裝技術(shù)。 第五章 基于 Hadoop平臺的 MDVSP的關(guān)鍵技術(shù) 。 敘述基于 Hadoop平 臺的教育資源垂直搜索模型 (MDVSP)，并闡述這種架構(gòu)的優(yōu)點(diǎn)，提出使用這種架構(gòu)可以解決目前現(xiàn)有搜索平臺在教育領(lǐng)域搜索中存在的一些問題。 給出 MDVSP平臺的使用用戶群，并基于抽樣調(diào)查和多年的教育經(jīng)驗，對用戶的需求進(jìn)行鑒別、 清除 用戶需求的模糊性、歧義性和不一致性，將原始問題的理解與軟件開發(fā)經(jīng)驗結(jié)合，深入描述軟件的功能和性能需求。介紹 Hadoop的概念和 Hadoop的優(yōu)點(diǎn)， Hadoop平臺架構(gòu)。 主要論述課題的研究背景，垂直搜索引擎發(fā)展現(xiàn)狀、存在的問題 。 最后 對全文的內(nèi)容進(jìn)行了總結(jié)，分析了系統(tǒng)現(xiàn)有的不足，并提出了進(jìn)一步完善的目標(biāo)和基本方法。包括框架、原理和詳細(xì)實(shí)現(xiàn)。給出了設(shè)計思想和數(shù)據(jù)表示設(shè)計。 (3) 設(shè)計了 Map/Reduce 的邏輯結(jié)構(gòu)和數(shù)據(jù)流。 包括切合本系統(tǒng)的分布式的集群整體框架 和 HDFS 存放結(jié)構(gòu)。 江蘇大學(xué)碩士研究生畢業(yè)論文 3 本文 主要工作 本人通過對現(xiàn)有教育領(lǐng)域搜索引擎的技術(shù)分析， 結(jié)合問卷抽樣調(diào)查反饋， 對用戶的需求進(jìn)行鑒別、綜合和建模，清除用戶需求的模糊性、歧義性和不一致性 ，定義了本系統(tǒng)的功能和性能需求， 在對 Hadoop 平臺的框架研究基礎(chǔ)之上，提出了基于Hadoop 平臺 的 MDVSP(Multitier Distributed Vertical Searching Platform)模型 ,詳細(xì)闡述了 MDVSP 系統(tǒng)在設(shè)計和實(shí)現(xiàn)過程中 應(yīng)用到的一些關(guān)鍵技術(shù) ，并基于該模型實(shí)現(xiàn)了MDVSP 原型。 信息服務(wù)缺乏針對性，缺少用戶交互。 信息準(zhǔn)確度低。 教育資源搜索存在的問題 根據(jù)以上分析，用戶獲取網(wǎng)上教育資源主要存在以下問題： 信息過量。 2. 由于在通過關(guān)鍵詞檢索方式中，關(guān)鍵詞與類別詞的混雜使用導(dǎo)致信息準(zhǔn)確度較低。最常見的主題描述信息是學(xué)科內(nèi)知識點(diǎn)、語文課文標(biāo)題等，常見的類別限制信息是學(xué)科、學(xué)段（或年級）、資源類型。 4. 通常輸入的檢索內(nèi)容包含不同層次的信息 大多數(shù)用戶輸入單個或多個關(guān)鍵詞，而多個關(guān)鍵詞的查詢往往包含有兩類信息—— 主題描述信息和資源的類別限制信息。 2. 目前的搜索引擎還不能完全滿足用戶需求 [2] 綜合性通用搜索引擎在一定程度上方便了用戶查找利用網(wǎng)上信息，但由于它面江蘇大學(xué)碩士研究生畢業(yè)論文 2 向的是大眾，強(qiáng)調(diào)通用性，搜索結(jié)果中 有很多雜亂信息，信息的準(zhǔn)確度較低，不能完全滿足基礎(chǔ)教育用戶的需求。那么對教育資源用戶來講，目前的信息服務(wù)能否滿足他們的需求？他們更傾向于什么樣的信息服務(wù)形式？ 目前現(xiàn)狀 1. 獲取基礎(chǔ)教育資源 最常用的方式是搜索引擎 [2] 用戶獲取基礎(chǔ)教育資源的較經(jīng)常使用的方式為搜索引擎、學(xué)科專題網(wǎng)站、基礎(chǔ)教育綜合網(wǎng)站。因此，如何對通用搜索引擎技術(shù)進(jìn)行改進(jìn)，使查詢的結(jié)果更加貼近用戶的要求，成為搜索引擎行業(yè)近期的研究熱點(diǎn)。 我國互聯(lián)網(wǎng)絡(luò)信息中心 CNNIC于 20xx年 1月發(fā)布的《第 17次中國互聯(lián)網(wǎng)絡(luò)發(fā)展統(tǒng)計報告》顯示：搜索引擎以 %的使用率成為第二大網(wǎng)絡(luò)服務(wù) [1]。 搜索引擎的出現(xiàn)，整合了眾多網(wǎng)站信息，極快的查詢起到了信息導(dǎo)航的作用，信息的價值得到眾多商家的普遍認(rèn)可，成為互聯(lián)網(wǎng)中最有價值的領(lǐng)域。 Index Database 江蘇大學(xué)碩士研究生畢業(yè)論文 V 目 錄 第一章 緒 論 ............................................... 1 課題研究背景及意義 .................................................... 1 背景及意義 ...................................................... 1 目前現(xiàn)狀 ....................................................... 1 教育資源搜 索存在的問題 ................................................ 2 本文主要工作 .......................................................... 3 本文的組織結(jié)構(gòu) ........................................................ 3 第二章 HADOOP 平臺架構(gòu) ..................................... 5 Hadoop 的產(chǎn)生 ......................................................... 5 基于 Hadoop 分布式架構(gòu)的優(yōu)勢 .......................................... 5 Hadoop 組件 ........................................................... 6 本章小結(jié) .............................................................. 6 第三章 MDVSP 平臺需求分析 ................................... 8 教育資源垂直搜索的用戶群 .............................................. 8 MDVSP 搜索資源類型需求 .............................................. 9 MDVSP 搜索平臺功能需求 ............................................. 10 本章小結(jié) ............................................................. 11 第四章 基于 HADOOP 平臺的 MDVSP 模型 ........................... 12 分布式文件系統(tǒng) HDFS 與 Map/Reduce 技術(shù) ............................... 12 分布式文件系統(tǒng) HDFS ........................................... 13 Map/Reduce 技術(shù) ................................................ 16 基于 Hadoop 的 MDVSP 平臺的多層分布式架構(gòu) ........................... 19 系統(tǒng)體系結(jié)構(gòu) .................................................. 19 MDVSP 平臺數(shù)據(jù)處理模型整體框架 ............................... 20 MDVSP 平臺數(shù)據(jù)在 HDFS 中存放結(jié)構(gòu) ............................. 21 MDVSP 通信數(shù)據(jù)模型設(shè)計 ............................................. 21 數(shù)據(jù)模型分析 .................................................. 21 數(shù)據(jù)模型設(shè)計 .................................................. 22 主表設(shè)計 ...................................................... 23 本章小結(jié) ............................................................. 25 第五章 HADOOP 平臺的 MDVSP 的關(guān)鍵技術(shù) ...................... 27 MDVSP 中 聚焦蜘蛛 ................................................... 27 工作原理 ...................................................... 27 關(guān)鍵技術(shù) ...................................................... 28 Map/Reduce 設(shè)計 ...................................................... 31 Map/Reduce 邏輯結(jié)構(gòu)設(shè)計 ....................................... 32 Map/Reduce 數(shù)據(jù)流設(shè)計 ......................................... 33 容錯和可靠性設(shè)計 .............................................. 33 任務(wù)粒度 和 backup 任務(wù)性能優(yōu)化設(shè)計 ............................. 34 遠(yuǎn)程調(diào)用設(shè)計 ......................................................... 35 MDVSP 采用的 RPC 遠(yuǎn)程調(diào)用設(shè)計思想 ............................ 35 MDVSPRPC 數(shù)據(jù)表示設(shè)計 ....................................... 36 MDVSPRPC 服務(wù)器端的實(shí)現(xiàn) ..................................... 38 MDVSPRPC 客戶端的實(shí)現(xiàn) ....................................... 38 Hadoop 的 HA 設(shè)計 .................................................... 39 Health Check 設(shè)計 .............................................. 40 Hadoop Failover 流程設(shè)計 ........................................ 41 本章小結(jié) ............................................................ 42 江蘇大學(xué)碩士研究生畢業(yè)論文 VI 第六章 MDVSP 平臺的實(shí)現(xiàn) ....................................... 43 方案部署 ............................................................. 43 硬件配置 ...................................................... 43 SSH 公鑰認(rèn)證 配置 .............................................. 44 Hadoop 平臺搭建 ................................................ 44 Hbase 平臺搭建 ................................................. 45 與垂直搜索引擎結(jié)合 .