【正文】 試，為什么百度，谷歌都出現(xiàn)了培訓(xùn)中心的廣告？想要查找小學(xué)三年級(jí)上學(xué)期課件，搜索結(jié)果出現(xiàn)了大量的招生廣告……越來(lái)越多的教育工作者、學(xué)生發(fā)現(xiàn)百度和谷歌搜索平臺(tái)，不容易使用了，想要獲得自己想要的信息，需要大量的時(shí)間來(lái)篩選。盡管HDFS目前仍然不盡完善，但是這些缺陷和不足之處不會(huì)影響到具體項(xiàng)目的成功實(shí)施。Chukwa [79]運(yùn)行 HDFS 中存儲(chǔ)數(shù)據(jù)的收集器，它使用 MapReduce 來(lái)生成報(bào)告。Hive 管理 HDFS 中存儲(chǔ)的數(shù)據(jù)，并提供基于 SQL的查詢(xún)語(yǔ)言(由運(yùn)行時(shí)引擎翻譯成 MapReduce 作業(yè))用以查詢(xún)數(shù)據(jù)。ZooKeeper 提供分布式鎖之類(lèi)的基本服務(wù)用于構(gòu)建分布式應(yīng)用。 HBase 使用 HDFS 作為底層存儲(chǔ)，同時(shí)支持 MapReduce 的批量式計(jì)算和點(diǎn)查詢(xún)(隨機(jī)讀取)。Pig 運(yùn)行在MapReduce 和 HDFS 的集群上。? HDFS：(Hadoop Distributed File System)分布式文件系統(tǒng)，運(yùn)行于大型商用機(jī)集群。? Avro: 一種提供高效、跨語(yǔ)言 RPC(Remote Procedure Call Protocol)的數(shù)據(jù)序列系統(tǒng)，持久化數(shù)據(jù)存儲(chǔ)。4. 高效：分布式文件系統(tǒng)的高效數(shù)據(jù)交互實(shí)現(xiàn)以及MapReduce結(jié)合LocalData處理的模式，為高效處理海量的信息作了基礎(chǔ)準(zhǔn)備。2. 經(jīng)濟(jì)：框架可以運(yùn)行在任何普通的PC上。 基于 Hadoop 分布式架構(gòu)的優(yōu)勢(shì)沒(méi)有不好的工具，只用不適用的工具。Hadoop 的高效性在 MapReduce 的思想下， Hadoop 是并行工作的，以加快任務(wù)處理速度。因此，Hadoop 也是一個(gè)能夠分布式處理大規(guī)模海量數(shù)據(jù)的軟件框架，這一點(diǎn)不足為奇。現(xiàn)在，Doug Cutting 已經(jīng)加盟 Cloudera（一家從事 Hadoop 產(chǎn)品商業(yè)化及技術(shù)支持的公司）。幸運(yùn)的是，Doug Cutting開(kāi)發(fā) Hadoop 作為 MapReduce[56]開(kāi)源實(shí)現(xiàn)，讓 MapReduce 這么平易近人地走到了我們面前。江蘇大學(xué)碩士研究生畢業(yè)論文5第二章Hadoop 平臺(tái)架構(gòu) Hadoop 的產(chǎn)生 自從 Google 工程師 Jeffrey Dean 提出 Map Reduce 編程思想，MapReduce便在 Google 的各種 Web 應(yīng)用中釋放著魔力。第七章 總結(jié)與展望。以JAVA和PERL為開(kāi)發(fā)工具，通過(guò)Hadoop平臺(tái)框架實(shí)現(xiàn)基于上述架構(gòu)模型的MDVSP系統(tǒng)的各層設(shè)計(jì)，并列出相關(guān)功能的關(guān)鍵性JAVA和PERL代碼。主要包括聚焦蜘蛛的爬行技術(shù)、基于Hadoop平臺(tái)下 Map/Reduce的邏輯結(jié)構(gòu)和數(shù)據(jù)流設(shè)計(jì)和系統(tǒng)采用的 MDVSPRPC遠(yuǎn)程調(diào)用的封裝技術(shù)。江蘇大學(xué)碩士研究生畢業(yè)論文4第五章 基于Hadoop平臺(tái)的MDVSP的關(guān)鍵技術(shù)。敘述基于Hadoop平臺(tái)的教育資源垂直搜索模型(MDVSP) ，并闡述這種架構(gòu)的優(yōu)點(diǎn)，提出使用這種架構(gòu)可以解決目前現(xiàn)有搜索平臺(tái)在教育領(lǐng)域搜索中存在的一些問(wèn)題。給出MDVSP平臺(tái)的使用用戶(hù)群，并基于抽樣調(diào)查和多年的教育經(jīng)驗(yàn)，對(duì)用戶(hù)的需求進(jìn)行鑒別、清除用戶(hù)需求的模糊性、歧義性和不一致性，將原始問(wèn)題的理解與軟件開(kāi)發(fā)經(jīng)驗(yàn)結(jié)合，深入描述軟件的功能和性能需求。介紹Hadoop的概念和Hadoop的優(yōu)點(diǎn)，Hadoop平臺(tái)架構(gòu)。主要論述課題的研究背景，垂直搜索引擎發(fā)展現(xiàn)狀、存在的問(wèn)題。最后對(duì)全文的內(nèi)容進(jìn)行了總結(jié)，分析了系統(tǒng)現(xiàn)有的不足，并提出了進(jìn)一步完善的目標(biāo)和基本方法。包括框架、原理和詳細(xì)實(shí)現(xiàn)。給出了設(shè)計(jì)思想和數(shù)據(jù)表示設(shè)計(jì)。(3) 設(shè)計(jì)了 Map/Reduce 的邏輯結(jié)構(gòu)和數(shù)據(jù)流。包括切合本系統(tǒng)的分布式的集群整體框架和 HDFS 存放結(jié)構(gòu)。江蘇大學(xué)碩士研究生畢業(yè)論文3 本文主要工作本人通過(guò)對(duì)現(xiàn)有教育領(lǐng)域搜索引擎的技術(shù)分析，結(jié)合問(wèn)卷抽樣調(diào)查反饋，對(duì)用戶(hù)的需求進(jìn)行鑒別、綜合和建模，清除用戶(hù)需求的模糊性、歧義性和不一致性，定義了本系統(tǒng)的功能和性能需求，在對(duì) Hadoop 平臺(tái)的框架研究基礎(chǔ)之上，提出了基于 Hadoop 平臺(tái)的 MDVSP(Multitier Distributed Vertical Searching Platform)模型,詳細(xì)闡述了 MDVSP 系統(tǒng)在設(shè)計(jì)和實(shí)現(xiàn)過(guò)程中應(yīng)用到的一些關(guān)鍵技術(shù)，并基于該模型實(shí)現(xiàn)了 MDVSP 原型。信息服務(wù)缺乏針對(duì)性，缺少用戶(hù)交互。信息準(zhǔn)確度低。 教育資源搜索存在的問(wèn)題根據(jù)以上分析，用戶(hù)獲取網(wǎng)上教育資源主要存在以下問(wèn)題：信息過(guò)量。2. 由于在通過(guò)關(guān)鍵詞檢索方式中，關(guān)鍵詞與類(lèi)別詞的混雜使用導(dǎo)致信息準(zhǔn)確度較低。最常見(jiàn)的主題描述信息是學(xué)科內(nèi)知識(shí)點(diǎn)、語(yǔ)文課文標(biāo)題等，常見(jiàn)的類(lèi)別限制信息是學(xué)科、學(xué)段（或年級(jí)） 、資源類(lèi)型。4. 通常輸入的檢索內(nèi)容包含不同層次的信息大多數(shù)用戶(hù)輸入單個(gè)或多個(gè)關(guān)鍵詞，而多個(gè)關(guān)鍵詞的查詢(xún)往往包含有兩類(lèi)信息——主題描述信息和資源的類(lèi)別限制信息。2. 目前的搜索引擎還不能完全滿足用戶(hù)需求 [2]江蘇大學(xué)碩士研究生畢業(yè)論文2綜合性通用搜索引擎在一定程度上方便了用戶(hù)查找利用網(wǎng)上信息，但由于它面向的是大眾，強(qiáng)調(diào)通用性，搜索結(jié)果中有很多雜亂信息，信息的準(zhǔn)確度較低，不能完全滿足基礎(chǔ)教育用戶(hù)的需求。那么對(duì)教育資源用戶(hù)來(lái)講，目前的信息服務(wù)能否滿足他們的需求？他們更傾向于什么樣的信息服務(wù)形式？ 目前現(xiàn)狀1. 獲取基礎(chǔ)教育資源最常用的方式是搜索引擎 [2]用戶(hù)獲取基礎(chǔ)教育資源的較經(jīng)常使用的方式為搜索引擎、學(xué)科專(zhuān)題網(wǎng)站、基礎(chǔ)教育綜合網(wǎng)站。因此，如何對(duì)通用搜索引擎技術(shù)進(jìn)行改進(jìn)，使查詢(xún)的結(jié)果更加貼近用戶(hù)的要求，成為搜索引擎行業(yè)近期的研究熱點(diǎn)。我國(guó)互聯(lián)網(wǎng)絡(luò)信息中心CNNIC于2022年1月發(fā)布的《第17次中國(guó)互聯(lián)網(wǎng)絡(luò)發(fā)展統(tǒng)計(jì)報(bào)告》顯示：%的使用率成為第二大網(wǎng)絡(luò)服務(wù) [1]。搜索引擎的出現(xiàn)，整合了眾多網(wǎng)站信息，極快的查詢(xún)起到了信息導(dǎo)航的作用，信息的價(jià)值得到眾多商家的普遍認(rèn)可，成為互聯(lián)網(wǎng)中最有價(jià)值的領(lǐng)域。 Index Database江蘇大學(xué)碩士研究生畢業(yè)論文V目 錄第一章 緒 論 ......................................................1 課題研究背景及意義 ....................................................1 背景及意義 .........................................................1 目前現(xiàn)狀 ..........................................................1 教育資源搜索存在的問(wèn)題 ................................................2 本文主要工作 ..........................................................3 本文的組織結(jié)構(gòu) ........................................................3第二章 HADOOP 平臺(tái)架構(gòu) ..........................................5 Hadoop 的產(chǎn)生 .........................................................5 基于 Hadoop 分布式架構(gòu)的優(yōu)勢(shì) ..........................................5 Hadoop 組件 ...........................................................6 本章小結(jié) ..............................................................6第三章 MDVSP 平臺(tái)需求分析 ........................................8 教育資源垂直搜索的用戶(hù)群 ..............................................8 MDVSP 搜索資源類(lèi)型需求 ..............................................9 MDVSP 搜索平臺(tái)功能需求 .............................................10 本章小結(jié) .............................................................11第四章 基于 HADOOP 平臺(tái)的 MDVSP 模型 ................................12 分布式文件系統(tǒng) HDFS 與 Map/Reduce 技術(shù) ...............................12 分布式文件系統(tǒng) HDFS .............................................13 Map/Reduce 技術(shù) ..................................................16 基于 Hadoop 的 MDVSP 平臺(tái)的多層分布式架構(gòu) ...........................19 系統(tǒng)體系結(jié)構(gòu) .....................................................19 MDVSP 平臺(tái)數(shù)據(jù)處理模型整體框架 .................................20 MDVSP 平臺(tái)數(shù)據(jù)在 HDFS 中存放結(jié)構(gòu) ...............................21 MDVSP 通信數(shù)據(jù)模型設(shè)計(jì) .............................................21 數(shù)據(jù)模型分析 .....................................................21 數(shù)據(jù)模型設(shè)計(jì) .....................................................22 主表設(shè)計(jì) .........................................................23 本章小結(jié) .............................................................25第五章 基于 HADOOP 平臺(tái)的 MDVSP 的關(guān)鍵技術(shù) ..........................27 MDVSP 中聚焦蜘蛛 ...................................................27 工作原理 .........................................................27 關(guān)鍵技術(shù) .........................................................28 Map/Reduce 設(shè)計(jì) ......................................................31 Map/Reduce 邏輯結(jié)構(gòu)設(shè)計(jì) .........................................32 Map/Reduce 數(shù)據(jù)流設(shè)計(jì) ...........................................32 容錯(cuò)和可靠性設(shè)計(jì) .................................................33 任務(wù)粒度和 backup 任務(wù)性能優(yōu)化設(shè)計(jì) ...............................34 遠(yuǎn)程調(diào)用設(shè)計(jì) .........................................................35 MDVSP 采用的 RPC 遠(yuǎn)程調(diào)用設(shè)計(jì)思想 ..............................35 MDVSPRPC 數(shù)據(jù)表示設(shè)計(jì) .........................................36 MDVSPRPC 服務(wù)器端的實(shí)現(xiàn) .......................................38 MDVSPRPC 客戶(hù)端的實(shí)現(xiàn) .........................................38 Hadoop 的 HA 設(shè)計(jì) ....................................................39 Health Check 設(shè)計(jì) .................................................40 Hadoop Failover 流程設(shè)計(jì) ...........................................41江蘇大學(xué)碩士研究生畢業(yè)論文VI 本章小結(jié) ............................................................42第六章 MDVSP 平臺(tái)的實(shí)現(xiàn) .............................................43 方案部署 .............................................................43 硬件配