【正文】 分類號(hào) 密級(jí) UDC 編號(hào) 學(xué) 位 論 文基于 Hadoop 平臺(tái)的教育資源垂直搜索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)Implementation of Education Resource Vertical Searching System Based on Hadoop分 類 號(hào) ： 密 級(jí) ： U D C ： 編 號(hào) ： 學(xué) 位 論 文基于 Hadoop 平臺(tái)的教育資源垂直搜索系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) Implementation of Education Resource Vertical Searching System Based on Hadoop 學(xué)科專業(yè)：　計(jì)算機(jī)應(yīng)用技術(shù) 計(jì)算機(jī)科學(xué)與通信工程學(xué)院2 0 11 年 04 月江 蘇 大 學(xué) 工 程 碩 士 學(xué) 位 論 文I學(xué)位論文版權(quán)使用授權(quán)書(shū)本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向國(guó)家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。本人授權(quán)江蘇大學(xué)可以將本學(xué)位論文的全部?jī)?nèi)容或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。 保密 ， 在 年解密后適用本授權(quán)書(shū)。本學(xué)位論文屬于 不保密 。學(xué)位論文作者簽名： 指導(dǎo)教師簽名： 年 月 日 年 月 日畢業(yè)設(shè)計(jì)（論文）原創(chuàng)性聲明和使用授權(quán)說(shuō)明原創(chuàng)性聲明本人鄭重承諾：所呈交的畢業(yè)設(shè)計(jì)（論文），是我個(gè)人在指導(dǎo)教師的指導(dǎo)下進(jìn)行的研究工作及取得的成果。盡我所知，除文中特別加以標(biāo)注和致謝的地方外，不包含其他人或組織已經(jīng)發(fā)表或公布過(guò)的研究成果，也不包含我為獲得 及其它教育機(jī)構(gòu)的學(xué)位或?qū)W歷而使用過(guò)的材料。對(duì)本研究提供過(guò)幫助和做出過(guò)貢獻(xiàn)的個(gè)人或集體，均已在文中作了明確的說(shuō)明并表示了謝意。作 者 簽 名：　　 　 　　 日　 期：　　 　 　　 指導(dǎo)教師簽名：　　 　 　　 日 　　期：　　 　 　　 使用授權(quán)說(shuō)明本人完全了解 大學(xué)關(guān)于收集、保存、使用畢業(yè)設(shè)計(jì)（論文）的規(guī)定，即：按照學(xué)校要求提交畢業(yè)設(shè)計(jì)（論文）的印刷本和電子版本；學(xué)校有權(quán)保存畢業(yè)設(shè)計(jì)（論文）的印刷本和電子版，并提供目錄檢索與閱覽服務(wù)；學(xué)?？梢圆捎糜坝?、縮印、數(shù)字化或其它復(fù)制手段保存論文；在不以贏利為目的前提下，學(xué)?？梢怨颊撐牡牟糠只蛉?jī)?nèi)容。作者簽名：　　 　 　　 日　 期：　　 　 　　 學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：所呈交的論文是本人在導(dǎo)師的指導(dǎo)下獨(dú)立進(jìn)行研究所取得的研究成果。除了文中特別加以標(biāo)注引用的內(nèi)容外，本論文不包含任何其他個(gè)人或集體已經(jīng)發(fā)表或撰寫(xiě)的成果作品。對(duì)本文的研究做出重要貢獻(xiàn)的個(gè)人和集體，均已在文中以明確方式標(biāo)明。本人完全意識(shí)到本聲明的法律后果由本人承擔(dān)。作者簽名： 日期： 年 月 日學(xué)位論文版權(quán)使用授權(quán)書(shū)本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向國(guó)家有關(guān)部門或機(jī)構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。本人授權(quán)　　 　 　大學(xué)可以將本學(xué)位論文的全部或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫(kù)進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。涉密論文按學(xué)校規(guī)定處理。作者簽名： 日期： 年 月 日導(dǎo)師簽名： 日期： 年 月 日指導(dǎo)教師評(píng)閱書(shū)指導(dǎo)教師評(píng)價(jià)：一、撰寫(xiě)（設(shè)計(jì)）過(guò)程學(xué)生在論文（設(shè)計(jì)）過(guò)程中的治學(xué)態(tài)度、工作精神□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格學(xué)生掌握專業(yè)知識(shí)、技能的扎實(shí)程度□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格學(xué)生綜合運(yùn)用所學(xué)知識(shí)和專業(yè)技能分析和解決問(wèn)題的能力□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格研究方法的科學(xué)性；技術(shù)線路的可行性；設(shè)計(jì)方案的合理性□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格完成畢業(yè)論文（設(shè)計(jì)）期間的出勤情況□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格二、論文（設(shè)計(jì)）質(zhì)量論文（設(shè)計(jì)）的整體結(jié)構(gòu)是否符合撰寫(xiě)規(guī)范？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格是否完成指定的論文（設(shè)計(jì)）任務(wù)（包括裝訂及附件）？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格三、論文（設(shè)計(jì)）水平論文（設(shè)計(jì)）的理論意義或?qū)鉀Q實(shí)際問(wèn)題的指導(dǎo)意義□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格論文的觀念是否有新意？設(shè)計(jì)是否有創(chuàng)意？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格論文（設(shè)計(jì)說(shuō)明書(shū)）所體現(xiàn)的整體水平□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格建議成績(jī)：□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格（在所選等級(jí)前的□內(nèi)畫(huà)“√”）指導(dǎo)教師： （簽名） 單位： （蓋章）年 月 日評(píng)閱教師評(píng)閱書(shū)評(píng)閱教師評(píng)價(jià)：一、論文（設(shè)計(jì)）質(zhì)量論文（設(shè)計(jì)）的整體結(jié)構(gòu)是否符合撰寫(xiě)規(guī)范？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格是否完成指定的論文（設(shè)計(jì)）任務(wù)（包括裝訂及附件）？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格二、論文（設(shè)計(jì)）水平論文（設(shè)計(jì)）的理論意義或?qū)鉀Q實(shí)際問(wèn)題的指導(dǎo)意義□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格論文的觀念是否有新意？設(shè)計(jì)是否有創(chuàng)意？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格論文（設(shè)計(jì)說(shuō)明書(shū)）所體現(xiàn)的整體水平□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格建議成績(jī)：□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格（在所選等級(jí)前的□內(nèi)畫(huà)“√”）評(píng)閱教師： （簽名） 單位： （蓋章）年 月 日江蘇大學(xué)碩士研究生畢業(yè)論文I教研室（或答辯小組）及教學(xué)系意見(jiàn)教研室（或答辯小組）評(píng)價(jià)：一、答辯過(guò)程畢業(yè)論文（設(shè)計(jì)）的基本要點(diǎn)和見(jiàn)解的敘述情況□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格對(duì)答辯問(wèn)題的反應(yīng)、理解、表達(dá)情況□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格學(xué)生答辯過(guò)程中的精神狀態(tài)□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格二、論文（設(shè)計(jì)）質(zhì)量論文（設(shè)計(jì)）的整體結(jié)構(gòu)是否符合撰寫(xiě)規(guī)范？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格是否完成指定的論文（設(shè)計(jì)）任務(wù)（包括裝訂及附件）？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格三、論文（設(shè)計(jì)）水平論文（設(shè)計(jì)）的理論意義或?qū)鉀Q實(shí)際問(wèn)題的指導(dǎo)意義□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格論文的觀念是否有新意？設(shè)計(jì)是否有創(chuàng)意？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格論文（設(shè)計(jì)說(shuō)明書(shū)）所體現(xiàn)的整體水平□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格評(píng)定成績(jī)：□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格（在所選等級(jí)前的□內(nèi)畫(huà)“√”）教研室主任（或答辯小組組長(zhǎng)）： （簽名）年 月 日教學(xué)系意見(jiàn)：系主任： （簽名）年 月 日江蘇大學(xué)碩士研究生畢業(yè)論文II摘 要互聯(lián)網(wǎng)的出現(xiàn)改變了我們的生活、工作、學(xué)習(xí)乃至娛樂(lè)的方式。網(wǎng)上豐富的基礎(chǔ)教育資源為廣大基礎(chǔ)教育工作者、學(xué)生以及學(xué)生家長(zhǎng)提供了充足的參考資料和教育信息，然而由于缺乏行之有效的整合標(biāo)準(zhǔn)和手段，目前這些資源的分布呈現(xiàn)高度分散狀態(tài)，內(nèi)容龐雜無(wú)序，結(jié)構(gòu)化程度低，用戶往往難以快速準(zhǔn)確地獲取到自己需要的信息。所以我們必須研究和設(shè)計(jì)出針對(duì)教育資源搜索的網(wǎng)絡(luò)平臺(tái)，以提高用戶獲取教育資源信息的速度和準(zhǔn)確度。本文通過(guò)對(duì)現(xiàn)有的互聯(lián)網(wǎng)搜索平臺(tái)的分析，借鑒其他應(yīng)用領(lǐng)域的垂直搜索平臺(tái)所采用的架構(gòu)和設(shè)計(jì)方法，通過(guò)使用 Hadoop 平臺(tái)的分層分布的架構(gòu)和聚焦蜘蛛的爬行技術(shù)，提出基于 Hadoop 平臺(tái)的 B/S 多層分布式架構(gòu)系統(tǒng)模型，給出提高搜索運(yùn)行效率的若干關(guān)鍵技術(shù)，并基于該架構(gòu)的設(shè)計(jì)實(shí)現(xiàn)了系統(tǒng)。本文的主要工作包括：(1) 通過(guò)對(duì) Hadoop 平臺(tái)的基本原理和架構(gòu)以及 Hadoop 平臺(tái)的兩個(gè)核心組件 HDFS 與 Map/Reduce 的分析，選擇 Hbase 對(duì)系統(tǒng)的數(shù)據(jù)進(jìn)行管理，并對(duì)可視化系統(tǒng)的 Hbase 數(shù)據(jù)模型的設(shè)計(jì)以及條件查詢的改進(jìn)進(jìn)行闡述。(2) 基于抽樣調(diào)查和教育經(jīng)驗(yàn)，進(jìn)行 MDVSP 的軟件需求分析，設(shè)計(jì)基于Hadoop 平臺(tái)的教育資源垂直搜索(MDVSP)架構(gòu)模型。該架構(gòu)模型把業(yè)務(wù)處理服務(wù)器與 Web 服務(wù)器分開(kāi)，采用并行計(jì)算提高業(yè)務(wù)處理能力，使得基于該架構(gòu)模型下的系統(tǒng)具有良好的可伸縮性、可擴(kuò)展性、可維護(hù)性和更高的安全性。(3) 研究基于 Hadoop 平臺(tái)的教育資源搜索系統(tǒng)所采用的關(guān)鍵技術(shù)，包括聚焦蜘蛛的爬行技術(shù)、網(wǎng)頁(yè)信息結(jié)構(gòu)化提取技術(shù)、遠(yuǎn)程過(guò)程調(diào)用(RPC)技術(shù)、基于Hadoop 的 Map/Reduce 技術(shù)和基于 Hadoop 的負(fù)載均衡技術(shù)。(4) 以 Hadoop 為基礎(chǔ)架構(gòu)，采用 Java 開(kāi)發(fā)語(yǔ)言，設(shè)計(jì)并實(shí)現(xiàn) Hadoop 平臺(tái)的教育資源搜索系統(tǒng)。經(jīng)過(guò)詳細(xì)的系統(tǒng)測(cè)試，系統(tǒng)在實(shí)現(xiàn)效率、搜索的準(zhǔn)確率和可擴(kuò)展性等方面較有代表性的垂直搜索平臺(tái)先進(jìn)。關(guān)鍵詞：垂直搜索引擎；Hadoop；網(wǎng)頁(yè)信息抽??；抽取規(guī)則；索引庫(kù)江蘇大學(xué)碩士研究生畢業(yè)論文IIIAbstractThe WWW has been a tremendous impact on the way of human beings lives, works, and studies, even entertainments. Especially in education realm, educators, students and their parents can get more and more references and education resources with the help of inter. However, there’s still an unresolved a problem, for lacking of suitable standards and filtering methods, actually, it will spend more time to get the resource you really want .To solve this issue, we need to do some research and design a better platform to extract interesting information conveniently, accurately and efficiently.On the basis of paring the frameworks and designing methods adopted by current Searching Engines, and learning from other applications used in vertical searching platform architecture and design method, by means of the hierarchical structure and the focusedspider creeping technology, this dissertation presents a new model of Multitier Distributed Vertical Searching Platform(MDVSP) for Educational Realm based on Hadoop, which is a mixed B/S framework. The thesis also amply demonstrates the key tec