【正文】 ........................................... 46 開發(fā)平臺及其開發(fā)工具 ................................................. 47 操作系統(tǒng) ....................................................... 47 硬件平臺 ....................................................... 47 開發(fā)工具 ....................................................... 47 MDVSP 系統(tǒng)的實現(xiàn) ................................................... 48 聚焦蜘蛛模塊的實現(xiàn) ............................................. 48 教育資源搜索結(jié)果 ............................................... 49 教育資源信息自動抽取的實現(xiàn) ..................................... 51 LUCENE 倒排文件索引結(jié)構(gòu) ........................................ 56 教育資源信息的存儲實現(xiàn) ......................................... 58 用戶查詢功能的實現(xiàn) ................................................... 58 用戶查詢主要函數(shù)實現(xiàn) ........................................... 58 教育資源信息查詢 ............................................... 60 運行結(jié)果與對比 ...................................................... 62 本章小結(jié) ............................................................ 64 第七章 總結(jié)與展望 ............................................. 65 總結(jié) ................................................................ 65 展望 ................................................................ 65 參考文獻 .................................................... 67 致 謝 ...................................................... 69 江蘇大學碩士研究生畢業(yè)論文 1 第 一 章 緒論 課題研究背景及意義 隨著網(wǎng)絡與通信技術(shù)的迅速發(fā)展， Web信息爆炸性的增長，互聯(lián)網(wǎng)已經(jīng)成為一個巨大的海量信息空間。 Web Information Extraction。 Searching Engine。經(jīng)過詳細 的 系統(tǒng)測試，系統(tǒng)在實現(xiàn)效率、搜索的準確率和可擴展性 等方面較有代表性的垂直搜索平臺 先進 。 (3) 研究 基于 Hadoop 平臺的教育資源搜索系統(tǒng)所采用的關鍵技術(shù)，包括聚焦蜘蛛的爬行技術(shù)、網(wǎng)頁信息結(jié)構(gòu)化提取技術(shù)、遠程過程調(diào)用 (RPC)技術(shù)、基于Hadoop 的 Map/Reduce 技術(shù)和基于 Hadoop 的負載均衡技術(shù)。 (2) 基于抽樣調(diào)查和教育經(jīng)驗， 進行 MDVSP 的軟件需求分析，設計基于Hadoop 平臺的教育資源垂直搜索 (MDVSP)架構(gòu)模型。 本文通過對現(xiàn)有的互聯(lián)網(wǎng)搜索平臺的分析，借鑒其他應用領域的垂直搜索平臺所采用的架構(gòu)和設計方法，通過使用 Hadoop 平臺的分層分布的架構(gòu)和聚焦蜘蛛的爬行技術(shù)，提出基于 Hadoop 平臺的 B/S 多層分布式架構(gòu)系統(tǒng) 模型 ，給出 提高搜索運行效率的若干關鍵技術(shù) ， 并基于該架構(gòu)的設計實現(xiàn)了系統(tǒng)。網(wǎng)上豐富的基礎教育資源為廣 大基礎教育工作者、學生以及學生家長提供了充足的參考資料和教育信息，然而由于缺乏行之有效的整合標準和手段，目前這些資源的分布呈現(xiàn)高度分散狀態(tài)，內(nèi)容龐雜無序，結(jié)構(gòu)化程度低，用戶往往難以快速準確地獲取到自己需要的信息。 涉密論文按學校規(guī)定處理。 作者簽名： 日期： 年 月 日 學位論文版權(quán)使用授權(quán)書 本學位論文作者完全了解學校有關保留、使用學位論文的規(guī)定，同意學校保留并向國家有關部門或機構(gòu)送交論文的復印件和電子版，允許論文被查閱和借閱。對本文的研究做出重要貢獻的個人和集體，均已在文中以明確方式標 明。 作者簽名： 日 期： 學位論文原創(chuàng)性聲明 本人鄭重聲明：所呈交的論文是本人在導師的指導下獨立進行研究所取得的研究成果。對本研究提供過幫助和做出過貢獻的個人或集體，均已在文中作了明確的說明并表示了謝意。 學位論文作者簽名： 指導教師簽名： 年 月 日 年 月 日 畢業(yè)設計（論文）原創(chuàng)性聲明和使用授權(quán)說明 原創(chuàng)性聲明 本人鄭重承諾：所呈交的畢業(yè)設計（論文），是我個人在指導教師的指導下進行的研究工作及取得的成果。 保密 ， 在 年解密后適用本授權(quán)書。 分類號 密級 UDC 編號 學 位 論 文 基于 Hadoop 平臺的教育資源垂直搜索系統(tǒng)的設計與實現(xiàn) Implementation of Education Resource Vertical Searching System Based on Hadoop 分 類 號 ： 密 級 ： U D C ： 編 號 ： 學 位 論 文 基于 Hadoop 平臺的教育資源垂直搜索系統(tǒng)的設計與實現(xiàn) Implementation of Education Resource Vertical Searching System Based on Hadoop 學科專業(yè)： 計算機應用技術(shù) 計算機科學與通信工程學院 2 0 11 年 04 月江 蘇 大 學 工 程 碩 士 學 位 論 文 I 學位論文版權(quán)使用授權(quán)書 本學位論文作者完全了解學校有關保留、使用學位論文的規(guī)定，同意學校保留并向國家有關部門或機構(gòu)送交論文的復印件和電子版，允許論文被查閱和借閱。本人授權(quán)江蘇大學可以將本學位論文的全部內(nèi)容或部分內(nèi)容編入有關數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復制手段保存和匯編本學位論文。 本學位論文屬 于 不保密 。盡我所知，除文中特別加以標注和致謝的地方外，不包含其他人 或組織已經(jīng)發(fā)表或公布過的研究成果，也不包含我為獲得 及其它教育機構(gòu)的學位或?qū)W歷而使用過的材料。 作 者 簽 名： 日 期： 指導教師簽名： 日 期： 使用授權(quán)說明 本人完全了解 大學關于收集、保存、使用畢業(yè)設計（論文）的規(guī)定，即：按照學校要求提交畢業(yè)設計（論文）的印刷本和電子版本；學校有權(quán)保存畢 業(yè)設計（論文）的印刷本和電子版，并提供目錄檢索與閱覽服務；學?？梢圆捎糜坝?、縮印、數(shù)字化或其它復制手段保存論文；在不以贏利為目的前提下，學?？梢怨颊撐牡牟糠只蛉績?nèi)容。除了文中特別加以標注引用的內(nèi)容外，本論文不包含任何其他個人或集體已經(jīng)發(fā)表或撰寫的成果作品。本人完全意識到本聲明的法律后果由本人承擔。本人授權(quán) 大學可以將本學位論文的全部或部分內(nèi)容編入有關數(shù)據(jù)庫進行檢索，可以采用影印、縮印或掃描等復制手段保存和匯編本學位論文。 作者簽名： 日期： 年 月 日 導師簽名： 日期： 年 月 日 指導教師評閱書 指導教師評價： 一、撰寫（設計）過程 學生在論文（設計）過程中的治學態(tài)度、工作精神 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 學生掌握專業(yè)知識、技能的扎實程度 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 學生綜合運用所學知識和專業(yè)技能分析和解決問題的能力 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 研究方法的科 學性；技術(shù)線路的可行性；設計方案的合理性 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 完成畢業(yè)論文（設計）期間的出勤情況 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 二、論文（設計）質(zhì)量 論文（設計）的整體結(jié)構(gòu)是否符合撰寫規(guī)范？ □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 是否完成指定的論文（設計）任務（包括裝訂及附件）？ □ 優(yōu) □ 良 □ 中 □ 及格 □ 不 及格 三、論文（設計）水平 論文（設計）的理論意義或?qū)鉀Q實際問題的指導意義 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 論文的觀念是否有新意？設計是否有創(chuàng)意？ □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 論文（設計說明書）所體現(xiàn)的整體水平 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 建議成績： □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 （在所選等級前的□內(nèi)畫 “√”） 指導教師： （簽名） 單位： （蓋章） 年 月 日 評閱教師評閱書 評閱教師評價： 一、論文（設計）質(zhì)量 論文（設計）的整體結(jié)構(gòu)是否符合撰寫規(guī)范？ □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 是否完成指定的論文（設計）任務（包括裝訂及附件）？ □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 二、論文（設計）水平 論文（設計）的理論意義或?qū)鉀Q實際問題的指 導意義 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 論文的觀念是否有新意？設計是否有創(chuàng)意？ □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 論文（設計說明書）所體現(xiàn)的整體水平 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 建議成績： □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 （在所選等級前的□內(nèi)畫“√”） 評閱教師： （簽名） 單位： （蓋章） 年 月 日 江蘇大學碩士研究生畢業(yè)論文 I 教研室（或答辯小組）及教學系意見 教研室（或答辯小組）評價： 一、答辯過程 畢業(yè)論文（設計）的基本要點和見解的敘述情況 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 對答辯問題的反應、理解、表達情況 □ 優(yōu) □ 良