【正文】 不足之處不會影響到具體項目的成功實施。 HBase 使用 HDFS 作為底層存儲，同時支持 MapReduce 的批量式計算和點查詢 (隨機讀取 )。 4. 高效：分布式文件系統(tǒng)的 高效數(shù)據(jù)交互實現(xiàn)以及 MapReduce結合LocalData處理的模式，為高效處理海量的信息作了基礎準備。因此， Hadoop 也是一個能夠分布式處理大規(guī)模海量數(shù)據(jù)的軟件框架，這一點不足為奇。 第七章 總結與展望。 敘述基于 Hadoop平 臺的教育資源垂直搜索模型 (MDVSP)，并闡述這種架構的優(yōu)點，提出使用這種架構可以解決目前現(xiàn)有搜索平臺在教育領域搜索中存在的一些問題。 最后 對全文的內容進行了總結，分析了系統(tǒng)現(xiàn)有的不足，并提出了進一步完善的目標和基本方法。 包括切合本系統(tǒng)的分布式的集群整體框架 和 HDFS 存放結構。 教育資源搜索存在的問題 根據(jù)以上分析，用戶獲取網(wǎng)上教育資源主要存在以下問題： 信息過量。 2. 目前的搜索引擎還不能完全滿足用戶需求 [2] 綜合性通用搜索引擎在一定程度上方便了用戶查找利用網(wǎng)上信息，但由于它面江蘇大學碩士研究生畢業(yè)論文 2 向的是大眾，強調通用性，搜索結果中 有很多雜亂信息，信息的準確度較低，不能完全滿足基礎教育用戶的需求。 搜索引擎的出現(xiàn)，整合了眾多網(wǎng)站信息，極快的查詢起到了信息導航的作用，信息的價值得到眾多商家的普遍認可，成為互聯(lián)網(wǎng)中最有價值的領域。經過詳細 的 系統(tǒng)測試，系統(tǒng)在實現(xiàn)效率、搜索的準確率和可擴展性 等方面較有代表性的垂直搜索平臺 先進 。網(wǎng)上豐富的基礎教育資源為廣 大基礎教育工作者、學生以及學生家長提供了充足的參考資料和教育信息，然而由于缺乏行之有效的整合標準和手段，目前這些資源的分布呈現(xiàn)高度分散狀態(tài)，內容龐雜無序，結構化程度低，用戶往往難以快速準確地獲取到自己需要的信息。 作者簽名： 日 期： 學位論文原創(chuàng)性聲明 本人鄭重聲明：所呈交的論文是本人在導師的指導下獨立進行研究所取得的研究成果。 分類號 密級 UDC 編號 學 位 論 文 基于 Hadoop 平臺的教育資源垂直搜索系統(tǒng)的設計與實現(xiàn) Implementation of Education Resource Vertical Searching System Based on Hadoop 分 類 號 ： 密 級 ： U D C ： 編 號 ： 學 位 論 文 基于 Hadoop 平臺的教育資源垂直搜索系統(tǒng)的設計與實現(xiàn) Implementation of Education Resource Vertical Searching System Based on Hadoop 學科專業(yè)： 計算機應用技術 計算機科學與通信工程學院 2 0 11 年 04 月江 蘇 大 學 工 程 碩 士 學 位 論 文 I 學位論文版權使用授權書 本學位論文作者完全了解學校有關保留、使用學位論文的規(guī)定，同意學校保留并向國家有關部門或機構送交論文的復印件和電子版，允許論文被查閱和借閱。 作 者 簽 名： 日 期： 指導教師簽名： 日 期： 使用授權說明 本人完全了解 大學關于收集、保存、使用畢業(yè)設計（論文）的規(guī)定，即：按照學校要求提交畢業(yè)設計（論文）的印刷本和電子版本；學校有權保存畢 業(yè)設計（論文）的印刷本和電子版，并提供目錄檢索與閱覽服務；學?？梢圆捎糜坝?、縮印、數(shù)字化或其它復制手段保存論文；在不以贏利為目的前提下，學?？梢怨颊撐牡牟糠只蛉績热荨? 作者簽名： 日期： 年 月 日 導師簽名： 日期： 年 月 日 指導教師評閱書 指導教師評價： 一、撰寫（設計）過程 學生在論文（設計）過程中的治學態(tài)度、工作精神 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 學生掌握專業(yè)知識、技能的扎實程度 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 學生綜合運用所學知識和專業(yè)技能分析和解決問題的能力 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 研究方法的科 學性；技術線路的可行性；設計方案的合理性 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 完成畢業(yè)論文（設計）期間的出勤情況 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 二、論文（設計）質量 論文（設計）的整體結構是否符合撰寫規(guī)范？ □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 是否完成指定的論文（設計）任務（包括裝訂及附件）？ □ 優(yōu) □ 良 □ 中 □ 及格 □ 不 及格 三、論文（設計）水平 論文（設計）的理論意義或對解決實際問題的指導意義 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 論文的觀念是否有新意？設計是否有創(chuàng)意？ □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 論文（設計說明書）所體現(xiàn)的整體水平 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 建議成績： □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 （在所選等級前的□內畫 “√”） 指導教師： （簽名） 單位： （蓋章） 年 月 日 評閱教師評閱書 評閱教師評價： 一、論文（設計）質量 論文（設計）的整體結構是否符合撰寫規(guī)范？ □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 是否完成指定的論文（設計）任務（包括裝訂及附件）？ □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 二、論文（設計）水平 論文（設計）的理論意義或對解決實際問題的指 導意義 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 論文的觀念是否有新意？設計是否有創(chuàng)意？ □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 論文（設計說明書）所體現(xiàn)的整體水平 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 建議成績： □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 （在所選等級前的□內畫“√”） 評閱教師： （簽名） 單位： （蓋章） 年 月 日 江蘇大學碩士研究生畢業(yè)論文 I 教研室（或答辯小組）及教學系意見 教研室（或答辯小組）評價： 一、答辯過程 畢業(yè)論文（設計）的基本要點和見解的敘述情況 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 對答辯問題的反應、理解、表達情況 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 學生答辯過程中的精神狀態(tài) □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 二、論文（設計）質量 論文（ 設計）的整體結構是否符合撰寫規(guī)范？ □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 是否完成指定的論文（設計）任務（包括裝訂及附件）？ □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 三、論文（設計）水平 論文（設計）的理論意義或對解決實際問題的指導意義 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 論文的觀念是否有新意？設計是否有創(chuàng)意？ □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 論文（設計說明書）所體現(xiàn)的整體水平 □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 評定成績： □ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格 （在所選等級前的□內畫“√”） 教研室主任（或答辯小組組長）： （簽名） 年 月 日 教學系意見： 系主任： （簽名） 年 月 日 江蘇大學碩士研究生畢業(yè)論文 II 摘 要 互聯(lián)網(wǎng)的出現(xiàn)改變了我們的生活 、 工作 、 學習乃至娛樂的方式。 (4) 以 Hadoop 為基礎架構，采用 Java 開發(fā)語言，設計并實現(xiàn) Hadoop 平臺的教育資源搜索系統(tǒng)。如何迅速、準確、方便的從如此龐大的信息庫獲取自己需 要的信息，是互聯(lián)網(wǎng)用戶面臨的一個重要問題。其中使用最多的是搜索引擎。往往要搜索的信息排序靠后或漏檢。 本文的工作包括： (1) 提出了 基于 Hadoop 平臺的教育資源垂直搜索系統(tǒng) (MDVSP)模型。 (6) 以 JAVA 和 PERL 為工具實現(xiàn)了 MDVSP 系統(tǒng)原型 。 第四章 基于 Hadoop平臺的 MDVSP模型 。 通過試驗，并與有代表性的垂直搜索平臺的搜索結果進行性能對比， 分析 MDVSP平臺在教育資源領域的搜索效率和準確度都有所提高。作為 Google MapReduce 技術的開源實現(xiàn) ,Hadoop 理所當然地借鑒了 Google 的 Google File System 文件系統(tǒng)、 MapReduce 并行算法以及 BigTable。 3. 可靠：分布式文件系統(tǒng)的備份恢復機制以及 MapReduce的任務監(jiān)控保證了分布式處理的可靠性。 ? HBase: 一個分布式 的、列存儲數(shù)據(jù)庫。 本章小結 本章重點 介紹了 Hadoop技術背景和基于 HDFS分布式架構的優(yōu)點，也指出了目江蘇大學碩士研究生畢業(yè)論文 7 前 Hadoop版本的 HDFS在功能上和性能上的一些不足之處，如名稱節(jié)點的單點故障隱患。據(jù)賽迪網(wǎng)調查，有六成的網(wǎng)民認為面向某一領域的搜索引擎對其非?；虮容^重要，因此當 大學畢業(yè)生有了例如論文、外文翻譯、論文格式 等某種特定需求時，他自然希望能夠使用面向這些特定需求的搜索引擎。圖 。 教學資源主題信息檢索能保證返回信息的精確性，用戶在檢索信息的時候就不必面對成千上萬條記錄而產生心理負擔。 4. 需要滿足教學資源的視頻搜索。最后歸納總結了系統(tǒng)平臺的功能需求。這也就是 Map／ Reduce算法模型的價值所在，通過簡化編程模型，降低了開發(fā)并行應用的入門門檻，并且能大大減輕了程序員在開發(fā)大規(guī)模數(shù)據(jù)的應用時的編程負擔。名 字節(jié)點和數(shù)據(jù)節(jié)點都是軟件運行在普通的機器之上，機器典型的都是linux， HDFS 是用 java 來寫的，任何支持 java 的機器都可以運行名字節(jié)點或數(shù)據(jù)節(jié)點，利用 java 語言的超輕便型，很容易將 HDFS 部署到大范圍的機器上。一般一臺機器上面部屬一個數(shù)據(jù)節(jié)點，有時也會把幾個數(shù)據(jù)節(jié)點部屬在一臺機器上，但這種情況不是很常見。 HDFS中的文件是 writeone，并且嚴格要求在任何時候只有一個 writer。一個簡單但沒有優(yōu)化的策略就是將副本存放在單獨的機架上。如果在 reader的同一個機架上有一個副本，那么就讀該副本。應用程序可以處理大數(shù)據(jù)集。當文件關閉，還有一些沒有刷新的本地臨時文件也被傳遞到數(shù)據(jù)節(jié)點。應用的寫被透明地重定向到這個臨時文件。如果不采用客戶端緩存，由于網(wǎng)絡速度和網(wǎng)絡堵塞會對吞估量造成比較大的影響。然后，每個“文件片段”會對應的創(chuàng)建一個新的 Map任務。絕大多數(shù)的應用僅僅使用行