【正文】 期：作品的日期，如 20220203。從 Hbase 數(shù)據(jù)庫的物理模型可以看出，雖然在邏輯上是稀疏的數(shù)據(jù)格式，但是實際存儲的時候，邏輯表中值為 NULL 的元素是不存儲的，因此并沒有占任江蘇大學(xué)碩士研究生畢業(yè)論文24何空間。所有數(shù)據(jù)庫的更新都有一個時間戳標記，每個更新都是一個新的版本，而 Hbase 會保留一定數(shù)量的版本，這個值是可以設(shè)定的。但是 label 值相對于每一行來說都是可以改變的。每個值是一個不解釋的字符數(shù)組，數(shù)據(jù)都是字符串。Type：爬行數(shù)據(jù)的類型，這個決定了后臺服務(wù)器如何處理爬行到的原始數(shù)據(jù)。聚焦爬蟲每天都會獲取龐大的數(shù)據(jù)量，以單臺爬蟲服務(wù)器單線程為例，每天至少 30G 的數(shù)據(jù)量，如果多臺爬蟲服務(wù)器并行，那么數(shù)據(jù)量有肯能達到 TB 級別。但是 Hbase 在大規(guī)模數(shù)據(jù)(TB 級)的存儲和處理方面上有獨特的優(yōu)勢。 MDVSP 平臺數(shù)據(jù)在 HDFS 中存放結(jié)構(gòu)為了讓用戶自己上傳的數(shù)據(jù)能快速、準確查詢到，我們把爬蟲的數(shù)據(jù)與用戶上傳的數(shù)據(jù)分開。江蘇大學(xué)碩士研究生畢業(yè)論文21圖 數(shù)據(jù)處理模型框架數(shù)據(jù)處理模型中所有的業(yè)務(wù)計算都在 Hadoop 平臺上，利用 Map/Reduce 技術(shù)計算，查詢用戶數(shù)據(jù)、更新聚焦爬蟲數(shù)據(jù)。數(shù)據(jù)存儲計算層：該層的實現(xiàn)是由 Hadoop 平臺實現(xiàn)。表示層：表示層用于生成用戶訪問的 Web 頁面，該層是用來實現(xiàn)系統(tǒng)與用戶的一個人機接口。在這時候Map/Reduce返回用戶程序的調(diào)用點。如果中間數(shù)據(jù)的數(shù)量太大不適合存入內(nèi)存，就啟用外部存儲。這些在本地磁盤的數(shù)據(jù)數(shù)列的存放位置信息被送回管理機，管理機負責(zé)將這些位置信息傳送到執(zhí)行Reduce任務(wù)的工作站。2. 指派 Map/Reduce 任務(wù)在眾多程序拷貝中有一個管理機(master)的主程序，其他的均為工作站(worker)程序，工作站程序有管理機指派任務(wù)。輸出文件的格式由JobConf．setOutputFormat方法來指定。一旦本地數(shù)據(jù)準備就緒所有的數(shù)據(jù)都會以追加到文件最后。與此相反的是，輸出會先被收集到列表，每個索引鍵對應(yīng)一個列表。每個輸出文件對應(yīng)一個規(guī)約任務(wù)，所有Map對象的輸出鍵值對都會被路由以保證每一個給定的索引鍵的所有鍵值對會最終出現(xiàn)在指定的一個Reduce任務(wù)中。對于InputFormat類來說，沒有必要同時產(chǎn)生有意義的索引鍵和值。然后Map任務(wù)會使用從指定的lnputFormat類獲得的ReeordReader類來讀取它的FileSplit屬性。如果單個文件的大小達到了影響搜索時間的程度，這個文件也會被劃分為幾個“片段”。然后客戶端開始向第一個Datanode傳輸數(shù)據(jù)，第一個Datanode一小部分一小部分（4kb)地接收數(shù)據(jù)，將每個部分寫入本地倉庫，并且同時傳輸該部分到第二個Datanode節(jié)點。如江蘇大學(xué)碩士研究生畢業(yè)論文16果Namenode在文件關(guān)閉前掛了，該文件將丟失 [1820]。Namenode將文件名插入文件系統(tǒng)的層次結(jié)構(gòu)中，并且分配一個數(shù)據(jù)塊給它，然后返回Datanode的標識符和目標數(shù)據(jù)塊給客戶端。一個典型的block大小是64MB，因而，文件總是按照64M切分成chunk，每個chunk存儲于不同的 Datanode。假如名字節(jié)點在文件關(guān)閉之前死掉，文件就會丟失 [182]。名字節(jié)點插入文件名到文件系統(tǒng)層次當中，然后分配一個數(shù)據(jù)塊。HDFS典型的塊大小是64M，一個HDFS文件可以最多被切分成128MB個塊，每一個塊分布在不同的數(shù)據(jù)節(jié)點上。當Namenode檢測確認某個Datanode的數(shù)據(jù)塊副本的最小數(shù)目，那么該Datanode就會被認為是安全的；如果一定百分比（這江蘇大學(xué)碩士研究生畢業(yè)論文15個參數(shù)可配置）的數(shù)據(jù)塊檢測確認是安全的，那么Namenode將退出SafeMode狀態(tài)，接下來它會確定還有哪些數(shù)據(jù)塊的副本沒有達到指定數(shù)目，并將這些block復(fù)制到其他Datanode。SafeModeNamenode啟動后會進入一個稱為SafeMode的特殊狀態(tài)，處在這個狀態(tài)的Namenode是不會進行數(shù)據(jù)塊的復(fù)制的。三分之一的副本在一個節(jié)點上，三分之二在一個機架上，其他保存在剩下的機架中，這一策略改進了寫的性能。這個簡單策略設(shè)置可以將副本分布在集群中，有利于組件失敗情況下的負載均衡。龐大的HDFS實例一般運行在多個機架的計算機形成的集群上，不同機架間的兩臺機器的通訊需要通過交換機，顯然通常情況下，同一個機架內(nèi)的兩個節(jié)點間的帶寬會比不同機架間的兩臺機器的帶寬大。心跳包的接收表示該Datanode節(jié)點正常工作，而Blockreport包括了該Datanode上所有的block組成的列表。每個文件的block大小和replication因子都是可配置的。PC 機上一般是 GUN／Linux 操作系統(tǒng)，HDFS 是用 Java 來寫的，任何支持 Java 的機器都可以運行名字節(jié)點或數(shù)據(jù)節(jié)點，利用 Java 語言的超輕便型，很容易將 HDFS 部署到大范圍的機群上 [1617]。系統(tǒng)設(shè)計成用戶的實際數(shù)據(jù)不經(jīng)過名字節(jié)點。體系結(jié)構(gòu)排斥在一個機器上運行多個數(shù)據(jù)節(jié)點的實例，但是實際的部署不會有這種情況。數(shù)據(jù)節(jié)點來負責(zé)來自文件系統(tǒng)客戶的讀寫請求。HDFS 暴露文件命名空間和允許用戶數(shù)據(jù)存儲成文件。很多開發(fā)人員對并行計算比較陌生，再涉及到分布式處理就更加棘手。本章節(jié)是MDVSP系統(tǒng)平臺實現(xiàn)的基礎(chǔ)。江蘇大學(xué)碩士研究生畢業(yè)論文115. 需要能提供上傳資源的功能。因為教學(xué)是有一定的時間周期的，所以常用教育資源垂直搜索引擎的用戶在一定的時間內(nèi)需要得到穩(wěn)定的信息。這能緩解教學(xué)資源不平等的現(xiàn)象。起主要服務(wù)對象是被教育者和從事教育事業(yè)的工作者。在一定程度上解決了教學(xué)資源的資源共享 [12]。此外，由于針對特定行業(yè)的培訓(xùn)、考試、輔導(dǎo)教材等信息的分類，垂直化搜索與傳統(tǒng)搜索相比顯得更為“聰明”、更具人性化。但這些需求的復(fù)雜性與多樣性都是傳統(tǒng)搜索引擎無法滿足的。造成這種現(xiàn)象的原因是什么呢？用一句話概括就是“網(wǎng)民多樣化，需求多樣化”。盡管HDFS目前仍然不盡完善，但是這些缺陷和不足之處不會影響到具體項目的成功實施。Hive 管理 HDFS 中存儲的數(shù)據(jù)，并提供基于 SQL的查詢語言(由運行時引擎翻譯成 MapReduce 作業(yè))用以查詢數(shù)據(jù)。 HBase 使用 HDFS 作為底層存儲，同時支持 MapReduce 的批量式計算和點查詢(隨機讀取)。? HDFS：(Hadoop Distributed File System)分布式文件系統(tǒng)，運行于大型商用機集群。4. 高效：分布式文件系統(tǒng)的高效數(shù)據(jù)交互實現(xiàn)以及MapReduce結(jié)合LocalData處理的模式，為高效處理海量的信息作了基礎(chǔ)準備。 基于 Hadoop 分布式架構(gòu)的優(yōu)勢沒有不好的工具，只用不適用的工具。因此，Hadoop 也是一個能夠分布式處理大規(guī)模海量數(shù)據(jù)的軟件框架，這一點不足為奇。幸運的是，Doug Cutting開發(fā) Hadoop 作為 MapReduce[56]開源實現(xiàn)，讓 MapReduce 這么平易近人地走到了我們面前。第七章 總結(jié)與展望。主要包括聚焦蜘蛛的爬行技術(shù)、基于Hadoop平臺下 Map/Reduce的邏輯結(jié)構(gòu)和數(shù)據(jù)流設(shè)計和系統(tǒng)采用的 MDVSPRPC遠程調(diào)用的封裝技術(shù)。敘述基于Hadoop平臺的教育資源垂直搜索模型(MDVSP) ，并闡述這種架構(gòu)的優(yōu)點，提出使用這種架構(gòu)可以解決目前現(xiàn)有搜索平臺在教育領(lǐng)域搜索中存在的一些問題。介紹Hadoop的概念和Hadoop的優(yōu)點，Hadoop平臺架構(gòu)。最后對全文的內(nèi)容進行了總結(jié)，分析了系統(tǒng)現(xiàn)有的不足，并提出了進一步完善的目標和基本方法。給出了設(shè)計思想和數(shù)據(jù)表示設(shè)計。包括切合本系統(tǒng)的分布式的集群整體框架和 HDFS 存放結(jié)構(gòu)。信息服務(wù)缺乏針對性，缺少用戶交互。 教育資源搜索存在的問題根據(jù)以上分析，用戶獲取網(wǎng)上教育資源主要存在以下問題：信息過量。最常見的主題描述信息是學(xué)科內(nèi)知識點、語文課文標題等，常見的類別限制信息是學(xué)科、學(xué)段（或年級） 、資源類型。2. 目前的搜索引擎還不能完全滿足用戶需求 [2]江蘇大學(xué)碩士研究生畢業(yè)論文2綜合性通用搜索引擎在一定程度上方便了用戶查找利用網(wǎng)上信息，但由于它面向的是大眾，強調(diào)通用性，搜索結(jié)果中有很多雜亂信息，信息的準確度較低，不能完全滿足基礎(chǔ)教育用戶的需求。因此，如何對通用搜索引擎技術(shù)進行改進，使查詢的結(jié)果更加貼近用戶的要求，成為搜索引擎行業(yè)近期的研究熱點。搜索引擎的出現(xiàn)，整合了眾多網(wǎng)站信息，極快的查詢起到了信息導(dǎo)航的作用，信息的價值得到眾多商家的普遍認可，成為互聯(lián)網(wǎng)中最有價值的領(lǐng)域。 Web Information Extraction。經(jīng)過詳細的系統(tǒng)測試，系統(tǒng)在實現(xiàn)效率、搜索的準確率和可擴展性等方面較有代表性的垂直搜索平臺先進。(2) 基于抽樣調(diào)查和教育經(jīng)驗，進行 MDVSP 的軟件需求分析，設(shè)計基于Hadoop 平臺的教育資源垂直搜索(MDVSP)架構(gòu)模型。網(wǎng)上豐富的基礎(chǔ)教育資源為廣大基礎(chǔ)教育工作者、學(xué)生以及學(xué)生家長提供了充足的參考資料和教育信息，然而由于缺乏行之有效的整合標準和手段，目前這些資源的分布呈現(xiàn)高度分散狀態(tài)，內(nèi)容龐雜無序，結(jié)構(gòu)化程度低，用戶往往難以快速準確地獲取到自己需要的信息。作者簽名： 日期： 年 月 日學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向國家有關(guān)部門或機構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。作者簽名：　　 　 　　 日　 期：　　 　 　　 學(xué)位論文原創(chuàng)性聲明本人鄭重聲明：所呈交的論文是本人在導(dǎo)師的指導(dǎo)下獨立進行研究所取得的研究成果。學(xué)位論文作者簽名： 指導(dǎo)教師簽名： 年 月 日 年 月 日畢業(yè)設(shè)計（論文）原創(chuàng)性聲明和使用授權(quán)說明原創(chuàng)性聲明本人鄭重承諾：所呈交的畢業(yè)設(shè)計（論文），是我個人在指導(dǎo)教師的指導(dǎo)下進行的研究工作及取得的成果。分類號 密級 UDC 編號 學(xué) 位 論 文基于 Hadoop 平臺的教育資源垂直搜索系統(tǒng)的設(shè)計與實現(xiàn)Implementation of Education Resource Vertical Searching System Based on Hadoop分 類 號 ： 密 級 ： U D C ： 編 號 ： 學(xué) 位 論 文基于 Hadoop 平臺的教育資源垂直搜索系統(tǒng)的設(shè)計與實現(xiàn) Implementation of Education Resource Vertical Searching System Based on Hadoop 學(xué)科專業(yè)：　計算機應(yīng)用技術(shù) 計算機科學(xué)與通信工程學(xué)院2 0 11 年 04 月江 蘇 大 學(xué) 工 程 碩 士 學(xué) 位 論 文I學(xué)位論文版權(quán)使用授權(quán)書本學(xué)位論文作者完全了解學(xué)校有關(guān)保留、使用學(xué)位論文的規(guī)定，同意學(xué)校保留并向國家有關(guān)部門或機構(gòu)送交論文的復(fù)印件和電子版，允許論文被查閱和借閱。本學(xué)位論文屬于 不保密 。作 者 簽 名：　　 　 　　 日　 期：　　 　 　　 指導(dǎo)教師簽名：　　 　 　　 日 　　期：　　 　 　　 使用授權(quán)說明本人完全了解 大學(xué)關(guān)于收集、保存、使用畢業(yè)設(shè)計（論文）的規(guī)定，即：按照學(xué)校要求提交畢業(yè)設(shè)計（論文）的印刷本和電子版本；學(xué)校有權(quán)保存畢業(yè)設(shè)計（論文）的印刷本和電子版，并提供目錄檢索與閱覽服務(wù)；學(xué)?？梢圆捎糜坝　⒖s印、數(shù)字化或其它復(fù)制手段保存論文；在不以贏利為目的前提下，學(xué)?？梢怨颊撐牡牟糠只蛉績?nèi)容。本人完全意識到本聲明的法律后果由本人承擔。作者簽名： 日期： 年 月 日導(dǎo)師簽名： 日期： 年 月 日指導(dǎo)教師評閱書指導(dǎo)教師評價：一、撰寫（設(shè)計）過程學(xué)生在論文（設(shè)計）過程中的治學(xué)態(tài)度、工作精神□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格學(xué)生掌握專業(yè)知識、技能的扎實程度□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格學(xué)生綜合運用所學(xué)知識和專業(yè)技能分析和解決問題的能力□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格研究方法的科學(xué)性；技術(shù)線路的可行性；設(shè)計方案的合理性□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格完成畢業(yè)論文（設(shè)計）期間的出勤情況□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格二、論文（設(shè)計）質(zhì)量論文（設(shè)計）的整體結(jié)構(gòu)是否符合撰寫規(guī)范？□ 優(yōu) □ 良 □ 中 □ 及格 □ 不及格是否完成指定的論文（設(shè)計）任務(wù)（包括裝訂及附件）？□ 優(yōu)