【正文】 Type：爬行數(shù)據(jù)的類型，這個決定了后臺服務(wù)器如何處理爬行到的原始數(shù)據(jù)。 圖 數(shù)據(jù)處理模型框架 江蘇大學(xué)碩士研究生畢業(yè)論文 21 數(shù)據(jù)處理模型中所有的業(yè)務(wù)計算都在 Hadoop 平臺上，利用 Map/Reduce 技術(shù)計算，查詢用戶數(shù)據(jù)、更新聚焦爬蟲數(shù)據(jù)。如果中間數(shù)據(jù)的數(shù)量太大不適合存入內(nèi)存，就啟用外部存儲。 一旦本地數(shù)據(jù)準(zhǔn)備就緒所有的數(shù)據(jù)都會以追加到文件最后。然后 Map任務(wù)會使用從指定的 lnputFormat類獲得的 ReeordReader類來讀取它的 FileSplit屬性。 Namenode將文件名插入文件系統(tǒng)的層次結(jié)構(gòu)中，并且分配一個數(shù)據(jù)塊給它，然后返回 Datanode的標(biāo)識 符和目標(biāo)數(shù)據(jù)塊給客戶端。 HDFS典型的塊大小是 64M，一個 HDFS文件可以最多被切分成 128MB個塊，每一個塊分布在不同的數(shù)據(jù)節(jié)點上。這個簡單策略設(shè)置可以將副本分布在集群中，有利于組件失敗情況下的負(fù)載均衡。 PC 機(jī)上一般是 GUN／ Linux 操作系統(tǒng)， HDFS 是用 Java 來寫的，任何支持 Java 的機(jī)器都可以運行名字節(jié)點或數(shù)據(jù)節(jié)點，利用 Java 語言的超輕便型，很容易將 HDFS 部署到大范圍的機(jī)群上 [1617]。 HDFS 暴露文件命名空間和允許用戶數(shù)據(jù)存儲成文件。 江蘇大學(xué)碩士研究生畢業(yè)論文 11 5. 需要 能提供上傳資源的功能。在一定程度上解決了教學(xué)資源的資源共享 [12]。為了更好的應(yīng)用 Hadoop平臺框架，對 MDVSP系統(tǒng)中設(shè)計到的組件進(jìn)行剖析。 江蘇大學(xué)碩士研究生畢業(yè)論文 6 Hadoop 組件 Hadoop是一個分布式計算基礎(chǔ)架構(gòu)這把 大傘 下的相關(guān)子項目的集合，其中最出名的是 MapReduce及其分布式文件系統(tǒng) HDFS,還有其他子項目提供配套服務(wù) .如下 : 表 Hadoop組件 Pig Chukwa Hive HBase MapReduce HDFS Zoo Keeper Core Avro ? Core: 一系列分布式文件系統(tǒng)和通用 I/O 的組件和 接口 (序列化、 Java RPC 和持久化數(shù)據(jù)結(jié)構(gòu)。 對本文的工作進(jìn)行總結(jié)，并從系統(tǒng)功能和理論研究兩個方面對以后的工作進(jìn)行規(guī)劃和展望。 本文的組織結(jié) 構(gòu) 本論文共分為 七 章，各章內(nèi)容具體安排如下： 第一章 緒論。網(wǎng)上資源內(nèi)容廣泛 ,通用搜索引擎返回的大量信息過多過雜 ,專業(yè)性不強(qiáng) .使用戶淹沒在海量信息里，篩選信息需要耗費大量的精力。大家熟知的搜索引擎 Google、百度、雅虎等都是搜索引擎的杰出代表，為互聯(lián)網(wǎng)的發(fā)展做出了重要的貢獻(xiàn)。 所以我們必須研究和設(shè)計出針對教育資源搜索的網(wǎng)絡(luò)平臺，以提高用戶獲取教育資源信息的速度和準(zhǔn)確度。本人授權(quán)江蘇大學(xué)可以將本學(xué)位論文的全部內(nèi)容或部分內(nèi)容編入有關(guān)數(shù)據(jù)庫進(jìn)行檢索，可以采用影印、縮印或掃描等復(fù)制手段保存和匯編本學(xué)位論文。 涉密論文按學(xué)校規(guī)定處理。 Index Database 江蘇大學(xué)碩士研究生畢業(yè)論文 V 目 錄 第一章 緒 論 ............................................... 1 課題研究背景及意義 .................................................... 1 背景及意義 ...................................................... 1 目前現(xiàn)狀 ....................................................... 1 教育資源搜 索存在的問題 ................................................ 2 本文主要工作 .......................................................... 3 本文的組織結(jié)構(gòu) ........................................................ 3 第二章 HADOOP 平臺架構(gòu) ..................................... 5 Hadoop 的產(chǎn)生 ......................................................... 5 基于 Hadoop 分布式架構(gòu)的優(yōu)勢 .......................................... 5 Hadoop 組件 ........................................................... 6 本章小結(jié) .............................................................. 6 第三章 MDVSP 平臺需求分析 ................................... 8 教育資源垂直搜索的用戶群 .............................................. 8 MDVSP 搜索資源類型需求 .............................................. 9 MDVSP 搜索平臺功能需求 ............................................. 10 本章小結(jié) ............................................................. 11 第四章 基于 HADOOP 平臺的 MDVSP 模型 ........................... 12 分布式文件系統(tǒng) HDFS 與 Map/Reduce 技術(shù) ............................... 12 分布式文件系統(tǒng) HDFS ........................................... 13 Map/Reduce 技術(shù) ................................................ 16 基于 Hadoop 的 MDVSP 平臺的多層分布式架構(gòu) ........................... 19 系統(tǒng)體系結(jié)構(gòu) .................................................. 19 MDVSP 平臺數(shù)據(jù)處理模型整體框架 ............................... 20 MDVSP 平臺數(shù)據(jù)在 HDFS 中存放結(jié)構(gòu) ............................. 21 MDVSP 通信數(shù)據(jù)模型設(shè)計 ............................................. 21 數(shù)據(jù)模型分析 .................................................. 21 數(shù)據(jù)模型設(shè)計 .................................................. 22 主表設(shè)計 ...................................................... 23 本章小結(jié) ............................................................. 25 第五章 HADOOP 平臺的 MDVSP 的關(guān)鍵技術(shù) ...................... 27 MDVSP 中 聚焦蜘蛛 ................................................... 27 工作原理 ...................................................... 27 關(guān)鍵技術(shù) ...................................................... 28 Map/Reduce 設(shè)計 ...................................................... 31 Map/Reduce 邏輯結(jié)構(gòu)設(shè)計 ....................................... 32 Map/Reduce 數(shù)據(jù)流設(shè)計 ......................................... 33 容錯和可靠性設(shè)計 .............................................. 33 任務(wù)粒度 和 backup 任務(wù)性能優(yōu)化設(shè)計 ............................. 34 遠(yuǎn)程調(diào)用設(shè)計 ......................................................... 35 MDVSP 采用的 RPC 遠(yuǎn)程調(diào)用設(shè)計思想 ............................ 35 MDVSPRPC 數(shù)據(jù)表示設(shè)計 ....................................... 36 MDVSPRPC 服務(wù)器端的實現(xiàn) ..................................... 38 MDVSPRPC 客戶端的實現(xiàn) ....................................... 38 Hadoop 的 HA 設(shè)計 .................................................... 39 Health Check 設(shè)計 .............................................. 40 Hadoop Failover 流程設(shè)計 ........................................ 41 本章小結(jié) ............................................................ 42 江蘇大學(xué)碩士研究生畢業(yè)論文 VI 第六章 MDVSP 平臺的實現(xiàn) ....................................... 43 方案部署 ............................................................. 43 硬件配置 ...................................................... 43 SSH 公鑰認(rèn)證 配置 .............................................. 44 Hadoop 平臺搭建 ................................................ 44 Hbase 平臺搭建 ................................................. 45 與垂直搜索引擎結(jié)合 ............................................ 46 開發(fā)平臺及其開發(fā)工具 ................................................. 47 操作系統(tǒng) ....................................................... 47 硬件平臺 ....................................................... 47 開發(fā)工具 ....................................................... 47 MDVSP 系統(tǒng)的實現(xiàn) ................................................... 48 聚焦蜘蛛模塊的實現(xiàn) ............................................. 48 教育資源搜索結(jié)果 ............................................... 49 教育資源信息自動抽取的實現(xiàn) ..................................... 51 LUCENE 倒排文件索引結(jié)構(gòu) ........................................ 56 教育資源信息的存儲實現(xiàn) ......................................... 58 用戶查詢功能的實現(xiàn) ................................................... 58 用戶查詢主要函數(shù)實現(xiàn) ........................................... 58 教育資源信息查詢 ............................................... 60 運行結(jié)果與對比 ...................................................... 62 本章小結(jié)