【正文】 Namenode決定了每個 Datanode所屬的rack id。 Replication因子可以在文件創(chuàng)建的時候配置，以后也可以改變。數(shù)據(jù)節(jié)點是負(fù)責(zé)存儲。 數(shù)據(jù)節(jié)點同時還要執(zhí)行塊的創(chuàng)建，刪除，和來自名字節(jié)點的塊復(fù)制指示。 Map/Reduce算法模型就是一種簡化并行計算的編程模型，它向上層用戶提供接口，屏蔽了并行計算特別是分布式處理的諸多細(xì)節(jié)問題，讓那些沒有多少并行計算經(jīng)驗的開發(fā)人員也可以很方便的開發(fā)并行應(yīng)用，避免了很多重復(fù)工作。它以問卷調(diào)查和從事教育事業(yè)的經(jīng)驗積累出發(fā)點 ,分析了 MDVSP面向的用戶群體 ,以及按照不同的群體有著不同的搜索興趣點。需要存儲保留一些用戶的關(guān)注度等信息。根據(jù)問卷調(diào)查和訪談記錄， MDVSP搜索引擎需要滿足一下功能需求 [14]： 1. 需要實現(xiàn)面向教學(xué)主體的網(wǎng)頁信息檢索功能。 MDVSP搜索平臺的定位就是教育領(lǐng)域的幼稚園、小學(xué)、中學(xué)、大學(xué)、機(jī)構(gòu)培訓(xùn)以及成人教育。而搜索引擎是僅次于網(wǎng)頁一般性瀏覽、收發(fā)電子郵件的網(wǎng)民第三大基本需求，其需求自然隨之也變得多樣化 。 Chukwa[79]運(yùn)行 HDFS 中存儲數(shù)據(jù)的收集器，它使用 MapReduce 來生成 報告。 Pig 運(yùn)行在MapReduce 和 HDFS 的集群上。 2. 經(jīng)濟(jì)：框架可以運(yùn)行在任何普通的 PC上?，F(xiàn)在， Doug Cutting已經(jīng)加盟 Cloudera（一家從事 Hadoop 產(chǎn)品商業(yè)化及技術(shù)支持的公司）。 以 JAVA和 PERL為開發(fā)工具， 通過 Hadoop平臺框架 實現(xiàn) 基于上述架構(gòu)模型的 MDVSP系統(tǒng)的各層設(shè)計，并 列出相關(guān)功能的關(guān)鍵性 JAVA和PERL代碼。 給出 MDVSP平臺的使用用戶群，并基于抽樣調(diào)查和多年的教育經(jīng)驗，對用戶的需求進(jìn)行鑒別、 清除 用戶需求的模糊性、歧義性和不一致性，將原始問題的理解與軟件開發(fā)經(jīng)驗結(jié)合，深入描述軟件的功能和性能需求。包括框架、原理和詳細(xì)實現(xiàn)。 江蘇大學(xué)碩士研究生畢業(yè)論文 3 本文 主要工作 本人通過對現(xiàn)有教育領(lǐng)域搜索引擎的技術(shù)分析， 結(jié)合問卷抽樣調(diào)查反饋， 對用戶的需求進(jìn)行鑒別、綜合和建模，清除用戶需求的模糊性、歧義性和不一致性 ，定義了本系統(tǒng)的功能和性能需求， 在對 Hadoop 平臺的框架研究基礎(chǔ)之上，提出了基于Hadoop 平臺 的 MDVSP(Multitier Distributed Vertical Searching Platform)模型 ,詳細(xì)闡述了 MDVSP 系統(tǒng)在設(shè)計和實現(xiàn)過程中 應(yīng)用到的一些關(guān)鍵技術(shù) ，并基于該模型實現(xiàn)了MDVSP 原型。 2. 由于在通過關(guān)鍵詞檢索方式中，關(guān)鍵詞與類別詞的混雜使用導(dǎo)致信息準(zhǔn)確度較低。那么對教育資源用戶來講，目前的信息服務(wù)能否滿足他們的需求？他們更傾向于什么樣的信息服務(wù)形式？ 目前現(xiàn)狀 1. 獲取基礎(chǔ)教育資源 最常用的方式是搜索引擎 [2] 用戶獲取基礎(chǔ)教育資源的較經(jīng)常使用的方式為搜索引擎、學(xué)科專題網(wǎng)站、基礎(chǔ)教育綜合網(wǎng)站。 Index Database 江蘇大學(xué)碩士研究生畢業(yè)論文 V 目 錄 第一章 緒 論 ............................................... 1 課題研究背景及意義 .................................................... 1 背景及意義 ...................................................... 1 目前現(xiàn)狀 ....................................................... 1 教育資源搜 索存在的問題 ................................................ 2 本文主要工作 .......................................................... 3 本文的組織結(jié)構(gòu) ........................................................ 3 第二章 HADOOP 平臺架構(gòu) ..................................... 5 Hadoop 的產(chǎn)生 ......................................................... 5 基于 Hadoop 分布式架構(gòu)的優(yōu)勢 .......................................... 5 Hadoop 組件 ........................................................... 6 本章小結(jié) .............................................................. 6 第三章 MDVSP 平臺需求分析 ................................... 8 教育資源垂直搜索的用戶群 .............................................. 8 MDVSP 搜索資源類型需求 .............................................. 9 MDVSP 搜索平臺功能需求 ............................................. 10 本章小結(jié) ............................................................. 11 第四章 基于 HADOOP 平臺的 MDVSP 模型 ........................... 12 分布式文件系統(tǒng) HDFS 與 Map/Reduce 技術(shù) ............................... 12 分布式文件系統(tǒng) HDFS ........................................... 13 Map/Reduce 技術(shù) ................................................ 16 基于 Hadoop 的 MDVSP 平臺的多層分布式架構(gòu) ........................... 19 系統(tǒng)體系結(jié)構(gòu) .................................................. 19 MDVSP 平臺數(shù)據(jù)處理模型整體框架 ............................... 20 MDVSP 平臺數(shù)據(jù)在 HDFS 中存放結(jié)構(gòu) ............................. 21 MDVSP 通信數(shù)據(jù)模型設(shè)計 ............................................. 21 數(shù)據(jù)模型分析 .................................................. 21 數(shù)據(jù)模型設(shè)計 .................................................. 22 主表設(shè)計 ...................................................... 23 本章小結(jié) ............................................................. 25 第五章 HADOOP 平臺的 MDVSP 的關(guān)鍵技術(shù) ...................... 27 MDVSP 中 聚焦蜘蛛 ................................................... 27 工作原理 ...................................................... 27 關(guān)鍵技術(shù) ...................................................... 28 Map/Reduce 設(shè)計 ...................................................... 31 Map/Reduce 邏輯結(jié)構(gòu)設(shè)計 ....................................... 32 Map/Reduce 數(shù)據(jù)流設(shè)計 ......................................... 33 容錯和可靠性設(shè)計 .............................................. 33 任務(wù)粒度 和 backup 任務(wù)性能優(yōu)化設(shè)計 ............................. 34 遠(yuǎn)程調(diào)用設(shè)計 ......................................................... 35 MDVSP 采用的 RPC 遠(yuǎn)程調(diào)用設(shè)計思想 ............................ 35 MDVSPRPC 數(shù)據(jù)表示設(shè)計 ....................................... 36 MDVSPRPC 服務(wù)器端的實現(xiàn) ..................................... 38 MDVSPRPC 客戶端的實現(xiàn) ....................................... 38 Hadoop 的 HA 設(shè)計 .................................................... 39 Health Check 設(shè)計 .............................................. 40 Hadoop Failover 流程設(shè)計 ........................................ 41 本章小結(jié) ............................................................ 42 江蘇大學(xué)碩士研究生畢業(yè)論文 VI 第六章 MDVSP 平臺的實現(xiàn) ....................................... 43 方案部署 ............................................................. 43 硬件配置 ...................................................... 43 SSH 公鑰認(rèn)證 配置 .............................................. 44 Hadoop 平臺搭建 ................................................ 44 Hbase 平臺搭建 ................................................. 45 與垂直搜索引擎結(jié)合 ............................................ 46 開發(fā)平臺及其開發(fā)工具 ................................................. 47 操作系統(tǒng) ....................................................... 47 硬件平臺 ....................................................... 47 開發(fā)工具 ....................................................... 47 MDVSP 系統(tǒng)的實現(xiàn) ................................................... 48 聚焦蜘蛛模塊的實現(xiàn) ............................................. 48 教育資源搜索結(jié)果 ............................................... 49 教育資源信息自動抽取的實現(xiàn) ..................................... 51 LUCENE 倒排文件索引結(jié)構(gòu) ........................................ 56 教育資源信息的存儲實現(xiàn) ......................................... 58 用戶查詢功能的實現(xiàn) ................................................... 58 用戶查詢主要函數(shù)實現(xiàn) ........................................... 58 教育資源信息查詢 ............................................... 60 運(yùn)行結(jié)果與對比 ...................................................... 62 本章小結(jié)