【正文】 Namenode決定了每個(gè) Datanode所屬的rack id。 Replication因子可以在文件創(chuàng)建的時(shí)候配置，以后也可以改變。數(shù)據(jù)節(jié)點(diǎn)是負(fù)責(zé)存儲(chǔ)。 數(shù)據(jù)節(jié)點(diǎn)同時(shí)還要執(zhí)行塊的創(chuàng)建，刪除，和來自名字節(jié)點(diǎn)的塊復(fù)制指示。 Map/Reduce算法模型就是一種簡化并行計(jì)算的編程模型，它向上層用戶提供接口，屏蔽了并行計(jì)算特別是分布式處理的諸多細(xì)節(jié)問題，讓那些沒有多少并行計(jì)算經(jīng)驗(yàn)的開發(fā)人員也可以很方便的開發(fā)并行應(yīng)用，避免了很多重復(fù)工作。它以問卷調(diào)查和從事教育事業(yè)的經(jīng)驗(yàn)積累出發(fā)點(diǎn) ,分析了 MDVSP面向的用戶群體 ,以及按照不同的群體有著不同的搜索興趣點(diǎn)。需要存儲(chǔ)保留一些用戶的關(guān)注度等信息。根據(jù)問卷調(diào)查和訪談?dòng)涗洠?MDVSP搜索引擎需要滿足一下功能需求 [14]： 1. 需要實(shí)現(xiàn)面向教學(xué)主體的網(wǎng)頁信息檢索功能。 MDVSP搜索平臺(tái)的定位就是教育領(lǐng)域的幼稚園、小學(xué)、中學(xué)、大學(xué)、機(jī)構(gòu)培訓(xùn)以及成人教育。而搜索引擎是僅次于網(wǎng)頁一般性瀏覽、收發(fā)電子郵件的網(wǎng)民第三大基本需求，其需求自然隨之也變得多樣化 。 Chukwa[79]運(yùn)行 HDFS 中存儲(chǔ)數(shù)據(jù)的收集器，它使用 MapReduce 來生成 報(bào)告。 Pig 運(yùn)行在MapReduce 和 HDFS 的集群上。 2. 經(jīng)濟(jì)：框架可以運(yùn)行在任何普通的 PC上?，F(xiàn)在， Doug Cutting已經(jīng)加盟 Cloudera（一家從事 Hadoop 產(chǎn)品商業(yè)化及技術(shù)支持的公司）。 以 JAVA和 PERL為開發(fā)工具， 通過 Hadoop平臺(tái)框架 實(shí)現(xiàn) 基于上述架構(gòu)模型的 MDVSP系統(tǒng)的各層設(shè)計(jì)，并 列出相關(guān)功能的關(guān)鍵性 JAVA和PERL代碼。 給出 MDVSP平臺(tái)的使用用戶群，并基于抽樣調(diào)查和多年的教育經(jīng)驗(yàn)，對(duì)用戶的需求進(jìn)行鑒別、 清除 用戶需求的模糊性、歧義性和不一致性，將原始問題的理解與軟件開發(fā)經(jīng)驗(yàn)結(jié)合，深入描述軟件的功能和性能需求。包括框架、原理和詳細(xì)實(shí)現(xiàn)。 江蘇大學(xué)碩士研究生畢業(yè)論文 3 本文 主要工作 本人通過對(duì)現(xiàn)有教育領(lǐng)域搜索引擎的技術(shù)分析， 結(jié)合問卷抽樣調(diào)查反饋， 對(duì)用戶的需求進(jìn)行鑒別、綜合和建模，清除用戶需求的模糊性、歧義性和不一致性 ，定義了本系統(tǒng)的功能和性能需求， 在對(duì) Hadoop 平臺(tái)的框架研究基礎(chǔ)之上，提出了基于Hadoop 平臺(tái) 的 MDVSP(Multitier Distributed Vertical Searching Platform)模型 ,詳細(xì)闡述了 MDVSP 系統(tǒng)在設(shè)計(jì)和實(shí)現(xiàn)過程中 應(yīng)用到的一些關(guān)鍵技術(shù) ，并基于該模型實(shí)現(xiàn)了MDVSP 原型。 2. 由于在通過關(guān)鍵詞檢索方式中，關(guān)鍵詞與類別詞的混雜使用導(dǎo)致信息準(zhǔn)確度較低。那么對(duì)教育資源用戶來講，目前的信息服務(wù)能否滿足他們的需求？他們更傾向于什么樣的信息服務(wù)形式？ 目前現(xiàn)狀 1. 獲取基礎(chǔ)教育資源 最常用的方式是搜索引擎 [2] 用戶獲取基礎(chǔ)教育資源的較經(jīng)常使用的方式為搜索引擎、學(xué)科專題網(wǎng)站、基礎(chǔ)教育綜合網(wǎng)站。 Index Database 江蘇大學(xué)碩士研究生畢業(yè)論文 V 目 錄 第一章 緒 論 ............................................... 1 課題研究背景及意義 .................................................... 1 背景及意義 ...................................................... 1 目前現(xiàn)狀 ....................................................... 1 教育資源搜 索存在的問題 ................................................ 2 本文主要工作 .......................................................... 3 本文的組織結(jié)構(gòu) ........................................................ 3 第二章 HADOOP 平臺(tái)架構(gòu) ..................................... 5 Hadoop 的產(chǎn)生 ......................................................... 5 基于 Hadoop 分布式架構(gòu)的優(yōu)勢 .......................................... 5 Hadoop 組件 ........................................................... 6 本章小結(jié) .............................................................. 6 第三章 MDVSP 平臺(tái)需求分析 ................................... 8 教育資源垂直搜索的用戶群 .............................................. 8 MDVSP 搜索資源類型需求 .............................................. 9 MDVSP 搜索平臺(tái)功能需求 ............................................. 10 本章小結(jié) ............................................................. 11 第四章 基于 HADOOP 平臺(tái)的 MDVSP 模型 ........................... 12 分布式文件系統(tǒng) HDFS 與 Map/Reduce 技術(shù) ............................... 12 分布式文件系統(tǒng) HDFS ........................................... 13 Map/Reduce 技術(shù) ................................................ 16 基于 Hadoop 的 MDVSP 平臺(tái)的多層分布式架構(gòu) ........................... 19 系統(tǒng)體系結(jié)構(gòu) .................................................. 19 MDVSP 平臺(tái)數(shù)據(jù)處理模型整體框架 ............................... 20 MDVSP 平臺(tái)數(shù)據(jù)在 HDFS 中存放結(jié)構(gòu) ............................. 21 MDVSP 通信數(shù)據(jù)模型設(shè)計(jì) ............................................. 21 數(shù)據(jù)模型分析 .................................................. 21 數(shù)據(jù)模型設(shè)計(jì) .................................................. 22 主表設(shè)計(jì) ...................................................... 23 本章小結(jié) ............................................................. 25 第五章 HADOOP 平臺(tái)的 MDVSP 的關(guān)鍵技術(shù) ...................... 27 MDVSP 中 聚焦蜘蛛 ................................................... 27 工作原理 ...................................................... 27 關(guān)鍵技術(shù) ...................................................... 28 Map/Reduce 設(shè)計(jì) ...................................................... 31 Map/Reduce 邏輯結(jié)構(gòu)設(shè)計(jì) ....................................... 32 Map/Reduce 數(shù)據(jù)流設(shè)計(jì) ......................................... 33 容錯(cuò)和可靠性設(shè)計(jì) .............................................. 33 任務(wù)粒度 和 backup 任務(wù)性能優(yōu)化設(shè)計(jì) ............................. 34 遠(yuǎn)程調(diào)用設(shè)計(jì) ......................................................... 35 MDVSP 采用的 RPC 遠(yuǎn)程調(diào)用設(shè)計(jì)思想 ............................ 35 MDVSPRPC 數(shù)據(jù)表示設(shè)計(jì) ....................................... 36 MDVSPRPC 服務(wù)器端的實(shí)現(xiàn) ..................................... 38 MDVSPRPC 客戶端的實(shí)現(xiàn) ....................................... 38 Hadoop 的 HA 設(shè)計(jì) .................................................... 39 Health Check 設(shè)計(jì) .............................................. 40 Hadoop Failover 流程設(shè)計(jì) ........................................ 41 本章小結(jié) ............................................................ 42 江蘇大學(xué)碩士研究生畢業(yè)論文 VI 第六章 MDVSP 平臺(tái)的實(shí)現(xiàn) ....................................... 43 方案部署 ............................................................. 43 硬件配置 ...................................................... 43 SSH 公鑰認(rèn)證 配置 .............................................. 44 Hadoop 平臺(tái)搭建 ................................................ 44 Hbase 平臺(tái)搭建 ................................................. 45 與垂直搜索引擎結(jié)合 ............................................ 46 開發(fā)平臺(tái)及其開發(fā)工具 ................................................. 47 操作系統(tǒng) ....................................................... 47 硬件平臺(tái) ....................................................... 47 開發(fā)工具 ....................................................... 47 MDVSP 系統(tǒng)的實(shí)現(xiàn) ................................................... 48 聚焦蜘蛛模塊的實(shí)現(xiàn) ............................................. 48 教育資源搜索結(jié)果 ............................................... 49 教育資源信息自動(dòng)抽取的實(shí)現(xiàn) ..................................... 51 LUCENE 倒排文件索引結(jié)構(gòu) ........................................ 56 教育資源信息的存儲(chǔ)實(shí)現(xiàn) ......................................... 58 用戶查詢功能的實(shí)現(xiàn) ................................................... 58 用戶查詢主要函數(shù)實(shí)現(xiàn) ........................................... 58 教育資源信息查詢 ............................................... 60 運(yùn)行結(jié)果與對(duì)比 ...................................................... 62 本章小結(jié)