【正文】 tomcat/ JAVA_HOME=/usr/java/ beans 7 配置 wget sh SVN 配置 sudo aptget install subversion SSH 配置 sudo aptget install opensshserver 啟動(dòng) ssh /etc/ps e | grep ssh 驗(yàn)證是否啟動(dòng) sshserver sshkeygen t dsa P 39。amp。 } 東北師范大學(xué)學(xué)士學(xué)位論文 18 第五章 搜索引擎實(shí)施 5． 1 Ubuntu 及 應(yīng)用 工具 配置 Ubuntu “ooBOONtoo”–“烏邦圖 ”，它既是一個(gè)服務(wù)器也是個(gè)人操作系統(tǒng)，在部署偽分布式服務(wù)和維護(hù)上非常方便，用戶數(shù)量 大 ，社區(qū)活躍。docs39。 public function formatData() { self::$data = json_decode(self::$data, true )。 public function getUrl() { self::$url .= amp。] ? $_POST[39。 return self::$data。 } 前端調(diào)用 PHP 請(qǐng)求數(shù)據(jù)方法， formatParams()對(duì) POST 過(guò)來(lái)的 KeyWord 進(jìn)行接收；接著 getUrl()調(diào)用 Http 請(qǐng)求，等待數(shù)據(jù)返回；數(shù)據(jù)返回后為前端的展示做進(jìn)行格式化，最后返回格式化后的 array 格式數(shù)據(jù)。 } } } 4． 4 UI 前端 調(diào)用 PHP BeeSearch 類，前端使用 BootStrap 框架。 Scan s = new Scan()。 (job, new Path(/usr/data/hbase/out ))。 ()。 } HBase數(shù)據(jù)庫(kù)插入： public bool setData(String[] args) throws IOException { Job job = new Job(config, Sample MR Application)。 HBase4Bee 類 ： public class HBase4Bee { Configuration config = new Configuration()。 HRegionServer： HBase 中最核心的模塊，主要負(fù)責(zé)響應(yīng)用戶 I/O 請(qǐng)求，向 HDFS 文件系統(tǒng)中讀寫(xiě)數(shù)據(jù) [13]。 Zookeeper 避免 HMaster 單點(diǎn)問(wèn)題。 Client 與 HMaster 進(jìn)行通信進(jìn)行管理類操作。 } catch (SolrServerException e) { ()。 (regEx)。 } 預(yù)搜索對(duì)關(guān)鍵字進(jìn)行 Key:Value匹配檢索，服務(wù)器句柄 serverHandle提供 Http數(shù)據(jù)獲取接口，前端可以通過(guò) Http請(qǐng)求得到 json數(shù)據(jù) private static SolrDocumentList preSearch () { ArrayList results = new ArrayListString()。 static public SolrDocumentList docs= new SolrDocumentList ()。 東北師范大學(xué)學(xué)士學(xué)位論文 10 第四章 搜索引擎設(shè)計(jì) 4． 1 爬蟲(chóng) 系統(tǒng) 爬蟲(chóng) 系統(tǒng)基于 Nutch， 圖 為 Nutch 抓取 流程 原理 。 東北師范大學(xué)學(xué)士學(xué)位論文 9 其次，也有很多細(xì)節(jié)問(wèn)題， 網(wǎng)頁(yè)的 權(quán) 值判定， 消除噪音，比如版權(quán)聲明文字、導(dǎo)航條、廣告等， 正向索引 ， 鏈接關(guān)系計(jì)算 ， 特殊文件處理 。 Solr 為調(diào)用檢索API 提供 Http 接口，前端的 PHP 搜索查詢發(fā)起請(qǐng)求，經(jīng)由搜索 client 向 solr 請(qǐng)求檢索數(shù)據(jù)， solr 為前端與數(shù)據(jù)搭起連接橋梁。具體一點(diǎn)，細(xì)一點(diǎn)說(shuō)，單只 HBase 中 ZooKeeper 實(shí)例負(fù)責(zé)的工作就有：存儲(chǔ) HBase 的 Schema，實(shí)時(shí)監(jiān)控 HRegionServer,存儲(chǔ)所有 Region 的尋址入口， 另外也 保證 HBase 集群中只有一個(gè) Master[6]。Nutch 類似 Google 的完整網(wǎng)絡(luò)搜索引擎解決方案，基于 Hadoop 的分布式處理模型保證了系統(tǒng)的性能類似 Eclipse 的插件機(jī)制保證了系統(tǒng)的可客戶化，而且很容易集成到自己的應(yīng)用之中 [4]。 其中最為關(guān)鍵為：爬蟲(chóng)系統(tǒng)，數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)索引，以及檢索。 總體系結(jié)構(gòu)如下圖 ?？梢試L試開(kāi)發(fā)一個(gè)基于分布式 NoSQL 平臺(tái)的搜索引擎。它介于 NoSQL 和 RDBMS 之間，僅能通過(guò)主鍵(row key)和主鍵的 range 來(lái)檢索數(shù)據(jù)，僅支持單行事務(wù) (可通過(guò) hive 支持來(lái)實(shí)現(xiàn)多表join 等復(fù)雜操作 ) [2]。 而數(shù)據(jù)每天都在增長(zhǎng)，增長(zhǎng)速度是 也在 加快，面對(duì)大數(shù)據(jù)的處理以及快速響應(yīng)，傳統(tǒng)數(shù)據(jù)模型越顯吃力。 東北師范大學(xué)學(xué)士學(xué)位論文 3 第二章 可行性研究 概述 在目前 Google， Baidu 等主流搜索引擎占領(lǐng)著，而我們上網(wǎng)需求并沒(méi)有得到完全的滿足，還有很多開(kāi)發(fā)領(lǐng)域等著我們嘗試 ，而 在當(dāng)下大數(shù)據(jù)時(shí)代，數(shù)據(jù)的存儲(chǔ)和快速檢索成為了互聯(lián)網(wǎng)發(fā)展 的趨勢(shì) ，也是工 程師解決用戶快速響應(yīng)需求的一個(gè)問(wèn)題。 論文使用的研究方法與工具 本論文采用信息研究方法，根據(jù)信息論、控制論、系統(tǒng)論的原理 [1]，通過(guò)對(duì)互聯(lián)網(wǎng)頁(yè)面信息的收集、索引，并應(yīng)用于實(shí)踐，以實(shí)現(xiàn)搜索引擎功能。 Google 每天提供超過(guò) 2 億次查詢服務(wù) ,搜索時(shí)間不到半秒 ,成為網(wǎng)上最快捷的信息查詢方法。搜索引擎為上億個(gè)網(wǎng) 頁(yè)建立索引，其中包含大量迥然不同的詞匯。 搜索引擎的出現(xiàn)，整合了眾多網(wǎng)站信息，恰恰起到了信息導(dǎo)航的作用。 托 Google、 Baidu 成功的福，搜索引擎火了半邊天，人們上網(wǎng)方式也被徹底改變了。 Index。 此外引擎 實(shí)現(xiàn)所需要的 偽 分布運(yùn)行環(huán)境 部署 ，配置好 NoSQL 偽分布 與 開(kāi)發(fā)環(huán)境， 調(diào)試環(huán)境，測(cè)試環(huán)境， 這個(gè) 是 所有 部件能正常運(yùn)行的基礎(chǔ)。首先 是 數(shù)據(jù)抓取 ， 基于 Nutch 爬蟲(chóng)系統(tǒng)的 部署 和實(shí)現(xiàn)， 抓取 命令執(zhí)行 完畢 ，后臺(tái)會(huì)自動(dòng)抓取 網(wǎng)頁(yè) ，并 存儲(chǔ) 到 偽 分布式 HBase 數(shù)據(jù)庫(kù)中 。 學(xué)校代碼： 10200 學(xué)號(hào)： 1272409029 本科 畢業(yè)論文 基于 NoSQL技術(shù) 的搜索引擎設(shè)計(jì)與實(shí)現(xiàn) Design and Implementation a Search Engine based on the NoSQL 摘 要 網(wǎng)絡(luò)中的資源非常豐富，但是如何有效的搜索信息卻是一件困難的事情，建 立搜索引擎就是解決這個(gè)問(wèn)題的最好方法。 本文 主要是研究了搜索引擎的 基本 實(shí)現(xiàn)。最后結(jié)果 列表的展示 ，基于 Bootstrap， 以及 Java提供 的 Http 接口 ，將 以 關(guān)鍵字向內(nèi)部發(fā)起請(qǐng)求，獲取數(shù)據(jù)展示于前端。 on other hand in order to realize the Http request request interface providing, do ponent and low coupling, each ponent maintenance upgrade free and independent. Finally, the results display of the list, based on Bootstrap, Http interface and Java, will be key to the internal request, gets the data displayed on the front. In addition the e ngine to achieve the deployment environment pseudo distribution operation needed, configure NoSQL pseudo distribution and development environment, the debugging environment, test environment, they are the basic of system. In this paper, the NoSQL technology to achieve a search engine crawler frame based on, through the webpage data, stored into the pseudo distributed NoSQL database, the Java class implements the query interface of frontend, keyword index to obtain PHP interface data, and displayed to the user. Keywords: Search engine。HBase 目 錄 摘 要 ................................................................ I ABSTRACT .............................................................. II 第一章 緒 論 .......................................................... 1 選題背景及意義 ...........................................................................................................1 國(guó)內(nèi)外發(fā)展?fàn)顩r ...........................................................................................................1 論文使用的研究方法與工具 .........................................................................................2 論文的基本思路與邏輯結(jié)構(gòu) .........................................................................................2 第二章 可行性研究 ...................................................... 3 概述 .............................................................................................................................3 可行性 分析 ..................................................................................................................3 結(jié)論 .............................................................................................................................3 第三章 搜索引擎 分析 .................................................... 5 搜索引擎的體系結(jié)構(gòu) ....................................................................................................5 搜索引擎的工作流程 ....................................................................................................8 搜索引擎 分析的遺留問(wèn)題 ..........................................