【正文】 /value /property property name/name valuetrue/value /property configuration HBase 數(shù)據(jù)庫連接測試腳本 hbase(main):003:0 create 39。因此， Bootstrap 就成為了我前端框架，表現(xiàn)甚佳！ MyEclipse 介紹 MyEclipse 是當(dāng)前可用于 Eclispse 開源平臺的最實惠、綜合全面的 J2EE IDE與 Web 開發(fā)工具套件。 f ~/.ssh/id_dsa cat ~/.ssh/ ~/.ssh/authorized_keys 東北師范大學(xué)學(xué)士學(xué)位論文 21 Bootstrap 介紹 Bootstrap 是 Twitter 技術(shù)成員開發(fā)的一個框架，一套易用、優(yōu)雅、靈活、可擴展的前端工具集，目的是有個工具可以方便快速搞起一個項目。 Java 環(huán)境配置： wget dpkg –i 配置 /etc/profile 末尾追加： JAVA_HOME=/usr/java/ TOMCAT_HOME=/usr/local/tomcat ANT_HOME=/usr/local/ant PATH=$JAVA_HOME/bin:$PATH CLASSPATH=.:$JAVA_HOME/lib/:$JAVA_HOME/lib/ export JAVA_HOME export PATH export CLASSPATH 使配置文件生效 . profile 測試安裝成功與否： java version java version Java(TM) SE Runtime Environment (build ) Java HotSpot(TM) Client VM (build , mixed mode, sharing) 東北師范大學(xué)學(xué)士學(xué)位論文 20 Tomcat 7 環(huán)境配置： wget tar zxvf cp r /usr/tomcat 配置 Tomcat !/bin/sh chkconfig: 2345 10 90 description:Tomcat service $Id: 1202062 20211115 06:50:02Z mturk $ 下添加： CATALINA_HOME=/usr/local/tomcat/ JAVA_HOME=/usr/java/ beans 7 配置 wget sh SVN 配置 sudo aptget install subversion SSH 配置 sudo aptget install opensshserver 啟動 ssh /etc/ps e | grep ssh 驗證是否啟動 sshserver sshkeygen t dsa P 39。liconv39。amp。 本系統(tǒng) 基于 系統(tǒng)上搭建 Nginx+PHP運行環(huán)境， java環(huán)境， Tomcat環(huán)境 ， Hadoop+HBase+zookeeper 環(huán)境，使用到的開發(fā)工具： svn， ivy， ant， vi， NetBean，myeclipse， ssh。 } 東北師范大學(xué)學(xué)士學(xué)位論文 18 第五章 搜索引擎實施 5． 1 Ubuntu 及 應(yīng)用 工具 配置 Ubuntu “ooBOONtoo”–“烏邦圖 ”，它既是一個服務(wù)器也是個人操作系統(tǒng)，在部署偽分布式服務(wù)和維護上非常方便，用戶數(shù)量 大 ，社區(qū)活躍。 } 用戶提交 檢索 ，信息列表響應(yīng)展示效果如圖 ： 東北師范大學(xué)學(xué)士學(xué)位論文 17 圖 響應(yīng)展示效果圖 前端結(jié)果列表展示需要短內(nèi)容預(yù)覽， 截取前 300 字 。docs39。response39。 public function formatData() { self::$data = json_decode(self::$data, true )。 self::$data = file_get_contents(self::$url)。 public function getUrl() { self::$url .= amp。] : *。] ? $_POST[39。 public function formatParams() { self::$keyWord = $_POST[39。 return self::$data。 self::getUrl()。 } 前端調(diào)用 PHP 請求數(shù)據(jù)方法， formatParams()對 POST 過來的 KeyWord 進行接收；接著 getUrl()調(diào)用 Http 請求，等待數(shù)據(jù)返回；數(shù)據(jù)返回后為前端的展示做進行格式化，最后返回格式化后的 array 格式數(shù)據(jù)。 分析器 BeeSearch PHP 代碼： class BeeSearch { // 關(guān)鍵字 public static $keyWord = null。 } } } 4． 4 UI 前端 調(diào)用 PHP BeeSearch 類，前端使用 BootStrap 框架。 for(Result r:ss){ for(KeyValue kv:()){ (new String(()))。 Scan s = new Scan()。 東北師范大學(xué)學(xué)士學(xué)位論文 15 return (true) ? 0 : 1。 (job, new Path(/usr/data/hbase/out ))。 ()。 ()。 ()。 } HBase數(shù)據(jù)庫插入： public bool setData(String[] args) throws IOException { Job job = new Job(config, Sample MR Application)。 (, localhost)。 HBase4Bee 類 ： public class HBase4Bee { Configuration config = new Configuration()。由 MemStore 和 StoreFile 組成 [14]。 HRegionServer： HBase 中最核心的模塊，主要負責(zé)響應(yīng)用戶 I/O 請求，向 HDFS 文件系統(tǒng)中讀寫數(shù)據(jù) [13]。 主要負責(zé) Table 和 Region 的管理工作： 管理用戶對表的增刪改查操作 管理 HRegionServer 的負載均衡，調(diào)整 Region 分布 東北師范大學(xué)學(xué)士學(xué)位論文 14 Region Split 后，負責(zé)新 Region 的分布。 Zookeeper 避免 HMaster 單點問題。 Zookeeper： Zookeeper Quorum 存儲 ROOT表地址、 HMaster 地址。 Client 與 HMaster 進行通信進行管理類操作。 } } Java BeeSearch 類的 Unit Test 結(jié)果 如圖 ： 圖 BeeSearch 類的 Unit Test 結(jié)果 4． 3 存儲器 Hadoop， HBase， Zookeeper， 分別簡單來說就是： Hadoop 分布式計算開源框架，它實現(xiàn)了 MapReduce 計算模型的可以運用于大型集群并行計算的分布式并行計算編程 [8] HBase Key/Value 的分布式數(shù)據(jù)庫 東北師范大學(xué)學(xué)士學(xué)位論文 13 Zookeeper 支撐分布式應(yīng)用的協(xié)作系統(tǒng) Hadoop， HBase， Zookeeper，三者 互相之間的聯(lián)系關(guān)系 如 下圖 。 } catch (SolrServerException e) { ()。 try { rsp = (query)。 (regEx)。 regEx = content: + keyWord。 } 預(yù)搜索對關(guān)鍵字進行 Key:Value匹配檢索，服務(wù)器句柄 serverHandle提供 Http數(shù)據(jù)獲取接口，前端可以通過 Http請求得到 json數(shù)據(jù) private static SolrDocumentList preSearch () { ArrayList results = new ArrayListString()。 preSearch()。 static public SolrDocumentList docs= new SolrDocumentList ()。 4． 2 索引器 +分析器 Nutch 抓取下來的頁面先進入 solr，數(shù)據(jù)的索引加工在后臺進行，對已下載的網(wǎng)頁進行索引，并對索 引進行保存到 solr，把所有結(jié)果保存到 HBase 中， BeeSearch 類 ： public class BeeSearch { static private String keyWord = 。 東北師范大學(xué)學(xué)士學(xué)位論文 10 第四章 搜索引擎設(shè)計 4． 1 爬蟲 系統(tǒng) 爬蟲 系統(tǒng)基于 Nutch， 圖 為 Nutch 抓取 流程 原理 。 一個交互友好的搜索引擎，首先要提供準確的檢索數(shù)據(jù)，也是一個 用戶體驗 流暢的平臺。 東北師范大學(xué)學(xué)士學(xué)位論文 9 其次，也有很多細節(jié)問題， 網(wǎng)頁的 權(quán) 值判定， 消除噪音，比如版權(quán)聲明文字、導(dǎo)航條、廣告等， 正向索引 ， 鏈接關(guān)系計算 ， 特殊文件處理 。要真正發(fā)揮 HBase的實時響應(yīng)特性，需要部署成完全分布方式，在后續(xù)開發(fā)的過程中，需要多臺服務(wù)器實現(xiàn)全分布。 Solr 為調(diào)用檢索API 提供 Http 接口，前端的 PHP 搜索查詢發(fā)起請求，經(jīng)由搜索 client 向 solr 請求檢索數(shù)據(jù)， solr 為前端與數(shù)據(jù)搭起連接橋梁。 圖 搜索引擎的工作流程 Bee 搜索引擎的數(shù)據(jù)來源由 Nutch 爬蟲系統(tǒng)抓取，存儲到 HBase， HBase 是 依托于 Hadoop 的 分布式 HDFS 作為存儲基礎(chǔ)， HBase 的 結(jié)構(gòu) 與 Hadoop 的 MasterSlave模式 類似。具體一點，細一點說，單只 HBase 中 ZooKeeper 實例負責(zé)的工作就有：存儲 HBase 的 Schema，實時監(jiān)控 HRegionServer,存儲所有 Region 的尋址入口， 另外也 保證 HBase 集群中只有一個 Master[6]。 配置 host 文件： /etc/hosts paopaoK55VD localhost master 本 機 網(wǎng)卡 IP 地址 ： eth0: 起動 所有引擎 系統(tǒng) 所有進程 ， 查看 java 進程 ： rootpaopaoK55VD:/usr/local/zookeeper jps 9774 DataNode 5348 JobTracker 10011 SecondaryNameNode 9523 NameNode 10857 HRegionServer 10384 QuorumPeerMain 5580 TaskTracker 31097 Main 13709 Jps 10570 HMaster 10206 MyEclipse 9450 Bootstrap 東北師范大學(xué)學(xué)士學(xué)位論文 7 Hadoop 偽 分布部署 java 進程： 主機服務(wù)器（本機）： Hadoop: NameNode, SecondaryNameNode, JobTracker HBase: HMaster 從機服務(wù)器（本機）： Hadoop: DataNode, TaskTracker HBase: HQuorumPeer, HRegionServer 主從服務(wù)器 java 進程關(guān)系如圖 。Nutch 類似 Google 的完整網(wǎng)絡(luò)搜索引擎解決方案，基于 Hadoop 的分布式處理模型保證了系統(tǒng)的性能類似 Eclipse 的插件機制保證了系統(tǒng)的可客戶化，而且很容易集成到自己的應(yīng)用之中 [4]。綜合當(dāng)下數(shù)據(jù)庫的特點，關(guān)系數(shù)據(jù)庫在解決這個工作顯得成本過高，而新生 NoSQL 數(shù)據(jù)庫 HBase 具有分布式存儲，對實時查詢進行有良好支持，堪比 MySQL 的隨機訪問性能，更是對大數(shù)據(jù)冗余處理讓人滿意，不會出現(xiàn)單點故障等優(yōu)