【正文】 fulltext indexing database search engine. When a user searches a keyword, all contain the keyword webpage will be as the search results retrieved and displayed. This paper is a basic implementation of the search engine. The first is data capture, and implementation of the Nutch crawler system based on the deployment, grab the mand has pleted, the background will be automatically crawl the webpage, and stored in the pseudo distributed HBase database. Then NoSQL data storage based on pseudo distribution, as the key point, the realization of the Hadoop, HBase, Zookeeper deployment pseudo distributed environment, Nutch to capture data storage to the pseudo distributed NoSQL database in HBase. The work of the indexing keywords is little, but the basic realization of the basic index data。中國十年多來互聯(lián)網(wǎng)的不斷發(fā)展 , 截至 2021 年 12 月底 ,我國網(wǎng)民規(guī)模達(dá) 億 ,全年共計(jì)新增網(wǎng)民 5090 萬人 ，搜索引擎也出現(xiàn)空前的火熱。在網(wǎng)絡(luò)中，盡管大型搜索引擎非常重要，但是學(xué)術(shù)界卻很少研究它。 論文的基本思路與邏輯結(jié)構(gòu) 這篇論文按照網(wǎng)站系統(tǒng)開發(fā)的順序一共分為六個(gè)章節(jié)：緒論、可行性分析、搜索引擎分析、系統(tǒng)設(shè)計(jì)、系統(tǒng)實(shí)施和結(jié)論，逐步介紹了搜索引擎開發(fā)進(jìn)程中數(shù)據(jù)交流原理與邏輯模型建立過程。 Yahoo！ 選擇了它， Facebook 選擇了它， Google 也選擇了它，而分布式 NoSQL 數(shù)據(jù)庫并沒有讓這些互聯(lián)網(wǎng)巨頭失望，成就了當(dāng)下最大的互聯(lián)網(wǎng)社區(qū)，最佳搜索引擎的有力后盾。 東北師范大學(xué)學(xué)士學(xué)位論文 5 第三章 搜索引擎分析 搜索引擎的體系結(jié)構(gòu) 一切以數(shù)據(jù)為核心，數(shù)據(jù)的爬取，數(shù)據(jù)的 索引，數(shù)據(jù)的檢索，以及數(shù)據(jù)與用戶交互都是基于數(shù)據(jù)。綜合當(dāng)下數(shù)據(jù)庫的特點(diǎn)，關(guān)系數(shù)據(jù)庫在解決這個(gè)工作顯得成本過高，而新生 NoSQL 數(shù)據(jù)庫 HBase 具有分布式存儲(chǔ)，對實(shí)時(shí)查詢進(jìn)行有良好支持，堪比 MySQL 的隨機(jī)訪問性能，更是對大數(shù)據(jù)冗余處理讓人滿意，不會(huì)出現(xiàn)單點(diǎn)故障等優(yōu)點(diǎn)，在這么一個(gè)需要對大數(shù)據(jù)進(jìn)行隨機(jī)、實(shí)時(shí)訪問的場合中， HBase是數(shù)據(jù)庫的最佳選擇。 圖 搜索引擎的工作流程 Bee 搜索引擎的數(shù)據(jù)來源由 Nutch 爬蟲系統(tǒng)抓取，存儲(chǔ)到 HBase， HBase 是 依托于 Hadoop 的 分布式 HDFS 作為存儲(chǔ)基礎(chǔ)， HBase 的 結(jié)構(gòu) 與 Hadoop 的 MasterSlave模式 類似。 一個(gè)交互友好的搜索引擎，首先要提供準(zhǔn)確的檢索數(shù)據(jù)，也是一個(gè) 用戶體驗(yàn) 流暢的平臺(tái)。 preSearch()。 try { rsp = (query)。 Zookeeper： Zookeeper Quorum 存儲(chǔ) ROOT表地址、 HMaster 地址。由 MemStore 和 StoreFile 組成 [14]。 ()。 東北師范大學(xué)學(xué)士學(xué)位論文 15 return (true) ? 0 : 1。 分析器 BeeSearch PHP 代碼： class BeeSearch { // 關(guān)鍵字 public static $keyWord = null。 public function formatParams() { self::$keyWord = $_POST[39。 self::$data = file_get_contents(self::$url)。 } 用戶提交 檢索 ，信息列表響應(yīng)展示效果如圖 ： 東北師范大學(xué)學(xué)士學(xué)位論文 17 圖 響應(yīng)展示效果圖 前端結(jié)果列表展示需要短內(nèi)容預(yù)覽， 截取前 300 字 。liconv39。 MyEclipse 它是 Eclipse 的插件，也是一款功能強(qiáng)大的 J2EE 集成開發(fā)環(huán)境！ 5． 2 Hadoop 配置 Hadoop 安裝路徑： /usr/local/hadoop 配 置 ： $Hadoop/conf/ configuration property name/name value/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2/value /property property name/name value/usr/local/hadoop/data1,/usr/local/hadoop/data2/value /property property name/name value2/value /property /configuration 配置 ： $Hadoop/conf/ 東北師范大學(xué)學(xué)士學(xué)位論文 22 export JAVA_HOME=/usr/local/java conf/ configuration property name/name value /property /configuration hadoop 前端管理界面： 5． 3 HBase 配置 HBase 安裝路徑： /usr/local/HBase 配置 ： /etc/hosts paopaoK55VD localhost master 配置 ： $HBase/conf/ export HBase_MANAGES_ZK=false $HBase/conf/ n 100 configuration property name/name value descriptionThe directory shared by RegionServers. /description /property property name/name value2181/value /property property name/name valuetrue/value /property property name/name 東北師范大學(xué)學(xué)士學(xué)位論文 23 value180000/value /property property name/name valuelocalhost/value /property property name/name valuelocalhost/value /property property name/name value/value /property property name/name value/value /property property name/name value/usr/data/zookeeper/value /property property name/name valuetrue/value /property configuration HBase 數(shù)據(jù)庫連接測試腳本 hbase(main):003:0 create 39。,39。,39。,39。,39。,39。 echo HBase ... cd /usr/local/HBase。 存在 的不足不能掩蓋，而在這個(gè) 不斷 追求完善的過程中，我學(xué)會(huì)了非常多的技術(shù)，像 Linux 操作 系統(tǒng)的使用，服務(wù)器的 搭建 和維護(hù)管理， 偽 分布式部署， java 調(diào)試 ， web調(diào)試 。謝謝張老師。謝謝！ 愿你們 永遠(yuǎn)健康平安！ 東北師范大學(xué)學(xué)士學(xué)位論文 29 項(xiàng) 目 經(jīng) 理項(xiàng) 目 副 經(jīng) 理 項(xiàng) 目 總 工 質(zhì) 安 總 監(jiān)工程管理部物資管理部技術(shù)管理部檢測試驗(yàn)室質(zhì)安管理部監(jiān) 督 工 程 管 理部 、 物 資 管 理部 、 檢 測 試 驗(yàn) 室現(xiàn) 場 質(zhì) 檢 員 、 施 工 員施 工 班 組 3N7N承 承 承 承 承 承 承承 承3S7S承 承 承 承 承 承承 承 承3N7N承 承 承 承 承 承 承承 承 承 承3S7S承 承 承 承 承 承承 承 承 承 承3N7N承 承 承 承 承 承 承承 承3S7S承 承 承 承 承 承承 承 承3N7N承 承 承 承 承 承 3S7S承 承 承 承 承 承3N7N承 承 承 承 承 承 承承 承 承 承3S7S承 承 承 承 承 承承 承 承 承 承3N7N承 承 承 承 承 承 承承 承 承3S7S承 承 承 承 承 承承 承 承 承3N7N承 3S7S承 承 承承 承 承3N7N承 承 承 承 承 承 3S7S承 承 承 承 承 承e39。 UE9aQGn8xp$Ramp。 ksv*3t nGK8! z89Am YWpazadNuKNamp。 ksv*3tnGK8! z89Am UE9aQGn8xp$Ramp。 ksv*3t nGK8! z89Am YWpazadNuKNamp。 ksv*3t nGK8! z8vGt YM*Jgamp。MuWFA5uxY7JnD6YWRrWwc^vR9CpbK!zn% Mz849Gx^G89Am UE9aQGn8xp$Ramp。 ksv*3t nGK8! z89Am YWpazadNuKNamp。 ksv*3t nGK8! z8vGt YM*Jgamp。 MuWFA5uxY7JnD6YW RrWwc^vR9CpbK! zn% Mz849Gx^Gj qv^$UE9wEwZQcUE%amp。MuWFA5uxY7JnD6YWRrWwc^vR9CpbK!zn% Mz849Gx^Gj qv^$UE9wEwZQcUE% amp。MuWFA5uxY7JnD6YWRr Wwc^vR9CpbK! zn%Mz849Gx^Gj qv^$UE9wEwZQcUE%amp。 MuWFA5uxY7JnD6YWRr Wwc^vR9CpbK! zn%Mz849Gx^Gj qv^$UE9wEwZQcUE%amp。 MuWFA5uxY7JnD6YWRrWwc^vR9CpbK! zn% Mz849Gx^Gjqv^$UE9wEwZQcUE% amp。MuWFA5uxY7。 gTXRm 6X4NGpP$vSTTamp。 gTXRm6X4NGpP$vSTTamp。 gTXRm 6X4NGpP$vSTTamp。gTXRm 6X4NGpP$vSTTamp。 gTXRm 6X4NGpP$vSTTamp。 QA9wkxFyeQ^! djsXuyUP2kNXpRWXm Aamp。qYpEh5pDx2zVkumamp。 qYpEh5pDx2zVkumamp。 QA9wkxFyeQ^! dj sXuyUP2kNXpRWXm Aamp。 qYpEh5pDx2zVkumamp。 qYpEh5pDx2zVkumamp。 qYpEh5pDx2zVkum amp。 qYpEh5pDx2zVkumamp。A（萬kWh）shg1Pshg1PshfPb b39。感謝和我一個(gè)組的每個(gè)成員，熱心的幫我找資料，對于出現(xiàn)的問題提出她們的思想見解。 在 很 短 的時(shí)間內(nèi)，敢于使用一些自己不熟悉的技術(shù)去嘗試做出點(diǎn)成果， 以 提升自己能力，我很喜歡這樣的過程。39。 COLUMN CELL home:father timestamp=1366886704489, value=wu s father