【正文】 .......................................................................................................... IV 第 1章 緒論 ..................................................................................................................... 1 課題背景 ............................................................................................................. 1 目的和意義 ......................................................................................................... 1 國內外研究現狀 ................................................................................................. 2 第 2章 搜索引擎概述 ..................................................................................................... 6 個性化搜索引擎 ................................................................................................. 6 搜索引擎的工作原理 ......................................................................................... 7 搜索引擎的發(fā)展 ................................................................................................. 8 第 3章 用戶興趣挖掘 ..................................................................................................... 8 用戶興趣挖掘流程 ............................................................................................. 9 用戶信息采集 ............................................................................................ 9 用戶信息表達方法 .................................................................................. 10 用戶興趣分析建模 .................................................................................. 11 第 4章 個性化搜索系統(tǒng)總體設計 ............................................................................... 13 系統(tǒng)總體設計 ................................................................................................... 14 網絡爬蟲程序 .......................................................................................... 14 用戶端 ...................................................................................................... 15 系統(tǒng)數據庫設計 ............................................................................................... 16 第 5章 系統(tǒng)實現 ........................................................................................................... 19 系統(tǒng)流程設計 ................................................................................................... 19 第 6章 系統(tǒng)測試 ........................................................................................................... 22 哈爾濱 華德學院 畢業(yè)設計（論文） XV 結論 ................................................................................................................................. 27 致謝 ................................................................................................................................. 28 參考文獻 ......................................................................................................................... 29 附錄 1 譯文 .................................................................................................................. 31 附錄 2 英文參考資料 .................................................................................................. 34 哈爾濱 華德學院 畢業(yè)設計（論文） 1 第 1章 緒論 課題背景 隨著 Inter 技術的迅速發(fā)展，網絡中的信息量也大大的增多，這使得許多的用戶能夠享受豐富的網上資源信息，然而在如此多的信息量面前，不同的用戶的需求也會有所不同，這與用戶的個人信息以及背景、喜好都息息相關。 個性化服務要首先滿足用戶的需要，學習到網民的興趣所向，個性化搜索系統(tǒng)通過學習用戶興趣，來滿足用戶的所需，個性化的搜索能夠從分提高用戶的體驗，從而吸引來更多的使用用戶。搜索引擎的發(fā)展經歷了目錄海量搜索、刪出垃圾網頁、專業(yè)、定向、高準確性和匹配性等幾個階段，但搜索引擎的整體框架和所使用的技術并沒有根本性的改變。 用戶在鍵入關鍵詞時，會有很多的前提條件，但由于個體的差異，用戶在想要得到自己想要得到的頁面信息時就出現了困難。因此，近年來，對用戶建模技術的研究開始傳播， 作為個性化服務中的基礎技 哈爾濱 華德學院 畢業(yè)設計（論文） 3 術來研究。 Letizia 系統(tǒng)通過收集用戶在瀏覽器上的瀏覽行為，采用啟發(fā)式的規(guī)則集，對記錄的瀏覽行為建模，從而產生用戶的個性化模型?；蛘呤菍⒂脩舳鄠€感興趣的類別組合到一起的用戶建模技術。顯然，個體用戶興趣模型側重于個體用戶的興趣發(fā)現和描述問題；群體用戶行為模型側重于群體用戶訪問行為以及群體用戶和資源對象或資源項目之間的關系或特征模式分析。隨著個性化服務的發(fā)展和研究深入，研究者逐漸意識到個性化服務的質量取決于用戶興趣和偏好等技術，尤其是用戶模型質量直接關系到個性化服務和個性化推薦技術的質量。用戶興趣能夠通過 他的點擊歷史進行學習。絕大多數現有搜索系統(tǒng)僅僅依靠查詢來滿足用戶信息，但是，由于查詢串較短，存在歧義問題等等。顯式用戶興趣挖掘是通過用戶注冊信息或用戶 提交檢索關鍵詞來進行挖 掘，要求用戶對推薦的資源進行反饋和評價，從而達到學習的目的，優(yōu)點是實 現簡單，無需對系統(tǒng)進行訓練，可以快速得到用戶興趣；缺點是完全依賴用戶，用戶很難準確、全面描述自己的興趣及其興趣度。缺點是瀏覽行為表示方法難于統(tǒng)一。 哈爾濱 華德學院 畢業(yè)設計（論文） 6 第 2章 搜索引擎概述 個性化搜索引擎 個性化搜索引擎是一個基于用戶的檢索關鍵詞和個 人興趣的信息的搜索引擎，根據用戶的搜索歷史，返回用戶感興趣的頁面。按照信息內容的劃分，搜索引擎可分為綜合型搜索引擎，專業(yè)搜索引擎和特殊的搜索引擎；根據搜索工具劃分，搜索引擎可以分為單一的搜索引擎，元搜索引擎和集 成搜索引擎；根據信息組織模式的分類，搜索發(fā)動機可分為目錄式搜索引擎，全文搜索引擎和混合搜索引擎。它的特點是信息量很大，查全率較高。 哈爾濱 華德學院 畢業(yè)設計（論文） 7 搜索引擎的工作原理 搜索引擎大致可分為網絡爬蟲、索引器、檢索器和用戶接口四個部分組成。 為分析收集回來的網頁索引，提取相關的信息（包括網頁的 URL，編碼類型，頁面包含關鍵詞，關鍵詞位置，生成時間，大小，和其他網頁的鏈接關系），根據一定的相關度算法進行大量復雜的計算，得到每個網頁和超鏈中的每一個關鍵詞的相關性，然后利用這些信息建立網頁索引數據庫。一般的搜索引擎系統(tǒng)都支持布爾表達式操作、搜索域名范圍限制、查詢網頁的語種，甚至可以選擇文檔的類別。 哈爾濱 華德學院 畢業(yè)設計（論文） 8 搜索引擎的發(fā)展 萬維網搜索結果，目前幾乎是在一個列表的形式體現出來的，查詢的質量不平衡，組織結構不合理，但由于技術是有效的，成熟的，在未來一段時間內，這一技術也將在搜索領域占據絕對重要的地位。另一方面，對用戶輸入的查詢其他方式，如語音，圖像，視頻等，實現智能查詢轉換函數，從而得到預想的結果。 哈爾濱 華德學院 畢業(yè)設計（論文） 9 第 3章 用戶興趣挖掘 個性化搜搜索引擎中一個重要的模塊就是用戶興趣模型的構建，而用戶興趣模型構建的重點在于挖掘用戶興趣喜好類別。用戶興趣模型有效識別用戶興趣偏好類別 后，對與之相關的資源進行推薦、信息過濾等相關技術起到良好作用。用戶信息的采 集有多種方法包括：用戶自主提供，客戶端軟件跟蹤，服務器端跟蹤學習與信 息挖掘等。用戶興趣偏好是指在特定的興趣分類的體系框架下，由用戶 選定的自己感興趣的信息類別。隱式信息挖掘是指通過對用戶的瀏覽行為 進行跟蹤而得到的隱式信息。這種方法對用戶透明，但用戶數據的收集往往 需要一段較長的時間。用戶信息表達方法為用戶建模服務，如何有效表達用戶信息是用戶建模的核心技術問題，用戶搜索上網首先通過搜索引擎提交查詢串，搜索引擎系統(tǒng)返回給用戶相關文檔，用戶瀏覽相關文檔。具體過程如圖 31 所示。在一般情況下，從內容的用戶模式可以分為兩類基于興趣和行為的基礎。能進行推理，對用戶進行分類和識別，幫助系統(tǒng)更好的理解用戶特征和類別，理解用戶的需求和任務 ，從 而更好的實現用戶所需要的功能。擬采取的研究方式內容分析模型以向量空間模型為基礎，研究基于用戶訪問的文本內 容 的形 式化描述手段和方法，并探索該模型在個性化信息檢索中的應用，通過融合語言模型和相關性模型改進向量模型忽視特征共現的缺點，解決實際應用中初始數據稀疏對用戶模型的影響。這要求用戶模型根據用戶的變化來自適應變化，隨時間的變化，用戶興趣的變化遵循 哈爾濱 華德學院 畢業(yè)設計（論文） 13 一定的規(guī)則。該系統(tǒng)能個性化的完成用戶的搜索行為，生成用戶興趣模式優(yōu)化搜索結果，優(yōu)先返回用戶感興趣的網頁內容。 網絡爬蟲是一個自動提取網頁的程序，它是從萬維網搜索引擎進行網頁下載，是搜索引擎的重要組成部分。此外，所有被蜘蛛抓取的網頁將被存儲，分析和篩選，并建立了索引，以便查詢和檢索；對聚焦爬蟲，通過這種方法得到的分析結果也可能是后反饋給在爬行過程的指導。 資源數據庫用于存儲下載的網站資源，一般由大型數據庫，如 Oracle 數據庫，并建立了索引。中大型的數據庫產品有： Oracle、 Sql Server 等。 哈爾濱 華德學院 畢業(yè)設計（論文） 16 程序功能模塊圖如圖 41 所示。如表 41 所示。如表 43