【正文】 （ 1） 其中 ,BWeight 表示網(wǎng)頁中內(nèi)容塊的權(quán)值 ,它的值由一個內(nèi)容塊中的重要標簽來決定； BN 表示網(wǎng)頁中內(nèi)容塊的總數(shù)； BTfji 表示關(guān)鍵詞 j 出現(xiàn)在內(nèi)容塊 i 中的詞頻。因此，下一步操作為去除網(wǎng)頁中與主題無關(guān)的噪聲數(shù)據(jù)。 8 比較模型 I 與 [1]的排序結(jié)果 篩選出綜合實力排名前五的搜索引擎后，運用 Matlab 的相關(guān)性分析功能將模型 I得到的 排名與 [1]中排名前五的搜索引擎進行比較分析。 圖 41 搜索引擎評價系統(tǒng)的 二 層次關(guān)系圖 （二） 構(gòu)造判斷矩陣 在系統(tǒng)層次關(guān)系圖中 , 上 一層次的指標 U 與其對應(yīng) 的下一層次 的 k 個指標構(gòu)成一個 kk? 的矩陣 Dk ； Dk 的元素 dij 表示 U 的下層第 i 個指標與第 j 個指標相比 , 對于上層指標 U 而言的重要程度 , dij 的取值范圍是 1~ 9,9 表示最重要 , 且有 dd jiij 1? 。 四、 問題一的解決方案 問題一的建模與求解 模型 I 的分析 對于問題（ 1）的 搜索引擎排名篩選 問題， 必須 考慮 到評價指標對于優(yōu)劣 的影響 程度 ， 從而 將 評價指標 量化。 對于問題（ 2），通過對于通用中文搜索引擎的了解，發(fā)現(xiàn)按照信息搜集方法和服務(wù)提供方式的不同 ,大致可分為基于 Robot 的搜索引擎和基于 Director 的搜索引擎。 （ 2） 建立數(shù)學模型，設(shè)計出具有個性化特色的互聯(lián)網(wǎng)搜索引擎，并舉例對搜索引擎進行驗證。 ⑥ 多次輸入不同的中文姓氏（程東、李遠志、潘長河），對所設(shè)計的中文人名搜索引擎進行驗證，發(fā)現(xiàn)其對人物信息的查全率和查準率是準確可靠、能夠滿足用戶期望的。 我們鄭重承諾，嚴格遵守競賽規(guī)則，以保證競賽的公正、公平性。如有違反競賽規(guī)則的行為，我 們將受到嚴肅處理。 對于問題（ 3），本文從應(yīng)用技術(shù)與設(shè)計方案兩個方面對（ 2）中的個性化搜索引擎進行一般性推廣。例如，如果是漢字成語搜索引擎，那么輸入“張”時，可搜索出“張冠李戴”等成語；如果是中文人名搜索引擎，那么輸入“張”時，可搜索出“張三豐”等人名；當然，也可以對某類圖片、某類音樂等進行搜索。但兩者都具有較大的片面性，前者查全率高但查準率較低，后者查準率高但查全率較低。 查閱相關(guān)資料，考慮到絕大多數(shù)用戶對搜索引擎的性能及特點有不同的傾向性和需求偏好，因此有必要對 查準率、查全率、搜索速度、反鏈接數(shù)、檢索能力 這五種最具代表性的指標進行權(quán)重的分配。例如圖 41 中 , 第一層指標 a 與第二次指標 b1 ~ b5 構(gòu)成 55? 的判斷矩陣 A , a13 表示查準率與訪問速度相對于搜索引擎來說更重要 。 兩項排名的相關(guān)性分析結(jié)果為 ， 說明所建立的優(yōu)劣評價模型準確度較高。 網(wǎng)頁是由若干內(nèi)容塊組成的 ,而內(nèi)容塊是由特定的標簽規(guī)劃出的 (稱之為容器標簽 ), 9 常用的容器標簽有 table、 tr、 p等。 另外 ,我們采用的相似性計算公式是較為常用的計算對應(yīng)向量的 inecos 距離。 （二）補償式信息提取的主題文本分類算法 定義 1：假設(shè) TH是某個主題 , },{ 21 MMMM n?? 是主題 D的屬性集合 ,M為主題TH 的知識庫；主題可以按照某一屬性劃分 ,記做 )( MTHK MM jj ?? ； 劃分 ),}(,{ 21 n u l lMP MMMMMM ijjm ???? ?，構(gòu)成了 TH 的一個特定劃分 ,記為 PTH ,P 將主題 TH 劃分的等價類稱為知識 P的基本概念。其具體計算方法為： （ 3） 其中， k 表示類 Cj 中文檔的個數(shù) ,VCj 表示文檔的特征失量 ,CCj 表示類 cj 的特征矢量。那么 ,則有 : （ 5） 其中 ,我們用詞頻 TF和反向詞頻 IDF 的乘積 ,來描述單詞的權(quán)值 。 13 本算法是按照語句來分割文檔 ,文檔間的相似度是按照句子與句子 之間的相似度來判定的 ,當兩篇文檔中的相似句達到一定的闡值參數(shù) (這個參數(shù)是經(jīng)驗數(shù)值 ,后面會提到 )我們就認為這樣的文檔是相似的。 假 設(shè) 分 類 標 識 集 合 },2,1{ gg ?? 和 聚 類 集 合},{ 21 xxx kk ?? 我們定義 nji 是在聚類 xi 中屬于分類標識 j 的文檔數(shù)目。聚簇索引的葉級和非葉級構(gòu)成了一個特殊類型的平衡樹，在一個聚簇索引中 ,某個表的數(shù)據(jù)頁是葉級，是索引的最低級 ,在葉級之上的索引頁是非葉級。在每一個表上面，可以創(chuàng)建不多于 249 個非聚按索引 ,而聚簇索引最多只能有一個。 由圖 5 一 1(b)可以看出 ,當語句間相似度一定的情況下 ,聚類準確率隨文檔間相似句數(shù)目比例的增加逐漸呈下降趨勢 ,但文檔間相似句數(shù)目比例取值范圍在 ~ 之間均勻變化時 ,聚類的準確率趨于穩(wěn)定 ,并且效果較好。 六、 問題三的解決方案 上文通過對中文人名搜索引攀的詳細介紹以及實驗證實 ,表明模型 II所設(shè)計的中文人名搜索引擎具有很大的優(yōu)越性，檢索結(jié)果也比較準確可靠，因此，對于問題（ 3），本文從應(yīng)用技術(shù)與設(shè)計方案兩個方面對（ 2）中的個性化搜索引擎進行一般性推廣。 首先，定性建立層次結(jié)構(gòu)，然后根據(jù)參考資料[4][5]定量構(gòu)造判斷矩陣，通過將每一列歸一化、按行相加再歸一來計算對上層指標的權(quán)重 ，最后構(gòu)造評價模型 I，較精確地計算出了五個指標的權(quán)重以及七種搜索引擎的綜合優(yōu)劣得分。 （ 2） 由于數(shù)據(jù)來源的限制，很多定量分析與現(xiàn) 實生活中的實例數(shù)據(jù) 存在 一定差距。 另外，可以通過分析多維數(shù)據(jù)模型來發(fā)現(xiàn)更合理的屬性特征 ,通過挖掘數(shù)據(jù)集可以構(gòu)建關(guān)于人名的更精簡、更有效的主題數(shù)據(jù)集。)。ACCESS39。admin39。jdbc:odbc:\中文人名數(shù)據(jù)庫 39。39。 conn=database(sourceName,39。 20 九、 附錄 七 種搜索引擎的得分及排名情況 兩項排名的 Matlab 相關(guān)性分析程序 A=[2 1 5 4 3]。 （ 3）本文中模型的建立是在多條比較理想化的 假設(shè)條件 的約束 下 進行的，沒有考慮現(xiàn)實 中存在 的 其他影響 因素， 因此， 模型的建立與計算 在 合理性 、現(xiàn)實性與典型性方面尚存在一定不足。 對于問題（ 2），一方面，設(shè)計中采取了多維數(shù)據(jù)、信息提取、文本分類以及文本聚類等先 進應(yīng)用技術(shù)，多維數(shù)據(jù)方體能提供一系列使用方便的數(shù)據(jù)抽取和數(shù)據(jù)轉(zhuǎn)換工具 ,使得本來困難的工作簡化 ,可行性增強。 此類方法可推廣到其他的模型建立與設(shè)計中，以提供一系列使用方便的數(shù)據(jù)抽取和數(shù)據(jù)轉(zhuǎn)換工具 ,使得本來困難的工作簡化 ,可行性增強。當語句間相似度即閾值 1 為 且文檔間相似句數(shù)目比例即閾值 2為 時 ,聚類準確率達到測試最大值 %。 Matlab 編程鏈接到數(shù)據(jù)庫 15 在中文人名搜索引擎設(shè)計完成后，運 用 Matlab 編程鏈接到數(shù)據(jù)庫并檢測鏈接是否正常，程序見附錄 。應(yīng)該在表中經(jīng)常搜索的列或者按照順序訪問的列上創(chuàng)建聚簇索引。 其中純度是較好的測量方法，因此我們將采用純度進行聚類質(zhì)量的估計。 我們比較兩個向量之間的相似度采用 cosine 方法 .具體如下 : babasim??? （ 7） 其中， a,b 代表兩個文檔中不同的句子向量， 即不同的兩列； ba? 代表兩個向量的內(nèi)積； a 和 b 代表向量各自的長度。 那么 ,文檔集合可以表示為 ? ? ? ? ? ? ? ?},{ 21 xxx mdddxd ?? ， 其中 , xxj? 。 12 設(shè)定閾值 M1 ,若 Msim 11min ? ,則將其歸于 Ci 文檔類中 .并更改其 tj 的屬性標識為Ci 的屬性標識 ,補償一部分分類 。通過信息 嫡對知 識簡化 ,針 對網(wǎng)絡(luò) 文檔的 特點 ,得到 了關(guān)于 人物