【文章內(nèi)容簡介】 應(yīng)先進行詞根還原。此外，有些詞雖然出現(xiàn)頻率很高，但對于查詢沒有任何幫助，比如“的”、“了”等，就無需放入索引，為此需要預(yù)備一個停用詞表（stop word list）對這類詞進行過濾。用戶輸入的查詢條件可以有多種形式，包括關(guān)鍵詞、布爾表達式、自然語言形式的描述語句甚至是文本，但如果把這些輸入僅當作關(guān)鍵詞去檢索，顯然不能準確把握用戶的真實信息需求。很多系統(tǒng)采用查詢擴展來克服這一問題。各種語言中都會存在很多同義詞，比如查“計算機”的時候，包含“電腦”的結(jié)果也應(yīng)一并返回，這種情況通常會采用查詞典的方法解決。但完全基于詞典所能提供的信息有限，而且很多時候并不適宜簡單地以同義詞替換方法進行擴展，因此很多研究者還采用相關(guān)反饋、關(guān)聯(lián)矩陣等方法對查詢條件進行深入挖掘。最簡單的檢索系統(tǒng)只需要按照查詢詞之間的邏輯關(guān)系返回相應(yīng)的文檔就可以了，但這種做法顯然不能表達結(jié)果與查詢之間的深層關(guān)系。為了把最符合用戶需求的結(jié)果顯示在前面，還需要利用各種信息對結(jié)果進行重排序。目前有兩大主流技術(shù)用于分析結(jié)果和查詢的相關(guān)性：鏈接分析和基于內(nèi)容的計算。許多研究者 發(fā)現(xiàn)，WWW 上超鏈結(jié)構(gòu)是個非常豐富和重要的資源，如果能夠充分利用的話，可以極大地提高檢索結(jié)果的質(zhì)量?；谶@種鏈接分析的思想，Sergey Brin 和Larry Page 在1998 年提出了PageRank 算法， 提出了HITS 算法，其它一些學(xué)者也相繼提出了另外的鏈接分析算法，如SALSA，PHITS，Bayesian等算法。這些算法有的已經(jīng)在實際的系統(tǒng)中實現(xiàn)和使用，并且取得了良好的效果。而基于內(nèi)容的計算則沿用傳統(tǒng)的文本分類方法，多采用向量空間模型、概率模型等方法來逐一計算用戶查詢和結(jié)果的相似度（相關(guān)性）。兩者各有優(yōu)缺點，而且恰好互補。鏈接分析充分利用了Web 上豐富的鏈接結(jié)構(gòu)信息，但它很少考慮網(wǎng)頁本身的內(nèi)容，而直觀上看，基于內(nèi)容的計算則較為深入地揭示了查詢和結(jié)果之間的語義關(guān)系，但忽略了不同網(wǎng)頁之間的指向關(guān)系，因此現(xiàn)在很多系統(tǒng)嘗試把兩者結(jié)合起來，以達到更好的性能。信息檢索技術(shù)的模型信息檢索模型可形式化地表示成為一個四元組 D, Q, F, R(qi,dj)，D是一個文檔集合，Q是一個查詢集合，F(xiàn)是一個對文檔和查詢建模的框架，R(qi,dj)是一個排序函數(shù)，它給查詢qi和文檔 dj 之間的相關(guān)度賦予一個排序值。、布爾模型所謂布爾檢索, 就是采用布爾代數(shù)的方法, 用布爾表達式表示用戶提問, 通過對文本標識與用戶給出的檢索式進行邏輯比較來檢索文本。設(shè)文本集D 中某一文本i, 該文本可表示為:Di =(t1 , t2, ?, tm),其中, t1 , t 2, ?, t m 為標引詞, 用以反映i 的內(nèi)容。另設(shè)用戶某一檢索式如下:Qj =(t1 ∧ t 2)∨(t3 ∧(t4)).對于該檢索式, 系統(tǒng)響應(yīng)并輸出的一組文本應(yīng)為: 它們都含有標引詞t1 和t2 , 或者含有標引詞t 3, 但不含有標引詞t 4。布爾檢索具有簡單、易理解、易實現(xiàn)等優(yōu)點, 故得到廣泛的應(yīng)用。1967年后, 布爾檢索模型正式被大型文獻檢索系統(tǒng)采用, 并漸成為各種商業(yè)性聯(lián)機檢索系統(tǒng)的標準檢索模式, 服務(wù)信息情報界30多年, 直到現(xiàn)在, 大多數(shù)商用檢索系統(tǒng)仍采用布爾檢索。盡管布爾檢索有著種種的優(yōu)點, 但是它的缺點仍然是明顯的, 它存在的主要缺陷有以下幾點。(1)布爾邏輯式的構(gòu)造不易全面反映用戶的需求。用標引詞的簡單組配不能完全反映用戶的實際需要, 用戶需要那一方面內(nèi)容的文本, 需要到多大程度, 這是檢索式無法表達清楚的, 如對上述檢索式, t1 和t2 , 究竟用戶希望能得到更多地反映t1 內(nèi)容的文本還是反映t2 內(nèi)容的文本, 傳統(tǒng)的布爾檢索無法 5 解決此問題。(2)匹配標準存在某些不合理的地方。例如, 在響應(yīng)某個用“∧”連接的檢索時, 系統(tǒng)把只含有其中一個或數(shù)個但非全部檢索詞的文本看作與那些根本不含有其中一個檢索詞的文本一樣差, 同樣加以排除。另一方面, 用響應(yīng)某個用“∨”連接的檢索式時, 系統(tǒng)都不能把含有所有這些檢索詞的文本看作比那些只含有其中一個檢索詞的文本更好一些。(3)檢索結(jié)果不能按照用戶定義的重要性排序輸出。系統(tǒng)檢索輸出的文本中, 排在第一位的文本不一定是文本集中最適合用戶需要的文本, 用戶只能從頭到尾瀏覽才能知道輸出文本中那些更適合自己的需要。針對于標準的布爾模型中文獻表達形式過于簡單、檢索條件過于嚴格而出現(xiàn)的問題，人們對其采取了擴充和修改，提出了擴展的布爾模型。如Salton 于1983年提出的一種所謂的擴展布爾檢索模型, 它是將向量檢索模型與布爾檢索模型融為一體, 并克服了傳統(tǒng)希爾模型的一些缺陷, 下面我們用矢量的方法來討論布爾檢索。設(shè)文本集中每篇文本僅由兩個標引詞t1 和t2 標引, 并且tt2允許賦以權(quán)值, 其權(quán)值范圍為[ 0, 1] , 權(quán)值越接近1, 說明該詞越能反映文本的內(nèi)容, 反之, 越不能反映文本的內(nèi)容, 在Salton 模型中, 上述情形用平面坐標系上某點代表某一文本和用戶給出的檢索式, 如圖：圖中的橫、縱坐標用tt2 表示, 其中A(0, 1)表示詞t1 權(quán)值為0, 詞t 2 權(quán)值為1 的文本, B(1, 0)表示詞t 1權(quán)值為1, 詞t 2 權(quán)值為0 的文本, C(1, 1)表示詞tt 2 的權(quán)值均為1 的文本, 文本集D 中凡是可以用tt 2 標引的文本可以用四邊形OACB 中某一點表示, 同樣, 用戶給出檢索式后, 也可用四邊形OACB 中某一點表示。下面我們來看看Salton 模型中是如何構(gòu)造相似度計算式的。對于由t1 和t2 構(gòu)成的檢索式q = t1 ∨ t2 , 在圖1中只有A、B、C 3點所代表的各文本才是最理想的文本, 對于某一文本D 來說, 當D 點離A、B、C 3點越接近時說明相似度越大，或者說，當D點離O點越遠時，相似度越大。因而D與O的距離DO =(d10)+(d20)22 =d1+d222 可以作為我們衡量一文本與查詢q 的相關(guān)程度的一個尺度, 顯然0 ≤ 2 , 為了使相似度控制在0 與1 之間, 將相似度定義為:d1+d222DO ≤sim(D, Q(t1 ∨ t2))= 與C 的距離DO(1)對于由t1 和t 2 構(gòu)成的查詢q = t1 ∧ t 2, 只有C 點才是最理想的文本, 用D =(1d1)+(1d2)22作為我們衡量一文本與查詢q 的相關(guān)程度的一個尺度, 于是, 把相似度定義為:(1d1)+(1d2)22sim(D, Q(t1 ∧ t2))= 1(2)(1)、(2)式還可推廣到對檢索標引詞進行加權(quán)的情形, 設(shè)檢索標引詞tt2 的權(quán)值分別為a, b,0 ≤ a, b ≤ 1, 則(1)式、(2)式可進一步推廣為:a(1d1)+b(1d2)2222sim(d, Q(t1 , a)∨(t2, b))= 1235。在文本信息檢索中, 布爾檢索不僅具有簡單、易理解等特點, 而且易于在計算機中加以實現(xiàn), 是一種最為常用的檢索方法。擴展的布爾模索模型——Salton 模型克服了傳統(tǒng)布爾模型的一些缺陷, 更符合了用戶的需要。、向量空間模型 向量空間模型是由Salton及其學(xué)生們在六十年代末到七十年代初提出并發(fā)展起來的。這一模型將給定的文本(文章、查詢或文章中的一段等)轉(zhuǎn)換成一個維數(shù)很高，由一系列關(guān)鍵詞組成的向量。模型并沒有規(guī)定關(guān)鍵詞如何定義，但是一般來說，關(guān)鍵詞可以是字，詞或者短語。假設(shè)我們用“詞”作為Term，那么在詞典中的每一個詞，都定義向量空間中的一維。如果一篇文檔包含這個詞，那么表示這個文檔的向量在這個詞所定義的維度上應(yīng)該擁有一個非0值。這個模型最大特點是可以方便地計算出任意兩個向量的近似程度，即向量所對應(yīng)的文本間的相似性。用信息檢索的術(shù)語來說，如果兩個向量是相近的，則其對應(yīng)的文本是語義相關(guān)的。將所有文獻和查詢以向量形式表示，則針對特定的查詢向量，比較它與所有文獻向量的相似度，并依相似度將文獻降序排列，這便是現(xiàn)代信息檢索系統(tǒng)中常用的方法。Salton及其學(xué)生們還根據(jù)向量空間模型實現(xiàn)了Smart系統(tǒng)。該系統(tǒng)在過去的30多年中，對信息檢索的研究有非常重要的影響。信息檢索的許多理論和技術(shù)(如自動索引、加權(quán)技術(shù)、相關(guān)反饋、文獻聚類等)都是在Smart上首先實現(xiàn)或測試的。假設(shè)表示文檔向量，而表示查詢向量，文檔與查詢的相關(guān)性可以用余弦距離表示如下：如果我們用進行歸一化，即令和表示和中的第i維的值，并且對每個文檔矢量，那么上式有可以表示為在此，究竟如何取值是一個重要的問題，其取值一般被稱為關(guān)鍵詞i在文檔D中的權(quán)重。目前，對關(guān)鍵詞權(quán)重的確定方法一般都需要獲取一些關(guān)于關(guān)鍵詞的統(tǒng)計量，而后根據(jù)這些統(tǒng)計量，應(yīng)用某種認為規(guī)定的計算公式來得到權(quán)重。最常用的統(tǒng)計量包括： tf，Term Frequency的縮寫，表示某個關(guān)鍵詞在某個文檔中出現(xiàn)的頻率。qtf，Query Term Frequency的縮寫。表示查詢中某關(guān)鍵詞的出現(xiàn)頻率。N，集合中的文檔總數(shù) df，Document Frequency的縮寫，表示文檔集合中，出現(xiàn)某個關(guān)鍵詞的文檔個數(shù)。 idf，Inversed Document Frequency的縮寫。dl，文檔長度 adl，平均文檔長度權(quán)重的計算：在向量空間模型下，構(gòu)造關(guān)鍵詞權(quán)重計算公式有三個基本原則：，那么這個詞應(yīng)該被認為越重要。，那么這個詞區(qū)分文檔的作用就越低，于是其重要性也應(yīng)當相應(yīng)降低。，那么其出現(xiàn)某個關(guān)鍵詞的次數(shù)可能越高，而每個關(guān)鍵詞對這個文檔的區(qū)分作用也越低，相應(yīng)的應(yīng)該對這些關(guān)鍵詞予以一定的折扣。早期的權(quán)重往往直接采用tf，但是顯然這種權(quán)重并沒有考慮上述第二條原則，因此在大規(guī)模系統(tǒng)中是不適用的。目前，常用的關(guān)鍵詞權(quán)重計算公式大多基于tf和df進行構(gòu)建，同時，一些較為復(fù)雜的計算公式也考慮了文檔長度。現(xiàn)簡要列舉如下：TFIDF得分。嚴格地說，TF/IDF得分并不特指某個計算公式，而是一個計算公式集合。其中TF與IDF都可以進行各種變換，究竟何種變換較能符合實際需求，需要由實驗和應(yīng)用來驗證。常見的變換方法有：其中，最后一個公式，即:被大量系統(tǒng)證明是最有效的。此外，較為常用的關(guān)鍵詞權(quán)重算法還包括Okapi權(quán)重和Pivoted Normalization 權(quán)重(PNW)。這些公式綜合考慮了查詢和文檔中的詞頻，以及文檔的長度。Okapi權(quán)重需要預(yù)設(shè)三個參數(shù)： k1， b, k3,在01000之間 而PNW則需要預(yù)設(shè)一個參數(shù)s。在經(jīng)典模型中，假設(shè)索引項是獨立的，或者說是正交的。這個假設(shè)極大地簡化了索引項權(quán)值的計算過程，盡管這一假設(shè)有時不符合自然語言的實際情況，但是在這個假設(shè)下，計算權(quán)值的過程簡單快捷，因而在目前很多實用的信息檢索模型中仍被廣泛采用。向量空間模型中索引項權(quán)重的算法提高了檢索的性能，改進了檢索效果，同時采用了部分匹配的策略和一定的相似度計算方法，使得模型可以根據(jù)結(jié)果文檔與檢索項的相似度進行排序，檢索出與用戶查詢要求接近的文檔，從而有效地控制返回文檔的數(shù)量和質(zhì)量，檢索的結(jié)果文檔集更接近用戶的檢索需求。但是事實上，在自然語言中，有些索引項是相互關(guān)聯(lián)的，比如當在一個文檔中看到“計算機”時，就非常有可能同時看到“科學(xué)”；而當在一個文檔中看到“土豆”時，看到“計算機”的可能性就很小。再比如：“王勵勤”“乒乓球”的出現(xiàn)不是獨立的。同時，該模型丟失了句法信息（如短語結(jié)構(gòu)、詞的順序等），而權(quán)重的計算需要利用整個文檔集合的信息。、概率模型由于信息檢索中文本信息的相關(guān)判斷的不確定性和查詢信息表示的模糊性，導(dǎo)致了人們用概率的方法解決這方面的問題。Maron和Kuhns在1960年提出了第一概率檢索模型；1976年Robertson和Sparck Jones等在此基礎(chǔ)上進行改進提出了第二概率檢索模型；之后，Turtle、Fuhr和Roberston又提出了統(tǒng)一化模型，即第三概率檢索模型，提高了文檔的排序精度。信息檢索的概率模型基于概率排序原則：對于給定的用戶查詢Q,對所有文本計算概率，并從大到小進行排序，概率公式為：P(R|D，Q)。其中，R表示文本D與用戶查詢Q相關(guān)。另外，用R’表示文本D與用戶查詢Q不相關(guān)，有：P(R|D，Q)+ P(R’|D，Q)= 1，也就是用二值形式判斷相關(guān)性。把文本用特征向量表示：x =(x1,x2,xn)。其中，N為特征項的個數(shù)，xi為0或者1，分別表示特征相i在文本中出現(xiàn)或不出現(xiàn)。在信息檢索中，估計參數(shù)是困難的，一般地并不直接地計算P，而是把計算P(R|di,qk)換為計算P(R|x,qk)，這樣處理略去了公式中與文本無關(guān)的特征項，計算的結(jié)果可能與實際不符。為了容易計算，現(xiàn)在假設(shè)包括相同特征項的文本，經(jīng)過計算后，它們的可能性是相同的。將所有文本按相關(guān)概率P進行排序，等價于所有文本按特征向量排序。一個文本D的概率相關(guān)性的計算為：第四篇：畢業(yè)設(shè)計論文畢業(yè)設(shè)計（論文）軟弱土地基處理對策研究劉建軍(建筑工程技術(shù) 專業(yè) 0730610256 湖北 黃石 435003)摘要：為充分利用土地資源，有必要對軟弱土地基進行處理。本文探討了軟弱土地基的特性，結(jié)合具體的工程實例比較分析了常用處理方法的特點及在工程中的應(yīng)用。關(guān)鍵詞：軟弱土地基；不均勻沉降；處理方法；應(yīng)用我國幅員遼闊，海岸線長，河流湖泊遍布，軟弱土地基分布廣泛。加之我國建筑業(yè)迅猛發(fā)展，原先的優(yōu)良地基由于建筑層數(shù)的增高，荷載的增大，也變?yōu)檐浫醯鼗?。因此，對軟弱地基處理的研究非常必要。本文將在前人的基礎(chǔ)之上進一步探討軟弱地基的特點，并結(jié)合工程實例總結(jié)地基處理的方法以及在工程中的應(yīng)用。軟弱地基的特點軟弱地基主要由淤泥、淤泥質(zhì)土、沖填土、雜填土或其他高壓縮性土構(gòu)成。其主要缺陷是承載力不足、地基變形過大。基礎(chǔ)底面以下，當土層的地基承載力低于持力層的1/3時，則該土層為軟弱下臥層。軟弱下臥層地基指受力層范圍內(nèi)存在軟弱地基土層的地基。原則上應(yīng)避免在軟弱地區(qū)進行工程建設(shè)，因為含水量較高，具有高壓縮性、流變性、滲透性差和抗剪強度低等特性。軟弱地基處理有提高地基的抗剪切強度、降低地基的壓縮性、改善地基的透水特性、改善地