【正文】 搜索引擎：信息檢索實(shí)踐 機(jī)械工業(yè)出版社2010年。2007年【3】 梁斌。一個(gè)基于詞典與統(tǒng)計(jì)的中文分詞算法[D]?！緟⒖嘉墨I(xiàn)】【1】 吳勝遠(yuǎn)。判斷一個(gè)系統(tǒng)的中文分詞功能好壞,主要在于消歧功能和對未登錄詞識(shí)別功能。即使這項(xiàng)工作可以完成，還是會(huì)存在問題，例如：在句子“張三虎頭虎腦的”中，“張三虎”還能不能算詞？新詞中除了人名以外，還有機(jī)構(gòu)名、地名、產(chǎn)品名、商標(biāo)名、簡稱、省略語等，還有目前網(wǎng)絡(luò)流行語詞，如“有沒有”、“傷不起”“神馬浮云”、“童鞋們”、“蘿莉”等等都是很難處理的問題，而且這些又正好是人們經(jīng)常使用的詞，因此對于搜索引擎來說，分詞系統(tǒng)中的新詞識(shí)別十分重要。最典型的是人名，人可以很容易理解句子“張三虎是山東人”中，“張三虎”是個(gè)詞，因?yàn)槭且粋€(gè)人的名字，但要是讓計(jì)算機(jī)去識(shí)別就困難了。（二）新詞專業(yè)術(shù)語稱為未登錄詞。真歧義意思是給出一句話，由人去判斷也不知道哪個(gè)應(yīng)該是詞，哪個(gè)應(yīng)該不是詞。例如，在句子“這個(gè)門把手壞了”中，“把手”是個(gè)詞，但在句子“請把手拿開”中，“把手”就不是一個(gè)詞；在句子“將軍任命了一名中將”中，“中將”是個(gè)詞，但在句子“產(chǎn)量三年中將增長兩倍”中，“中將”就不再是詞。像這種交叉歧義十分常見由于沒有人的知識(shí)去理解，計(jì)算機(jī)很難知道到底哪個(gè)方案正確。例如：學(xué)歷史知識(shí)，因?yàn)椤皩W(xué)歷”和“歷史”都是詞，那么這個(gè)短語就可以分成“學(xué)歷”和“歷史”。所以，分詞與這些信息的運(yùn)用是既相聯(lián)系又相制約的一種相輔相成的關(guān)系，而純粹的機(jī)械切分必然會(huì)帶來切分歧義。（一）切分歧義就人對漢語的理解而言，漢語的分詞是一個(gè)理解的過程，這個(gè)過程綜合了詞法、語法、語義等各種信息。中文是一種十分復(fù)雜的語言，讓計(jì)算機(jī)理解中文語言更是困難。筆者了解，海量科技的分詞算法就采用“復(fù)方分詞法”，所謂復(fù)方，相當(dāng)于用中藥中的復(fù)方概念，即用不同的藥才綜合起來去醫(yī)治疾病，同樣，對于中文詞的識(shí)別，需要多種算法來處理不同的問題。到底哪種分詞算法的準(zhǔn)確度更高，目前并無定論。（四）一種新的分詞方法并行分詞方法：這種分詞方法借助于一個(gè)含有分詞詞庫的管道進(jìn)行 ,比較匹配過程是分步進(jìn)行的 ,每一步可以對進(jìn)入管道中的詞同時(shí)與詞庫中相應(yīng)的詞進(jìn)行比較 ,由于同時(shí)有多個(gè)詞進(jìn)行比較匹配 ,因而分詞速度可以大幅度提高。由于漢語語言知識(shí)的籠統(tǒng)、復(fù)雜性，難以將各種語言信息組織成機(jī)器可直接讀取的形式。在總控部分的協(xié)調(diào)下，分詞子系統(tǒng)可以獲得有關(guān)詞、句子等的句法和語義信息來對分詞歧義進(jìn)行判斷。它的優(yōu)點(diǎn)在于可以發(fā)現(xiàn)所有的切分歧義并且容易將新詞提取出來。它不依靠詞典,而是將文章中任意兩個(gè)字同時(shí)出現(xiàn)的頻率進(jìn)行統(tǒng)計(jì),次數(shù)越高的就可能是一個(gè)詞。全切分算法能取得所有可能的切分形式，它的句子覆蓋率和分詞覆蓋率均為100%，但全切分分詞并沒有在文本處理中廣泛地采用。（1）全切分全切分要求獲得輸入序列的所有可接受的切分形式，而部分切分只取得一種或幾種可接受的切分形式，由于部分切分忽略了可能的其他切分形式，所以建立在部分切分基礎(chǔ)上的分詞方法不管采取何種歧義糾正策略，都可能會(huì)遺漏正確的切分，造成分詞錯(cuò)誤或失敗。（二）全切分和基于詞的頻度統(tǒng)計(jì)的分詞方法基于詞的頻度統(tǒng)計(jì)的分詞方法是一種全切分方法。一種方法是改進(jìn)掃描方式，稱為特征掃描或標(biāo)志切分，優(yōu)先在待分析字符串中識(shí)別和切分出一些帶有明顯特征的詞，以這些詞作為斷點(diǎn)，可將原字符串分為較小的串再來進(jìn)機(jī)械分詞，從而減少匹配的錯(cuò)誤率。但這種精度還遠(yuǎn)遠(yuǎn)不能滿足實(shí)際的需要。一般說來，逆向匹配的切分精度略高于正向匹配，遇到的歧義現(xiàn)象也較少。還可以將上述各種方法相互組合，例如，可以將正向最大匹配方法和逆向最大匹配方法結(jié)合起來構(gòu)成雙向匹配法。例如切分字段“碩士研究生產(chǎn)”，正向最大匹配法的結(jié)果會(huì)是“碩士研究生 / 產(chǎn)”，而逆向最大匹配法利用逆向掃描，可得到正確的分詞結(jié)果“碩士 / 研究 / 生產(chǎn)”。所以，逆向最大匹配法比正向最大匹配法的誤差要小。然后，根據(jù)逆序詞典，對逆序文檔用正向最大匹配法處理即可。相應(yīng)地，它使用的分詞詞典是逆序詞典，其中的每個(gè)詞條都將按逆序方式存放。（2）逆向最大匹配法(Recerse MaximumMatching Method))通常簡稱為ＲＭＭ法ＲＭＭ法的基本原理與ＭＭ法相同 ,不同的是分詞切分的方向與MM法相反，而且使用的分詞辭典也不同。如果詞典中找不到這樣的一個(gè)i字詞，則匹配失敗，將匹配字段中的最后一個(gè)字去掉，對剩下的字串重新進(jìn)行匹配處理…… 如此進(jìn)行下去，直到匹配成功，即切分出一個(gè)詞或剩余字串的長度為零為止。常用的幾種機(jī)械分詞方法如下：（1）最大正向匹配法(MaximumMatching Method)通常簡稱為ＭＭ法其基本思想為：假定分詞詞典中的最長詞有i個(gè)漢字字符，則用被處理文檔的當(dāng)前字串中的前i個(gè)字作為匹配字段，查找字典。(一)基于字典、詞庫匹配的分詞方法這種方法又叫做機(jī)械分詞方法，它是按照一定的策略將待分析的漢字串與一個(gè)“充分大的”機(jī)器詞典中的詞條進(jìn)行配，若在詞典中找到某個(gè)字符串，則匹配成功（識(shí)別出一個(gè)詞）。而且中文分詞的準(zhǔn)確度，對搜索引擎結(jié)果相關(guān)性和準(zhǔn)確性有相當(dāng)大的關(guān)系。中文分詞到底對搜索引擎有多大影響？對于搜索引擎來說，最重要的并不是找到所有結(jié)果，因?yàn)樵谏习賰|的網(wǎng)頁中找到所有結(jié)果沒有太多的意義，沒有人能看得完，最重要的是把最相關(guān)的結(jié)果排在最前面，這也稱為相關(guān)度排序。三、中文分詞與搜索引擎分詞技術(shù)使用在搜索引擎網(wǎng)頁預(yù)處理階段。把中文的漢字序列切分成有意義的詞，就是中文分詞，有些人也稱為切詞。例如，英文句子I am a student，用中文則為：“我是一個(gè)學(xué)生”。二、什么是中文分詞？中文分詞技術(shù)就是搜索引擎針對用戶提交查詢的關(guān)鍵串進(jìn)行的查詢處理后，根據(jù)用戶的關(guān)鍵詞串用各種匹配方法進(jìn)行的一種技術(shù)。一、為什么要進(jìn)行分詞？漢語是世界上最古老和最豐富的語言之一，但是漢語語法才有將近一百年的歷史，而且現(xiàn)代漢語白話文的形成歷史也比較短，加上漢語自身的特點(diǎn)，因此它的形式化研究更加困難。目前在中文搜索引擎領(lǐng)域，國內(nèi)的搜索引擎已經(jīng)和國外的搜索引擎效果上相差不遠(yuǎn)。其中對搜索信息的預(yù)處理階段的關(guān)鍵技術(shù)是中文分詞和建立倒排文件，本文主要論述搜索引擎工作過程中的中文自動(dòng)分詞技術(shù)。參考文獻(xiàn)[1]邵源,鐘炬,1999(9).[2]徐平平,1999(4).[3].[4]周世煒,張紹卿,1999(8).[5],2000(1).[6]邱玉春,1998:6(48).第五篇：信息檢索論文論搜索引擎中文自動(dòng)分詞技術(shù)【摘要】搜索引擎是應(yīng)用在web上的軟件系統(tǒng)，它以一定的策略搜集和發(fā)現(xiàn)信息，再對信息進(jìn)行處理和組織后為用戶提供web信息查詢服務(wù)。配變集中器、軟件只作了一個(gè)方案性的設(shè)計(jì)。顯然本文所做的工作還離這一目標(biāo)有相當(dāng)長的一段距離。具有低壓擴(kuò)頻載波數(shù)據(jù)遠(yuǎn)傳功能的用戶電能表終端和配變集中器是構(gòu)成本文所提出的遠(yuǎn)程抄表方案的核心裝置。采用新的遠(yuǎn)程抄表技術(shù)來改善用電治理和電能營銷的裝備水平、優(yōu)化電能市場服務(wù)的技術(shù)手段是供電企業(yè)最緊迫的需求。工作電壓：AC165～260V；用戶電能表功耗：待機(jī)時(shí)≤200mW，發(fā)送數(shù)據(jù)時(shí)≤700mW，發(fā)送時(shí)間≤25ms，接收靈敏度≤2mW；讀數(shù)準(zhǔn)確度：計(jì)數(shù)精度達(dá)到小數(shù)點(diǎn)后兩位，用戶電能表讀數(shù)與標(biāo)準(zhǔn)電能表的誤差不大于1個(gè)字()；抄表成功率：；戶表采集器的性能指標(biāo)如下：依照CEBus標(biāo)準(zhǔn)編制的程序，在傳輸過程中，沒有發(fā)現(xiàn)誤碼的存在。其中，用電采集程序可以進(jìn)行定時(shí)統(tǒng)抄、不定時(shí)統(tǒng)抄及單用戶隨時(shí)查抄；用電量可按地址統(tǒng)計(jì)，也可按相位統(tǒng)計(jì)，以便合理地調(diào)整配電變壓器A、B、C三相負(fù)載的配置，使供電系統(tǒng)的性能發(fā)揮得更好；在電費(fèi)結(jié)算時(shí)，可通過分時(shí)計(jì)費(fèi)，合理定價(jià)，使負(fù)載基本恒定；電表參數(shù)、用電信息可送到用戶終端，從而非常方便地修改電能表參數(shù)，顯示用戶的用電量及結(jié)算電費(fèi)；欠費(fèi)警告及斷電控制功能可督促用戶按時(shí)交費(fèi)；不安全和違章用電監(jiān)視報(bào)警功能可使用電監(jiān)察人員迅速準(zhǔn)確地維護(hù)用電秩序；日報(bào)表、月報(bào)表、年報(bào)表的形成和輸出方便而快捷。另外，電話線Modem還可以將營業(yè)站用電治理主機(jī)與電費(fèi)托收銀行聯(lián)機(jī)。營業(yè)站抄算主機(jī)主要由PC機(jī)、電話線Modem及其軟件構(gòu)成。上行和下行數(shù)據(jù)要經(jīng)過工控機(jī)的處理，并在不需要數(shù)據(jù)通信的時(shí)候儲(chǔ)存在工控機(jī)的磁盤中。在配變集中器內(nèi)設(shè)置電能表模塊便于對每一相的總電量進(jìn)行計(jì)量和統(tǒng)計(jì)分析，以作為用電治理部門考核線損和平衡3