【導讀】文比之英文要復雜的多、困難的多。中文分詞技術產生的因為是中文在基本文法。2．在中文里，“詞”和“詞組”邊界模糊?，F代漢語的基本表達單元雖然為“詞”，別，單詞之間的空格就很清楚，中文分詞方法可以幫助判別英文單詞的邊界。新詞識別準確率已經成為。評價一個分詞系統(tǒng)好壞的重要標志之一。詞法和基于統(tǒng)計的分詞法。按照是否與詞性標注過程相結合，又可以分為單純分。其基本思想就是在分詞的同時進行句法、語義分析，利用句法信息和語。同時出現的次數越多，就越有可能構成一個詞。率能夠較好的反映成詞的可信度。引擎來說，分詞的準確性和速度，二者都需要達到很高的要求。將分詞過程看作是字的分類問題。詞中、詞尾和單獨成詞，那么，每個字歸屬一特定的詞位。

　　

【正文】 漢字，最小是 0XB0 { s+=temp1[0]。 infile2temp1[1]。 s+=temp1[1]。 } else { s=。 continue。 } wordnum[s]++。//對應字頻加 1 outfile2sendl。//初步處理后的結果 ，換 行方便后面使用 s=。 } } void sort1()//調用優(yōu)先隊列進行排序，默認為從大到小 { for(mapstring,int::iterator iter=()。iter!=()。iter++) { (make_pair(itersecond,iterfirst))。 } } void output()//輸出統(tǒng)計結果 ，已添加未登 錄字 { pairint,stringtmp。 while(!()) { tmp=()。 ()。 outfile1endl。 } } void chdic()//分詞處理 { ifstream infile3,infile4。 (,ios::in)。//查找字典字典 if(!infile3) { cerropen error!endl。 exit(1)。 } (,ios::in)。//中間文件，已出去標點等，待切分 if(!infile4) { cerropen error!endl。 exit(1)。 } vectorstringarr1,arr2。//利用容器存儲數據 string text=。//存儲待處理文本 string word=。//中間量 while(getline(infile4,word))//要分詞語料的讀入 { text+=word。 } word=。 while(getline(infile3,word))//讀入查找字典 { (word)。 } //正向最大匹配算法部分 string temp1=text。//存儲中間結果 string temp2=temp1。//頭指針 int p1=0。 while(()!=0)//字符串長度不為 0 時，分詞 { for(int i=()。i=0。i=2) { if(find((),(),temp1)!=())// 找到，則在其后添加 /，調整指針 { temp1+=/。 (temp1)。 p1=i。 break。 } else//去掉最 右邊的字 { temp1=(0,i2)。 } } temp2=(p1)。//指向切分后的語料 temp1=temp2。 } for(vectorstring::iterator iter=()。iter!=()。++iter) { //cout*iter。 outfile3*iter。 } outfile3endl。 } int main() { init()。//初始化文本 double t。 t=start()。//計時 count()。 //統(tǒng)計漢字個數 sort1()。 //排序 output()。 chdic()。 close()。 end(t)。 //計時 結束 system(pause)。 return 0。 } 二） 結果 演示： （三） 對錯原因： 。 。 算法本身有缺陷。 ，及編程過程的簡化處理。 。 （四） 提高： 。 。 FMM 算法與其他算法想結合的分詞方法。 。 五， 對本門課的感想、意見和建議 （一） 感想： 《 自然語言理解》這門課的學習， 我明白了自然語言理解是： 計算機理解人類的自然語言的研究方法和研究結果 。同時，我也 中文分詞有了初步的理解，理解了中文分詞產生的背景以及其廣闊的應用領域。 ，我對 FMM 算法等有了一些初步的認識，明白了該算法的利弊。 3.《自然語言理解》作為一門新興的課程，利用計算機來理解人類語言，是人工智能等研究領域的基礎。 ，我也對：詞法分析、機器翻譯、語言模型等知識有所理解。 ，學以致用 —— 雖然自然語言理解的課程短暫，但我們的學習不能局限于 課堂學習，在學習之余我們還有很多事可以做，比如可以繼續(xù)完善我們的分詞系統(tǒng)，并利用分詞系統(tǒng)來處理實際生活中的語料，通過對實際語料的處理、分析，將其應用于相關的實際中，在實際訓練中提高自我。 （二） 意見： ，理論知識學得不是很多，尤其是在實際做實驗的時候，剛開始無從下手。 ，課堂講解更應從實際出發(fā)，循序漸進引出中文分詞及自然語言理解的由來，以及其中涉及的一些技術。 ，由于課時少以及對有些知識理解不夠，不能對所學知識形成體系。 （三） 建議： 望課時能有所增加，這樣我們對理論知識的理解會更加透徹。 ，希望老師在授課手法上能夠進一步創(chuàng)新，可以采用小組學習方式，在課程之初給每個小組一個選題，組員合作共同完成工程報告 。在授課過程中，可以結合每個小組工作情況，對癥下藥，講解理論知識。 ，一方面是自身編程能力有限，另一方面我們一直習慣于有實驗指導書，希望老師能夠編寫電子版實驗指導書，同時在知道書中，就一些重難點、創(chuàng)新點方面給予引導。