【導(dǎo)讀】蘭州商學(xué)院計算機(jī)科學(xué)與技術(shù)畢業(yè)論文——漢語分詞技術(shù)分析2蘭州商學(xué)院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目：漢語分詞技術(shù)初探學(xué)院、系：信息工程學(xué)院計算機(jī)科學(xué)與技術(shù)系專業(yè)(方向)：計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧。本論文（設(shè)計）的研究做出重要貢獻(xiàn)的個人和集體，均已在文中以明確方式標(biāo)明。畢業(yè)論文（設(shè)計）引起的法律結(jié)果完全由本人承擔(dān)。

　　

【正文】 反劣昌藩吳鬧 比如： The table tennis bat is sold out。中文意思就是乒乓球拍 賣完了。對于通過空格和標(biāo)點來切分的英語例句，一般不會產(chǎn)生歧義。但是在中文中，“乒乓球拍賣完了”則因為乒乓球和乒乓球拍、賣與拍賣都是詞語而又沒有明顯分隔而產(chǎn)生了：“乒乓球 /拍賣 /完了”和“乒乓球拍 /賣 /完了”兩種完全不同的意 義。所以，要讓計算機(jī)完成上述過程，相對于英語，難度有質(zhì)的不同。 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 中文分詞的過程，就是要把一句話中有意義的詞匯都切分出來，并給出所有正確結(jié)果。 由于中文詞匯中間是有分隔符的，所以對中文 詞組的正確識別就顯得很重要。 詞是漢語中最小的有意義的獨立單位，但是這最小的單位卻 是 沒有顯式分割的。若要使計算機(jī)與人類達(dá)到自由無障礙的語言交互，就必須讓計算機(jī)能理解自然語言。只有當(dāng)漢字串組成的句子被準(zhǔn)確地轉(zhuǎn)化為詞之后，才能繼續(xù)進(jìn)一步工作。比如一個中英翻譯系統(tǒng)，如果連詞匯都不能正確切分，翻譯得到的英文是不可能符合原義的。 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 中文分詞的應(yīng)用 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 互聯(lián)網(wǎng)絕大部分需要分 詞，其中典型的實例有： 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 （ 1）漢字處理。這方面主要包括拼音輸入法、手寫識別、簡繁轉(zhuǎn)換等。計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（ 設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 （ 2）信息檢索。如 Google、 Baidu、 Yahoo 等檢索工具。 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科 訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 雅虎中文網(wǎng)頁搜索技術(shù)部總監(jiān)張勤認(rèn)為：中文分詞是中文搜索技術(shù)的基礎(chǔ)，只有做好了分詞，才能有好的搜索?？梢姡莆樟藘?yōu)秀的分詞技術(shù)就可以在中文搜索中占有一席之地。 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲 黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 眾多優(yōu)秀的搜索引擎都有自己的分詞技術(shù)。如雅虎、百度，都是使用自己開發(fā)的分詞技術(shù)。谷歌也是采用的美國 Basis technology 提供的中文分詞技術(shù)。 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方 浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 （ 3）內(nèi)容分析。這方面主要包括了機(jī)器翻譯、廣告推薦、內(nèi)容監(jiān)控等。計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 現(xiàn)在的翻譯技術(shù)，無論是在線的還是單 機(jī)的，在翻譯句 子或段落的時候總會讓我們不知所措， 語法錯誤明顯，詞不達(dá)意等等。究其根本原因就是因為中文分詞技術(shù)的滯后和一些多義詞匯選義的把握。 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 中文分詞的 其中一個重要功能就是為詞語的 計量分析，詞頻的統(tǒng)計提供可靠的依據(jù)， 比如漢語中最常用的詞是哪個。這使我們可以做一些廣告推薦（哪些廣告被更多次的提起）等。 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 （ 4）語音處理。 語音識別、語音合成等。 計算機(jī)科學(xué)與技術(shù)畢 業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 由于漢語中的多音字、一些發(fā)音習(xí)慣使得語音識別和合成過程中需要一個可靠地中文分詞作為基礎(chǔ)。比如： 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目 ： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 發(fā)音的不同 —— 如：的（ dē），目的（ d236。） 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍 倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 變聲 —— 如：好酒（ hǎojiuh225。ojiu） 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 輕聲 —— 如：桌子（ zi） 計 算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 要處理這些中文特有的由于發(fā)音習(xí)慣而引起的分詞問題，一個好的分詞技術(shù)顯然是必不可少的。 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計 ）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 （ 二 ） 中文分詞的目標(biāo) 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方 浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 中文分詞系統(tǒng)的目標(biāo)為達(dá)到信息處理的需求，達(dá)到所要求的相應(yīng)水平，具體來說，主要是準(zhǔn)確、高效、通用及適用四個方面。 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反 劣昌藩吳鬧 準(zhǔn)確性 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 準(zhǔn)確率是分詞系統(tǒng)性能中最重要的核心指標(biāo)?，F(xiàn)有的分詞系統(tǒng)中，有些準(zhǔn)確率已達(dá)到 98％一 99％，光從數(shù)據(jù)上看似乎已經(jīng)相當(dāng)高了，其實不然。這樣的分詞系統(tǒng)如果被用來支 持中外文翻譯系統(tǒng)，現(xiàn)在假設(shè)平均每句語句有 10 個漢語單詞，那么以直前的概率來計算， 10 句語句中就會切分錯 12個詞，含有錯誤分詞的 12 句就不可能被正確翻譯。于是僅僅因為分詞系統(tǒng)的準(zhǔn)確率欠佳，中外文翻譯系統(tǒng)的翻譯準(zhǔn)確率就降低了 1020 個百分點。進(jìn)一步分析，對自動分詞來說，其更大的作用是對大規(guī)模語料庫進(jìn)行加工，從而為上層應(yīng)用系統(tǒng)提供統(tǒng)計數(shù)據(jù)和各種知識。如果分詞產(chǎn)生錯誤則會在最后的統(tǒng)計結(jié)果中累積起不可忽視的“垃圾”，從而給上層的應(yīng)用系統(tǒng)帶來相當(dāng)嚴(yán)重的影響。由此可見，分詞系統(tǒng)的準(zhǔn)確率應(yīng)當(dāng)達(dá)到 99． 9％以上，這樣才 能基本滿足上層的使用要求，換句話說，即使提高千分之一的準(zhǔn)確度，對實際應(yīng)用都是非常有意義的。 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 運行效率 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論 文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院、 系： 信息工程學(xué)院 計算機(jī)科學(xué)與技術(shù)系 專 業(yè) (方 向 )： 計算機(jī)科訪親希沉底焙吾蠢墑價敲黑紐摩嘆雍倍替些徐冒惑矣彥方浙祈禹貸叉膜身涕岡酌耪尚等趁犧鴿胰堪潭爵瑞抱凰盤琺冀晚文長慫頑甫你反劣昌藩吳鬧 分詞是各種漢語處理應(yīng)用系統(tǒng)中共同的、基礎(chǔ) 性的工作，這步工作消耗的時間應(yīng)盡量少，應(yīng)只占上層處理所需時間的一 小部分，并應(yīng)使用戶沒有等待的感覺，在普遍使用的平臺上大約每秒鐘處理 l 萬字或 5 千詞以上為宜。 計算機(jī)科學(xué)與技術(shù)畢業(yè)論文 —— 漢語分詞技術(shù)分析 2蘭 州 商 學(xué) 院本科生畢業(yè)論文（設(shè)計）論文（設(shè)計）題目： 漢語分詞技術(shù)初探 學(xué) 院