【正文】 低的詞之后，剩下的詞相對(duì)就比較少了，對(duì)提升算法的速度有很大的幫助。 當(dāng)然對(duì)于某些算法，不使用降維直接對(duì)空間向量進(jìn)行計(jì)算，效果也不一定會(huì)很差，但是對(duì)于絕大多數(shù)算法，運(yùn)用降維之后處理還是方便一些。 舉例2：在總語(yǔ)料庫(kù)中，含有地球的文章數(shù)量為100，總文章數(shù)為100000，那么地球這個(gè)詞的反文檔頻率為：IDF=lg(100000/100)=3 。Wn），其中Wi為某個(gè)詞/短語(yǔ)的權(quán)值。然后通過(guò)比較向量之間的相似度，或者通過(guò)分析向量之間的差別來(lái)進(jìn)行文本的識(shí)別。這樣分類器就形成了、文本分類，分類（測(cè)試）階段的主要過(guò)程（1） 對(duì)于某個(gè)等待分類的文本，先對(duì)該文本進(jìn)行分詞形成空間向量，然后根據(jù)分類器采用的規(guī)則判斷該文本屬于訓(xùn)練集中的哪一類。（2） 文本集合Cm={S1,S2,也就是說(shuō)，在試驗(yàn)的過(guò)程中，盡可能減少人的主觀性思維，盡量避免實(shí)驗(yàn)者的主觀因素去影響試驗(yàn)結(jié)果，力求結(jié)果的可靠性、可認(rèn)證性?？傮w來(lái)書(shū)，中文文本分類還處于在試驗(yàn)研究階段，正確分類率約為60%~90%，目前已經(jīng)在國(guó)內(nèi)受到重視，相關(guān)的學(xué)術(shù)研究成果也層出不窮，相信不久以后，文本分類將涉及到中文的各個(gè)領(lǐng)域，發(fā)揮自己的一技之長(zhǎng)。如果將文本分類引擎引入綠色上網(wǎng)功能中，對(duì)用戶要訪問(wèn)的內(nèi)容事先進(jìn)行分析，去除沒(méi)有用的垃圾信息，就可以為用戶帶來(lái)很多方便。不僅耽誤時(shí)間，而且不能實(shí)現(xiàn)分布式管理，如果由多人進(jìn)行這項(xiàng)工作，很可能導(dǎo)致意見(jiàn)不同而導(dǎo)致糾紛等等。t identify the real text, essentially understand only 0, 1, so if you want to categorize text, first of all, allow the puter to read each article, introduction of text vector space, said the article in the formation of key space vector, vector by calculation, the gap between to classify. Second, Text feature dimension reduction: due to the hundreds of thousands of Chinese vocabulary, then form the text vector is also very long, calculate it will be very trouble, so want to deal with vector. Third,Text classifier design: text classification method for example: KNN, naive bayes, the SVM and the decision tree, BP neural network, using these design classifier algorithm, to process the text vector, the relationship between the implementation of text categorization. Finally, the text classification used in many fields, such as: information filtering, document management, network security, electronic books and network library, search engine, it is not by keyword filtering, but based on text content filter or search, can greatly improve the accuracy of the reliability of the filter and search, no doubt make a significant breakthrough in the field of textKey words: text vector。 完成任務(wù)后提交的書(shū)面材料要求(圖紙規(guī)格、數(shù)量，論文字?jǐn)?shù)，外文翻譯字?jǐn)?shù)等)提交畢業(yè)論文 提交設(shè)計(jì)和實(shí)現(xiàn)的系統(tǒng)軟件源程序及有關(guān)數(shù)據(jù) 提交外文資料翻譯的中文和原文資料 主要參考文獻(xiàn)：自然語(yǔ)言處理與信息檢索共享平臺(tái)：Svm(支持向量機(jī))算法：基于神經(jīng)網(wǎng)絡(luò)的中文文本分析（趙中原）：TFIDF的線性圖解：東南大學(xué)向量降維文獻(xiàn)： 指導(dǎo)教師 相明 接受設(shè)計(jì)(論文)任務(wù)日期 20130221~20130620 學(xué)生簽名： 西 安 交 通 大 學(xué)畢業(yè)設(shè)計(jì)(論文)考核評(píng)議書(shū) 院 系(專業(yè)) 班級(jí) 指導(dǎo)教師對(duì)學(xué)生 所完成的課題為 的畢業(yè)設(shè)計(jì)(論文)進(jìn)行的情況，完成的質(zhì)量及評(píng)分的意見(jiàn)： 指導(dǎo)教師 年 月 日 畢業(yè)設(shè)計(jì)(論文)評(píng)審意見(jiàn)書(shū) 評(píng)審意見(jiàn)： 評(píng)閱人 職稱 年 月 日 畢業(yè)設(shè)計(jì)(論文)答辯結(jié)果 院 系(專業(yè)) 畢業(yè)設(shè)計(jì)(論文)答辯組對(duì)學(xué)生 所完成的課題為 的畢業(yè)設(shè)計(jì)(論文)經(jīng)過(guò)答辯,其意見(jiàn)為