navigatingtotextcategorization-wenkub.com
2025-07-14 16:32 本頁面
【正文】 cout平均 F值 avaFendl。 avaR/=()。 avaR+=(itsecond)[1]。//平均召回率 double avaF=0.。 coutFscore(itsecond)[2]endl。it!=()。 (F)。 double F=(*it,classifyResults,TestingCorpus)。 for(vectorstring::iterator it=()。//將 VSM ? 分詞模塊：頭文件中定義了一個指向指向類的成員函數(shù)的指針，分別指向兩種不同的切分模式。//將關(guān)聯(lián)表結(jié)構(gòu)反序列化到內(nèi)存 ? void SaveVSM(DOCMATRIXamp。//將詞典反序列化到內(nèi)存 ? void SaveContingencyTable(CONTINGENCYamp。 testingsetVSM,char*keywordsaddress)//為測試樣本集合建立 VSM模型 ? 序列化模塊 ? void SaveDictionary(DICTIONARYamp。//獲得訓練集中每一類所包含的文章 ID ? vectorstring GetClassification(string articleIds)。//最后的分類和聚類結(jié)果信息 編程思路 ? 操縱數(shù)據(jù)庫模塊 ? int ConstructDictionary(DICTIONARYamp。 重要數(shù)據(jù)結(jié)構(gòu)定義 ? typedef map string,vectorpairint,int DICTIONARY。 Fscore更接近于 p,r兩個數(shù)種較小的那個 文本分類以及預處理代碼實現(xiàn) 預處理算法處理框架圖 分類算法框架圖 KNN算法 ? KNN文本分類算法又稱為 (k nearest neighhor)。 ? 查全率 (recall) r=TP/(TP+FN)。但針對某一個具體類別來說，我們又可以這樣考慮：即有多少篇文章屬于該類？有多少篇文章不屬于該類？如果將屬于該類的文章定義為“正例”，不屬于該類別的文章定義為負例，那么就有了 查準率，查全率， Fscore等性能評估標準。（注：這是我個人的一點見地，如有偏頗的地方歡迎指正） ? 由此我們可以得出這樣的結(jié)論： IG法，卡方法，雖然有抑制高頻詞噪聲和低頻詞噪聲的能力，但是歸根結(jié)底，這兩種方法是基于頻率的 經(jīng)典 統(tǒng)計推斷，不能夠有效抑制全部高頻詞噪聲，如果要提高特征詞集合抑制高頻詞噪聲的能力，可能要求諸于貝葉斯 統(tǒng)計推斷。 2。 ? （摘自 李曉明 《 搜索引擎 — 原理、技術(shù)、與系統(tǒng) 》 ） DF、卡方、點對點互信息、信息增益法提取特征詞對比（四） DF、卡方、點對點互信息、信息增益法提取特征詞對比（五） ? 我的實驗結(jié)論： ? 評價一個特征詞是否是好詞，一個特征詞集合是否選擇的合理。訓練語料庫中每個類別 1000篇文章，共有 6000篇文章，測試語料庫中每個類別有 100篇文章，共有600篇文章。 其中 p(x)和 q(x)為兩個概率分布 ? 約定 0*log(0/q(x))=0。NAVIGATING TO TEXT CATEGORIZATION 文本分類初探 作者：領(lǐng)頭驢 ROAD OF MAP ? 特征詞選擇算法基礎(chǔ)知識 ? 幾種特征詞選擇算法效果驗證 ? 文本分類以及預處理代碼實現(xiàn) ? 程序調(diào)用 文本分類基礎(chǔ)知識 分類問題 (CATEGORIZATION)的兩種模式 ? 廣義分類問題的兩種定義 ? 監(jiān)督學習（ Supervised Learning） ? 非監(jiān)督學習 (Unsupervised Leaning)
高考資料相關(guān)推薦
鄂ICP備17016276號-1