navigatingtotextcategorization-展示頁(yè)
2024-08-01 16:32本頁(yè)面
【正文】 概率分布與其他詞語(yǔ)概率分布之間的相關(guān)性（即：都做了獨(dú)立性假設(shè)） ? 生成文檔模型的時(shí)候，都沒(méi)有考慮到詞在文檔中出現(xiàn)的位置等因素 ? 不同點(diǎn)： ? 可以理解為“權(quán)重”計(jì)算方式和表示方式不同 ? 詞袋模型的“權(quán)重”用概率表示，最后求出由詞生成文檔的概率； VSM模型的“權(quán)重”，可以看做是 tf,df的函數(shù)映射 分類器的劃分 (一 ) ? Generative classifier(產(chǎn)生式模型 or 生成式模型 ) ? Generative classifier learn a model of joint probability p(x,y),of the inputs x and the label y,and make their predictions by using Bayes rules to calculate p(y|x),and then picking the most likely label y ? Discriminative classifier （判別式模型） ? Discriminative classifier model the posterior p(y|x) directly,or learn a direct map from inputs s to the class labels 分類器的劃分（二） ? 仁者見(jiàn)仁，智者見(jiàn)智 ? Vapnik: One should solve the [classification] problem directly, and never solve a more general problem as an intermediate step[such as modeling p(x|y)] ? Ng Andrew$ Jordan: discriminative classifier比 generative classifier有更低的漸進(jìn)錯(cuò)誤率，但是generative classifier能更快地收斂到最低錯(cuò)誤；隨著樣本數(shù)目的增多， discriminative classifer 的performance會(huì) overtake generative classifier 分類器的劃分（三） 幾種常見(jiàn)的產(chǎn)生式模型 ? Gaussian distribution ? Gaussian mixture model ? Multinomial distribution ? Hidden Markov model ? Naive Bayes ? AODE ? Latent Dirichlet allocation 幾種常見(jiàn)的判別式模型 ? Linear discriminant analysis ? Support vector machines ? Boosting ? Conditional random fields ? Logistic regression ? Neural Networks 分類器的劃分與文檔模型劃分之間的關(guān)系（個(gè)人經(jīng)驗(yàn)） ? VSM 模型：一般用在判別式分類模型中，如 LR（對(duì)數(shù)回歸）， SVM（支持向量機(jī)） ? 詞袋子模型：一般用在生成式分類模型中，如樸素貝葉斯詞袋子模型也可以用在判別式模型中 ? 模型的參數(shù)估計(jì)： EM算法（ missing data likelihood） 特征詞選擇算法（一） ? 回顧文本分類的兩種模式 ? 有監(jiān)督特征詞選擇算法： ? 特點(diǎn)：依賴于類別信息 ? 具體方法有：信息增益（ IG），卡方 (Chi square),互信息（ point – wise MI） ,相對(duì)熵（ KL Divergence） ? 無(wú)監(jiān)督特征詞選擇
高考資料相關(guān)推薦
鄂ICP備17016276號(hào)-1