k-means算法實(shí)現(xiàn)(編輯修改稿)
2024-10-22 17:21 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 Index(word)。//單詞下標(biāo)if(termIndex==1)continue。_termFreq[termIndex][i]=wordFreq。//單詞在第i份文檔中出現(xiàn)的頻率_docFreq[termIndex]++。//出現(xiàn)第termIndex單詞的文檔頻率加if(wordFreq_maxTermFreq[i])_maxTermFreq[i]=wordFreq。//記錄第i份文檔中的最大詞頻}}}voidTFIDFMeasure::GenerateTermWeight(){//計(jì)算每個(gè)單詞在每份文檔中的權(quán)重for(inti=0。i_numTerms。i++){for(intj=0。j_numDocsj++){_termWeight[i][j]=ComputeTermWeight(i,j)。}}}doubleTFIDFMeasure::GetTermFrequency(intterm,intdoc){intfreq=_termFreq[term][doc]。//詞頻intmaxfreq=_maxTermFreq[doc]。return((float)freq/(float)maxfreq)。}doubleTFIDFMeasure::ComputeTermWeight(intterm,intdoc){//計(jì)算單詞在文檔中的權(quán)重floattf=GetTermFrequency(term,doc)。floatidf=GetInverseDocumentFrequency(term)。returntf*idf。}doubleTFIDFMeasure::GetInverseDocumentFrequency(intterm){intdf=_docFreq[term]。//包含單詞term的文檔數(shù)目returnlog((float)(_numDocs)/(float)df)。} 分詞算法 為了便于使用不同的分詞算法，我們定義一個(gè)抽象的分詞算法接口，具體的分詞算法由用戶自行實(shí)現(xiàn)classITokeniser{public:virtualvoidPartition(stringinput,StrVecamp。retWords)=0。//分詞算法}。 這里只實(shí)現(xiàn)了一個(gè)最簡(jiǎn)單的空格符分詞算法：includeincludeTokeniser::Tokeniser(void){}Tokeniser::~Tokeniser(void){}voidTokeniser::Partition(stringinput,StrVecamp。retWords){//分詞算法，input為輸入串,retWords為處理后所分開的單詞,這里就簡(jiǎn)單化處理了，以空格符為分隔符進(jìn)行分詞transform((),(),(),tolower)。string::iteratorpos=()。StopWordsHandlerstopHandler。do{stringtemp。pos=find((),(),39。39。)。//找到分隔符copy((),pos,back_inserter(temp))。if(!(temp)){//不是停用詞則保存(temp)。//保存分出的單詞}if(pos==()){//最后一個(gè)單詞了break。}else{((),++pos)。}}while(pos!=())。} 停用詞處理 去掉文檔中無(wú)意思的詞語(yǔ)也是必須的一項(xiàng)工作,這里簡(jiǎn)單的定義了一些常見的停用詞，并根據(jù)這些常用停用詞在分詞時(shí)進(jìn)行判斷includestringstopWordsList[]={的,我們,要,自己,之,將,“
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1