文本挖掘算法總結(jié)(編輯修改稿)
2025-07-26 13:57 本頁面
【文章內(nèi)容簡介】 定為認(rèn)知規(guī)則。醫(yī)學(xué)證明，人眼的視網(wǎng)膜、脊髓和海馬中存一種側(cè)抑制現(xiàn)象，即，當(dāng)一個(gè)神經(jīng)細(xì)胞興奮后，會(huì)對其周圍的神經(jīng)細(xì)胞產(chǎn)生抑制作用。這種側(cè)抑制使神經(jīng)細(xì)胞之間呈現(xiàn)出競爭，開始時(shí)可能多個(gè)細(xì)胞同時(shí)興奮，但一個(gè)興奮程度最強(qiáng)的神經(jīng)細(xì)胞對周圍神經(jīng)細(xì)胞的抑制作用也最強(qiáng)，其結(jié)果使其周圍神經(jīng)細(xì)胞興奮程度減弱，從而該神經(jīng)細(xì)胞是這次競爭的“勝者”，其它神經(jīng)細(xì)胞在競爭中失敗。1981年芬蘭學(xué)者kohonen提出一個(gè)稱為自組織特征映射（Self Organization Feature MapSOM或SOFM）網(wǎng)絡(luò)，前述大腦神經(jīng)細(xì)胞興奮規(guī)律等，在該網(wǎng)絡(luò)中都得到了反應(yīng)。在競爭層神經(jīng)元之間的連線，它們是模擬生物神經(jīng)網(wǎng)絡(luò)層內(nèi)神經(jīng)元相互抑制現(xiàn)象的權(quán)值，這類抑制性權(quán)值滿足一定的分布關(guān)系，如距離近的抑制強(qiáng)，距離遠(yuǎn)的抑制弱。通過上述可知，SOM聚類算法設(shè)計(jì)的核心思想是體現(xiàn)神經(jīng)元在認(rèn)知過程中的3個(gè)特性：（1）根據(jù)樣本比較，逐步積累、不斷修正、漸近穩(wěn)定特性？（2）神經(jīng)元之間的側(cè)抑由近到遠(yuǎn)、逐步衰弱制特性？（3）神經(jīng)元興奮區(qū)域隨認(rèn)知次數(shù)逐步縮小范圍特性？BIC采用歐氏距離作為輸入模式Xi與各輸出神經(jīng)元Wj之間的相似度，選擇具有最小距離的神經(jīng)元為興奮神經(jīng)元；采用（1ti/tm）作為學(xué)習(xí)衰減函數(shù)，其中ti 為當(dāng)前學(xué)習(xí)次數(shù)（第幾次樣本訓(xùn)練），tm 為總的學(xué)習(xí)數(shù)，以此來體現(xiàn)上述特性“1”； 采用（1ti/T）、C/Wij作為神經(jīng)元側(cè)抑制函數(shù)，其中C為設(shè)定的常數(shù)、Wij為被選中的神經(jīng)元與其他神經(jīng)元最遠(yuǎn)距離，來體現(xiàn)上述特性“2”、“3”。解決問題：將n條記錄按m個(gè)輸出神經(jīng)元聚成m個(gè)分類。模仿人類的學(xué)習(xí)方法，對事物的認(rèn)識(shí)是一個(gè)由淺入深、逐步學(xué)習(xí)、修正的過程，將對各種要素組態(tài)的認(rèn)識(shí)逐步穩(wěn)定到認(rèn)知領(lǐng)域，由此進(jìn)行“聚類”?；贛eaning的文本相似度計(jì)算算法概述：給出一組n個(gè)文檔D{}，BIC為每個(gè)文檔計(jì)算出一組最具有代表性的詞組，同時(shí)，計(jì)算出相互間內(nèi)容接近度及接近序列。BIC的Meaning挖掘與自動(dòng)搜索不同于現(xiàn)有Baidu、Google人工輸入關(guān)鍵詞的搜索方式，現(xiàn)有搜索引擎不考慮語義和語境，只考慮詞W與文檔D的包含關(guān)系和詞在文檔內(nèi)的頻數(shù)TF，因此，關(guān)鍵詞的搜索與文檔內(nèi)容無關(guān)。例如：“姚明”是中國籃球的驕傲，但“姚明”還投身于公益事業(yè)，如果在搜索引擎中輸入“姚明”，不見得搜索的文檔內(nèi)容只包含與籃球相關(guān)的內(nèi)容，還可能包括公益及其他包含“姚明”的文檔，可見，關(guān)鍵詞搜索具有不確定性。如果在搜索引擎輸入一組詞 {“姚明”、“得分”、“籃板”}，搜出文檔是籃球比賽內(nèi)容的概率更大，顯然 ，形成的交集縮小了搜索范圍，但組詞 {“姚明”、“得分”、“籃板”}是經(jīng)過人思考給出的。BIC通過計(jì)算得出文檔代表詞組，相當(dāng)于人工輸入 {“姚明”、“得分”、“籃板”}，同時(shí)計(jì)算詞在句子中語序關(guān)系的發(fā)生概率與馬爾科夫鏈，因此，能夠更好地確定搜索詞的語義和語境，通過對文檔間的相關(guān)性（接近度）進(jìn)行聚類計(jì)算，可按Meaning“接近度”進(jìn)行自動(dòng)搜索而無需人工干預(yù)，并隨文檔內(nèi)容的變化而自動(dòng)跟蹤Meaning變化，使搜索更加準(zhǔn)確、更加自動(dòng)化，讓搜索“隨用戶的心而動(dòng)”。BIC可用于基于Meaning計(jì)算的搜索、輿情分析、特定情報(bào)分析、垂直搜索和相似內(nèi)容推薦等文本挖掘。解決問題：計(jì)算兩個(gè)文本的相似度。文本模糊聚類計(jì)算算法概述：基于模糊聚類算法，BIC首先計(jì)算將n個(gè)文本組成相似矩陣（第i個(gè)文本文檔對第j個(gè)文本文檔的相似度），然后將相似矩陣變成模糊相似矩陣，通過求模糊相似矩陣160
教學(xué)教案相關(guān)推薦
鄂ICP備17016276號(hào)-1