文本挖掘算法總結(jié)(編輯修改稿)
2025-07-26 13:57 本頁面
【文章內(nèi)容簡介】 定為認知規(guī)則。醫(yī)學證明，人眼的視網(wǎng)膜、脊髓和海馬中存一種側(cè)抑制現(xiàn)象，即，當一個神經(jīng)細胞興奮后，會對其周圍的神經(jīng)細胞產(chǎn)生抑制作用。這種側(cè)抑制使神經(jīng)細胞之間呈現(xiàn)出競爭，開始時可能多個細胞同時興奮，但一個興奮程度最強的神經(jīng)細胞對周圍神經(jīng)細胞的抑制作用也最強，其結(jié)果使其周圍神經(jīng)細胞興奮程度減弱，從而該神經(jīng)細胞是這次競爭的“勝者”，其它神經(jīng)細胞在競爭中失敗。1981年芬蘭學者kohonen提出一個稱為自組織特征映射（Self Organization Feature MapSOM或SOFM）網(wǎng)絡(luò)，前述大腦神經(jīng)細胞興奮規(guī)律等，在該網(wǎng)絡(luò)中都得到了反應(yīng)。在競爭層神經(jīng)元之間的連線，它們是模擬生物神經(jīng)網(wǎng)絡(luò)層內(nèi)神經(jīng)元相互抑制現(xiàn)象的權(quán)值，這類抑制性權(quán)值滿足一定的分布關(guān)系，如距離近的抑制強，距離遠的抑制弱。通過上述可知，SOM聚類算法設(shè)計的核心思想是體現(xiàn)神經(jīng)元在認知過程中的3個特性：（1）根據(jù)樣本比較，逐步積累、不斷修正、漸近穩(wěn)定特性？（2）神經(jīng)元之間的側(cè)抑由近到遠、逐步衰弱制特性？（3）神經(jīng)元興奮區(qū)域隨認知次數(shù)逐步縮小范圍特性？BIC采用歐氏距離作為輸入模式Xi與各輸出神經(jīng)元Wj之間的相似度，選擇具有最小距離的神經(jīng)元為興奮神經(jīng)元；采用（1ti/tm）作為學習衰減函數(shù)，其中ti 為當前學習次數(shù)（第幾次樣本訓(xùn)練），tm 為總的學習數(shù)，以此來體現(xiàn)上述特性“1”； 采用（1ti/T）、C/Wij作為神經(jīng)元側(cè)抑制函數(shù)，其中C為設(shè)定的常數(shù)、Wij為被選中的神經(jīng)元與其他神經(jīng)元最遠距離，來體現(xiàn)上述特性“2”、“3”。解決問題：將n條記錄按m個輸出神經(jīng)元聚成m個分類。模仿人類的學習方法，對事物的認識是一個由淺入深、逐步學習、修正的過程，將對各種要素組態(tài)的認識逐步穩(wěn)定到認知領(lǐng)域，由此進行“聚類”?；贛eaning的文本相似度計算算法概述：給出一組n個文檔D{}，BIC為每個文檔計算出一組最具有代表性的詞組，同時，計算出相互間內(nèi)容接近度及接近序列。BIC的Meaning挖掘與自動搜索不同于現(xiàn)有Baidu、Google人工輸入關(guān)鍵詞的搜索方式，現(xiàn)有搜索引擎不考慮語義和語境，只考慮詞W與文檔D的包含關(guān)系和詞在文檔內(nèi)的頻數(shù)TF，因此，關(guān)鍵詞的搜索與文檔內(nèi)容無關(guān)。例如：“姚明”是中國籃球的驕傲，但“姚明”還投身于公益事業(yè)，如果在搜索引擎中輸入“姚明”，不見得搜索的文檔內(nèi)容只包含與籃球相關(guān)的內(nèi)容，還可能包括公益及其他包含“姚明”的文檔，可見，關(guān)鍵詞搜索具有不確定性。如果在搜索引擎輸入一組詞 {“姚明”、“得分”、“籃板”}，搜出文檔是籃球比賽內(nèi)容的概率更大，顯然 ，形成的交集縮小了搜索范圍，但組詞 {“姚明”、“得分”、“籃板”}是經(jīng)過人思考給出的。BIC通過計算得出文檔代表詞組，相當于人工輸入 {“姚明”、“得分”、“籃板”}，同時計算詞在句子中語序關(guān)系的發(fā)生概率與馬爾科夫鏈，因此，能夠更好地確定搜索詞的語義和語境，通過對文檔間的相關(guān)性（接近度）進行聚類計算，可按Meaning“接近度”進行自動搜索而無需人工干預(yù)，并隨文檔內(nèi)容的變化而自動跟蹤Meaning變化，使搜索更加準確、更加自動化，讓搜索“隨用戶的心而動”。BIC可用于基于Meaning計算的搜索、輿情分析、特定情報分析、垂直搜索和相似內(nèi)容推薦等文本挖掘。解決問題：計算兩個文本的相似度。文本模糊聚類計算算法概述：基于模糊聚類算法，BIC首先計算將n個文本組成相似矩陣（第i個文本文檔對第j個文本文檔的相似度），然后將相似矩陣變成模糊相似矩陣，通過求模糊相似矩陣160
教學教案相關(guān)推薦
鄂ICP備17016276號-1