適用于大規(guī)模文本處理的動態(tài)密度聚類算法-展示頁
2024-08-01 13:00本頁面
【正文】 合屬性的數(shù)據(jù)：實(shí)際領(lǐng)域中很多數(shù)據(jù)具有混合屬性 。 ?在這些應(yīng)用研究中，聚類算法被廣泛使用，然而海量文本數(shù)據(jù)所具有的 大規(guī)模 和 高維特征 、類分布傾斜和不平衡問題、以及對算法的高效率要求，對傳統(tǒng)聚類算法提出了新的要求。適用于大規(guī)模文本處理的動態(tài)密度聚類算法 李霞 廣東外語外貿(mào)大學(xué)智能信息處理研究所 NLPamp。CC2022 報(bào)告內(nèi)容 ?研究背景 ?算法介紹 ?實(shí)驗(yàn)分析 ?結(jié)論 1 研究背景 ?當(dāng)前面向 海量文本數(shù)據(jù) 的自然語言處理和數(shù)據(jù)挖掘技術(shù)正逐漸成為新的研究熱點(diǎn)，如： 微博情感傾向性分析研究 面向互聯(lián)網(wǎng)新聞及評論內(nèi)容的網(wǎng)絡(luò)輿情監(jiān)測及預(yù)警研究 面向海量數(shù)據(jù)的社會網(wǎng)絡(luò)分析等。 1 研究背景 ?從聚類的角度看，文本的分布傾斜和不平衡問題可以看成是數(shù)據(jù)的密度不均勻問題，傳統(tǒng)的基于密度的優(yōu)秀聚類算法可以發(fā)現(xiàn)不同大小和形狀不同的聚類，如 DBSCAN, CURE, Chameleon和 SNN等算法。 2 算法介紹 ?應(yīng)對傳統(tǒng)聚類算法的問題，我們提出了兩階段動態(tài)密度聚類算法 (A TwoStep Dynamic DensityBased Clustering Algorithm, 簡稱 TSDDBCA)，該算法具有以下特點(diǎn)： ?能夠識別密度不均勻、大小不同的空間聚類 ?簡化了用戶的輸入?yún)?shù) ?能夠處理混合屬性數(shù)據(jù) ?時(shí)間復(fù)雜度為近似線性時(shí)間復(fù)雜度，能夠處理海量文本數(shù)據(jù) DDBCA算法 ?經(jīng)典 DBSCAN算法通過檢查數(shù)據(jù)集中每個對象的 eps鄰域來尋找類簇，但由于半徑閾值 eps和密度閾值 MinPts均為全局參數(shù)，因此 DBSCAN無法識別密度不均勻的簇。然而 SNN算法需要三個輸入?yún)?shù)：最近鄰個數(shù) k，半徑閾值 eps和密度閾值MinPts，雖然算法本身提供了參數(shù)設(shè)置的方法，但對普通用戶要求較高，且較為繁復(fù)。
法律信息相關(guān)推薦
鄂ICP備17016276號-1