【正文】 ........................................................................... 40 Is Cluster Analysis?................................................................ 40 Different Types of Clusterings........................................................ 41 Types of Clusters .............................................................. 44 Map ..................................................................................................... 47 ? Kmeans ................................................................................................ 47 ? Agglomerative Hierarchical Clustering................................................. 48 ? DBSCAN............................................................................................... 48 附錄Ⅱ： 中文翻譯 ..................................................................................... 48 聚類分析：基本概念及算法 ......................................................................... 48 1 概述 .............................................................................................................. 51 什么是聚類分析？ ........................................................................ 51 不同類型的群集合 ........................................................................ 52 簇的不同類型 ................................................................................ 53 .......................................................................................................... 56 ?Kmeans 算法 ........................................................................................ 56 ?凝聚層次聚類 ........................................................................................ 56 北京交通大學(xué)畢業(yè)設(shè)計(jì)（論文） ?DBSCAN................................................................................................ 56 北京交通大學(xué)畢業(yè)設(shè)計(jì)（論文） 第 頁(yè) 1 一、 概述 課 題背景與研究意義 課題背景 隨著時(shí)代的 進(jìn)步 ， 技術(shù)的發(fā)展和 時(shí)代 的 到來(lái) ， 網(wǎng)絡(luò) 輿情也呈現(xiàn)蓬勃發(fā)展的 勢(shì)頭 ，截至 2020 年 12月底，我國(guó)網(wǎng)民規(guī)模達(dá) 億 ， 手機(jī)網(wǎng)民 規(guī)模也已 達(dá)到 億， 我國(guó)微博用戶規(guī)模為 億，較 2020 年底增長(zhǎng)了 5873 萬(wàn)，網(wǎng)民中的微博用戶比例較上年底提升了六個(gè)百分點(diǎn)，達(dá)到 %。相當(dāng)一部分用戶訪問(wèn)和發(fā)送微博的行為發(fā)生在手機(jī)終端上，截至 2020 年底手機(jī)微博用戶規(guī)模達(dá)到 億，即高達(dá) %的微博用戶使用手機(jī)終端訪問(wèn)微博。微博，即微博客（ MicroBlog）的簡(jiǎn)稱，是一個(gè)基于用戶關(guān)系信息分享、傳 播以及獲取平臺(tái)，用戶可以通過(guò) WEB、 WAP 等各種客戶端組建個(gè)人社區(qū)，以 140 字左右的文字更新信息，并實(shí)現(xiàn)即時(shí)分享。美國(guó) 埃文威廉姆斯推出的 twitter 是 最早的微博平臺(tái)，也是目前最著名的平臺(tái)。 2020 年 ，中國(guó)第一家?guī)в形⒉┥实木W(wǎng)站 “ 飯否網(wǎng) ” 開(kāi)張 ，到 2020 年 新浪微博 的 開(kāi)通 ， 中國(guó)第一家推出微博的門(mén)戶網(wǎng)站，微博正式進(jìn)入 中文 上網(wǎng)主流人群 視野 。 2020 年 10月，中國(guó)微博用戶總數(shù)達(dá)到 億，成世界第一大國(guó)。 微博 成為網(wǎng)絡(luò)輿情的一大組成部分。 輿情是“輿論情況”的簡(jiǎn)稱，是指在一定的社會(huì)空間內(nèi)，圍繞中介性社會(huì)事件的 發(fā)生、發(fā)展和變化，作為主體的民眾對(duì)作為客體的社會(huì)管理者北京交通大學(xué)畢業(yè)設(shè)計(jì)（論文） 第 頁(yè) 2 及其政治取向產(chǎn)生和持有的社會(huì)政治態(tài)度。它是較多群眾關(guān)于社會(huì)中各種現(xiàn)象、問(wèn)題所表達(dá)的信念、態(tài)度、意見(jiàn)和情緒等等表現(xiàn)的總和。 對(duì)于輿情的內(nèi)涵，國(guó)內(nèi)的研究者們有著不同的認(rèn)識(shí)。有研究者指出：“所謂‘輿情’，實(shí)際上就是大眾密切關(guān)心的熱門(mén)話題或反映了某些社會(huì)心理的觀點(diǎn)與看法，其較高層次是‘思潮’，基本層次是‘情緒’。大眾傳媒對(duì)此應(yīng)該有足夠的敏感，并以恰當(dāng)?shù)姆绞竭M(jìn)行輿論引導(dǎo)，減少社會(huì)震蕩?！绷碛醒芯空哒J(rèn)為：“輿情即民意情況，涉及公眾對(duì)社會(huì)生活中各個(gè)方面的問(wèn)題尤其是熱點(diǎn)問(wèn) 題的公開(kāi)意見(jiàn) (外露的部分 )或情緒反應(yīng) (既可能外露又可能不外露的部分 )?！备嗟膶W(xué)者傾向于如下認(rèn)識(shí)：“輿情是指在一定的社會(huì)空間內(nèi)，圍繞中介性社會(huì)事件的發(fā)生、發(fā)展和變化，民眾對(duì)社會(huì)管理者產(chǎn)生和持有的社會(huì)政治態(tài)度。如果把中間的一些定語(yǔ)省略掉，輿情就是民眾的社會(huì)政治態(tài)度?！边@一定義將輿情界定為民眾的社會(huì)政治態(tài)度，突出了民眾與國(guó)家管理者之間的關(guān)系，抓住了輿情的核心，因此本文在以下的論述中，也采用這一定義。 任何一種技術(shù)的出現(xiàn)及發(fā)展，或多或少會(huì)對(duì)社會(huì)生活造成一定的沖擊和影響。網(wǎng)絡(luò)從誕生的那一天起，就開(kāi)始深刻地影響人們的 生活、學(xué)習(xí)、思考、交流和娛樂(lè)的方式。與此同時(shí)，現(xiàn)實(shí)生活與虛擬世界交互影響，呈現(xiàn)出一種你中有我、我中有你的局面。以網(wǎng)絡(luò)為平臺(tái)，通過(guò)新聞、評(píng)論、發(fā)帖、回復(fù)等為載體表現(xiàn)出來(lái)的輿情，就是網(wǎng)絡(luò)輿情。 以網(wǎng)絡(luò)為載體 的 網(wǎng)絡(luò)輿情 ，核心 是單個(gè) 或多個(gè) 事件 ，是 海量 網(wǎng)民 感情 、態(tài)度、 建議 、觀點(diǎn)的表達(dá)， 互動(dòng)與傳播 ，以及后續(xù) 的 影響力的集合。 帶有廣大網(wǎng)民的主觀性，未經(jīng)媒體驗(yàn)證和包裝，直接通過(guò)多種形式發(fā)布于互聯(lián)網(wǎng)上。輿情 管理與監(jiān)控， 就是通過(guò) 對(duì)互聯(lián)網(wǎng)信息挖掘采集技術(shù)的整合， 實(shí)現(xiàn)自動(dòng) 抓取互聯(lián)網(wǎng)中的海量信息，可以 利用 一些算法 自動(dòng) 對(duì)信息分類， 主題 分 析，傾向分析等北京交通大學(xué)畢業(yè)設(shè)計(jì)（論文） 第 頁(yè) 3 功能，形成圖表 或者簡(jiǎn)報(bào)結(jié)論，便于用戶掌握 。 輿情的本質(zhì)是民眾的社會(huì)政治態(tài)度，而在網(wǎng)絡(luò)上，某種抽象的社會(huì)政治態(tài)度是需要以一些具體的形式反映出來(lái)的?；蛘哒f(shuō)，輿情在網(wǎng)絡(luò)上要為人所知、激起網(wǎng)民共鳴、或者在網(wǎng)絡(luò)上被傳播，必然要借助于一定的載體。在網(wǎng)絡(luò)上，輿情的載體主要有新聞評(píng)論，論壇 (社區(qū) )發(fā)帖、跟帖，博客，播客， 微博 等。 與傳統(tǒng)輿情相比，網(wǎng)絡(luò)輿情具有傳播快速和實(shí)時(shí)互動(dòng)的特點(diǎn)。網(wǎng)絡(luò)的出現(xiàn)使得地球村的夢(mèng)想得以實(shí)現(xiàn)，一條消息可以在瞬間傳遍世界。相應(yīng)的，某個(gè)輿情通過(guò)各大網(wǎng)站、論壇的轉(zhuǎn)貼可以在極短時(shí)間內(nèi)為大量人知 曉，這在以前是難以想象的；在網(wǎng)絡(luò)輿情體現(xiàn)最明顯的論壇、社區(qū)、博客、 微博等空間，每一個(gè)網(wǎng)民都可以實(shí)時(shí)地發(fā)表自己的觀點(diǎn)，大家共同討論或辯論，不同觀點(diǎn)或立場(chǎng)的網(wǎng)民進(jìn)行交鋒，可以通過(guò)互動(dòng)推動(dòng)輿情的發(fā)展或深化，引起更多人的關(guān)注。 研究 現(xiàn)狀 隨著網(wǎng)絡(luò) 技術(shù)的發(fā)展和時(shí)代的進(jìn)步，網(wǎng)絡(luò)輿情的重要性已經(jīng)毋庸置疑，有關(guān)網(wǎng)絡(luò)輿情管理與檢測(cè)的研究也日趨成熟，有關(guān)網(wǎng)絡(luò)輿情 管理 與 監(jiān)測(cè) 的系統(tǒng)越來(lái) 越多 ，微博輿情的分析平臺(tái)也有出現(xiàn)， 不過(guò) 多數(shù) 為 政府和企業(yè)服務(wù)，只監(jiān)控有可能爆發(fā)的負(fù)面信息 和 重大事件，不對(duì)普通用戶開(kāi)放，而有關(guān)微博消息的 分析 軟 件 不但 費(fèi)用 昂貴而且 只是 對(duì)信息 的已傳播軌跡進(jìn)行呈現(xiàn)和分析，缺乏對(duì)微博消息未來(lái)走向的一個(gè)分析預(yù)測(cè)， 也無(wú) 對(duì)微博消息 傳播 范圍 廣度 的 分級(jí) 。 研究意義 網(wǎng)絡(luò)輿情反映了民情民意，在為國(guó)家管理者決策提供參考依據(jù)的同時(shí)北京交通大學(xué)畢業(yè)設(shè)計(jì)（論文） 第 頁(yè) 4 也存在引發(fā)社會(huì)問(wèn)題的風(fēng)險(xiǎn)，尤其是國(guó)內(nèi)外敵對(duì)勢(shì)力經(jīng)常利用互聯(lián)網(wǎng)，別有用心地煽動(dòng)不良情緒或發(fā)動(dòng)串聯(lián)，以期影響我國(guó)社會(huì)穩(wěn)定。因此，研究如何發(fā)現(xiàn)互聯(lián)網(wǎng)上的輿情、做出預(yù)警并在必要時(shí)采取合理的預(yù)控措施，成為擺在相關(guān)部門(mén)面前亟待解決的問(wèn)題。 論文 結(jié)構(gòu) 論文 分為 4 章 。 第一章概述 介紹了 我 選擇這個(gè)課題的 背景 ， 敘述 了目前 國(guó)內(nèi)外 關(guān)于微博輿情管理平臺(tái)的研究現(xiàn)狀， 分析 了微博輿情管理平臺(tái)的重要意義 。 第二章 分析 了微博消息傳播的模型，研究了微博消息傳播的特點(diǎn)，建立了微博消息傳播的模型。 第三章 概述 了微博輿情管理平臺(tái)的總體流程，詳細(xì)講解了數(shù)據(jù)分析系統(tǒng)的設(shè)計(jì)流程， 講述了 分詞模塊，聚類模塊 及 趨勢(shì)分析模塊的算法思想，基本原理。 第四章 針對(duì)數(shù)據(jù) 分析系統(tǒng)的局限性，提出了未來(lái)的改進(jìn)方向。 二、 微博 消息傳播模型 微博消息 傳播的特點(diǎn) 微博輿情 作為網(wǎng)絡(luò)輿情 重要 組成部分 ， 有著 與 網(wǎng)絡(luò)輿情 共 同的特點(diǎn)，網(wǎng)絡(luò) 輿情的特點(diǎn)有以下幾點(diǎn)： 直接性，突發(fā)性，偏差 性，豐富性和互動(dòng)性。北京交通大學(xué)畢業(yè)設(shè)計(jì)（論文） 第 頁(yè) 5 網(wǎng)民 根據(jù) 現(xiàn)實(shí) 社會(huì) 或者 網(wǎng)絡(luò)上發(fā)生的新聞 可以 在各種平臺(tái)上直接發(fā)表自己的見(jiàn)解和意見(jiàn)， 根據(jù) 其他網(wǎng)民的見(jiàn)解進(jìn)行 交換觀點(diǎn) ， 而 網(wǎng)絡(luò)的虛擬性也使 虛假不良信息的發(fā)布變得容易和更具蠱惑性， 容易 成為 熱點(diǎn) 。 這也對(duì) 網(wǎng)絡(luò)輿情的監(jiān)管提出了要求。 而 微博也有其 自身 獨(dú)特的特點(diǎn) ： 便捷性，原創(chuàng)性，背對(duì)臉。 隨著 智能手機(jī)的普及 以及 各種便捷移動(dòng)電子設(shè)備的出現(xiàn)，各種微博移動(dòng)終端 使得 微博消息的 發(fā)表 與接收變得非常便捷，使得網(wǎng)絡(luò)輿情的直接性和突發(fā)性表現(xiàn)的更為突出 。而以新浪微博 為例， 其用戶 可以選擇一個(gè)或多個(gè)的關(guān)注組別，例如娛樂(lè)，新聞 ， 經(jīng)濟(jì)等 ，這就 讓 用戶可以更加便捷 的 了解自己 需 要的某些方面的信息 。微博 的便捷性 讓 網(wǎng)絡(luò)輿情的 消息 爆發(fā)更加突然，在 前 不久的 雅安 地震 中 ， 震后 3 分鐘 即有第一條 關(guān)于震區(qū)震后 實(shí)情的微博消息出現(xiàn)，這與微博的便捷性是分不開(kāi)的 。 微博消息 是由 140 字 左右的 短 文本 構(gòu)成 的 ， 所以其原創(chuàng)性遠(yuǎn)大于例如BBS，論壇，博客等平臺(tái) ， 可能 表達(dá) 的意思相同， 但發(fā)出 的微博卻不一樣，同樣以雅安地震為例， “為 雅安祈福 ” ， “ 雅安 平安 ” ， “ 支援 雅安 ” 等消息 出現(xiàn)在微博上，雖然是不同文本，但同樣表達(dá)了對(duì)雅安地震災(zāi)情的關(guān)注和祝福，這種原創(chuàng)性大大豐富了微博的內(nèi)容， 也直接 體現(xiàn) 了網(wǎng)絡(luò)輿情的偏差性 與豐富性。 但也為微博輿情管理增加了難度， 對(duì) 微博內(nèi)容的分類提出了更高的要求。 背對(duì)臉這種特性， 則是 很生動(dòng)表明了微博與平常網(wǎng)絡(luò)平臺(tái) 相比 最大的特點(diǎn)， 其 傳播消息的途徑是單向的，被關(guān)注者發(fā)布 消息 無(wú)需 理會(huì) 關(guān)注者的反應(yīng)， 關(guān)注者關(guān)注 著被關(guān)注者的消息， 就類似 一個(gè) 人 在玩電腦游戲，而他的粉絲就是站在他背后觀看的人，觀看者可以看到游戲的進(jìn)度，但游戲者卻不用理會(huì)觀看者在做什么，這就是 微博 消息傳播背對(duì)臉的特性 。 北京交通大學(xué)畢業(yè)設(shè)計(jì)（論文） 第 頁(yè) 6 根據(jù) 微博典型的這 3 種 特 點(diǎn) ， 我們 看出 它 與其他網(wǎng)絡(luò) 平臺(tái) 輿情傳播的顯著差別 ， 而 想要 對(duì)微博輿情進(jìn)行管理， 必須 很好的 利用這三種特點(diǎn)。 微博 用戶 狀態(tài) 在 調(diào)研文獻(xiàn)時(shí)， 病毒在傳播 的時(shí)候 會(huì)出現(xiàn) 三種用戶狀態(tài)，感染態(tài)，免疫 態(tài) ，易感染態(tài) 。 由于 病毒傳播與微博消息 的 相似性， 假設(shè) 一個(gè)用戶發(fā)布一條消息后，他的粉絲用戶都一定會(huì)看到這條消息， 類比 病毒 傳播的三種狀態(tài)，將微博用戶也分為三種狀態(tài)， 未知 狀態(tài)， 轉(zhuǎn)發(fā) 狀態(tài)， 已知 不傳播狀態(tài)。 未知狀態(tài)就是 不知道消息的 狀態(tài) ，通常就是他所關(guān)注的人中沒(méi)有傳播這條消息；轉(zhuǎn)發(fā)狀態(tài) 就是 這個(gè)用戶知道這條消息 ， 并且對(duì)這條消息