【正文】 DD 國(guó)際研討會(huì)已經(jīng)召開(kāi)了 14 次，規(guī)模由原來(lái)的專(zhuān)題討論會(huì)發(fā)展到國(guó)際學(xué)術(shù)大會(huì)，研究重點(diǎn)也逐漸從發(fā)現(xiàn)方法轉(zhuǎn)向系統(tǒng)應(yīng)用，注重多 種發(fā)現(xiàn)策略和技術(shù)的集成，以及多種學(xué)科之間的相互滲透。 IEEE 的 Knowledge and DataEngineering 會(huì)刊率先在 1993年出版了 KDD 技術(shù)專(zhuān)刊。 此外，在 Inter 上還有不少 KDD 電子出版物，其中以半月刊Knowledge Discovery Nuggets 最 為 權(quán) 威(如 DYI Email Club 等。目前，世界上比較有影響的典型數(shù)據(jù)挖掘系統(tǒng)有 :SAS公司的 Enterprise Miner, IBM 公司的 Intelligent Miner, SGI 公司的SetMiner,SPSS 公司的 Clementine,Sybase 公司的 Warehouse Studio, 14 RuleQuest Research 公 司的 Sees 、 還有 CoverStory, EXPLORA, Knowledge DiscoveryWorkbench, DBMiner, Quest 等。 與國(guó)外相比，國(guó)內(nèi)對(duì) DMKD 的研究稍晚，沒(méi)有形成整體力量。目前，國(guó)內(nèi)的許多科研單位和高等院項(xiàng)目。其中，北京系統(tǒng)工程研究所對(duì)模糊方法在知識(shí)發(fā)現(xiàn)中的應(yīng)用進(jìn)行了較深入的研究，北京大學(xué)也在開(kāi)展對(duì)數(shù)據(jù)立方體代數(shù)的研究，華中理工大學(xué)、復(fù)旦大學(xué)、浙江大學(xué)、中國(guó)科技大學(xué)、中科院數(shù)學(xué)研究所、吉林大學(xué)等單位開(kāi)展了對(duì)關(guān)聯(lián)規(guī)則開(kāi)采算法的優(yōu)化和改造 。 數(shù)據(jù)挖掘與傳統(tǒng)分析方法的區(qū)別 數(shù)據(jù)挖掘與傳統(tǒng)的數(shù)據(jù)分析 (如查詢(xún)、報(bào)表、聯(lián)機(jī)應(yīng)用分析 OLAP)的本質(zhì)區(qū)別是數(shù)據(jù)挖 掘是在沒(méi)有明確假設(shè)的前提下去挖掘信息、發(fā)現(xiàn)知識(shí)。 先前未知的信息是指該信息是預(yù)先未曾預(yù)料到的，既 數(shù)據(jù)挖掘是要發(fā)現(xiàn)那 些不能靠直覺(jué)發(fā)現(xiàn)的信息或知識(shí)，甚至是違背直覺(jué)的信 15 息或知識(shí)，挖掘出的信息越是出乎意料，就可能越有價(jià)值 .在商業(yè)應(yīng)用中最典型的例子就是一家連鎖店通過(guò)數(shù)據(jù)挖掘發(fā)現(xiàn)了小孩尿布和啤酒之間有著驚人的聯(lián)系。他們是完全不同的工具，基于的技術(shù)也大相徑庭。傳統(tǒng)的查詢(xún)和報(bào)表工具是告訴你數(shù)據(jù)庫(kù)中都有什么 (What happened), OLAP 則更進(jìn)一步告訴你下一步會(huì)怎么樣 (Whatnext)、和如果我采取這樣的措施又會(huì)怎么樣 (What if )。比如，一個(gè) OLAP 分析師想找到什么原因?qū)е铝穗娫捚墼p，他可能先做一個(gè)初始的假定，認(rèn)為低收入的人信用度也低，然后用 OLAP 來(lái)驗(yàn)證他這個(gè)假設(shè)。也就是說(shuō)，OLAP 分析者是建立一系列的假設(shè)，然后通過(guò) OLAP 來(lái)證實(shí)或推翻這些假設(shè)來(lái)最終得到自己的結(jié)論。但是如果分析的變量達(dá)到幾十或上百個(gè)，那么再用OLAP 手動(dòng)分析驗(yàn)證這些假設(shè)將是一件非常困難和痛苦的事情。它在本質(zhì)上是一個(gè)歸納的過(guò)程。數(shù) 據(jù)挖掘工具可能幫他找到高話費(fèi)和低收 16 入是引起這個(gè)問(wèn)題的因素，甚至還可能發(fā)現(xiàn)一些分析者從來(lái)沒(méi)有想過(guò)或試過(guò)的其他因素，比如年齡。在利用數(shù)據(jù)挖掘出來(lái)的結(jié)論采取行動(dòng) 之前，你也許要驗(yàn)證一下如果采取這樣的行動(dòng)會(huì)給公司帶來(lái)什么樣的影響，那么 OLAP 工具能回答你的這些問(wèn)題?？梢詭湍闾剿? 數(shù)據(jù)，找到哪些是對(duì)一個(gè)問(wèn)題比較重要的變量，發(fā)現(xiàn)異常數(shù)據(jù)和互相影響的變量。 數(shù)據(jù)挖掘的特點(diǎn) （ 1）處理的數(shù)據(jù)規(guī)模十分龐大，達(dá)到 GB, TB 數(shù)量級(jí)，甚至更大。 （ 3）在一些應(yīng)用 (如商業(yè)投資等 )中，由于數(shù)據(jù)變化迅速，因此要求數(shù)據(jù)挖掘能快速做出相應(yīng)反應(yīng)以隨時(shí)提供決策支持。因此，所發(fā)現(xiàn)的規(guī)則不必適用于所有數(shù)據(jù)，而是當(dāng)達(dá)到某一臨界值時(shí)，即認(rèn)為有效。 （ 5）數(shù) 據(jù)挖掘所發(fā)現(xiàn)的規(guī)則是動(dòng)態(tài)的，它只反映了當(dāng)前狀態(tài)的數(shù)據(jù)庫(kù)具有的規(guī)則，隨著不斷地向數(shù)據(jù)庫(kù)中加入新數(shù)據(jù)，需要隨時(shí)對(duì)其進(jìn)行更新。通過(guò)簡(jiǎn)單工時(shí)自動(dòng)實(shí)現(xiàn)數(shù)據(jù)處理功能。 適合對(duì)一些比較簡(jiǎn)單的現(xiàn)象進(jìn)行挖掘，可用于預(yù)測(cè)、分類(lèi)。 要決策者輸入支持度、置信度兩個(gè)參數(shù)，數(shù)據(jù)庫(kù)中的數(shù)據(jù)記錄繁多，偏立時(shí)間較長(zhǎng)，需較好的算法。 聚類(lèi)分析 根據(jù)一定的規(guī)則，合理的進(jìn)行分類(lèi)，用顯示或隱示的方法描述不同的類(lèi)別。 適合于分類(lèi)、預(yù)測(cè)比較復(fù)雜的問(wèn)題進(jìn)行預(yù)測(cè)，模型計(jì)算的結(jié)果較準(zhǔn)確。 數(shù)據(jù)越復(fù)雜，決策樹(shù)分支多，很難管理，對(duì)缺乏數(shù)據(jù)的決策效果不是很明顯。 神經(jīng)元網(wǎng)絡(luò) 對(duì)于復(fù)雜情況仍能得到精確地預(yù)測(cè)結(jié)果，可處理類(lèi)別和連續(xù)變量。 適用于模型的結(jié)果比克理解性更重要的分類(lèi)和預(yù)測(cè)的復(fù)雜情況，不適合處理高維變量，可用于聚類(lèi)和分類(lèi)。 （ 2）建立數(shù)據(jù)挖掘庫(kù) （ 3）分析數(shù)據(jù) （ 4）準(zhǔn)備數(shù)據(jù) （ 5）建立模型 （ 6）模型評(píng)價(jià) 18 （ 7）模型實(shí)施 總之，在整個(gè)數(shù)據(jù)挖掘的過(guò)程中每個(gè)步驟 并不是一定要進(jìn)行的，同時(shí)每個(gè)步驟也不是必須按照相應(yīng)的順序進(jìn)行，而是不斷地往復(fù)進(jìn)行，不斷地改進(jìn)從而找到最優(yōu)的模型。聚類(lèi) (Clustering)是人類(lèi)一項(xiàng)最基本的認(rèn)識(shí)活動(dòng)，也是數(shù)據(jù)挖掘領(lǐng)域最為常見(jiàn)的技術(shù)之一。在分類(lèi)中，用戶知道數(shù)據(jù)可分為幾類(lèi)，將要處理的數(shù)據(jù)按照 分類(lèi)標(biāo)準(zhǔn)分入不同的類(lèi)別，也稱(chēng)為有監(jiān)督學(xué)習(xí)。 （一）聚類(lèi)分析相關(guān)基礎(chǔ) 聚類(lèi)分析相關(guān)定義 聚類(lèi)分析是將樣品或變量按照他們?cè)谛再|(zhì)上的親疏程度進(jìn)行分類(lèi)的多元統(tǒng)計(jì)分析方法。在多維坐標(biāo)中，定義點(diǎn)與點(diǎn)。用點(diǎn)與點(diǎn)之間的距離來(lái)描述樣品或變量之間的親疏程度；另一個(gè)是計(jì)算樣品或變量的相似 系數(shù)，用相似系數(shù)來(lái)描述樣品或變量之間的親疏程度。是在樣品距離的基礎(chǔ)上定義類(lèi)與類(lèi)的距離，首先將 n 個(gè)樣品自成一類(lèi)，然后每次都將具有最小距離的幾個(gè)類(lèi)合并，合并后在重新計(jì)算類(lèi)與類(lèi)之間的距離，在并類(lèi)，之間過(guò)程一直持續(xù)到所有的樣品都?xì)w為一類(lèi)為止。是將 n 個(gè)樣品初步分類(lèi)，然后根據(jù)分類(lèi)函數(shù)盡可能小的原則，對(duì)初步分類(lèi)進(jìn)行調(diào)整優(yōu)化，直到分類(lèi)合理為止。是利用模糊數(shù)學(xué)中模糊集理 論來(lái)處理分類(lèi)問(wèn)題的方法，它對(duì)經(jīng)濟(jì)領(lǐng)域中具有模糊特征的兩態(tài)數(shù)據(jù)或多態(tài)數(shù)據(jù)具有明顯的分類(lèi)效果。是利用圖論中最小支撐樹(shù)的概念來(lái)處理分類(lèi)問(wèn)題，是一種獨(dú)具風(fēng)格的方法。是利用聚類(lèi)方法處理預(yù)報(bào)問(wèn)題的方法。 (2)按照分析對(duì)象不同 型聚類(lèi)分析。是對(duì)變量進(jìn)行分類(lèi)處理，可以揭示變量之間的親疏程度以及變量變量組合之間的親疏程度。因此，要搞好營(yíng)銷(xiāo)業(yè)務(wù)，就要對(duì)電信的客戶進(jìn)行各方面的調(diào)查和細(xì)分。眾所周知，中國(guó)是一個(gè)人口、文化、消費(fèi)、經(jīng)濟(jì)存在地域性差異的國(guó)家，因此各個(gè)地區(qū)的電信業(yè)務(wù)很可能受到人口、環(huán)境、 經(jīng)濟(jì)等多種因素的影響，從而導(dǎo)致各個(gè)地區(qū)的客戶消費(fèi)群體總體上存在差異，由此電信行業(yè)制定決策不能籠統(tǒng)的以全國(guó)數(shù)據(jù)來(lái)做基礎(chǔ)，也不能以單一的一個(gè)地區(qū)的客戶群體消費(fèi)為依據(jù)。本文就以 2021 年全國(guó)各個(gè)地區(qū)的電信業(yè)務(wù)量來(lái)衡量地區(qū)之間客戶的不同，從而為各個(gè)地域制定合適的營(yíng)銷(xiāo)政策，達(dá)到精確營(yíng)銷(xiāo)，比如北京，上海等地的夢(mèng)網(wǎng)業(yè)務(wù)銷(xiāo)量大，就要制定相對(duì)應(yīng)的夢(mèng)網(wǎng)套餐；西藏、貴州傳統(tǒng)通信如長(zhǎng)話等業(yè)務(wù)相對(duì)較大，就要制定相對(duì)的話費(fèi)政策套餐，從而達(dá)到適合當(dāng)?shù)卮罅靠蛻粜枰臉I(yè)務(wù)，提高了業(yè)務(wù)的效率，達(dá)到資源的合理配置。 眾所周 知，以單個(gè)客戶來(lái)為單位來(lái)進(jìn)行細(xì)分就要了解單個(gè)客戶的姓名、年齡、證件、 SMS 次數(shù)、國(guó)際呼叫等等，可以說(shuō)有上百個(gè)變量不止。就本文來(lái)說(shuō)選取最常用的 5 個(gè)指標(biāo)來(lái)對(duì)各個(gè)地區(qū)的電信客戶進(jìn)行聚類(lèi)，從而一方面反應(yīng)了地區(qū)與地區(qū)之間客戶的消費(fèi)差異性，另一反面也反應(yīng)了這些地區(qū)的客戶之間究竟在哪些方面存在差異。本文選擇如下 5 個(gè)指標(biāo)：固定電話長(zhǎng)途通話時(shí)長(zhǎng)(X1)；移動(dòng)電話長(zhǎng)途通話時(shí)長(zhǎng) (X2)。移動(dòng)短信業(yè)務(wù)量 (X4)；互聯(lián)網(wǎng)上網(wǎng)人數(shù) (X5).其中 X1 的單位是億分鐘反應(yīng)的是一個(gè)地區(qū)所有電信用戶固話長(zhǎng)途的時(shí)間； X2 的單位是億分鐘反應(yīng)的是一個(gè)地區(qū)所有電信用戶移動(dòng)長(zhǎng)途話時(shí)的時(shí)間； X3 的單位是億分鐘反應(yīng)的是一個(gè)地區(qū)所有電信用戶 IP 時(shí)長(zhǎng)； X4 的單位是億條反應(yīng)的是一個(gè)地區(qū)所有電信用戶短信總和； X5 的單位是萬(wàn)人， 指平均每周使用互聯(lián)網(wǎng)至少 1 小時(shí)的 6 周歲以上中國(guó)公民人數(shù)。 22 第一步：錄入原始數(shù)據(jù)如下： 地區(qū) X1 X2 X3 X4 X5 北 京 980 天 津 485 河 北 1334 山 西 819 內(nèi)蒙古 385 遼 寧 1138 吉 林 520 黑龍江 620 上 海 1110 江 蘇 2084 浙 江 2108 安 徽