【文章內(nèi)容簡(jiǎn)介】 聚類算法中， 異常點(diǎn)檢測(cè)僅僅是聚類的副產(chǎn)品。聚類算法發(fā)展方向是優(yōu)化聚類過(guò)程，而不是提高對(duì)異常點(diǎn)檢測(cè)的能力，異常點(diǎn)檢測(cè)和聚類是兩個(gè)相對(duì)立的過(guò)程，聚類是把屬于統(tǒng)一類的數(shù)據(jù)點(diǎn)聚集在一起，歸為一類，而異常點(diǎn)檢測(cè)是把和大多數(shù)數(shù)據(jù)點(diǎn)相異的點(diǎn)挖掘出來(lái)。 Su 等人首先提出基于聚類的異常點(diǎn)檢測(cè)算法，聚集的較小簇被認(rèn)為是異常點(diǎn)，但這中方法忽略了小聚集簇和大聚集簇之間的距離，當(dāng)一個(gè)小聚集簇和一個(gè)大聚集簇非常接近的時(shí)候，小聚集簇中的這些點(diǎn)更可能是大聚集簇的邊界點(diǎn)而不是異常點(diǎn)。 模糊 k 均值聚類算法 (FCM)常用于異常點(diǎn)檢測(cè)，該算法動(dòng)態(tài)地分配權(quán)重給每一個(gè)數(shù)據(jù)點(diǎn)，權(quán)重表示該數(shù)據(jù)點(diǎn)和數(shù)據(jù)集中心之間的距離，通過(guò)各點(diǎn)的權(quán)重來(lái)判斷異常點(diǎn)。此類算法沒(méi)有先驗(yàn)知識(shí)指導(dǎo)如何確定聚類中心，只能是隨機(jī)選取，優(yōu)化搜索空間較大，算法的復(fù)雜度較大。 Hongyi Zhang 等引為了提高模糊核聚類 算法的運(yùn)行效率，提出了新的模糊核聚類算法，該算法用先驗(yàn)知識(shí)對(duì)參數(shù)初始化。取代了用聚類中心初始化，改進(jìn)了聚類的目標(biāo)函數(shù)，降低了算法的時(shí)間復(fù)雜度，但該算法沒(méi)有提到如何選取核函數(shù)，對(duì)于算法模糊性的控制不好撐握。 7 2 基于屬性特征在異常點(diǎn)檢測(cè)中的研究 傳統(tǒng)算法大都是通過(guò)數(shù)據(jù)在空間地特性來(lái)判斷檢測(cè)異常點(diǎn)。本文的方向是從特征出發(fā)研究。傳統(tǒng)算法從整個(gè)數(shù)據(jù)集合在空間中分布地特性出發(fā)研究，比如距離的從整個(gè)數(shù)據(jù)集空間距離進(jìn)行研究，同樣密度的按數(shù)據(jù)集空間密度研究，聚類也是 按數(shù)據(jù)集空間 特性。而本文直接從已知部分?jǐn)?shù)據(jù)維度的特征著 手，即是直接從每一組數(shù)據(jù)的特征來(lái)研究。 對(duì)于單屬性特征的情況，根據(jù)數(shù)據(jù)重要性調(diào)整特征 （即維度）權(quán)值，并根據(jù)數(shù)據(jù)重要性調(diào)整。假設(shè)數(shù)據(jù)特征表示在每個(gè)屬性上面，獨(dú)立沒(méi)有組合屬性表現(xiàn)特征地情況下，每一組數(shù)據(jù)屬性對(duì)應(yīng)權(quán)值數(shù)據(jù)乘積和，表示這個(gè)數(shù)據(jù)在這組數(shù)據(jù)中全局中所占的重要性。例如檢測(cè)是否是糖尿病人的數(shù)據(jù)庫(kù)，三十歲以下這個(gè)年齡維度上病人較少，然而五十歲后這個(gè)維度病人比例就多了。映射到維度為三十歲以下這個(gè)維度地病人比較少，映射到維度為十歲以上較多。這樣我們可以添加一個(gè)權(quán)值與年齡這一項(xiàng)數(shù)據(jù)乘積，這個(gè)乘積必須使權(quán)值與當(dāng)前數(shù)據(jù) 乘積出來(lái)的數(shù)據(jù)成正比，表示年齡增長(zhǎng)能夠體現(xiàn)在這組數(shù)據(jù)中的重要性。以便全局統(tǒng)籌決策較容易。設(shè) X 為一組數(shù)據(jù)集合，可使 ? WiXi* 趨向某個(gè)數(shù)值，表示這組數(shù)據(jù)某個(gè)總體特征。異?；蛘叻钱惓＃梢酝ㄟ^(guò)趨向某個(gè)數(shù)值表示特征異常，另一個(gè)方向數(shù)值表示非異常。 有時(shí)候數(shù)據(jù)組合的重要性是體現(xiàn)在幾個(gè)數(shù)據(jù)地組合里面，既可能體現(xiàn)在幾個(gè)屬性上面 ,比如說(shuō)一組數(shù)組 (A， B， C)，可能 AB 組合特征不顯示異常，然而 ABC 組合就顯示異常，這些組合是不定地。所有在屬性權(quán)值之上需 要一組對(duì)屬性不同組合特征的權(quán)值調(diào)整。 圖 樣例圖示 8 如圖 ，某個(gè)異常點(diǎn)可能異常特征是屬性 1，可能是屬性 屬性 2 地組合，對(duì)于同個(gè)數(shù)據(jù)庫(kù)不同點(diǎn)具有組合不確定性。 由于特征地不可確定性，數(shù)值不確定，組合不確定。我們可以采用神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)調(diào)整權(quán)值。同時(shí)根據(jù)已知數(shù)據(jù)訓(xùn)練修改這些權(quán)值，使其具有識(shí)別某種組合特征的能力。使其自學(xué)習(xí)特征，自動(dòng)控制調(diào)整權(quán)值及權(quán)值組合。 人工神經(jīng)網(wǎng)絡(luò)作為一種新型信息處理系統(tǒng)，在信息處理方面，具有如下顯著的特點(diǎn)： （１）輸入 輸出映射能力。人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)能力，通過(guò)學(xué)習(xí)，能 夠根據(jù)網(wǎng)絡(luò)期望輸出和網(wǎng)絡(luò)實(shí)際輸出之差來(lái)調(diào)整神經(jīng)元間連接權(quán)值和閾值，直至使實(shí)際輸出與期望輸出之間的誤差減小到滿意的程度，這樣就實(shí)現(xiàn)了輸入到輸出的映射。人工神經(jīng)網(wǎng)絡(luò)的輸入 輸出映射能力對(duì)于預(yù)測(cè)有特別重要的意義。 （ 2）非線性特性。人工神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的非線性，這種非線性分散在每個(gè)神經(jīng)元，通過(guò)傳遞函數(shù)實(shí)現(xiàn)。利用神經(jīng)網(wǎng)絡(luò)的非線性特性，可解決藥學(xué)研究及實(shí)驗(yàn)數(shù)據(jù)處理過(guò)程中大量的非線性問(wèn)題。 （ 3）高度并行性。人工神經(jīng)網(wǎng)絡(luò)是由許多相同的簡(jiǎn)單處理單元并聯(lián)組合而成，具有高度并行性特性，使其對(duì)特定任務(wù)的計(jì)算變得很快，對(duì)信息的處 理能力與效果驚人，因此提供了一種解決高層復(fù)雜問(wèn)題的能力和方法。 （ 4）良好的容錯(cuò)性與聯(lián)想記憶功能。人工神經(jīng)網(wǎng)絡(luò)通過(guò)自身的網(wǎng)絡(luò)結(jié)構(gòu)能夠?qū)崿F(xiàn)對(duì)信息的記憶，而所記憶的信息是存儲(chǔ)在神經(jīng)元之間的權(quán)值中。從單個(gè)權(quán)值中看不出所存儲(chǔ)的信息內(nèi)容，因而是分布式的存儲(chǔ)方式，這使得網(wǎng)絡(luò)具有良好的容錯(cuò)性，既能進(jìn)行模式信息處理工作，又能進(jìn)行模式識(shí)別工作。 因?yàn)檫@些特點(diǎn)，神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用在聚類分析、模式識(shí)別、信號(hào)處理、系統(tǒng)辨識(shí)、優(yōu)化計(jì)算、預(yù)測(cè)控制等領(lǐng)域。 根據(jù)神經(jīng)網(wǎng)絡(luò)記憶分類地特性，本文設(shè)想通過(guò)這些特性學(xué)習(xí)出能夠辨別異常點(diǎn)非異常點(diǎn)數(shù)據(jù)的 神經(jīng)網(wǎng)絡(luò)，主要研究其可行性。 9 3 BP 神經(jīng)網(wǎng)絡(luò)介紹 模型簡(jiǎn)介 人工神經(jīng)網(wǎng)絡(luò)理論是 80 年代中后期迅速發(fā)展起來(lái)的一項(xiàng)前沿研究領(lǐng)域，其應(yīng)用已滲透到各個(gè)領(lǐng)域。 BP 神經(jīng)網(wǎng)絡(luò)模型是人工神經(jīng)網(wǎng)絡(luò)的重要模型之一，應(yīng)用尤為廣泛。 BP 算法主要包括兩個(gè)過(guò)程，一是由學(xué)習(xí)樣本、網(wǎng)絡(luò)權(quán)值 ? 從輸入層→隱含層→輸出層逐次算出各層節(jié)點(diǎn)的輸出；二是反過(guò)來(lái)由計(jì)算輸出與實(shí)際輸出偏差構(gòu)出的誤差函數(shù) E（ ? ），用梯度下降法調(diào)節(jié)網(wǎng)絡(luò)權(quán)值，即 )(1 kkkE???? ?????? () 使誤差 )( 1?kE? 減小。 設(shè)輸入層節(jié)點(diǎn)數(shù)為 n，隱含層節(jié)點(diǎn)數(shù)為 r，輸出層節(jié)點(diǎn)數(shù)為 m，隱含層與輸入層之間的權(quán)值矩陣為 )( jiwW? ，隱含層節(jié)點(diǎn)閥值為 j? ，輸出層與隱含層之間權(quán)值矩陣為)( kjvV? ，輸出層節(jié)點(diǎn)閥值為 ?k? ，并設(shè)有 N 個(gè)學(xué)習(xí)樣本 )3,2,1)(,( NPYX pP ??? 其中TpnppP xxxx ),( 21 ?? 為第 P 個(gè)學(xué)習(xí)樣本的輸入向量，Tpmppp yyyY ),( 21 ?? 為其實(shí)際輸出向量。其中 m,2,1,n2,1 ?????? ji ，下文中如不指明則相同。 計(jì)算各層節(jié)點(diǎn)輸出 輸入層節(jié)點(diǎn)，取其輸出 pio 與輸入 pix 相同，即 pipi xo ? 隱含層節(jié)點(diǎn)輸入 pj ，輸出 pjo 分別為： jni pijirj owne t ??? ??1 () 若令 1, 00 ??? pjj ow ? 則有： 10 ??? ni pijirj ow 1 ， 1() 1pjp j p j n eto f n et e ??? ?。 輸出層節(jié)點(diǎn)輸入 pk ，輸出 pko 分別為： 39。1 krj pjkjpk ovne t ??? ?? () 若令 39。0 kkv ??? ， 10?po 則有： pkn e tpkpkrj pjkjpk en e tfoovn e t ?? ???? ? 11)(,0 () 修正權(quán)值 設(shè) ?? ?? ???Np pmk pkpkp EEoyE 11221 ,)( 其中 pE 為第 p 個(gè)學(xué)習(xí)樣本產(chǎn)生的輸出誤差， E 為總誤差。 由誤差函數(shù)調(diào)整權(quán)值有： pjpkkjpkjp ovEv ??????? ? 其中 )1()( pkpkpkpkpk oooy ?????? pipjjipjip owEw ??????? ? 其中 ?? ?????mk kjpkpjpjpjvoo1)()1( ?? ????? Np kjpkjvv1? 11 ?? ???Np jipji ww 1? () 其中 ?為學(xué)習(xí)速率，一般在 [0， 1]內(nèi)取值。 權(quán)值修正為： kjkjkj vvv ??? () jijiji ??? () 12 13 4 異常檢測(cè)中 BP 神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì) 可微閾值單元 圖 如圖 可微閾值單元，圖中為 sigmoid 單元，與感知器相似， sigmoid 單元先計(jì)算它的線性組合，然后應(yīng)用一個(gè)閾值到此結(jié)果。然而，對(duì) sigmoid 單元，閾值輸出是輸入的連續(xù)函數(shù)。更精確地講， sigmoid 單元這樣計(jì)算輸出。 )( ?? ?? xw?? （ ） 其中： yey ??? 11)(? （ ） ? 經(jīng)常被稱為 sigmoid 函數(shù)或者也可以稱為 logistic 函數(shù)。注意它的輸出范圍為 0到 1，隨輸入單調(diào)遞增。因?yàn)檫@個(gè)函數(shù)把非常大的書值域映射到一個(gè)小范圍的輸出。也叫擠壓函數(shù)。 本算法就是想把所有整數(shù)據(jù)特征映射到一個(gè)小范圍來(lái)處理判斷。 單個(gè) BP 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì) X1 X2 Xn W1 W2 Wn X0 = 1 W0 = Θ ? f ??? ni WiXi 0 ne ten et ???? 1 1)(??14 采用 為神經(jīng)感知器，隱層感知器根據(jù)實(shí)際數(shù)據(jù)庫(kù)的屬性確定，一般少于等于屬性個(gè)數(shù)，輸出層一個(gè)輸出感知器。 圖 BP結(jié)構(gòu) 輸入層為一組數(shù)據(jù)，全連接到隱層，隱層計(jì)算輸出受擠壓函數(shù)處理后的數(shù)值，輸出層的輸入為隱層輸出。最后輸出 0 到 1 的 數(shù)值。 隱層輸出層的神經(jīng)元，每個(gè)的 0W 都初始化為 ，其他權(quán)值都初始化： (double) ((rand()/)*21)；隨機(jī)數(shù)種子為系統(tǒng)時(shí)間。 訓(xùn)練教師信號(hào)，按具體方案處理設(shè)定。 神經(jīng)網(wǎng)絡(luò) 學(xué)習(xí)過(guò)程的 基本步驟 （ 1）定義誤差函數(shù) r 為期望輸出與實(shí)際輸出之差的平方和： ? ?? j jmj yVr 2)(21 （ ） 其中 yj 是輸出單元的期望輸出， mjV 是實(shí)際的輸出。 輸入 隱層 輸出層 15 （ 2）調(diào)節(jié)權(quán)值的公式為： 1?????? kjkjij VdW ? （ ） 其中 ? 為學(xué)習(xí)步長(zhǎng)，取正參數(shù)， 1?kjV 代表上一層 神經(jīng)元的輸出，而 kjd 有兩種情況： 1） 如果 j 是輸出層（第 m 層）的神經(jīng)元，則 ))(1( jmjmjmjmj yVVVd ??? （ ） 2） 如果 j 不在輸出層，而是隱含層的神經(jīng)元，則 ? ??? l kljlkjkjkj dWVVd 1)1( （ ） kjV 是 該神經(jīng)元的輸出，而求本層的 kjd 必須用到上一層的 1?kld ，可見(jiàn)誤差函數(shù)的求取是一個(gè)始于輸出層的反向傳播的遞歸過(guò)程。 （ 3）將學(xué)習(xí)模式不斷輸入到輸入層，再根據(jù)輸出層產(chǎn)生的誤差不斷修正神經(jīng)元間連結(jié)的權(quán)值和神經(jīng)元的閾值，直到學(xué)習(xí)模式全部輸入或誤差達(dá)到一定的值。 反向傳播算法在網(wǎng)絡(luò)規(guī)模較大時(shí)計(jì)算量很大，收斂較慢，而且存在局部最小的問(wèn)題，根據(jù)這一問(wèn)題，在具體操作時(shí)采用了加入動(dòng)量項(xiàng)的方法： )()1( 1 tWVdtW ijkjkjij ?????? ? ?? （ ） ? 稱為動(dòng)量因子，這樣后一次的權(quán)值更新適當(dāng)考慮上一次的權(quán)值更新，可以改善收斂特性。 16 17 5 實(shí)驗(yàn)研究 研究使用的數(shù)據(jù)庫(kù)介紹 在嘗試各種算法方案地研究中，使用的數(shù)據(jù)庫(kù)名稱： The Insurance Company Benchmark (COIL 2020).關(guān)于保險(xiǎn)的數(shù)據(jù)，其中包括： ，訓(xùn)練數(shù)據(jù)， 5822組數(shù)據(jù)，每組 86 個(gè)屬性，第 86 個(gè)為是否 異常的標(biāo)志變量，總地為兩類數(shù)據(jù)；TICEVAL2020，測(cè)試數(shù)據(jù)， 4000 組，每組為 85 個(gè)特征屬性； ，與ticeval2020 對(duì)應(yīng)組地結(jié)果。 訓(xùn)練方案一實(shí)驗(yàn)：把 bp 神經(jīng)網(wǎng)絡(luò)相似性代替距離算法相似度量 起初思路是采用兩兩相似性地訓(xùn)練，然后得出一個(gè)整體數(shù)據(jù)庫(kù)屬性特征的神經(jīng)網(wǎng)絡(luò)。采用 WiYiXiabs ??? )( 表示 X 與 Y 兩者相似性