【文章內容簡介】 了小聚集簇和大聚集簇之間的距離，當一個小聚集簇和一個大聚集簇非常接近的時候，小聚集簇中的這些點更可能是大聚集簇的邊界點而不是異常點。 模糊 k 均值聚類算法 (FCM)常用于異常點檢測，該算法動態(tài)地分配權重給每一個數據點，權重表示該數據點和數據集中心之間的距離，通過各點的權重來判斷異常點。此類算法沒有先驗知識指導如何確定聚類中心，只能是隨機選取，優(yōu)化搜索空間較大，算法的復雜度較大。 Hongyi Zhang 等引為了提高模糊核聚類算法的運行效率，提出了新的 模糊核聚類算法，該算法用先驗知識對參數初始化。取代了用聚類中心初始化，改進了聚類的目標函數，降低了算法的時間復雜度，但該算法沒有提到如何選取核函數，對于算法模糊性的控制不好撐握。 2 基于屬性特征在異常點檢測中的研究 傳統算法大都是通過數據在空間地特性來判斷檢測異常點。本文的方向是從特征出發(fā)研究。傳統算法從整個數據集合在空間中分布地特性出發(fā)研究，比如距離的從整個數據集空間距離進行研究，同樣密度的按數據集空間密度研究，聚類也是 按數據集空間 特性。而本文直接從已知部分數據維度的特征著手，即是直接從每一組數據的 特征來研究。 對于單屬性特征的情況，根據數據重要性調整特征 （即維度）權值，并根據數據重要性調整。假設數據特征表示在每個屬性上面，獨立沒有組合屬性表現特征地情況下，每一組數據屬性對應權值數據乘積和，表示這個數據在這組數據中全局中所占的重要性。例如檢測是否是糖尿病人的數據庫，三十歲以下這個年齡維度上病人較少，然而五十歲后這個維度病人比例就多了。映射到維度為三十歲以下這個維度地病人比較少，映射到維度為十歲以上較多。這樣我們可以添加一個權值與年齡這一項數據乘積，這個乘積必須使權值與當前數據乘積出來的數據成正比，表示 年齡增長能夠體現在這組數據中的重要性。以便全局統籌決策較容易。設 X 為一組數據集合，可使 ? WiXi* 趨向某個數值，表示這組數據某個總體特征。異?；蛘叻钱惓＃梢酝ㄟ^趨向某個數值表示特征異常，另一個方向數值表示非異常。 有時候數據組合的重要性是體現在幾個數據地組合里面，既可能體現在幾個屬性上面 ,比如說一組數組 (A， B， C)，可能 AB 組合特征不顯示異常，然而 ABC 組合就顯示異常，這些組合是不定地。所有在屬性權值之上需要一組對屬性不同組合特征的 權值調整。 圖 樣例圖示 如圖 ，某個異常點可能異常特征是屬性 1，可能是屬性 屬性 2 地組合，對于同個數據庫不同點具有組合不確定性。 由于特征地不可確定性，數值不確定，組合不確定。我們可以采用神經網絡自學習調整權值。同時根據已知數據訓練修改這些權值，使其具有識別某種組合特征的能力。使其自學習特征，自動控制調整權值及權值組合。 人工神經網絡作為一種新型信息處理系統，在信息處理方面，具有如下顯著的特點： （１）輸入 輸出映射能力。人工神經網絡具有自學習能力，通過學習，能夠根據網絡期望輸出和網絡實 際輸出之差來調整神經元間連接權值和閾值，直至使實際輸出與期望輸出之間的誤差減小到滿意的程度，這樣就實現了輸入到輸出的映射。人工神經網絡的輸入 輸出映射能力對于預測有特別重要的意義。 （ 2）非線性特性。人工神經網絡具有很強的非線性，這種非線性分散在每個神經元，通過傳遞函數實現。利用神經網絡的非線性特性，可解決藥學研究及實驗數據處理過程中大量的非線性問題。 （ 3）高度并行性。人工神經網絡是由許多相同的簡單處理單元并聯組合而成，具有高度并行性特性，使其對特定任務的計算變得很快，對信息的處理能力與效果驚人，因此提供 了一種解決高層復雜問題的能力和方法。 （ 4）良好的容錯性與聯想記憶功能。人工神經網絡通過自身的網絡結構能夠實現對信息的記憶，而所記憶的信息是存儲在神經元之間的權值中。從單個權值中看不出所存儲的信息內容，因而是分布式的存儲方式，這使得網絡具有良好的容錯性，既能進行模式信息處理工作，又能進行模式識別工作。 因為這些特點，神經網絡廣泛應用在聚類分析、模式識別、信號處理、系統辨識、優(yōu)化計算、預測控制等領域。 根據神經網絡記憶分類地特性，本文設想通過這些特性學習出能夠辨別異常點非異常點數據的神經網絡，主要研究其可行性 。 3 BP 神經網絡介紹 模型簡介 人工神經網絡理論是 80 年代中后期迅速發(fā)展起來的一項前沿研究領域，其應用已滲透到各個領域。 BP 神經網絡模型是人工神經網絡的重要模型之一，應用尤為廣泛。 BP 算法主要包括兩個過程，一是由學習樣本、網絡權值 ? 從輸入層→隱含層→輸出層逐次算出各層節(jié)點的輸出；二是反過來由計算輸出與實際輸出偏差構出的誤差函數 E（ ? ），用梯度下降法調節(jié)網絡權值，即 )(1 kkkE???? ?????? () 使誤差 )( 1?kE? 減小。 設輸入層節(jié)點數為 n，隱含層節(jié)點數為 r，輸出層節(jié)點數為 m，隱含層與輸入層之間的權值矩陣為 )( jiwW? ，隱含層節(jié)點閥值為 j? ，輸出層與隱含層之間權值矩陣為)( kjvV? ，輸出層節(jié)點閥值為 ?k? ，并設有 N 個學習樣本 )3,2,1)(,( NPYX pP ??? 其中TpnppP xxxx ),( 21 ?? 為第 P 個學習樣本的輸入向量，Tpmppp yyyY ),( 21 ?? 為其實際輸出向量。其中 m,2,1,n2,1 ?????? ji ，下文中如不指明則相同。 計算各層節(jié)點輸出 輸入層節(jié)點，取其輸出 pio 與輸入 pix 相同，即 pipi xo ? 隱含層節(jié)點輸入 pj ，輸出 pjo 分別為： jni pijirj owne t ??? ??1 () 若令 1, 00 ??? pjj ow ? 則有： ??? ni pijirj ow 1 ， 1() 1pjp j p j n eto f n et e ??? ?。 輸出層節(jié)點輸入 pk ，輸出 pko 分別為： 39。1 krj pjkjpk ovne t ??? ?? () 若令 39。0 kkv ??? ， 10?po 則有： pkne tpkpkrj pjkjpk ene tfoovne t ?? ???? ? 11)(,0 () 修正權值 設 ?? ?? ???Np pmk pkpkp EEoyE 11221 ,)( 其中 pE 為第 p 個學習樣本產生的輸出誤差， E 為總誤差。 由誤差函數調整權值有： pjpkkjpkjp ovEv ??????? ? 其中 )1()( pkpkpkpkpk oooy ?????? pipjjipjip owEw ??????? ? 其中 ?? ?????mk kjpkpjpjpjvoo1)()1( ?? ?? ???Np kjpkjvv1? ?? ???Np jipji ww 1? () 其中 ? 為學習速率，一般在 [0， 1]內取值。 權值修正為： kjkjkj vvv ??? () jijiji ??? () 4 異常檢測中 BP 神經網絡的設計 可微閾值單元 圖 如圖 可微閾值單元，圖中為 sigmoid 單元，與感知器相似， sigmoid 單元先計算它的線性組合，然后應用一個閾值到此結果。然而，對 sigmoid 單元，閾值輸出是輸入的連續(xù)函數。更精確地講， sigmoid 單元這樣計算輸出。 )( ?? ?? xw?? （ ） 其中： yey ??? 11)(? （ ） ? 經常被稱為 sigmoid 函數或者也可以稱為 logistic 函數。注意它的輸出范圍為 0到 1，隨輸入單調遞增。因為 這個函數把非常大的書值域映射到一個小范圍的輸出。也叫擠壓函數。 本算法就是想把所有整數據特征映射到一個小范圍來處理判斷。 單個 BP 網絡結構設計 X1 X2 Xn W1 W2 Wn X0 = 1 W0 = Θ ? f ??? ni WiXi 0 n etene t ???? 1 1)(?? 采用 為神經感知器，隱層感知器根據實際數據庫的屬性確定，一般少于等于屬性個數，輸出層一個輸出感知器。 圖 BP 結構 輸入層為一組數據，全連接到隱層，隱層計算輸出受擠壓函數處理后的數值，輸出層的輸入為隱層輸出。最后輸出 0 到 1 的數值。 隱層輸出層的神經元，每個的 0W 都初始化為 ，其他權值都初始化： (double) ((rand()/)*21)；隨機數種子為系統時間。 訓練教師信號，按具體方案處理設定。 神經網絡 學習過程的 基本步驟 （ 1）定義誤差函數 r 為期望輸出與實際輸出之差的平方和： ? ?? j jmj yVr 2)(21 （ ） 其中 yj 是輸出單元的期望輸出， mjV 是實際的輸出。 輸入 隱層 輸出層 （ 2）調節(jié)權值的公式為： 1?????? kjkjij VdW ? （ ） 其中 ? 為學習步長，取正參數， 1?kjV 代表上一層神經元的輸出，而 kjd 有兩種情況： 1） 如果 j 是輸出層（第 m 層）的神 經元，則 ))(1( jmjmjmjmj yVVVd ??? （ ） 2） 如果 j 不在輸出層，而是隱含層的神經元，則 ? ??? l kljlkjkjkj dWVVd 1)1( （ ） kjV 是該神經元的輸出，而求本層的 kjd 必須用到上一層的 1?kld ，可見誤差函數的求取是一個始于輸出層的反向傳播的遞歸過程。 （ 3）將學習模式不斷輸入到輸入層，再根據輸出層產生的誤差不斷修正神經元間連結的權值和神經元的閾值，直到學習模式全部輸入或誤差達到一定的值。 反向傳播算法在網絡規(guī)模較大時計算量很大，收斂較慢，而且存在局部最小的問題，根據這一問題，在具體操作時采用了加入動量項的方法： )()1( 1 tWVdtW ijkjkjij ?????? ? ?? （ ） ? 稱為動量因子，這樣后一次的權值更新適當考慮上一次的權值更新，可以改善收斂特性。 5 實驗研究 研究使用的數據庫介紹 在嘗試各種算法方案地研究中，使用的數據庫名稱： The Insurance Company Benchmark (COIL 2021).關于保險的數據，其中包括： ，訓練數據， 5822組數據，每組 86 個屬性，第 86 個為是否異常的標志變量，總地為兩類數據；TICEVAL2021，測試數據， 4000 組，每組為 85 個特征屬性； ，與ticeval2021 對應組地結果。 訓練方案一實驗：把 bp 神經網絡相似性代替距離算法相似度量 起初思路是采用兩兩相似性地訓練，然后得出一個整體數據庫屬性特征的神經網絡。采用 WiYiXiabs ??? )( 表示 X 與 Y 兩者相似性差異。在神經網絡則表示為兩者整體特征差異大小。假設這樣能夠成功，則以后只要判斷測試數據與整體已知數據庫地整體差異大小，就可以判斷異常與否。 神網絡結構大概如下： 注：每個方向箭 頭抽象全連接 圖 方案一圖 X Y 兩兩做差絕對值 ...... 輸入層 隱層 輸出層 隱層采用 85 個可微閾值單元，輸出采用一個，網絡全連接。每個單元為 86 個權重，初始化權值按 給出的方法。 具體方式，對已知數據集做兩兩訓練，比如數據 X 和 Y，做差 fabsf(Xi Yi),然后輸入一個 BP 神經