【文章內(nèi)容簡介】 向數(shù)值表示非異常。有時候數(shù)據(jù)組合的重要性是體現(xiàn)在幾個數(shù)據(jù)地組合里面，既可能體現(xiàn)在幾個屬性上面,比如說一組數(shù)組(A，B，C)，可能AB組合特征不顯示異常，然而ABC組合就顯示異常，這些組合是不定地。所有在屬性權值之上需要一組對屬性不同組合特征的權值調(diào)整。 樣例圖示，某個異常點可能異常特征是屬性1，可能是屬性屬性2地組合，對于同個數(shù)據(jù)庫不同點具有組合不確定性。由于特征地不可確定性，數(shù)值不確定，組合不確定。我們可以采用神經(jīng)網(wǎng)絡自學習調(diào)整權值。同時根據(jù)已知數(shù)據(jù)訓練修改這些權值，使其具有識別某種組合特征的能力。使其自學習特征，自動控制調(diào)整權值及權值組合。人工神經(jīng)網(wǎng)絡作為一種新型信息處理系統(tǒng)，在信息處理方面，具有如下顯著的特點：（１）輸入輸出映射能力。人工神經(jīng)網(wǎng)絡具有自學習能力，通過學習，能夠根據(jù)網(wǎng)絡期望輸出和網(wǎng)絡實際輸出之差來調(diào)整神經(jīng)元間連接權值和閾值，直至使實際輸出與期望輸出之間的誤差減小到滿意的程度，這樣就實現(xiàn)了輸入到輸出的映射。人工神經(jīng)網(wǎng)絡的輸入輸出映射能力對于預測有特別重要的意義。（2）非線性特性。人工神經(jīng)網(wǎng)絡具有很強的非線性，這種非線性分散在每個神經(jīng)元，通過傳遞函數(shù)實現(xiàn)。利用神經(jīng)網(wǎng)絡的非線性特性，可解決藥學研究及實驗數(shù)據(jù)處理過程中大量的非線性問題。（3）高度并行性。人工神經(jīng)網(wǎng)絡是由許多相同的簡單處理單元并聯(lián)組合而成，具有高度并行性特性，使其對特定任務的計算變得很快，對信息的處理能力與效果驚人，因此提供了一種解決高層復雜問題的能力和方法。（4）良好的容錯性與聯(lián)想記憶功能。人工神經(jīng)網(wǎng)絡通過自身的網(wǎng)絡結構能夠?qū)崿F(xiàn)對信息的記憶，而所記憶的信息是存儲在神經(jīng)元之間的權值中。從單個權值中看不出所存儲的信息內(nèi)容，因而是分布式的存儲方式，這使得網(wǎng)絡具有良好的容錯性，既能進行模式信息處理工作，又能進行模式識別工作。因為這些特點，神經(jīng)網(wǎng)絡廣泛應用在聚類分析、模式識別、信號處理、系統(tǒng)辨識、優(yōu)化計算、預測控制等領域。根據(jù)神經(jīng)網(wǎng)絡記憶分類地特性，本文設想通過這些特性學習出能夠辨別異常點非異常點數(shù)據(jù)的神經(jīng)網(wǎng)絡，主要研究其可行性。3 BP神經(jīng)網(wǎng)絡介紹 人工神經(jīng)網(wǎng)絡理論是80年代中后期迅速發(fā)展起來的一項前沿研究領域，其應用已滲透到各個領域。BP神經(jīng)網(wǎng)絡模型是人工神經(jīng)網(wǎng)絡的重要模型之一，應用尤為廣泛。BP算法主要包括兩個過程，一是由學習樣本、網(wǎng)絡權值從輸入層→隱含層→輸出層逐次算出各層節(jié)點的輸出；二是反過來由計算輸出與實際輸出偏差構出的誤差函數(shù)E（），用梯度下降法調(diào)節(jié)網(wǎng)絡權值，即 ()使誤差減小。設輸入層節(jié)點數(shù)為n，隱含層節(jié)點數(shù)為r，輸出層節(jié)點數(shù)為m，隱含層與輸入層之間的權值矩陣為，隱含層節(jié)點閥值為，輸出層與隱含層之間權值矩陣為，輸出層節(jié)點閥值為，并設有N個學習樣本其中為第P個學習樣本的輸入向量，為其實際輸出向量。其中，下文中如不指明則相同。輸入層節(jié)點，取其輸出與輸入相同，即隱含層節(jié)點輸入，輸出分別為： ()若令則有：。輸出層節(jié)點輸入，輸出分別為： () 若令，則有： () 修正權值設 其中為第p個學習樣本產(chǎn)生的輸出誤差，為總誤差。由誤差函數(shù)調(diào)整權值有： 其中 其中 ()其中為學習速率，一般在[0，1]內(nèi)取值。權值修正為： () ()4 異常檢測中BP神經(jīng)網(wǎng)絡的設計fX0 = 1WnW2W1XnX2X1W0 = Θ圖 如圖 可微閾值單元，圖中為sigmoid單元，與感知器相似，sigmoid單元先計算它的線性組合，然后應用一個閾值到此結果。然而，對sigmoid單元，閾值輸出是輸入的連續(xù)函數(shù)。更精確地講，sigmoid單元這樣計算輸出。 （）其中： （）經(jīng)常被稱為sigmoid函數(shù)或者也可以稱為logistic函數(shù)。注意它的輸出范圍為0到1，隨輸入單調(diào)遞增。因為這個函數(shù)把非常大的書值域映射到一個小范圍的輸出。也叫擠壓函數(shù)。本算法就是想把所有整數(shù)據(jù)特征映射到一個小范圍來處理判斷。，隱層感知器根據(jù)實際數(shù)據(jù)庫的屬性確定，一般少于等于屬性個數(shù)，輸出層一個輸出感知器。輸入隱層輸出層圖 BP結構輸入層為一組數(shù)據(jù)，全連接到隱層，隱層計算輸出受擠壓函數(shù)處理后的數(shù)值，輸出層的輸入為隱層輸出。最后輸出0到1的數(shù)值。隱層輸出層的神經(jīng)元，其他權值都初始化：(double) ((rand()/)*21)；隨機數(shù)種子為系統(tǒng)時間。訓練教師信號，按具體方案處理設定。（1）定義誤差函數(shù)為期望輸出與實際輸出之差的平方和： （）其中yj是輸出單元的期望輸出，是實際的輸出。（2）調(diào)節(jié)權值的公式為： （） 其中為學習步長，取正參數(shù)，代表上一層神經(jīng)元的輸出，而有兩種情況：1） 如果j是輸出層（第m層）的神經(jīng)元，則 （） 2） 如果j不在輸出層，而是隱含層的神經(jīng)元，則 （） 是該神經(jīng)元的輸出，而求本層的必須用到上一層的，可見誤差函數(shù)的求取是一個始于輸出層的反向傳播的遞歸過程。（3）將學習模式不斷輸入到輸入層，再根據(jù)輸出層產(chǎn)生的誤差不斷修正神經(jīng)元間連結的權值和神經(jīng)元的閾值，直到學習模式全部輸入或誤差達到一定的值。反向傳播算法在網(wǎng)絡規(guī)模較大時計算量很大，收斂較慢，而且存在局部最小的問題，根據(jù)這一問題，在具體操作時采用了加入動量項的方法： （） 稱為動量因子，這樣后一次的權值更新適當考慮上一次的權值更新，可以改善收斂特性。5實驗研究在嘗試各種算法方案地研究中，使用的數(shù)據(jù)庫名稱：The Insurance Company Benchmark (COIL 2000).關于保險的數(shù)據(jù)，其中包括：，訓練數(shù)據(jù)，5822組數(shù)據(jù)，每組86個屬性，第86個為是否異常的標志變量，總地為兩類數(shù)據(jù)；TICEVAL2000，測試數(shù)據(jù)，4000組，每組為85個特征屬性；，與ticeval2000對應組地結果。：把bp神經(jīng)網(wǎng)絡相似性代替距離算法相似度量起初思路是采用兩兩相似性地訓練，然后得出一個整體數(shù)據(jù)庫屬性特征的神經(jīng)網(wǎng)絡。采用表示X與Y兩者相似性差異。在神經(jīng)網(wǎng)絡則表示為兩者整體特征差異大小。假設這樣能夠成功，則以后只要判斷測試數(shù)據(jù)與整體已知數(shù)據(jù)庫地整體差異大小，就可以判斷異常與否。神網(wǎng)絡結構大概如下：XY兩兩做差絕對值......輸入層 隱層 輸出層 注：每個方向箭頭抽象全連接圖 方案一圖隱層采用85個可微閾值單元，輸出采用一個，網(wǎng)絡全連接。每個單元為86個權重。具體方式，對已知數(shù)據(jù)集做兩兩訓練，比如數(shù)據(jù)X和Y，做差fabsf(Xi Yi),然后輸入一個BP神經(jīng)網(wǎng)絡，已知數(shù)據(jù)庫中第86個屬性,(X 86,Y86)對應為（0，0）則教師信號為1，(1，1)則教師信號為1，(0,1)則為0，部分順序。實驗訓練數(shù)據(jù)庫100與4000組數(shù)據(jù)做兩兩訓練還有4000組與4000組數(shù)據(jù)訓練。經(jīng)觀察驗證，測試數(shù)據(jù)與已知數(shù)據(jù)地相似性與否沒法與測試計算結果數(shù)據(jù)存在必然地比例關系。輸出結果的所有數(shù)據(jù)，在0到1區(qū)間之間，不管相似不相似都集中分布在靠近0，沒有區(qū)分度，不能明顯表示相似與否地概念。然后又對測試數(shù)據(jù)與訓練數(shù)據(jù)庫，進行相似性求和，對比測試數(shù)據(jù)中異常點與非異常點與訓練數(shù)據(jù)庫地相似性和，依然沒有區(qū)分度。經(jīng)多次嘗試，降低訓練次數(shù)精度，本實驗方案依然失敗。經(jīng)過大量實驗，失敗原因：第一，bp處理輸出區(qū)分度不夠，難以有判斷方案。第二，訓練方案地問題，數(shù)據(jù)集合里面，缺乏異常點地訓練，bp權值能增長方向把小規(guī)模局部數(shù)據(jù)地特征給掩蓋掉了，難以輸出好地數(shù)據(jù)來區(qū)分。第三，數(shù)據(jù)特征不顯著。第四，訓練順序?qū)е?。解決方法：第一種改變訓練方案，改變判斷方案；第二種改變神經(jīng)網(wǎng)絡結構，