【正文】 在此，感謝老師地辛勤付出！愿一切順利平安！ 40 。這些都給我很大地幫助。比如題 目開題研究前期，老師幫忙找了很多資料，并及時和我溝通，因為前期在外實習(xí)，有時候老師還會打電話詢問具體進度，并及時對出現(xiàn)問題進行引導(dǎo)。她嚴肅的科學(xué)態(tài)度，嚴謹?shù)闹螌W(xué)精神，精益求精的工作作風(fēng)，深深地感染和激勵這我。對于正常數(shù)據(jù)多特征地問題，特別是正常數(shù)據(jù)有多類數(shù)據(jù)的，可以采用多神經(jīng)網(wǎng)絡(luò)融合，即多神經(jīng)網(wǎng)絡(luò)記錄多特征。對于未知數(shù)據(jù)特征可以報警，通過人工干預(yù)使系統(tǒng)學(xué)習(xí)到新特征，或者自動控制地方法學(xué)習(xí)。 同樣如果能夠有好地方案，能夠明顯獲得已知數(shù)據(jù)特征，并且能夠很好分離相近特征屬性的方案，那將是有很好速度檢測到異常數(shù)據(jù)，同時配合專家決策系統(tǒng)能夠使結(jié)果更具實際地準(zhǔn)確性，而不是單純地數(shù)據(jù)異常準(zhǔn)確性。 同時對于超出已知范疇特性地數(shù)據(jù)，進行保存處理，訓(xùn)練出新的神經(jīng)網(wǎng)絡(luò)，同時通過人工專家系統(tǒng)進行更新。 假設(shè)應(yīng)用 BP 神經(jīng)網(wǎng)絡(luò)做異常點檢測，實際應(yīng)用則采用 BP 充當(dāng)分類器，并且根據(jù)特征采用多分類器結(jié)構(gòu)，解決數(shù)據(jù)多特征問題。 35 總結(jié)與展望 綜上分析所述， BP 具備一定特征分類能力，但是要通過這種分類能力去做異常點檢測需要考慮很多因素，并且需要做很多輔助工作。同時對于出現(xiàn)特征交叉的問題，比如數(shù)據(jù)組 A 的前幾個屬性和 B 數(shù)據(jù)組前幾個屬性一樣，然后最后屬性存在不同，屬于不同類（異常和非異常），對與這種情況很難處理。當(dāng)然實際應(yīng)用還會出現(xiàn)其他很多需要解決地問題。根據(jù)數(shù)據(jù)分布，可以很好得到判斷方案。 圖 測試訓(xùn)練收斂與否（每個點代表一個結(jié)果） 但是實驗 卻有讓我們看到了希望，對于區(qū)別單一、兩類特征數(shù)據(jù)，還 是具備相當(dāng)?shù)乜尚行浴Ｍㄟ^在圖表中顯示地 coil2020 異常與非異常數(shù)據(jù)，具有很高地相似性，只有小部分屬性分布不同，很難使用 bp 獲得很好地分離方案。 證明不是 BP 結(jié)構(gòu)問題，而是由于數(shù)據(jù)特征相似性太大，只有一兩個屬性相異來分類。對于 和 也一樣， 計算結(jié)果呈現(xiàn)正態(tài)分布，異常與非異常點計算結(jié)果都是，很難獲得一個較高準(zhǔn)確率地檢測方案，數(shù)據(jù)較集中分布狀況一樣，無法很好分離開來， 同樣也出現(xiàn)分布狀況一樣地現(xiàn)象。 實驗整體分析 根據(jù)上面實驗，總地來說在實際異常點檢測上面，單純 BP 神經(jīng)網(wǎng)未能達到預(yù)期異常點檢測地效果， ， ， 的實驗都失敗，不管異常非異常在訓(xùn)練后，計算結(jié)果分布都呈現(xiàn)難以區(qū)分判斷地現(xiàn)象。證明 BP具備一定數(shù)據(jù)特征篩選能力。圖 正常點計算范圍集中在 到 之間，異常點計算結(jié)果在 之間，可以明顯區(qū)分開發(fā)來。 單位：橫軸表示順序，縱軸表示計算結(jié)果數(shù)值。 圖 隨機數(shù) 實驗結(jié)果 33 訓(xùn)練完后神經(jīng)網(wǎng)絡(luò)與訓(xùn)練數(shù)據(jù)計算結(jié)果 ,如圖 。每一組數(shù)據(jù)由一種圖形構(gòu)成。 （單位：縱軸屬性值，橫軸順序表示屬性順序，同一種圖形表示一組數(shù)據(jù)） 注：正常數(shù)據(jù)五個屬性每個都限制在 之前，異常數(shù)據(jù)每個屬性都限制在 之間。 （ 3） 保存訓(xùn)練后權(quán)值，對原訓(xùn)練數(shù)據(jù)進行收斂性檢查，同時查看二十組數(shù)據(jù) 分布。 （ 2） 接入神經(jīng)網(wǎng)絡(luò)對非異常數(shù)據(jù)進行訓(xùn)練。 實驗步驟 （ 1） 生成隨機數(shù)據(jù)，正常數(shù)據(jù)五個屬性每個都限制在 之前，異常數(shù)據(jù)每個屬32 性都限制在 之間。本實驗 BP 結(jié)構(gòu)采用隱層 5 個神經(jīng)元，輸出層一個。 通過上面幾個實驗可以知道，并非 BP 結(jié)構(gòu)過擬化，應(yīng)該是數(shù)據(jù)問題。結(jié)果如表 至表 。 4000 組測試數(shù)據(jù)。 實驗計算結(jié)果： 表 5個隱層實驗結(jié)果 單位：個數(shù) 分區(qū) .1 .2 .3 .4 .5 .6 .7 .8 .9 正常點分布 6 2554 610 588 4 0 0 0 0 0 異常點分布 0 147 23 67 1 0 0 0 0 0 27 （單位：縱軸個數(shù)，橫軸順序表示每隔 地區(qū)間 ） 注：對照表 ， 橫軸表示 0 到 1 區(qū)間，比如 1 表示 0 到 計算結(jié)果分布，縱軸表示個數(shù)； 系列 1 表示非異常點計算結(jié)果，系列 2 表示異常點計算結(jié)果 圖 5個隱層實驗結(jié)果 表 15個隱層實驗結(jié)果 單位：個數(shù) 25個隱層實驗結(jié)果 單位：個數(shù) 分區(qū) .4 .5 .6 .7 .8 .9 .0 正常點計算分布 0 0 45 557 625 1020 1086 409 20 0 異常點分布 0 0 2 22 36 67 70 41 0 0 分區(qū) .1 .2 .3 .4 .5 .6 .7 .8 .9 .0 正常點分布 1146 2118 432 59 7 0 0 0 0 0 異常點分布 90 109 29 8 2 0 0 0 0 0 28 （單位：縱軸個數(shù)，橫軸順序表示每隔 地區(qū)間） 注：對照表 ， 橫軸表示 0 到 1 區(qū)間，比如 1 表示 0 到 計算結(jié)果分布 ，縱軸表示個數(shù)； 系列 1 表示非異常點計算結(jié)果，系列 2 表示異常點計算結(jié)果 圖 15個隱層實驗結(jié)果 （單位：縱軸個數(shù)，橫軸順序表示每隔 地區(qū)間） 注：對照表 ， 橫軸表示 0 到 1 區(qū)間，比如 1 表示 0 到 計算結(jié)果分布，縱軸表示個數(shù)； 系列 1 表示非異常點計算結(jié)果，系列 2 表示異常點計算結(jié)果 圖 25個隱層實驗結(jié)果 通過表 、表 、表 、 圖 、圖 、圖 觀察分析，數(shù)據(jù)依然呈現(xiàn)之前 29 實驗地分布情況，不是 BP 算法隱層太多地問題。同時也可看到與上面實驗一樣結(jié)果，證明不是算法問題，而是數(shù)據(jù)特征不好區(qū)分。一下摘取部分信息。 對實驗一調(diào)整隱層實驗 實驗方式主要通過對訓(xùn)練數(shù)據(jù)庫地訓(xùn)練，然后采用測試數(shù)據(jù)庫進行測試統(tǒng)計，實驗一方案采用組測試數(shù)據(jù)與原訓(xùn)練數(shù)據(jù)庫 4000 組兩兩計算，然后求和，結(jié)果為與元數(shù)據(jù)庫整體相異地程度。 解決設(shè)想，減少隱層個數(shù)，生成隨機，空間具有兩類特征地數(shù)據(jù)?？v軸 10 以下比較集中，相似特征 太多。 注：訓(xùn)練數(shù)據(jù)庫中的，每個點代表一個屬性值，橫軸代表屬性順序，縱軸代表屬性值 . 圖 單位：橫軸屬性順序，縱軸屬性數(shù)值。 實 驗失敗原因分析 24 (1)可能是數(shù)據(jù)特征疊加問題，異常與分異常具有很強地交叉特征。 綜合上面各個表和圖 和圖 分析：從上表可以推出，對于未知檢測數(shù)據(jù)輸入，呈現(xiàn)無法區(qū)分地現(xiàn)象。 表 計算，異常點數(shù)據(jù)集中在 之間，剛好是已知異常點個數(shù)。剛好所 有正常數(shù)據(jù)都在 之下。 表 計算，正異常數(shù)據(jù)地實際輸出，集中在 之中。 觀察測試數(shù)據(jù)庫計算分布結(jié)果分布情況，并統(tǒng)計分布情況（表 . 表 表）。觀察測試采用所有 作為輸入， 為測試數(shù)據(jù)實際結(jié)果，已知正常數(shù)據(jù) 3762，異常 238.，通過這個可以輔助分析。訓(xùn)練強度不要太大，以便避免無法發(fā)現(xiàn)局部異常特征地數(shù)據(jù)。算法結(jié)構(gòu)圖如圖 . 20 圖 訓(xùn)練方案圖 實驗方案及步驟 訓(xùn)練方案，把訓(xùn)練集合，分成兩個集合，一個為正常數(shù)據(jù)集合，一個異常。 訓(xùn)練方案三實驗：多神經(jīng)網(wǎng)絡(luò)各種形式訓(xùn)練及其決策 實驗設(shè)計思路 用一個神經(jīng)網(wǎng)絡(luò)表示異常點地特征，教師信號 1；用另一個異常點表示非異常點地特征，教師信號 。 數(shù)據(jù)都呈現(xiàn)正態(tài)分布，不好處理，特別是兩個教師信號數(shù)值中間區(qū)間異常點與非異常點占自己比例都是很大，難以區(qū)分。 正態(tài)分布地兩邊。 根據(jù)實際數(shù)據(jù)，越逼近 1 地越小于第二次訓(xùn)練地教師信號地，都為異常點。 實驗結(jié)果失敗。整個數(shù)據(jù)庫的所有計算結(jié)果，不管異常點非異常點 的 計算結(jié)果，都在 0 到 1 這個區(qū)間內(nèi)呈現(xiàn)正態(tài)分布。訓(xùn)練完 19 后，保存訓(xùn)練權(quán)值。然后再對異常點進行訓(xùn)練，教師信號為 1。為盡量得出可區(qū)分地數(shù)據(jù)，強化局部異常點特性。 解決方法：第一種改變訓(xùn)練方案，改變判斷方案；第二種改變神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，以便輸出數(shù)據(jù)區(qū)分度更高，便于區(qū)別異常非異常。第三，數(shù)據(jù)特征不顯著。 經(jīng)過大量實驗，失敗原因：第一， bp 處理輸出區(qū)分度不夠，難以有判斷方案。然后又對測試數(shù)據(jù)與訓(xùn)練數(shù)據(jù)庫，進行相似性求和，對比測試數(shù)據(jù)中異常點與非異常點與訓(xùn)練數(shù)據(jù)庫地相似性和，依然沒有區(qū)分度。 經(jīng)觀察驗證，測試數(shù)據(jù)與已知數(shù)據(jù)地相似性與否沒法與測試計算結(jié)果數(shù)據(jù)存在必然地比例關(guān)系。 具體方式，對已知數(shù)據(jù)集做兩兩訓(xùn)練，比如數(shù)據(jù) X 和 Y，做差 fabsf(Xi Yi),然后輸入一個 BP 神經(jīng)網(wǎng)絡(luò)，已知數(shù)據(jù)庫中第 86 個屬性 ,(X 86,Y86)對應(yīng)為（ 0， 0）則教師信號為 1， (1， 1)則教師信號為 1， (0,1)則為 0，部分順序。 神網(wǎng)絡(luò)結(jié)構(gòu)大概如下： 注：每個方向箭頭抽象全連接 圖 方案一圖 X Y 兩兩做差絕對值 ...... 輸入層 隱層 輸出層 18 隱層采用 85 個可微閾值單元，輸出采用一個，網(wǎng)絡(luò)全連接。在神經(jīng)網(wǎng)絡(luò)則表示為兩者整體特征差異大小。 訓(xùn)練方案一實驗：把 bp 神經(jīng)網(wǎng)絡(luò)相似性代替距離算法相似度量 起初思路是采用兩兩相似性地訓(xùn)練，然后得出一個整體數(shù)據(jù)庫屬性特征的神經(jīng)網(wǎng)絡(luò)。 反向傳播算法在網(wǎng)絡(luò)規(guī)模較大時計算量很大，收斂較慢，而且存在局部最小的問題，根據(jù)這一問題，在具體操作時采用了加入動量項的方法： )()1( 1 tWVdtW ijkjkjij ?????? ? ?? （ ） ? 稱為動量因子，這樣后一次的權(quán)值更新適當(dāng)考慮上一次的權(quán)值更新，可以改善收斂特性。 輸入 隱層 輸出層 15 （ 2）調(diào)節(jié)權(quán)值的公式為： 1?????? kjkjij VdW ? （ ） 其中 ? 為學(xué)習(xí)步長，取正參數(shù)， 1?kjV 代表上一層 神經(jīng)元的輸出，而 kjd 有兩種情況： 1） 如果 j 是輸出層（第 m 層）的神經(jīng)元，則 ))(1( jmjmjmjmj yVVVd ??? （ ） 2） 如果 j 不在輸出層，而是隱含層的神經(jīng)元，則 ? ??? l kljlkjkjkj dWVVd 1)1( （ ） kjV 是 該神經(jīng)元的輸出，而求本層的 kjd 必須用到上一層的 1?kld ，可見誤差函數(shù)的求取是一個始于輸出層的反向傳播的遞歸過程。 訓(xùn)練教師信號，按具體方案處理設(shè)定。最后輸出 0 到 1 的 數(shù)值。 單個 BP 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計 X1 X2 Xn W1 W2 Wn X0 = 1 W0 = Θ ? f ??? ni WiXi 0 ne ten et ???? 1 1)(??14 采用 為神經(jīng)感知器，隱層感知器根據(jù)實際數(shù)據(jù)庫的屬性確定，一般少于等于屬性個數(shù)，輸出層一個輸出感知器。也叫擠壓函數(shù)。注意它的輸出范圍為 0到 1，隨輸入單調(diào)遞增。更精確地講， sigmoid 單元這樣計算輸出。 權(quán)值修正為： kjkjkj vvv ??? () jijiji ??? () 12 13 4 異常檢測中 BP 神經(jīng)網(wǎng)絡(luò)的設(shè)計 可微閾值單元 圖 如圖 可微閾值單元，圖中為 sigmoid 單元，與感知器相似， sigmoid 單元先計算它的線性組合，然后應(yīng)用一個閾值到此結(jié)果。0 kkv ??? ， 10?po 則有： pkn e tpkpkrj pjkjpk en e tfoovn e t ?? ???? ? 11)(,0 () 修正權(quán)值 設(shè) ?? ?? ???Np pmk pkpkp EEoyE 11221 ,)( 其中 pE 為第 p 個學(xué)習(xí)樣本產(chǎn)生的輸出誤差， E 為總誤差。 輸出層節(jié)點輸入 pk ，輸出 pko 分別為：