【文章內(nèi)容簡介】 據(jù)特征不顯著。第四，訓練順序?qū)е?。解決方法：第一種改變訓練方案，改變判斷方案；第二種改變神經(jīng)網(wǎng)絡結(jié)構(gòu)，以便輸出數(shù)據(jù)區(qū)分度更高，便于區(qū)別異常非異常。：用單個神經(jīng)網(wǎng)絡對訓練數(shù)據(jù)庫整體特性進行學習實驗設計思路：為避免上述問題，改變訓練順序和訓練方法，單組數(shù)據(jù)輸入單個bp神經(jīng)網(wǎng)絡。為盡量得出可區(qū)分地數(shù)據(jù)，強化局部異常點特性。實驗方案：對神經(jīng)網(wǎng)絡BP1，先使用非異常點經(jīng)行訓練，教師信號為0。然后再對異常點進行訓練，教師信號為1。(1) 對所有非異常點數(shù)據(jù)，按組分別對BP1進行訓練，教師信號都為1，（）保存BP1權(quán)值；(2)加載BP1數(shù)據(jù)到BP2, 針對數(shù)據(jù)庫每個異常點，正向（數(shù)據(jù)庫地方向順序）訓練一次，再逆向訓練一次。訓練完后，保存訓練權(quán)值。實驗觀察：測試數(shù)據(jù)庫獨個輸進BP1計算。整個數(shù)據(jù)庫的所有計算結(jié)果，不管異常點非異常點的計算結(jié)果，都在0到1這個區(qū)間內(nèi)呈現(xiàn)正態(tài)分布。數(shù)據(jù)主要疊加在兩個教師信號數(shù)值之間,難以區(qū)分。實驗結(jié)果失敗。數(shù)據(jù)難以區(qū)分。根據(jù)實際數(shù)據(jù)，越逼近1地越小于第二次訓練地教師信號地，都為異常點。比如本次第一次訓練教師信號1，。正態(tài)分布地兩邊。第二次訓練把非異常數(shù)據(jù)都集中在兩次教師信號中間。數(shù)據(jù)都呈現(xiàn)正態(tài)分布，不好處理，特別是兩個教師信號數(shù)值中間區(qū)間異常點與非異常點占自己比例都是很大，難以區(qū)分。解決方案，找一種訓練方法讓異常非異常點往不同方向逼近，并使其不互相影響。：多神經(jīng)網(wǎng)絡各種形式訓練及其決策用一個神經(jīng)網(wǎng)絡表示異常點地特征，教師信號1；用另一個異常點表示非異常點地特征。同時測試數(shù)據(jù)可以通過進行不同神經(jīng)網(wǎng)絡計算兩次，以便得結(jié)果進行具體判斷結(jié)果。.BP1隱層......X1X2Xn...異常與否BP2隱層 圖 訓練方案圖 訓練方案，把訓練集合，分成兩個集合，一個為正常數(shù)據(jù)集合，一個異常。每個訓練次數(shù)少于40次（根據(jù)實際增長速度，減少控制次數(shù)），以便使數(shù)據(jù)有一定地區(qū)分度。訓練強度不要太大，以便避免無法發(fā)現(xiàn)局部異常特征地數(shù)據(jù)。訓練準備：，前85個屬性為訓練輸入，第86個為訓練用教師信號。，已知正常數(shù)據(jù)3762，異常238.，通過這個可以輔助分析。流程：（1）第一組數(shù)據(jù)單個輸入BP1訓練，保存相應BP1權(quán)值，ticdata2000正常數(shù)據(jù)訓練；（2）第二組數(shù)據(jù)單個輸入BP2訓練，保存BP2權(quán)值，ticdata2000異常數(shù)據(jù)訓練；測試方法:通過測試地兩個數(shù)據(jù)庫，輸?shù)接柧毢蟮貎蓚€神經(jīng)網(wǎng)絡，同時借助已知數(shù)據(jù)捕獲有用數(shù)據(jù)進行分析。觀察測試數(shù)據(jù)庫計算分布結(jié)果分布情況，并統(tǒng)計分布情況（. ）。表 BP1正常測試數(shù)據(jù)地分布輸出統(tǒng)計（tictgts2000中為0） （單位：個數(shù)）輸出范圍測試數(shù)據(jù)庫正常數(shù)據(jù)個數(shù)376200000000037623762表 BP1異常測試數(shù)據(jù)地分布統(tǒng)計輸出（tictgts2000中為1） （單位：個數(shù)）輸出范圍測試數(shù)據(jù)庫異常數(shù)據(jù)個數(shù)2380000000000238 BP2正常測試數(shù)據(jù)地輸出統(tǒng)計（tictgts2000中為0） （單位：個數(shù)）輸出范圍測試異常點數(shù)據(jù)數(shù)量個數(shù)0000004726 201238238表 BP2異常測試數(shù)據(jù)地輸出統(tǒng)計（tictgts2000中為1） （單位：個數(shù)）輸出范圍測試數(shù)據(jù)庫正常數(shù)據(jù)數(shù)量個數(shù)000103654163512297403762（單位：縱軸個數(shù)，）注：橫軸表示0到1區(qū)間，縱軸表示個數(shù)；系列1表示異常點計算結(jié)果，系列2表示非異常點計算結(jié)果（單位：縱軸個數(shù)，）注：橫軸表示0到1區(qū)間，縱軸表示個數(shù)；系列2表示異常點計算結(jié)果，系列1表示非異常點計算結(jié)果已知BP1保存的是正常數(shù)據(jù)地特性，越逼近0越是屬于正常數(shù)據(jù)特性；BP2保存的是異常數(shù)據(jù)地特性。，正異常數(shù)據(jù)地實際輸出。，證明異常數(shù)據(jù)特性被正常數(shù)據(jù)所包含。，剛好是已知異常點個數(shù)。，BP2為異常點特性，證明正常數(shù)據(jù)有很大一部分特征與異常數(shù)據(jù)特征有交集。：從上表可以推出，對于未知檢測數(shù)據(jù)輸入，呈現(xiàn)無法區(qū)分地現(xiàn)象。，即分布一樣，無法區(qū)分異常與異常與否。(1)可能是數(shù)據(jù)特征疊加問題，異常與分異常具有很強地交叉特征。單位：橫軸屬性順序，縱軸屬性數(shù)值。注：訓練數(shù)據(jù)庫中的，每個點代表一個屬性值，橫軸代表屬性順序，縱軸代表屬性值.圖 單位：橫軸屬性順序，縱軸屬性數(shù)值。注：訓練數(shù)據(jù)庫中的，每個點代表一個屬性值，橫軸代表屬性順序，縱軸代表屬性值.如圖 ，大多數(shù)屬性屬于一個范圍空間，這種情況在BP屬于相似性很大地情況，很難區(qū)分開來?？v軸10以下比較集中，相似特征太多。（2）BP結(jié)構(gòu)過擬化。解決設想，減少隱層個數(shù)，生成隨機，空間具有兩類特征地數(shù)據(jù)。 對上面三個實驗地隱層進行調(diào)整，主要分別取5個、15個、25個隱層單元進行訓練測試。 實驗方式主要通過對訓練數(shù)據(jù)庫地訓練，然后采用測試數(shù)據(jù)庫進行測試統(tǒng)計，實驗一方案采用組測試數(shù)據(jù)與原訓練數(shù)據(jù)庫4000組兩兩計算，然后求和，結(jié)果為與元數(shù)據(jù)庫整體相異地程度。根據(jù)數(shù)據(jù)分布，和原來測試結(jié)果進行對照分析。一下摘取部分信息。125個隱層結(jié)點訓練后測試結(jié)果與已知結(jié)果對照表： 5個隱層測試結(jié)果前11組 （單位：相似度）序號123456789101112異常與否010000000001計算結(jié)果分布 15個隱層測試結(jié)果前11組 （單位：相似度）序號123456789101112異常與否010000000001計算結(jié)果分布 15個隱層測試結(jié)果前12組 （單位：相似度）序號123456789101112異常與否010000000001計算結(jié)果分布 表計算結(jié)果分析，沒有出現(xiàn)較好區(qū)分度，無法做未知數(shù)據(jù)異常與否地判斷。同時也可看到與上面實驗一樣結(jié)果，證明不是算法問題，而是數(shù)據(jù)特征不好區(qū)分。實驗方式，調(diào)整隱層神經(jīng)單元個數(shù)125分別做一次，每次訓練完的權(quán)值去計算測試數(shù)據(jù)庫，然后通過已知結(jié)果，統(tǒng)計異常點與非異常在0到1之間的分布情況，看是否有區(qū)分度較高地方案。實驗計算結(jié)果： 5個隱層實驗結(jié)果 單位：個數(shù)分區(qū)正常點分布62554610588400000異常點分布01472367100000（單位：縱軸個數(shù)，）注：，橫軸表示0到1區(qū)間，縱軸表示個數(shù)；系列1表示非異常點計算結(jié)果，系列2表示異常點計算結(jié)果 5個隱層實驗結(jié)果 15個隱層實驗結(jié)果 單位：個數(shù)分區(qū)正常點計算分布004555762510201086409200異常點分布002223667704100 25個隱層實驗結(jié)果 單位：個數(shù)分區(qū)正常點分布1146211843259700000異常點分布90109298200000（單位：縱軸個數(shù)，）注：，橫軸表示0到1區(qū)間，縱軸表示個數(shù)；系列1表示非異常點計算結(jié)果，系列2表示異常點計算結(jié)果 15個隱層實驗結(jié)果（單位：縱軸個數(shù)，）注：，橫軸表示0到1區(qū)間，縱軸表示個數(shù)；系列1表示非異常點計算結(jié)果，系列2表示異常點計算結(jié)果 25個隱層實驗結(jié)果、 、數(shù)據(jù)依然呈現(xiàn)之前實驗地分布情況，不是BP算法隱層太多地問題。分別把隱層單元改為125分別按實驗三方案做實驗。4000組測試數(shù)據(jù)。下面為計算結(jié)果分布。 5個隱層實驗結(jié)果 單位:個數(shù)分區(qū)正常點分布0000207349560000異常點分布0000122188000 15個隱層實驗結(jié)果 單位:個數(shù)分區(qū)正常點分布427133616173681130000異常點分布43851028000000 25個隱層實驗結(jié)果 單位:個數(shù)分區(qū)正常點計算分布00031614039911491829226異常點分布0000385079899（單位：縱軸個數(shù)，）注：，橫軸表示0到1區(qū)間，縱軸表示個數(shù)；系列1表示非異常點計算結(jié)果，系列2表示異常點計算結(jié)果 5個隱層實驗結(jié)果（單位：縱軸個數(shù)，）注：，橫軸表示0到1區(qū)間，縱軸表示個數(shù)；系列1表示非異常點計算結(jié)果，系列2表示異常點計算結(jié)果 15個隱層實驗結(jié)果（單位：縱軸個數(shù)，）注：，橫軸表示0到1區(qū)間，縱軸表示個數(shù)；系列1表示非異常點計算結(jié)果，系列2表示異常點計算結(jié)果 25個隱層實驗結(jié)果數(shù)據(jù)分布一樣，無法區(qū)分。通過上面幾個實驗可以知道，并非BP結(jié)構(gòu)過擬化，應該是數(shù)據(jù)問題。，規(guī)范化數(shù)據(jù)，隨機生成具備兩類特征數(shù)據(jù)。本實驗BP結(jié)構(gòu)采用隱層5個神經(jīng)元，輸出層一個。出于簡化方案，只訓練非異常數(shù)據(jù)，異常數(shù)據(jù)特征不太可控。（1） 生成隨機數(shù)據(jù)。先生成20組數(shù)據(jù)，17組正常數(shù)據(jù)，3組異常。（2） 接入神經(jīng)網(wǎng)絡對非異常數(shù)據(jù)進行訓練。組數(shù)據(jù)結(jié)束條件教師信號與實際輸出相差絕對值 300次。（3） 保存訓練后權(quán)值，對原訓練數(shù)據(jù)進行收斂性檢查，同時查看二十組數(shù)據(jù)分布。（4） 隨機生成具備(1)特征地另一組數(shù)據(jù)，采用（2）已經(jīng)訓練地權(quán)值，進行計算測試，查看分析結(jié)果數(shù)據(jù)分布。（單位：縱軸屬性值，橫軸順序表示屬性順序，同一種圖形表示一組數(shù)據(jù)）注：?？?0組，17組正常數(shù)據(jù)，3組異常。每一組數(shù)據(jù)由一種圖形構(gòu)成。17，18，19為異常數(shù)據(jù)。 隨機數(shù)訓練完后神經(jīng)網(wǎng)絡與訓練數(shù)據(jù)計算結(jié)果,。計算第二組生成地隨機測試數(shù)據(jù)。單位：橫軸表示順序，縱軸表示計算結(jié)果數(shù)值。 測試訓練收斂與否（每個點代表一個結(jié)果）根據(jù)上面結(jié)果，可以看出BP具備特征記憶能力能夠在這種情況下被使用，并且能夠區(qū)分自身訓練集合地特征。，可以明顯區(qū)分開發(fā)來。證明BP具備一定數(shù)據(jù)特征篩選能力。在本實驗過程中同時進行了不同數(shù)據(jù)集合地實驗，多屬性特征穿插混淆，總體能夠的到穩(wěn)定結(jié)果，多屬性特征則比較不穩(wěn)定。 根據(jù)上面實驗，總地來說在實際異常點檢測上面，單純BP神經(jīng)網(wǎng)未能達到預期異常點檢測地效果，，不管異常非異常在訓練后，計算結(jié)果分布都呈現(xiàn)難以區(qū)分判斷地現(xiàn)象。，總體呈現(xiàn)靠近非異常點教師信號分布，對未知數(shù)據(jù)無法得到確切的判斷方案。，異常與非異常點計算結(jié)果都是，很難獲得一個較高準確率地檢測方案，數(shù)據(jù)較集中分布狀況一樣，無法很好分離開來。究其原因，可能是BP結(jié)構(gòu)隱層單元過多，數(shù)據(jù)特性之間交叉特性太多，以使計算結(jié)果無法區(qū)分開來。，而是由于數(shù)據(jù)特征相似性太大，只有一兩個屬性相異來分類。對于大規(guī)模多特征地數(shù)據(jù)集合，單純BP很難做出很好解決方案。通過在圖表中顯示地coil2000異常與非異常數(shù)據(jù)，具有很高地相似性，只有小部分屬性分布不同，很難使用bp獲得很好地分離方案。單位：橫軸表示順序，縱軸表示計算結(jié)果數(shù)值。 測試訓練收斂與否（每個點代表一個結(jié)果），對于區(qū)別單一、兩類特征數(shù)據(jù)，還是具備相當?shù)乜尚行?。試驗中我們采用了兩類特征地隨機數(shù)，得到了很好地區(qū)分度。根據(jù)數(shù)據(jù)分布，可以很好得到判斷方案?？梢夿P具備一定的分類器能力，采用多分類器方法對數(shù)據(jù)集合進行學習，還是具備一定地可行性。當然實際應用還會出現(xiàn)其他很多需要解決地問題。，可以知道如果做分類器對待多特征可以采用多BP網(wǎng)絡學習。同時對于出現(xiàn)特征交叉的問題，比如數(shù)據(jù)組A的前幾個屬性和B數(shù)據(jù)組前幾個屬性一樣，然后最后屬性存在不同，屬于不同類（異常和非異常），對與這種情況很難處理。時間限制未作深入研究。總結(jié)與展望綜上分析所述，BP具備一定特征分類能力，但是要通過這種分類能力去做異常點檢測需要考慮很多因素，并且需要做很多輔助工作。特別是對于不同類數(shù)據(jù)而且特征較少數(shù)據(jù)，難以分離區(qū)別。假設應用BP神經(jīng)網(wǎng)絡做異常點檢測，實際應用則采用BP充當分類器，并且根據(jù)特征采用多分類器結(jié)構(gòu)，解決數(shù)據(jù)多特征問題。同時