【正文】 簡化方案，只訓(xùn)練非異常數(shù)據(jù)，異常數(shù)據(jù)特征不太可控。實驗計算結(jié)果： 5個隱層實驗結(jié)果 單位：個數(shù)分區(qū)正常點分布62554610588400000異常點分布01472367100000（單位：縱軸個數(shù)，）注：，橫軸表示0到1區(qū)間，縱軸表示個數(shù)；系列1表示非異常點計算結(jié)果，系列2表示異常點計算結(jié)果 5個隱層實驗結(jié)果 15個隱層實驗結(jié)果 單位：個數(shù)分區(qū)正常點計算分布004555762510201086409200異常點分布002223667704100 25個隱層實驗結(jié)果 單位：個數(shù)分區(qū)正常點分布1146211843259700000異常點分布90109298200000（單位：縱軸個數(shù)，）注：，橫軸表示0到1區(qū)間，縱軸表示個數(shù)；系列1表示非異常點計算結(jié)果，系列2表示異常點計算結(jié)果 15個隱層實驗結(jié)果（單位：縱軸個數(shù)，）注：，橫軸表示0到1區(qū)間，縱軸表示個數(shù)；系列1表示非異常點計算結(jié)果，系列2表示異常點計算結(jié)果 25個隱層實驗結(jié)果、 、數(shù)據(jù)依然呈現(xiàn)之前實驗地分布情況，不是BP算法隱層太多地問題。解決設(shè)想，減少隱層個數(shù)，生成隨機，空間具有兩類特征地數(shù)據(jù)。：從上表可以推出，對于未知檢測數(shù)據(jù)輸入，呈現(xiàn)無法區(qū)分地現(xiàn)象。已知正常數(shù)據(jù)3762，異常238.，通過這個可以輔助分析。數(shù)據(jù)都呈現(xiàn)正態(tài)分布，不好處理，特別是兩個教師信號數(shù)值中間區(qū)間異常點與非異常點占自己比例都是很大，難以區(qū)分。整個數(shù)據(jù)庫的所有計算結(jié)果，不管異常點非異常點的計算結(jié)果，都在0到1這個區(qū)間內(nèi)呈現(xiàn)正態(tài)分布。解決方法：第一種改變訓(xùn)練方案，改變判斷方案；第二種改變神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，以便輸出數(shù)據(jù)區(qū)分度更高，便于區(qū)別異常非異常。經(jīng)觀察驗證，測試數(shù)據(jù)與已知數(shù)據(jù)地相似性與否沒法與測試計算結(jié)果數(shù)據(jù)存在必然地比例關(guān)系。：把bp神經(jīng)網(wǎng)絡(luò)相似性代替距離算法相似度量起初思路是采用兩兩相似性地訓(xùn)練，然后得出一個整體數(shù)據(jù)庫屬性特征的神經(jīng)網(wǎng)絡(luò)。最后輸出0到1的數(shù)值。更精確地講，sigmoid單元這樣計算輸出。BP算法主要包括兩個過程，一是由學(xué)習(xí)樣本、網(wǎng)絡(luò)權(quán)值從輸入層→隱含層→輸出層逐次算出各層節(jié)點的輸出；二是反過來由計算輸出與實際輸出偏差構(gòu)出的誤差函數(shù)E（），用梯度下降法調(diào)節(jié)網(wǎng)絡(luò)權(quán)值，即 ()使誤差減小。人工神經(jīng)網(wǎng)絡(luò)是由許多相同的簡單處理單元并聯(lián)組合而成，具有高度并行性特性，使其對特定任務(wù)的計算變得很快，對信息的處理能力與效果驚人，因此提供了一種解決高層復(fù)雜問題的能力和方法。使其自學(xué)習(xí)特征，自動控制調(diào)整權(quán)值及權(quán)值組合。設(shè)X為一組數(shù)據(jù)集合，可使趨向某個數(shù)值，表示這組數(shù)據(jù)某個總體特征。傳統(tǒng)算法從整個數(shù)據(jù)集合在空間中分布地特性出發(fā)研究，比如距離的從整個數(shù)據(jù)集空間距離進行研究，同樣密度的按數(shù)據(jù)集空間密度研究，聚類也是按數(shù)據(jù)集空間特性。聚類算法發(fā)展方向是優(yōu)化聚類過程，而不是提高對異常點檢測的能力，異常點檢測和聚類是兩個相對立的過程，聚類是把屬于統(tǒng)一類的數(shù)據(jù)點聚集在一起，歸為一類，而異常點檢測是把和大多數(shù)數(shù)據(jù)點相異的點挖掘出來。這個算法復(fù)雜度與數(shù)據(jù)集大小呈線性關(guān)系，有優(yōu)異的計算性能。但是，此方法在實際應(yīng)用中計算量亦是不小，效率有待提高。也就是說是否是異常點不僅僅取決于它與周圍數(shù)據(jù)的距離大小，而且與鄰域內(nèi)的密度情況有關(guān)。代表性算法主要有以下幾種。(2) 不必對數(shù)據(jù)集的相關(guān)信息(數(shù)據(jù)服從哪種統(tǒng)計分布模型，數(shù)據(jù)類型特點等)足夠了解。對低維空間的數(shù)據(jù)此方法優(yōu)于索引算法和NL算法，但對于高維數(shù)據(jù)此算法性能不高。對于參數(shù)的每個變化都需要調(diào)整單元結(jié)構(gòu)，因此會影響了算法的結(jié)果。隨著維數(shù)的增加，所有的索引結(jié)構(gòu)的性能迅速下降，使得算法性能不佳?；诰嚯x的異常點檢測算法的基本思想是把數(shù)據(jù)點看作空間中的點，異常點被定義為與大多數(shù)數(shù)據(jù)距離較遠的點。但是異常檢測過程，通常數(shù)據(jù)的位數(shù)較高，在高維特征存在冗余特征干擾，以及高維特征下數(shù)據(jù)不充分的問題，因此，本文研究了BP神經(jīng)網(wǎng)絡(luò)應(yīng)用于不同情況。例如，一個公司首席執(zhí)行官的工資自然遠遠高于公司其他雇員的工資，成為一個異常點。因此，本文分析BP神經(jīng)網(wǎng)絡(luò)處理各種數(shù)據(jù)的情況，并得到以下結(jié)果。這部分數(shù)據(jù)的量小，但是對于我們的日常生產(chǎn)生活的影響極大。關(guān)鍵字：異常，BP，異常點檢測，神經(jīng)網(wǎng)絡(luò)注：本設(shè)計（論文）題目來源于教師的國家級（或部級、省級、廳級、市級、校級、企業(yè)）科研項目，項目編號為： 。因此人們開始逐漸研究異常點挖掘算法。此類算法估計多維分布的概率模型的難度較大，且準確性低。這類方法與基于密度的檢測算法有很大的相似之處，不需要事先知道數(shù)據(jù)集的分布模型，對于任意分布模型均有效?；趩卧姆椒ㄊ前褦?shù)據(jù)集劃分為單元，逐個單元的檢測，而非逐個對象的檢測。如果滿足的點q不超過n1個，即，那么稱為異常點。代表性的算法有: 陸聲鏈等提出一個判斷異常點的新定義，并設(shè)計基于抽樣近似檢測算法?；诿芏鹊漠惓Ｓ^點比基于距離的異常觀點更貼近Hawkins的異常定義，因此能夠檢測出基于距離異常算法所不能識別的局部異常。(2)Ville Hautamaki等提出兩種基于密度的異常點檢測算法，第一種算法思路為在kNN圖中，若頂點u成為其它點的k近鄰的次數(shù)少于給定閾值T時就被認為是異常點，另一種算法則是先對所有頂點的平均k近鄰距離進行排序，然后將平均k近鄰距離大于T點頂點視為異常點。LOF算法充分體現(xiàn)了“局部”的概念，每個點都給出了一個離群程度，離群程度最強的那個幾個點被標記為異常點。相反，它通過檢查一組對象的主要特征來識別異常點。此方法是發(fā)現(xiàn)驅(qū)動探索的一種形式。此類算法沒有先驗知識指導(dǎo)如何確定聚類中心，只能是隨機選取，優(yōu)化搜索空間較大，算法的復(fù)雜度較大。假設(shè)數(shù)據(jù)特征表示在每個屬性上面，獨立沒有組合屬性表現(xiàn)特征地情況下，每一組數(shù)據(jù)屬性對應(yīng)權(quán)值數(shù)據(jù)乘積和，表示這個數(shù)據(jù)在這組數(shù)據(jù)中全局中所占的重要性。所有在屬性權(quán)值之上需要一組對屬性不同組合特征的權(quán)值調(diào)整。人工神經(jīng)網(wǎng)絡(luò)的輸入輸出映射能力對于預(yù)測有特別重要的意義。從單個權(quán)值中看不出所存儲的信息內(nèi)容，因而是分布式的存儲方式，這使得網(wǎng)絡(luò)具有良好的容錯性，既能進行模式信息處理工作，又能進行模式識別工作。輸入層節(jié)點，取其輸出與輸入相同，即隱含層節(jié)點輸入，輸出分別為： ()若令則有：。因為這個函數(shù)把非常大的書值域映射到一個小范圍的輸出。（1）定義誤差函數(shù)為期望輸出與實際輸出之差的平方和： （）其中yj是輸出單元的期望輸出，是實際的輸出。假設(shè)這樣能夠成功，則以后只要判斷測試數(shù)據(jù)與整體已知數(shù)據(jù)庫地整體差異大小，就可以判斷異常與否。經(jīng)多次嘗試，降低訓(xùn)練次數(shù)精度，本實驗方案依然失敗。實驗方案：對神經(jīng)網(wǎng)絡(luò)BP1，先使用非異常點經(jīng)行訓(xùn)練，教師信號為0。數(shù)據(jù)難以區(qū)分。同時測試數(shù)據(jù)可以通過進行不同神經(jīng)網(wǎng)絡(luò)計算兩次，以便得結(jié)果進行具體判斷結(jié)果。表 BP1正常測試數(shù)據(jù)地分布輸出統(tǒng)計（tictgts2000中為0） （單位：個數(shù)）輸出范圍測試數(shù)據(jù)庫正常數(shù)據(jù)個數(shù)376200000000037623762表 BP1異常測試數(shù)據(jù)地分布統(tǒng)計輸出（tictgts2000中為1） （單位：個數(shù)）輸出范圍測試數(shù)據(jù)庫異常數(shù)據(jù)個數(shù)2380000000000238 BP2正常測試數(shù)據(jù)地輸出統(tǒng)計（tictgts2000中為0） （單位：個數(shù)）輸出范圍測試異常點數(shù)據(jù)數(shù)量個數(shù)0000004726 201238238表 BP2異常測試數(shù)據(jù)地輸出統(tǒng)計（tictgts2000中為1） （單位：個數(shù)）輸出范圍測試數(shù)據(jù)庫正常數(shù)據(jù)數(shù)量個數(shù)000103654163512297403762（單位：縱軸個數(shù)，）注：橫軸表示0到1區(qū)間，縱軸表示個數(shù)；系列1表示異常點計算結(jié)果，系列2表示非異常點計算結(jié)果（單位：縱軸個數(shù)，）注：橫軸表示0到1區(qū)間，縱軸表示個數(shù)；系列2表示異常點計算結(jié)果，系列1表示非異常點計算結(jié)果已知BP1保存的是正常數(shù)據(jù)地特性，越逼近0越是屬于正常數(shù)據(jù)特性；BP2保存的是異常數(shù)據(jù)地特性