【正文】 （單位：縱軸個(gè)數(shù)，橫軸順序表示每隔 地區(qū)間） 注：對(duì)照表 ， 橫軸表示 0 到 1 區(qū)間，比如 1 表示 0 到 計(jì)算結(jié)果分布，縱軸表示個(gè)數(shù)； 系列 1 表示非異常點(diǎn)計(jì)算結(jié)果，系列 2 表示異常點(diǎn)計(jì)算結(jié)果 25個(gè)隱層實(shí)驗(yàn)結(jié)果 數(shù)據(jù)分布一樣，無(wú)法區(qū)分。組數(shù)據(jù)結(jié)束條件 教師信號(hào)與實(shí)際輸出相差絕對(duì)值 和次數(shù) time 300 次。 計(jì)算第二組生成地隨機(jī)測(cè)試數(shù)據(jù)，結(jié)果如圖 。 呈現(xiàn)無(wú)規(guī)則分布，總體呈現(xiàn)靠近非異常點(diǎn)教師信號(hào)分布，對(duì)未知數(shù)據(jù)無(wú)法得到確切的判斷方案。試驗(yàn)中我們采用了兩類特征地隨機(jī)數(shù)，得到了很好地區(qū)分度。特別是對(duì)于不同類數(shù)據(jù)而且特征較少數(shù)據(jù)，難以分離區(qū)別。 總地來(lái)說(shuō)，使用神經(jīng)網(wǎng)絡(luò)分類，對(duì)于相似性比較高，差異集中在局部 特征的數(shù)據(jù)，可以使用特征映射相關(guān)技術(shù)遺傳算法、啟發(fā)式搜索、特征隨機(jī)選取等得到這些特征差異。也是一步步支持我能夠圓滿結(jié)題地推動(dòng)力。從題目的選擇到最終完成，王麗娟老師適中基于我細(xì)心的指導(dǎo)和不懈的支持。這樣保證在可控范圍能得到更高準(zhǔn)確性。 通過(guò)實(shí)驗(yàn) 后面實(shí)驗(yàn)過(guò)程多特征地實(shí)驗(yàn)地經(jīng)歷，可以知道如果做分類器對(duì)待多特征可以采用多 BP 網(wǎng)絡(luò)學(xué)習(xí)。對(duì)于大規(guī)模多特征地?cái)?shù)據(jù)集合，單純 BP 很難做出很好解決方案。同樣圖 也可以區(qū)分清楚?？?20 組， 17 組正常數(shù)據(jù)，3 組異常。出于簡(jiǎn)化方案，只訓(xùn)練非異常數(shù)據(jù)，異常數(shù)據(jù)特征不太可控。 對(duì)實(shí)驗(yàn)三調(diào)整隱層實(shí)驗(yàn) 分別把隱層單元改為 1 25 分別按實(shí)驗(yàn)三方案做實(shí)驗(yàn)。 調(diào)參實(shí)驗(yàn) 對(duì)上面三個(gè)實(shí)驗(yàn)地隱層進(jìn)行調(diào)整，主要分別取 5 個(gè)、 15 個(gè)、 25 個(gè)隱層單元進(jìn)行訓(xùn)練測(cè)試。圖 圖 見數(shù)據(jù)呈現(xiàn)疊加分布，即分布一樣，無(wú)法區(qū)分異常與異常與否。 表 BP1正常測(cè)試數(shù)據(jù)地分布輸出統(tǒng)計(jì)（ tictgts2020 中為 0） （單位：個(gè)數(shù)） 輸出范圍 .1 小于 測(cè)試數(shù)據(jù)庫(kù)正常數(shù)據(jù) 個(gè)數(shù) 3762 0 0 0 0 0 0 0 0 0 3762 3762 表 BP1異常測(cè)試數(shù)據(jù)地分布統(tǒng)計(jì)輸出（ tictgts2020 中為 1） （單位：個(gè)數(shù)） 輸出范圍 大于 測(cè)試數(shù)據(jù)庫(kù)異常數(shù)據(jù) 個(gè)數(shù) 238 0 0 0 0 0 0 0 0 0 0 238 BP2正常測(cè)試數(shù)據(jù)地輸出統(tǒng)計(jì)（ tictgts2020 中為 0） （單位：個(gè)數(shù)） 輸出范圍 大于 地?cái)?shù)據(jù) 測(cè)試異常點(diǎn)數(shù)據(jù)數(shù)量 個(gè)數(shù) 0 0 0 0 0 0 4 7 26 201 238 238 22 表 BP2異 常測(cè)試數(shù)據(jù)地輸出統(tǒng)計(jì)（ tictgts2020 中為 1） （單位：個(gè)數(shù)） 輸出范圍 小 地?cái)?shù)據(jù)數(shù) 測(cè)試數(shù)據(jù)庫(kù)正常數(shù)據(jù)數(shù)量 個(gè)數(shù) 0 0 0 1 0 36 54 163 512 2974 0 3762 實(shí)驗(yàn)分析 （單位：縱軸個(gè)數(shù)，橫軸順序表示每隔 地區(qū)間） 注：橫軸表示 0 到 1 區(qū)間，比如 1 表示 0 到 計(jì)算結(jié)果分布，縱軸表示個(gè)數(shù)； 系列 1 表示異常點(diǎn)計(jì)算結(jié)果，系列 2 表示非異常點(diǎn)計(jì)算結(jié)果 圖 使用已訓(xùn)練的 BP1 計(jì)算結(jié)果分布 23 （單位：縱軸個(gè)數(shù)，橫軸順序表示每隔 地區(qū)間） 注：橫軸表示 0 到 1 區(qū)間，比如 1 表示 0 到 計(jì)算結(jié)果分布，縱軸表示個(gè)數(shù)； 系列 2 表示異常點(diǎn)計(jì)算結(jié)果，系列 1 表示非異常點(diǎn)計(jì)算結(jié)果 圖 使用已訓(xùn)練的 BP2 計(jì)算結(jié)果分布 已知 BP1 保存的是正常數(shù)據(jù)地特性，越逼近 0 越是屬于正常數(shù)據(jù)特性； BP2 保存的是異常數(shù)據(jù)地特性。同時(shí)測(cè)試數(shù)據(jù)可以通過(guò)進(jìn)行不同神經(jīng)網(wǎng)絡(luò)計(jì)算兩次，以便得結(jié)果進(jìn)行具體判斷結(jié)果。數(shù)據(jù)難以區(qū)分。 實(shí)驗(yàn)方案：對(duì)神經(jīng)網(wǎng)絡(luò) BP1， 先使用非異常點(diǎn)經(jīng)行訓(xùn)練，教師信號(hào)為 0。 經(jīng)多次嘗試，降低訓(xùn)練次數(shù)精度，本實(shí)驗(yàn)方案依然失敗。假設(shè)這樣能夠成功，則以后只要判斷測(cè)試數(shù)據(jù)與整 體已知數(shù)據(jù)庫(kù)地整體差異大小，就可以判斷異常與否。 神經(jīng)網(wǎng)絡(luò) 學(xué)習(xí)過(guò)程的 基本步驟 （ 1）定義誤差函數(shù) r 為期望輸出與實(shí)際輸出之差的平方和： ? ?? j jmj yVr 2)(21 （ ） 其中 yj 是輸出單元的期望輸出， mjV 是實(shí)際的輸出。因?yàn)檫@個(gè)函數(shù)把非常大的書值域映射到一個(gè)小范圍的輸出。1 krj pjkjpk ovne t ??? ?? () 若令 39。 根據(jù)神經(jīng)網(wǎng)絡(luò)記憶分類地特性，本文設(shè)想通過(guò)這些特性學(xué)習(xí)出能夠辨別異常點(diǎn)非異常點(diǎn)數(shù)據(jù)的 神經(jīng)網(wǎng)絡(luò)，主要研究其可行性。人工神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的非線性，這種非線性分散在每個(gè)神經(jīng)元，通過(guò)傳遞函數(shù)實(shí)現(xiàn)。 由于特征地不可確定性，數(shù)值不確定，組合不確定。映射到維度為三十歲以下這個(gè)維度地病人比較少，映射到維度為十歲以上較多。取代了用聚類中心初始化，改進(jìn)了聚類的目標(biāo)函數(shù)，降低了算法的時(shí)間復(fù)雜度，但該算法沒(méi)有提到如何選取核函數(shù)，對(duì)于算法模糊性的控制不好撐握。 第一種概念有缺陷，遺漏了不少異常點(diǎn)，時(shí)間復(fù)雜度與數(shù)據(jù)集大小成線性關(guān)系，適用性不高。因此，在該方法中，屬于偏差通常用于指異常點(diǎn)。 在現(xiàn)有的計(jì)算局部異常因子（ LOF）算法中，把具有很高 LOF 值的對(duì)象作為異常點(diǎn) 。 (4)Dongmei Ren 等采用相對(duì)密度系數(shù) (Rela— tive Density Factor，簡(jiǎn)稱 RDF)，即 P 點(diǎn)的密度相對(duì)該點(diǎn)的鄰域密度的比值作為孤立程度的度量方法，其基本思路是首先基于RDF 對(duì)位于簇中心的數(shù)據(jù)點(diǎn)進(jìn)行剪枝，然后僅僅在剩下的較小的數(shù)據(jù)集中進(jìn)行異常點(diǎn)檢測(cè)。 所謂密度是基于 任意一點(diǎn)和 P 點(diǎn)距離小于給定半徑 R 的鄰域空間內(nèi)的數(shù)據(jù)點(diǎn)的個(gè)數(shù)計(jì)算得到的。另外，徐雪松等利用聚類算法與第 k 個(gè)最近鄰的原理提出了基于距離的再聚類的異常點(diǎn)算法，它克服一些基于距離算法的缺點(diǎn)，并取得較好的試驗(yàn)結(jié)果。他們用聚類算法首先對(duì)數(shù)據(jù)集進(jìn)行聚類，然后在類中發(fā)現(xiàn)異常點(diǎn)。 Knorr 和 Ng 通過(guò)試驗(yàn)證明，當(dāng) 4k??時(shí)此算法優(yōu)于 NL 算法。他們用 DB(p,d)來(lái)表示數(shù)據(jù)集中的異常點(diǎn)，采用不同的參數(shù) p 與 d ， ( ,d)DBp 可以表示所有的異常點(diǎn)。但當(dāng)數(shù)據(jù)集較大，此類方法在維數(shù)上的伸縮2 性不好。 傳統(tǒng)數(shù)據(jù)挖掘主要有以下幾類：基于統(tǒng)計(jì)的方法，基于距離的方法，基于偏移方法，基于聚類方法，基于密度方法。 but (2) the characteristics of similar large data sets, separation is difficult to judge。相對(duì)于大量的正常數(shù)據(jù)挖掘而言，異常點(diǎn)檢測(cè)被稱作小模式數(shù)據(jù)挖掘。 BP 算法是一種常用的數(shù)據(jù)挖掘算法。 (3) normal data is not sufficient or not representative, so the normal data class learning is not sufficient, leading to abnormal can not judge. To solve the above problem, this paper proposes the following improvements: (1) BP algorithm before feature reduction (map) benefit from anomaly detection features selected (2) integration of multiple neural works, different neural work to recognize the different characteristics of each each other, the final fusion result. Key Words： OutliersData， BP， Algorithms， Neural Networks V VI 目 錄 1 引言 .......................................................................................................................................... 1 背景 ................................................................................................................................ 1 ............................................................................................. 1 基于統(tǒng)計(jì)學(xué)的異常點(diǎn)檢測(cè)算法 .......................................................................... 1 基于距離的異常點(diǎn)檢測(cè)算法 .............................................................................. 2 基于密度的算法 .................................................................................................. 3 基于偏差的異常點(diǎn)檢測(cè) ...................................................................................... 5 基于聚類的異常點(diǎn)檢測(cè)算法 .............................................................................. 6 2 基于屬性特征在異常點(diǎn)檢測(cè)中的研究 .................................................................................. 7 3 BP 神經(jīng)網(wǎng)絡(luò)介紹 ..................................................................................................................... 9 模型簡(jiǎn)介 ........................................................................................................................ 9 計(jì)算各層節(jié)點(diǎn)輸出 ........................................................................................................ 9 修正權(quán)值 ......................................................................................................................10 4 異常檢測(cè)中 BP 神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì) .........................................................................................13 可微閾值單元 ...............................................................................................................13 單個(gè) BP 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì) ................................................................................................13 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過(guò)程的基本步驟 ..............................................................................14 5 實(shí)驗(yàn)研究 .....................................................