【正文】 39。其中 m,2,1,n2,1 ?????? ji ，下文中如不指明則相同。 BP 算法主要包括兩個(gè)過(guò)程，一是由學(xué)習(xí)樣本、網(wǎng)絡(luò)權(quán)值 ? 從輸入層→隱含層→輸出層逐次算出各層節(jié)點(diǎn)的輸出；二是反過(guò)來(lái)由計(jì)算輸出與實(shí)際輸出偏差構(gòu)出的誤差函數(shù) E（ ? ），用梯度下降法調(diào)節(jié)網(wǎng)絡(luò)權(quán)值，即 )(1 kkkE???? ?????? () 使誤差 )( 1?kE? 減小。 9 3 BP 神經(jīng)網(wǎng)絡(luò)介紹 模型簡(jiǎn)介 人工神經(jīng)網(wǎng)絡(luò)理論是 80 年代中后期迅速發(fā)展起來(lái)的一項(xiàng)前沿研究領(lǐng)域，其應(yīng)用已滲透到各個(gè)領(lǐng)域。 因?yàn)檫@些特點(diǎn)，神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用在聚類(lèi)分析、模式識(shí)別、信號(hào)處理、系統(tǒng)辨識(shí)、優(yōu)化計(jì)算、預(yù)測(cè)控制等領(lǐng)域。人工神經(jīng)網(wǎng)絡(luò)通過(guò)自身的網(wǎng)絡(luò)結(jié)構(gòu)能夠?qū)崿F(xiàn)對(duì)信息的記憶，而所記憶的信息是存儲(chǔ)在神經(jīng)元之間的權(quán)值中。人工神經(jīng)網(wǎng)絡(luò)是由許多相同的簡(jiǎn)單處理單元并聯(lián)組合而成，具有高度并行性特性，使其對(duì)特定任務(wù)的計(jì)算變得很快，對(duì)信息的處 理能力與效果驚人，因此提供了一種解決高層復(fù)雜問(wèn)題的能力和方法。利用神經(jīng)網(wǎng)絡(luò)的非線性特性，可解決藥學(xué)研究及實(shí)驗(yàn)數(shù)據(jù)處理過(guò)程中大量的非線性問(wèn)題。 （ 2）非線性特性。人工神經(jīng)網(wǎng)絡(luò)具有自學(xué)習(xí)能力，通過(guò)學(xué)習(xí)，能 夠根據(jù)網(wǎng)絡(luò)期望輸出和網(wǎng)絡(luò)實(shí)際輸出之差來(lái)調(diào)整神經(jīng)元間連接權(quán)值和閾值，直至使實(shí)際輸出與期望輸出之間的誤差減小到滿(mǎn)意的程度，這樣就實(shí)現(xiàn)了輸入到輸出的映射。使其自學(xué)習(xí)特征，自動(dòng)控制調(diào)整權(quán)值及權(quán)值組合。我們可以采用神經(jīng)網(wǎng)絡(luò)自學(xué)習(xí)調(diào)整權(quán)值。 圖 樣例圖示 8 如圖 ，某個(gè)異常點(diǎn)可能異常特征是屬性 1，可能是屬性 屬性 2 地組合，對(duì)于同個(gè)數(shù)據(jù)庫(kù)不同點(diǎn)具有組合不確定性。 有時(shí)候數(shù)據(jù)組合的重要性是體現(xiàn)在幾個(gè)數(shù)據(jù)地組合里面，既可能體現(xiàn)在幾個(gè)屬性上面 ,比如說(shuō)一組數(shù)組 (A， B， C)，可能 AB 組合特征不顯示異常，然而 ABC 組合就顯示異常，這些組合是不定地。設(shè) X 為一組數(shù)據(jù)集合，可使 ? WiXi* 趨向某個(gè)數(shù)值，表示這組數(shù)據(jù)某個(gè)總體特征。這樣我們可以添加一個(gè)權(quán)值與年齡這一項(xiàng)數(shù)據(jù)乘積，這個(gè)乘積必須使權(quán)值與當(dāng)前數(shù)據(jù) 乘積出來(lái)的數(shù)據(jù)成正比，表示年齡增長(zhǎng)能夠體現(xiàn)在這組數(shù)據(jù)中的重要性。例如檢測(cè)是否是糖尿病人的數(shù)據(jù)庫(kù)，三十歲以下這個(gè)年齡維度上病人較少，然而五十歲后這個(gè)維度病人比例就多了。 對(duì)于單屬性特征的情況，根據(jù)數(shù)據(jù)重要性調(diào)整特征 （即維度）權(quán)值，并根據(jù)數(shù)據(jù)重要性調(diào)整。傳統(tǒng)算法從整個(gè)數(shù)據(jù)集合在空間中分布地特性出發(fā)研究，比如距離的從整個(gè)數(shù)據(jù)集空間距離進(jìn)行研究，同樣密度的按數(shù)據(jù)集空間密度研究，聚類(lèi)也是 按數(shù)據(jù)集空間 特性。 7 2 基于屬性特征在異常點(diǎn)檢測(cè)中的研究 傳統(tǒng)算法大都是通過(guò)數(shù)據(jù)在空間地特性來(lái)判斷檢測(cè)異常點(diǎn)。 Hongyi Zhang 等引為了提高模糊核聚類(lèi) 算法的運(yùn)行效率，提出了新的模糊核聚類(lèi)算法，該算法用先驗(yàn)知識(shí)對(duì)參數(shù)初始化。 模糊 k 均值聚類(lèi)算法 (FCM)常用于異常點(diǎn)檢測(cè)，該算法動(dòng)態(tài)地分配權(quán)重給每一個(gè)數(shù)據(jù)點(diǎn)，權(quán)重表示該數(shù)據(jù)點(diǎn)和數(shù)據(jù)集中心之間的距離，通過(guò)各點(diǎn)的權(quán)重來(lái)判斷異常點(diǎn)。聚類(lèi)算法發(fā)展方向是優(yōu)化聚類(lèi)過(guò)程，而不是提高對(duì)異常點(diǎn)檢測(cè)的能力，異常點(diǎn)檢測(cè)和聚類(lèi)是兩個(gè)相對(duì)立的過(guò)程，聚類(lèi)是把屬于統(tǒng)一類(lèi)的數(shù)據(jù)點(diǎn)聚集在一起，歸為一類(lèi)，而異常點(diǎn)檢測(cè)是把和大多數(shù)數(shù)據(jù)點(diǎn)相異的點(diǎn)挖掘出來(lái)。第二種搜索空間大，人工探測(cè)困難，效率不高，只適用多維數(shù)據(jù)。此方法由于搜索空間很大，人工探測(cè)非常困難。 (2) OLAP 數(shù)據(jù)立方體技術(shù)：在大規(guī)模的多維數(shù)據(jù)中采用數(shù)據(jù)立方體來(lái)確定反常區(qū)域 .如果一個(gè)立方體的單元值顯著地不同于根據(jù)統(tǒng)計(jì)模型得到的值，該單元被 認(rèn)為是一個(gè)異常。這個(gè)算法復(fù)雜度與數(shù)據(jù)集大小呈線性關(guān)系，有優(yōu)異的計(jì)算性能。主要有兩種技術(shù)：第一種順序地比較集合中的對(duì)象，叫順序異常技術(shù) (sequential exception technique)；第二種采用 OLAP 數(shù)據(jù)立方 體方法識(shí)別大型多維數(shù)據(jù)中的異常區(qū)域。背離這種描述的對(duì)象認(rèn)為是異常點(diǎn)。 基于偏差的異常點(diǎn)檢測(cè) 基于偏差的異常點(diǎn)檢測(cè)不使用統(tǒng)計(jì)檢驗(yàn)或者基于距離的度量來(lái)識(shí)別異常對(duì)象。 但是，此方法在實(shí)際應(yīng)用中計(jì)算量亦是不小，效率有待提高。計(jì)算 LOF 要耗費(fèi)很大的計(jì)算量，針對(duì)此問(wèn)題 malik Agyemang 提出了修改算法，即局部稀疏系數(shù) (LSC)算法。文獻(xiàn)有關(guān)發(fā) 5 面對(duì) LOF 進(jìn)行推廣：一是由原來(lái)的一個(gè)鄰域的變化為兩個(gè)（計(jì)算密度領(lǐng)域和比較密度領(lǐng)域）；二是剪除非 異常對(duì)象來(lái)減小計(jì)算代價(jià)；因此，使用算法比傳統(tǒng)的 LOF 算法有所提高。這樣就不會(huì)像 DB(p， d)異常點(diǎn)那樣遺漏一部分異常點(diǎn)。也就是說(shuō)是否是異常點(diǎn)不僅僅取決于它與周?chē)鷶?shù)據(jù)的距離大小，而且與鄰域內(nèi)的密度情況有關(guān)。該方法降低了數(shù)據(jù)集的大小，提高了算法效率，但是在剪枝過(guò)程中對(duì)于特殊分布的數(shù)據(jù)集就有可能將異常點(diǎn)剪掉，算法的準(zhǔn)確性受到限制。 (3)Papadimitriou 定義了多粒度偏離系數(shù) (Multi— Granularity Deviation Factor，簡(jiǎn)稱(chēng)MDEF)，該算法將多粒度偏離 系數(shù) 是所在鄰域的標(biāo)準(zhǔn)多粒度偏離系數(shù)的 3 倍的點(diǎn)判定為異常點(diǎn)，然而標(biāo) 準(zhǔn)多粒度偏離系數(shù)的計(jì)算量大，對(duì)算法的可行性有一定的限制。該算法針對(duì)數(shù)據(jù)點(diǎn)的分布對(duì)各種特殊形狀都有效， 但算法執(zhí)行效率不高。代表性算法主要有以下幾種。一般的對(duì)密度的定義是點(diǎn)到其量近鄰的平均距離，平均距離小則密度小。局部異常觀點(diǎn)摒棄了以前所有的異常定義中非此即彼的絕對(duì)異常觀念，更加符合現(xiàn)實(shí)生活的中的 應(yīng)用。 基于密度的算法 基于密度方法是在基于距離的方法上改進(jìn)而來(lái)。 (2) 不必對(duì)數(shù)據(jù)集的相關(guān)信息 (數(shù)據(jù)服從哪種統(tǒng)計(jì)分布模型，數(shù)據(jù)類(lèi)型特點(diǎn)等 )足夠了解。 與基于統(tǒng)計(jì)的方法相比，它有以下幾個(gè)優(yōu)點(diǎn) : 則可找出數(shù)據(jù)集中的異常 點(diǎn)。使得算法性能有所提高 。 隨著人們對(duì)基于距離的方法的不斷研究，一些新的、較好的算法也不斷的涌現(xiàn)。對(duì)低維空間的數(shù)據(jù)此方法優(yōu)于索引算法和 NL 算法，但對(duì)于高維數(shù)據(jù)此算法性能不高。相對(duì)于 d)DB(p, 異常點(diǎn)挖掘，異常點(diǎn)挖掘方法人為干預(yù)的因素要小一些。如果對(duì)數(shù)據(jù) 對(duì) 象根據(jù)它們的 )(pDk 距離進(jìn)行排序，那么前 n 個(gè)點(diǎn)就被看作異常 點(diǎn)。給定 S 維空間中包含 N 個(gè)點(diǎn)的數(shù)據(jù)集 D 、參數(shù) n 和 k (自然數(shù) ), ()kDp表示點(diǎn) p 和它的第 k 最近鄰的距離。對(duì)于參數(shù)的每個(gè)變化都需要調(diào)整單元結(jié)構(gòu)，因此會(huì)影響了算法的結(jié)果。 相對(duì)前 兩者，基于單元的算法無(wú)論是在數(shù)據(jù)量還是在維數(shù)增加時(shí)，性能都是最好的。它的時(shí)間復(fù)雜度為)( NckO ? ，其中 ck 取決于單元的個(gè)數(shù)和維數(shù) k 。以上兩方法的算法時(shí)間復(fù)雜度為 )( 2knO ，當(dāng)遇到大 量數(shù)據(jù)集時(shí)它們還有待改進(jìn)。隨著維數(shù)的增加，所有的索引結(jié)構(gòu)的性能迅速下降，使得算法性能不佳。與此 定 義 相應(yīng)的算法有三種，它們是基于索引 (Indexbased)的算法，嵌套循環(huán) (NestLoop， NL)算法，基于單元或劃分 (cellbased)的算法等。 基于距離方法最早是由 Knorr 和 Ng 在 1998 年提出的。當(dāng)且僅當(dāng)數(shù)據(jù)集 S 中至少有 pct 個(gè)數(shù)據(jù)點(diǎn)與 P 點(diǎn)的距離大于 dmin 時(shí)，數(shù)據(jù)對(duì)象 P 點(diǎn)稱(chēng)為異常點(diǎn)。 基于距離的異常點(diǎn)檢測(cè)算法 基于距離的異常點(diǎn)檢測(cè)算法的基本思想是把數(shù)據(jù)點(diǎn)看作空間中的點(diǎn)，異常點(diǎn)被定義為與大多數(shù)數(shù)據(jù)距離較遠(yuǎn)的點(diǎn)。 基于統(tǒng)計(jì)的異 常點(diǎn)檢測(cè)方法易于理解，實(shí)現(xiàn)方便，但此方法檢測(cè)出來(lái)的異常點(diǎn)很可能被不同的分布模型檢測(cè)出來(lái)，解釋異常點(diǎn)意義時(shí)經(jīng)常發(fā)生多義性。基于深度方法主要以計(jì)算幾何為基礎(chǔ)，通過(guò)計(jì)算不同層的 KD 凸包將外層的對(duì)象判定為異常點(diǎn)。前者一般通過(guò)先構(gòu)造一個(gè)標(biāo)準(zhǔn)概率分布來(lái)擬合數(shù)據(jù)集，然后根據(jù)概率分布來(lái)確定異常點(diǎn)，例如 Rosner 提出的單樣本多個(gè)異常檢測(cè)算法 ESD算法，和 Yamnishi 等使用混合高斯模型的異常點(diǎn)檢測(cè)算法。但是異常檢測(cè)過(guò)程，通常數(shù)據(jù)的位數(shù)較高，在高維特征存在冗余特征干擾，以及高維特征下數(shù)據(jù)不充分的問(wèn)題，因此，本文研究了BP 神經(jīng)網(wǎng)絡(luò)應(yīng)用于不同情況。本文從特征與異常檢測(cè)的關(guān)系出發(fā)進(jìn)行研究。目前異常 點(diǎn)檢測(cè)已經(jīng)開(kāi)始用于信用卡欺詐、網(wǎng)絡(luò)入侵檢測(cè)以及金融申請(qǐng)和交易欺詐等領(lǐng)域 [2]，近年來(lái)異常點(diǎn)檢測(cè)已成為數(shù)據(jù)挖掘研究中的一個(gè)熱點(diǎn)問(wèn)題。然而異常點(diǎn)可能隱藏著重要的信息，也許比一般的數(shù)據(jù)更有價(jià)值。例如，一個(gè)公司首席執(zhí)行官的工資自然遠(yuǎn)遠(yuǎn)高于公司其他雇員的工資，成為一個(gè)異常點(diǎn)。 (3) normal data is not sufficient or not representative, so the normal data class learning is not sufficient, leading to abnormal can not judge. To solve the above problem, this paper proposes the following improvements: (1) BP algorithm before feature reduction (map) benefit from anomaly detection features selected (2) integration of multiple neural works, different neural work to recognize the different characteristics of each each other, the final fusion result. Key Words： OutliersData， BP， Algorithms， Neural Networks V VI 目 錄 1 引言 .......................................................................................................................................... 1 背景 ................................................................................................................................ 1 ............................................................................................. 1 基于統(tǒng)計(jì)學(xué)的異常點(diǎn)檢測(cè)算法 .......................................................................... 1 基于距離的異常點(diǎn)檢測(cè)算法 .............................................................................. 2 基于密度的算法 .................................................................................................. 3 基于偏差的異常點(diǎn)檢測(cè) ...................................................................................... 5 基于聚類(lèi)的異常點(diǎn)檢測(cè)算法 .............................................................................. 6 2 基于屬性特征在異常點(diǎn)檢測(cè)中的研究 .................................................................................. 7 3 BP 神經(jīng)網(wǎng)絡(luò)介紹 ..................................................................................................................... 9 模型簡(jiǎn)介 ........................................................................................................................ 9 計(jì)算各層節(jié)點(diǎn)輸出 ........................................................................................................ 9 修正權(quán)值 ..........................................................................................................