第10章異常偵測(cè)(編輯修改稿)
2024-08-16 06:27 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 件有多適合這個(gè)模型來評(píng)估物件 ? 大多數(shù)用在離群值偵測(cè)的統(tǒng)計(jì)方法是以所建立的機(jī)率分佈模型為基礎(chǔ)，並考慮物件有在這個(gè)模型中的可能性 ? 一個(gè)離群值的機(jī)率定義：一個(gè)離群值是一個(gè)物件，其機(jī)率在資料的機(jī)率分佈模型中是很低的 – 辨識(shí)一個(gè)資料集合中特定之分佈 – 所使用的屬性數(shù)量 – 混合分佈 偵測(cè)離群值的重要議題 在單變量常態(tài)分佈中偵測(cè)離群值 ? 高斯（常態(tài)）分佈是一個(gè)最常在統(tǒng)計(jì)學(xué)中使用的分佈，我們將使用它來描述一個(gè)簡(jiǎn)單的方法來做統(tǒng)計(jì)離群值之偵測(cè) 在多變量常態(tài)分佈中的離群值 ? 對(duì)多變量高斯觀察值而言，我們想要採(cǎi)取的方法會(huì)與單變量高斯分佈相似，尤其是如果想要將具有較低機(jī)率的資料分類為異常時(shí)。此外，我們想要用簡(jiǎn)單的檢定的來判斷像是從分佈中心至資料點(diǎn)距離的問題 ? 然而因?yàn)椴煌償?shù)（屬性）之間的相關(guān)性，多變量常態(tài)分佈的中心並不是呈對(duì)稱的 異常偵測(cè)之混合模型方法 ? 在分群法中，混合模型方法假設(shè)資料是來自於混合的機(jī)率分佈，且會(huì)發(fā)現(xiàn)每個(gè)群集具有一個(gè)分佈。同樣地，針對(duì)異常偵測(cè)，資料可被塑模為一個(gè)具有兩個(gè)分佈的混合模型，一個(gè)是為正常的資料，而另一個(gè)是離群值資料 ? 分群法與異常偵測(cè)兩者的主要目的，是要去估計(jì)分佈的參數(shù)以最大化資料的總概似值（機(jī)率）。在分群法中， EM演算法用來估計(jì)每個(gè)機(jī)率分佈的參數(shù)，然而，這裡出現(xiàn)的異常偵測(cè)技術(shù)是一個(gè)較簡(jiǎn)單的方法。最初，所有的物件會(huì)被放到一個(gè)正常物件之集合中，而異常物件集是空的，然後一個(gè)反覆的步驟會(huì)將物件從正常集合轉(zhuǎn)移換到異常集合，只要有轉(zhuǎn)移就會(huì)增加資料的總概似值 ? 因?yàn)檎Ｎ锛臄?shù)量相較於異常物件的數(shù)量來的多，當(dāng)一個(gè)物件移到異常集合後，正常物件的分佈並不會(huì)改變很多，在這個(gè)情況下，每個(gè)正常物件對(duì)正常物件之總概似值之貢獻(xiàn)將會(huì)保持不變 統(tǒng)計(jì)方法的優(yōu)點(diǎn)與缺點(diǎn) ? 統(tǒng)計(jì)方法在處理離群值上已有一個(gè)穩(wěn)定且標(biāo)準(zhǔn)的技術(shù)，例如估計(jì)分佈的參數(shù)。當(dāng)有足夠的資料知識(shí)與檢定類型時(shí)，應(yīng)用這些檢定會(huì)變得很有效率，對(duì)個(gè)別屬性來說，有各種統(tǒng)計(jì)離群值之檢定方法 ? 對(duì)於多變量資料而言的選擇則較少，且這些檢定在多維度資料中可
規(guī)章制度相關(guān)推薦
鄂ICP備17016276號(hào)-1