第10章異常偵測(編輯修改稿)
2025-08-16 06:27 本頁面
【文章內容簡介】 件有多適合這個模型來評估物件 ? 大多數(shù)用在離群值偵測的統(tǒng)計方法是以所建立的機率分佈模型為基礎，並考慮物件有在這個模型中的可能性 ? 一個離群值的機率定義：一個離群值是一個物件，其機率在資料的機率分佈模型中是很低的 – 辨識一個資料集合中特定之分佈 – 所使用的屬性數(shù)量 – 混合分佈 偵測離群值的重要議題 在單變量常態(tài)分佈中偵測離群值 ? 高斯（常態(tài)）分佈是一個最常在統(tǒng)計學中使用的分佈，我們將使用它來描述一個簡單的方法來做統(tǒng)計離群值之偵測 在多變量常態(tài)分佈中的離群值 ? 對多變量高斯觀察值而言，我們想要採取的方法會與單變量高斯分佈相似，尤其是如果想要將具有較低機率的資料分類為異常時。此外，我們想要用簡單的檢定的來判斷像是從分佈中心至資料點距離的問題 ? 然而因為不同變數(shù)（屬性）之間的相關性，多變量常態(tài)分佈的中心並不是呈對稱的 異常偵測之混合模型方法 ? 在分群法中，混合模型方法假設資料是來自於混合的機率分佈，且會發(fā)現(xiàn)每個群集具有一個分佈。同樣地，針對異常偵測，資料可被塑模為一個具有兩個分佈的混合模型，一個是為正常的資料，而另一個是離群值資料 ? 分群法與異常偵測兩者的主要目的，是要去估計分佈的參數(shù)以最大化資料的總概似值（機率）。在分群法中， EM演算法用來估計每個機率分佈的參數(shù)，然而，這裡出現(xiàn)的異常偵測技術是一個較簡單的方法。最初，所有的物件會被放到一個正常物件之集合中，而異常物件集是空的，然後一個反覆的步驟會將物件從正常集合轉移換到異常集合，只要有轉移就會增加資料的總概似值 ? 因為正常物件的數(shù)量相較於異常物件的數(shù)量來的多，當一個物件移到異常集合後，正常物件的分佈並不會改變很多，在這個情況下，每個正常物件對正常物件之總概似值之貢獻將會保持不變 統(tǒng)計方法的優(yōu)點與缺點 ? 統(tǒng)計方法在處理離群值上已有一個穩(wěn)定且標準的技術，例如估計分佈的參數(shù)。當有足夠的資料知識與檢定類型時，應用這些檢定會變得很有效率，對個別屬性來說，有各種統(tǒng)計離群值之檢定方法 ? 對於多變量資料而言的選擇則較少，且這些檢定在多維度資料中可
規(guī)章制度相關推薦
鄂ICP備17016276號-1