【正文】 能會影響某些對象的局部異常程度，因此在二次挖掘時，需重新計算所有數(shù)據(jù)對象的局部異常因子，計算時間復雜度較高，所以這些算法在動態(tài)環(huán)境中不易實現(xiàn)。ToWel等人在分析神經(jīng)網(wǎng)絡的基礎上，根據(jù)神經(jīng)網(wǎng)絡的理論提出了基于神經(jīng)網(wǎng)絡的異常數(shù)據(jù)挖掘算法。早期的異常數(shù)據(jù)檢測方法是基于統(tǒng)計的方法，這種方法依賴于數(shù)據(jù)集服從某種標準分布，所以異常數(shù)據(jù)是基于概率分布來定義的，如Yamanishi等人將正常行為用一個高斯混合模型來進行描述，通過計算數(shù)據(jù)對象與這個模型的偏離程度來發(fā)現(xiàn)異常。對這類異常分析可以獲取常規(guī)數(shù)據(jù)不能得到的新的信息，如基礎結構損壞等；(2)數(shù)據(jù)固有變化異常，這類異常通常是自然發(fā)生的，如風速的變化、波浪波動等；(3)數(shù)據(jù)測量誤差，這類異常的產(chǎn)生往往是因為測量儀器故障或者網(wǎng)絡傳輸錯誤，以及噪音的存在引起的，這類異常通常作為噪聲而被刪除。但由于監(jiān)測信息格式復雜、信息量大，每天數(shù)據(jù)量甚至能達到十幾GB，如果不能有效地對這些數(shù)據(jù)進行處理，很多異常數(shù)據(jù)將不能有效辨識，缺失信息將不能有效彌補，而且監(jiān)測數(shù)據(jù)的分析必須建立在準確有效的監(jiān)測數(shù)據(jù)之上，低精度和異常的監(jiān)測數(shù)據(jù)常常影響數(shù)值分析的結果，會影響到系統(tǒng)的功能與特性分析，給后續(xù)數(shù)據(jù)處理帶來很大的誤差，正常信息不能得到有效利用，故有必要對原始采集數(shù)據(jù)進行處理。異常數(shù)據(jù)處理方法研究1異常數(shù)據(jù)處理概述 研究背景近年來，隨著海上風力發(fā)電技術的日益成熟和陸上風電可開發(fā)資源的不斷減少，海上風電尤其是近海風電的開發(fā)開始加速。因此監(jiān)測異常數(shù)據(jù)處理是三方面中至關重要的一點。與其他工程相比，風機基礎安全狀況監(jiān)測發(fā)展較為滯后，尚未發(fā)現(xiàn)關于風機基礎監(jiān)測數(shù)據(jù)處理的相關研究成果，其監(jiān)測異常數(shù)據(jù)的處理缺乏相應的經(jīng)驗。雖然這種基于標準分布的模型，能識別異?，F(xiàn)象，但此類方法有很大的局限性，因為往往無法預知數(shù)據(jù)集是服從哪類標準分布。最近提出的比較流行的異常數(shù)據(jù)挖掘算法是基于核的分類方法，主要思想是將輸入的數(shù)據(jù)通過關系函數(shù)映射到一個高維特征空間，通過高維空間的分類超平面，就可以建立一個簡單的分類模型，從而區(qū)分正常或異常數(shù)據(jù)。因此，如何在動態(tài)環(huán)境中提高基于密度的異常數(shù)據(jù)挖掘算法的時間效率避免大量的重復計算顯得尤為重要。監(jiān)測結果的準確性建立在高質量的監(jiān)測數(shù)據(jù)之上，如果不能有效地辨識與處理異常數(shù)據(jù)，低精度和異常的監(jiān)測數(shù)據(jù)混入正常數(shù)據(jù)集中，會對監(jiān)測系統(tǒng)的功能與特性分析產(chǎn)生重大影響，給后續(xù)數(shù)據(jù)處理帶來很大的誤差，正常數(shù)據(jù)信息不能有效用于后續(xù)的相關研究，利用數(shù)據(jù)研究得到的結論與實際可能存在較大誤差。為了減小噪聲對數(shù)據(jù)結果的影響，除了采用更加科學的采樣技術外，還需要采用一些必要的技術手段對原始數(shù)據(jù)進行整理、統(tǒng)計，數(shù)字濾波技術是最基本的處理方法，它可以消弱數(shù)據(jù)中的噪聲，提高數(shù)據(jù)的代表性。如對于采集的數(shù)據(jù)量比較大的環(huán)境參數(shù)，為了達到更好的濾波效果，可以選用眾數(shù)濾波和均值濾波結合的復合濾波方法?？臻g數(shù)據(jù)的各個數(shù)據(jù)實例之間有一定的相對位置關系。集合中單一數(shù)據(jù)實例不被認為是異常，但這些數(shù)據(jù)實例同時出現(xiàn)就構成了集合異常。對于無監(jiān)督異常檢測，不需要訓練數(shù)據(jù)集，但需要假設正常的數(shù)據(jù)實例在數(shù)量上要遠遠多于異常數(shù)據(jù)實例。在訓練階段，算法利用訓練數(shù)據(jù)集中的數(shù)據(jù)對象，構造分類器模型。(2)最近鄰法異常檢測使用最近鄰法的基本假設是:按某種度量方式，正常數(shù)據(jù)對象之間比較接近，而異常數(shù)據(jù)對象和鄰居數(shù)據(jù)對象之間卻相對較遠?；诰嚯x的異常數(shù)據(jù)挖掘方法是基于分布的方法的拓展，在數(shù)據(jù)集不滿足任何分布模型時仍能夠有效地發(fā)現(xiàn)異常數(shù)據(jù)。依據(jù)基本假設的不同，基于聚簇技術的異常檢測方法大體分為三類:一類假設正常的數(shù)據(jù)對象都能被聚簇算法歸入某個簇，而異常數(shù)據(jù)對象不屬于任何一個簇；一類假設正常的數(shù)據(jù)對象與它所在簇的質心比較近，而異常數(shù)據(jù)對象與它所在簇的質心比較遠；另一類假設正常的數(shù)據(jù)對象屬于較大且較密集的簇，而異常的數(shù)據(jù)對象屬于較小且較稀疏的簇?；诮y(tǒng)計學的異常數(shù)據(jù)檢測算法主要缺點是：通常只能處理單維的數(shù)據(jù)對象；需要很多先驗知識，要預先假設數(shù)據(jù)集的分布，不適合分布未知的情況；通常只適合處理數(shù)據(jù)型的數(shù)據(jù)，限制了其在符號型或者含有大量分類數(shù)據(jù)對象的數(shù)據(jù)集上的應用。給定n個對象的集合S，建立一個子集序列{S1, S2, …, Sm}，對每個子集，確定該子集與前序子集的差異度的差。 異常數(shù)據(jù)修正方法簡介常用的瞬時異常數(shù)據(jù)的修正方法是，參考該點前后的數(shù)據(jù)，采用線性插值法或三階、多階平滑法的方式完成該數(shù)據(jù)點的修正，但這種方法無法適應進化(evolving)數(shù)據(jù)流在不同時刻具有不同波動情況的特點，在出現(xiàn)多個連續(xù)異常數(shù)據(jù)或數(shù)據(jù)值變化劇烈時修正的精度偏低。通常在這種大型數(shù)據(jù)庫系統(tǒng)中，數(shù)據(jù)倉庫作為一種有價值的工具用來存放系統(tǒng)數(shù)據(jù)，在絕大多數(shù)情況下，當事物數(shù)據(jù)庫系統(tǒng)有數(shù)據(jù)增加時，數(shù)據(jù)倉庫并不是立即將新增的數(shù)據(jù)存入內(nèi)存中，而是在人為設定的一定時間后例如夜間或者其他空閑的時間內(nèi)，以批量新增的方式將數(shù)據(jù)存入數(shù)據(jù)倉庫中。通常應用于圖像處理中的平滑和去噪。基于鄰近去最值均值濾波檢測濾波和檢測的目的不同，前者主要是對數(shù)據(jù)進行去噪和平滑，而后者主要是在不修改原始數(shù)據(jù)的前提下找出數(shù)據(jù)中的異常點。傳感器一般被認為由敏感元件、轉換元件、測量電路三部分組成。當系統(tǒng)數(shù)據(jù)存在異常數(shù)據(jù)時，要兼顧異常數(shù)據(jù)的作用，其建模的精度會大幅度下降，模型性能并不能令人因此，異常數(shù)據(jù)并不是全是對數(shù)據(jù)分析完全無用的數(shù)據(jù)。傳感器類型為振弦傳感器由于傳感器系統(tǒng)中的振弦式傳感器是通過熱敏電阻來測量溫度值的，因此數(shù)據(jù)采集與傳輸系統(tǒng)中通用振弦采集儀采集與輸出的原始數(shù)據(jù)亦為電阻值，在應力數(shù)據(jù)處理與分析子系統(tǒng)中需要對輸出的溫度值進行二次加工處理，轉換為溫度值。從表面看，異常數(shù)據(jù)與眾不同，而且許多異常數(shù)據(jù)是無用的噪音性數(shù)據(jù)，影響我們對數(shù)據(jù)的正確分析與理解，給實際工作帶來諸多不便，但某些異常數(shù)據(jù)可能包含著某種重要的知識，因此對其進行分析具有一定價值。無線傳感器網(wǎng)絡需要從部署環(huán)境中獲取數(shù)據(jù)，從中發(fā)現(xiàn)有價值的信息，這是其應用能否成功的關鍵。二是怎樣設計數(shù)據(jù)質量的評價體系和評價指標，以便能從數(shù)據(jù)產(chǎn)生的源頭即傳感裝置開始，持續(xù)的關注和跟蹤數(shù)據(jù)質量。智能化傳感器兼有檢測、判斷和信息處理功能。經(jīng)過長時間分析應力數(shù)據(jù)的異常現(xiàn)象，可以把異常數(shù)據(jù)按照產(chǎn)生原因分為兩類。本文基于實例著重從數(shù)據(jù)采集設備異常數(shù)據(jù)檢測的角度來探討各種異常數(shù)據(jù)檢測方法的有效性和實用性。傳感器的主要作用有兩個：其一是敏感作用，它感受被測量的變化，完成信號的拾?。黄涠亲儞Q作用，完成非電量到電量的轉換。若式(2)成立，則 (x,y)點為異常點。均值濾波定義如下：g(x,y)=mean{f(s,t)}， s,t∈ Sxy式中：g(x,y)為(x,y)點的輸出值；f(s,t)為以 (x,y)點為中心的鄰域內(nèi)(s,t)點的輸入值；Sxy為以 (x,y)為中心的鄰域。然而，由于測量設備本身、數(shù)據(jù)傳輸或者人工操作等原因，可能使測量數(shù)據(jù)中包含某些錯誤的信息。3 幾種典型改進算法及其應用實例由于異常檢測問題涉及很多領域，不同的問題域有不同的問題特征，所以沒有各領域通用的異常檢測技術。這個算法復雜度與數(shù)據(jù)集大小呈線性關系，有優(yōu)異的計算性能。基于信息論進行異常檢測的基本假設