【文章內(nèi)容簡介】 提出了帶標記的等距特征映射算法（Landmark ISOMAP）(De Silva and Tenenbaum, 2003)。針對 ISOMAP 算法對于數(shù)據(jù)集噪聲敏感的問題，Choi 等人通過觀察圖中的網(wǎng)絡流提出了一種消除臨界孤立點的方法以加強 ISOMAP 算法的拓撲穩(wěn)定性(Choi and Choi, 2007)。在構建近鄰圖方面，Yang 提出通過構造k 連通圖方式來確保近鄰圖的連通性，以提高測地距離的估計精度(Yang, 2005)。2009 年，Xiang 等人提出了局部樣條嵌入算法（LSE）(Xiang et al., 2006。Xiang et al., 2008)。Xiang 認為，對于嵌入在高維輸入空間的低維流形，非線性維數(shù)約簡的任務實際上是尋找一組非線性的復合映射，即由局部坐標映射（Local Coordinatization Mapping）與全局排列映射（Global Alignment Mapping）復合而成的兼容映射（Compatible Mapping）。在兼容映射的概念框架下，LSE 算法首先通過主分量分析計算每個樣本點局部鄰域在切空間上的投影獲得該鄰域所有樣本的局部坐標，從而保持流形的局部幾何結構信息；然后采用Sobolev 空間的一組樣條函數(shù)把每個樣本點的局部坐標映射成 全局唯一的低維坐標。它們均是利用每個樣本的局部切空間來捕獲流形的局部幾何，樣本點在切空間的投影來表示樣本點的局部坐標。然而它們的主要區(qū)別在于全局排列，LTSA 算法是利用仿射變換來進行全局排列，而 LSE 算法是利用樣條函數(shù)來獲得全局唯一的坐標。因此相對于 LTSA 而言，LSE 算法能夠?qū)崿F(xiàn)更小的重構誤差。LSE 算法的主要缺點在于：一是無法保持全局尺度信息；二是不能學習具有較大曲率的低維流形結構。除此，如何選擇滿足要求的樣條函數(shù)也是一個值得考慮的問題。不同流形學習算法的區(qū)別在于所嘗試保持流形的局部鄰域結構信息以及利用這些信息構造全局嵌入的方法不同，與以往的維數(shù)約簡方法相比，流形學習能夠有效地探索非線性流形分布數(shù)據(jù)的內(nèi)在規(guī)律與性質(zhì)。但是在實際應用中流形學習方法仍然存在一些缺點，比如本征維數(shù)估計問題、樣本外點學習問題、監(jiān)督流形學習問題和噪聲流形學習問題等。為了解決這些問題，相關的算法也不斷涌現(xiàn)出來。Freedman 等提出了一種基于簡化單純復形的流形重構方法來自動估計流形的本征維數(shù)(Freedman, 2002)。為了解決樣本外點學習問題，研究人員分別在流形學習的線性化、核化和張量化等方面作了有益的探索(Yan et al., 2007)。Geng 等將樣本的類別信息融入到 ISOMAP 算法，提出了一種用于可視化和分類的有監(jiān)督的等距特征映射算法（SISOMAP）(Geng et al., 2005)。Zhang 等提出了一種基于局部線性平滑的流形學習消噪模型(Zhang and Zha, 2003)。這些方法的提出在一定程度上緩解了目前流形學習方法中存在的一些問題，但是還需要進一步充實和完善。 流形學習的應用目前，流形學習方法的應用可歸納為以下幾個方面：1)數(shù)據(jù)的可視化。流形學習方法在高維數(shù)據(jù)的可視化方面有了廣泛的應用。人不能直接感知高維數(shù)據(jù)的內(nèi)部結構，但對三維以下數(shù)據(jù)的內(nèi)在結構卻有很強的感知能力。由于流形學習方法可以發(fā)現(xiàn)高維觀測數(shù)據(jù)中蘊含的內(nèi)在規(guī)律和本征結構，而且這種規(guī)律在本質(zhì)上不依賴于我們實際觀測到的數(shù)據(jù)維數(shù)。因此我們可以通過流形學習方法 對高維輸入數(shù)據(jù)進行維數(shù)約簡，使高維數(shù)據(jù)的內(nèi)部關系和結構在低于三維的空間中展示出來，從而使人們能夠直觀地認識和了解高維的非線性數(shù)據(jù)的內(nèi)在規(guī)律，達到可視化的目的。2)信息檢索。隨著多媒體和網(wǎng)絡技術的迅猛發(fā)展，圖像和文本信息的應用日益廣泛，對規(guī)模逐漸龐大的圖像和文本數(shù)據(jù)庫如何進行有效的管理已成為亟待解決的問題。靈活、高效、準確的信息檢索策略是解決這一問題的關鍵技術之一。這些圖像和文本信息呈現(xiàn)出高維、大規(guī)模、非線性結構，利用流形學習方法來處理這些信息，在大大降低時間和空間計算復雜度的同時，能夠有效地保留這些信息在原始高維空間的相似性。3)圖像處理。流形學習給圖像處理領域提供了一個強有力的工具。眾所周知，圖像處理與圖像中物體的輪廓以及骨架等密切相關。如果我們把圖像中物體的輪廓以及骨架等看成是嵌入在二維平面中的一維流形或者由一組一維流形構成，那么顯然流形學習方法憑借其強大的流形逼近能力可以應用于圖像處理領域。第2章 流形學習方法綜述流形學習方法作為一種新興的非線性維數(shù)約簡方法，主要目標是獲取高維觀測數(shù)據(jù)的低維緊致表示，探索事物的內(nèi)在規(guī)律和本征結構，已經(jīng)成為數(shù)據(jù)挖掘、模式識別和機器學習等領域的研究熱點。本章首先探討了流形學習的基礎性問題，即高維數(shù)據(jù)分析的流形建模問題；然后依據(jù)保持流形幾何特性的不同，把現(xiàn)有的流形學習方法劃分為全局特性保持方法和局部特性保持方法，并介紹了每一類方法中有代表性的流形學習算法的基本原理，對各種流形學習算法進行性能比較和可視化分析，最后就流形學習方法普遍存在的本征維數(shù)估計、近鄰數(shù)選擇、噪聲流形學習、樣本外點學習和監(jiān)督流形學習問題等進行了分析和討論。 流形學習方法介紹流形學習的定義：流形是局部具有歐氏空間性質(zhì)的空間。假設數(shù)據(jù)是均勻采樣于一個高維歐氏空間中的低維流形，流形學習就是從高維采樣數(shù)據(jù)中恢復低維流形結構，即找到高維空間中的低維流形，并求出相應的嵌入映射，以實現(xiàn)維數(shù)約簡或者數(shù)據(jù)可視化。它是從觀測到的現(xiàn)象中去尋找事物的本質(zhì)，找到產(chǎn)生數(shù)據(jù)的內(nèi)在規(guī)律。流形學習用數(shù)學語言描述是：令Y206。(yi)且166。: Y174。194。是一個光滑的嵌套，其中D d。那么流形學習的目標是基于194。上的一個給定被觀測數(shù)據(jù)集合(xi)去恢復Y與166。，也就是在Y 中隨機產(chǎn)生隱藏的數(shù)據(jù)(yi)，然后通過166。 映射到觀測空間，使得{xi=f(yi)}。從流形學習的定義中可以看出，這是一個把數(shù)據(jù)從高維映射到低維的過程，用到了線性變換，當然少不了矩陣的分解及其基本運算。 多維尺度分析（Multidimensional Scaling, MDS）多維尺度分析（Multidimensional Scaling, MDS）是一種經(jīng)典的線性降維方法，其主要思想是：根據(jù)數(shù)據(jù)點間的歐氏距離，構造關系矩陣，為了盡可能地保持每對觀測數(shù)據(jù)點間的歐氏距離，只需對此關系矩陣進行特征分解，從而獲得每個數(shù)據(jù)在低維空間中的低維坐標。DDDx206。194。x設給定的高維觀測數(shù)據(jù)點集為Y=lU，i，觀測數(shù)據(jù)點對i，Tyj間的歐氏距離為Dij=xiyj，傳統(tǒng)MDS 的算法步驟如下：a)首先根據(jù)求出的兩點之間的歐氏距離Dij構造n階平方歐式距離矩陣A=(Dij2) n180。n。b)將矩陣A進行雙中心化計算，即計算B=1HAH2（其中H 為中心化eeTH=In，將矩陣H左乘和右乘時稱為雙中心化）矩陣。c)計算低維坐標Y。即將B奇異值分解，設B的最大的d個特征值L=diag(l1,l2,...,ld)Y=lUT。235。u1,u2,...,ud249。則d維低維坐標為，對應特征向量，U=233。雖然作為線性方法，MDS在流形學習中不能有效發(fā)現(xiàn)內(nèi)在低維結構。但是從這一基本的算法中我們可以清楚的看出矩陣分析在流形學習研究中的應用。在這個MDS算法中，運用到了矩陣中的線性空間變換、矩陣特征值和特征向量的計算、矩陣的中心化計算、矩陣的奇異值的分解等相關知識點。想象一下，如果沒有這些知識點做基礎，這些算法如何進行。 等距特征映射（ISOMAP）（1）基本思想:Tenenbaum等人提出的等距特征映射算法（ISOMAP）是建立在多維尺度分析（MDS）基礎上的一種非線性維數(shù)約簡方法。ISOMAP算法利用所有樣本點對之間的測地距離矩陣來代替MDS算法中的歐氏距離矩陣，以保持嵌入在高