【正文】 總結 ? 當下研究的熱門是用更深層次的卷積神經(jīng)網(wǎng)絡模型用于圖像和語音識別。如果重建出來的數(shù)據(jù)與原數(shù)據(jù)差異很大，那么進行調整并再次重建。另一個原因是分類器不僅用于識別字母，也用于拒絕非字母。 同理，取出網(wǎng)絡 15016中輸入的倒數(shù)第 2個部分的節(jié)點（為 25個），且同時是與隱含層 16個節(jié)點中的第 5個相連的那 25個值， reshape為 5*5大小，用這個5*5大小的特征 patch去 convolution S2網(wǎng)絡中的倒數(shù)第 2個特征圖，假設得到的結果特征圖為 h2。 淺層神經(jīng)網(wǎng)絡的缺陷 ? 于是， 20世紀 90年代，有更多各式各樣的 淺層模型 相繼被提出，比如只有一層隱層節(jié)點的支撐向量機（ SVM，Support Vector Machine）和 Boosting，以及沒有隱層節(jié)點的最大熵方法（例如 LR， Logistic Regression）等，在很多應用領域取代了傳統(tǒng)的神經(jīng)網(wǎng)絡。 ? CNN的結構受到著名的 HubelWiesel生物視覺模型的啟發(fā)，尤其是模擬視覺皮層 V1和 V2層中 Simple Cell和 Complex Cell的行為。這些單元的參數(shù)是人工選取并保持固定的（至少初始時候如此）。這主要原因是， CNN在大規(guī)模圖像上效果不好，比如像素很多的自然圖片內容理解，所以沒有得到計算機視覺領域的足夠重視。百度在 2022年底將深度學習技術成功應用于自然圖像 OCR識別和人臉識別等問題，并推出相應的桌面和移動搜索產(chǎn)品， 2022年，深度學習模型被成功應用于一般圖片的識別和理解。caffe的官網(wǎng)是 ? 。該項目利用了 9 層的神經(jīng)網(wǎng)絡來獲得臉部表征，神經(jīng)網(wǎng)絡處理的參數(shù)高達 。必須避免 sigmoid函數(shù)的飽和，因為這將會導致?lián)p失函數(shù)較慢的收斂和病態(tài)問題。用概率術語來說， RBF輸出可以被理解為 F6層配置空間的高斯分布的負 loglikelihood。 卷積神經(jīng)網(wǎng)絡 ? 早在 1989年， Yann LeCun (現(xiàn)紐約大學教授 ) 和他的同事們就發(fā)表了卷積神經(jīng)網(wǎng)絡（ Convolution Neural Networks， 簡稱 CNN）的工作。更重要的是，淺層模型有一個特點，就是需要依靠人工來抽取樣本的特征。 最后將 h1， h2， h3這 3個矩陣相加得到新矩陣 h，并且對 h中每個元素加上一個偏移量 b，且通過 sigmoid的激發(fā)函數(shù)，即可得到我們要的特征圖 H3了。因為與 sigmoid不同，他們在輸入空間的較好限制的區(qū)域內興奮，而非典型模式更容易落到外邊。這個項目是由著名的斯坦福大學的機器學習教授 Andrew Ng和在大規(guī)模計算機系統(tǒng)方面的世界頂尖專家 Jeff Dean共同主導，用 16,000個 CPU Core的并行計算平臺去訓練含有 10億個節(jié)點的深度神經(jīng)網(wǎng)絡（ DNN， Deep Neural Networks），使其能夠自我訓練，對 2萬個不同物體的 1,400萬張圖片進行辨識。 ? Hinton在 12年 ImageNet能使錯誤率大大降低的關鍵不僅僅是增加了卷積神經(jīng)網(wǎng)絡的深度，而之所以能訓練深層次的網(wǎng)絡使其達到收斂，原因是改進了卷積神經(jīng)網(wǎng)絡的訓練方式（ ReLU+Dropout)。 ? DNN（深度神經(jīng)網(wǎng)絡）可近似為深度卷積神經(jīng)網(wǎng)絡（ CNNs），將卷積神經(jīng)網(wǎng)絡的深度大大加深。對比差異無監(jiān)督訓練是 RBM的一個重要算法，包含了正向過程、反向過程和權值更新三個步驟，主要目標是使生成的數(shù)據(jù)與原數(shù)據(jù)盡可能相似，并通過對比兩者的差異來調整權值更新： ? 其中，是學習速率。原因是大多數(shù)時間非分布編碼的輸出必須為 0。那么該第 3號特征圖的值（假設為 H3）是