機器學(xué)習(xí)-文庫吧
2025-01-08 18:05 本頁面
【正文】 (for fixed , this is a function of x) (function of the parameters )Andrew Ng(for fixed , this is a function of x) (function of the parameters )Andrew Ng梯度下降? 適用于無約束優(yōu)化問題，目標(biāo)函數(shù)有一階導(dǎo)數(shù)，精度要求不很高的情況? 迭代終止準(zhǔn)則– 根據(jù)兩次迭代的絕對誤差– 根據(jù)目標(biāo)函數(shù)梯度的模足夠小卷積神經(jīng)網(wǎng)絡(luò)1卷積神經(jīng)網(wǎng)絡(luò)已成為當(dāng)前語音分析和圖像識別領(lǐng)域的研究熱點。并且是深度學(xué)習(xí)模型中最成功的模型。2優(yōu)點： a）輸入圖像和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)能很好的吻合；b）特征提取和模式分類同時進行，并同時在訓(xùn)練中產(chǎn)生； c）權(quán)重共享可以減少網(wǎng)絡(luò)的訓(xùn)練參數(shù)，使神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)適應(yīng)性更強3舉個簡單例子，機器反復(fù)學(xué)習(xí)桃花的特征后，就會自己找到判定一朵桃花的方法，它會將這類有顏色、有花瓣、有花蕊的物體自動和花這個單詞聯(lián)系到一起，并最終形成一個特定的識別數(shù)據(jù)包，再依據(jù)這種 “識別包的數(shù)據(jù) ”，就可以從千萬張圖片或視頻中識別出桃花來。卷積神經(jīng)網(wǎng)絡(luò)CNN最厲害 的地方就在于通過感受野和權(quán)值共享減少了神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)的個數(shù)。如， 1000x1000像素的圖像，有 1百萬個隱層神經(jīng)元（特征值），全連接： 1000x1000x1000000=10^12個連接，也就是 10^12個權(quán)值參數(shù)。 圖像的空間聯(lián)系是局部的 ,每一個神經(jīng)元都不需要對全局圖像做感受只感受局部的圖像區(qū)域，然后在更高層，將這些感受不同局部的神經(jīng)元綜合起來就可以得到全局的信息了。卷積神經(jīng)網(wǎng)絡(luò)l 如，局部感受野是 10x10，隱層每個感受野只需要和這 10x10的局部圖像相連接，所以 1百萬個隱層神經(jīng)元就只有一億個連接，即 10^8個參數(shù)（ 10X10X1000000=10^8)l 少了 4個 0（數(shù)量級）每一個神經(jīng)元存在 10x10=100個連接權(quán)值參數(shù)。那如果我們每個神經(jīng)元這 100個參數(shù)是相同的呢？也就是說每個神經(jīng)元用的是同一個卷積核去卷積圖像。只需： 100個參數(shù)（ 權(quán)值共享 ）但是這樣的后果：是只提取了一種特征卷積神經(jīng)網(wǎng)絡(luò)l 我們定義由同一種濾波器卷積得到的向量組合，為 Feature Map所以假設(shè)我們加到 100種濾波器，每種濾波器的參數(shù)不一樣，表示它提出輸入圖像的不同特征。所以 100種卷積核就有100個 Feature Map。100種卷積核（不同特征） x每種卷積核共享的 100個參數(shù)=100x100=10K，也就是 1萬個參數(shù)。卷積神經(jīng)網(wǎng)絡(luò)每輸入一張32*32大小的圖片
職業(yè)教育相關(guān)推薦
鄂ICP備17016276號-1