人工神經(jīng)網(wǎng)絡(luò)第七章(編輯修改稿)
2024-10-01 10:25 本頁(yè)面
【文章內(nèi)容簡(jiǎn)介】 終收斂到一個(gè)吸引子。 下面通過(guò)對(duì)能量函數(shù)的分析對(duì)定理 7． 1進(jìn)行證明。 定義網(wǎng)絡(luò)的能量函數(shù)為： 3/10/2024 30 第三十頁(yè)，共七十三頁(yè)。 3/10/2024 31 第三十一頁(yè)，共七十三頁(yè)。 3/10/2024 32 第三十二頁(yè)，共七十三頁(yè)。 Lyapunov函數(shù) —— 能量函數(shù) ?作為網(wǎng)絡(luò)的穩(wěn)定性度量 – wijoioj：網(wǎng)絡(luò)的一致性測(cè)度 。 – xjoj：神經(jīng)元的輸入和輸出的一致性測(cè)度 。 – θ joj：神經(jīng)元自身的穩(wěn)定性的測(cè)度 。 ???????????? ?h1jjjn1jjjh1ih1jjiij ooxoow21E3/10/2024 33 第三十三頁(yè)，共七十三頁(yè)。 當(dāng) ANk的狀態(tài)從 ok變成 ok′ ANk是輸入神經(jīng)元 kkkkkkkkhkj1jkjjkhkj1jjkkjhkj1jjjnkj1jjjhki1ihkj1jjiijooxoow21oow21oow21ooxoow21E?????????? ??? ???? ????? ?????????????? ??kkkkhkjjjkkjhkjjjjnkjjjjhkiihkjjjiijooxoowooxoow??????????????? ????????? ????1111 1213/10/2024 34 第三十四頁(yè)，共七十三頁(yè)。 當(dāng) ANk的狀態(tài)從 ok變成 ok′ EEE ????wkk=0 )]([1kkkkhjjkj ooxow ?????? ???kkk on e t ???? )( ?)()(])([1kkkkkkhkjjjkkkj ooooxooow ?????????? ????)]([1kkkkhkjjjkj ooxow ?????? ????3/10/2024 35 第三十五頁(yè)，共七十三頁(yè)。 ΔΕ=(kθ k)Δ ok ? ANk狀態(tài)的變化： Δ ok=(ok′ ok) ? Δ ok=0， ΔΕ =0 ? Δ ok0， ok′ =1 ok=0， ok由 0變到 1， kθ k， kθ k0 所以， (kθ k)Δ ok0故 ΔΕ0 結(jié)論：網(wǎng)絡(luò)的目標(biāo)函數(shù)總是下降 ? Δ ok0, ok′ =0 ok=1， ok由 1變到 0 kθ k， kθ k0 (kθ k)Δ ok0故 ΔΕ0 3/10/2024 36 第三十六頁(yè)，共七十三頁(yè)。 當(dāng) ANk的狀態(tài)從 ok變成 ok′ ANk不是輸入神經(jīng)元 kkkkkkhkj1jkjjkhkj1jjkkjhkj1jjjn1jjjhki1ihkj1jjiijooow21oow21oow21ooxoow21E??????? ??? ???? ????? ????????????? ??kkhkjjjkkjhkjjjjnjjjhkiihkjjjiijooowooxoow????????????? ???????? ????1111 1213/10/2024 37 第三十七頁(yè)，共七十三頁(yè)。 當(dāng) ANk的狀態(tài)從 ok變成 ok′ kkkkkkh1jjkjkkkhkj1jjkjkkkhkj1jjkkkjo)n e t()oo](ow[)oo](ow[)oo(]o)oo(w[EEE???????????????????????? ?????????????無(wú)論 ANk的狀態(tài)是如何變化的，總有 ΔΕ≤ 0 3/10/2024 38 第三十八頁(yè)，共七十三頁(yè)。 統(tǒng)計(jì) Hopfield網(wǎng)與Boltzmann機(jī) ? 統(tǒng)計(jì) Hopfield網(wǎng) ? 在網(wǎng)絡(luò)運(yùn)行中，神經(jīng)元狀態(tài)與 “人工溫度〞確定的概率相關(guān) ? 網(wǎng)絡(luò)運(yùn)行模擬金屬退火過(guò)程 )e x p (11Tn e tpiii ?????pi： ANi的狀態(tài)取 1的概率 i： ANi所獲網(wǎng)絡(luò)輸入； θ i： ANi的閾值； T：系統(tǒng)的人工溫度。 3/10/2024 39 第三十九頁(yè)，共七十三頁(yè)。 算法 71 統(tǒng)計(jì) Hopfield網(wǎng)運(yùn)行算法 1 取一個(gè)很大的值作為人工溫度 T的初值； 2 對(duì)網(wǎng)絡(luò)中每一個(gè)神經(jīng)元 ANi， 按照相應(yīng)式子計(jì)算相應(yīng)的概率 pi； 按照均勻分布 ， 在 [0， 1]中取一個(gè)隨機(jī)數(shù) r； 如果 pir 那么使 ANi的狀態(tài)為 1， 否那么使 ANi的狀態(tài)為 0； 3 逐漸降低溫度 T， 如果溫度足夠低 ， 那么算法結(jié)束 。否那么 ， 重復(fù) 2 3/10/2024 40 第四十頁(yè)，共七十三頁(yè)。 Boltzmann機(jī)的訓(xùn)練 ?Boltzmann機(jī)是多級(jí)循環(huán)網(wǎng)絡(luò) ， 是 Hopfield網(wǎng)的一種擴(kuò)展 。 ?神經(jīng)元 ANi實(shí)際輸出狀態(tài) oi=1的概率為： )e x p (11Tn e tpiii ??????T趨近于 0時(shí) ， 神經(jīng)元的狀態(tài)不再具有隨機(jī)性 ，Boltzmann機(jī)退化成一般 Hopfield網(wǎng) 。 3/10/2024 41 第四十一頁(yè)，共七十三頁(yè)。 Boltzmann機(jī)的訓(xùn)練 3/10/2024 42 第四十二頁(yè)，共七十三頁(yè)。 Boltzmann機(jī)的訓(xùn)練 3/10/2024 43 第四十三頁(yè)，共七十三頁(yè)。 Boltzmann機(jī)的訓(xùn)練 ?Boltzmann機(jī)是多級(jí)循環(huán)網(wǎng)絡(luò) ， 是 Hopfield網(wǎng)的一種擴(kuò)展 。 ?神經(jīng)元 ANi網(wǎng)絡(luò)輸入為： jnjiji own e t ???T趨近于 0時(shí) ， 神經(jīng)元的狀態(tài)不再具有隨機(jī)性 ，Boltzmann機(jī)退化成一般 Hopfield網(wǎng) 。 3/10/2024 44 第四十四頁(yè)，共七十三頁(yè)。 Boltzmann機(jī)的訓(xùn)練 神經(jīng)元 ANi實(shí)際輸出狀態(tài) oi=1的概率為 )1(*)1(1)0( / ?????? ? ii oPeopop Tuii神經(jīng)元 ANi實(shí)際輸出狀態(tài) oi=0的概率為 )e x p (11)1(Tn e topiii ??????顯然 越大 ， 那么 oi 取 1的概率越大 i3/10/2024 45 第四十五頁(yè)，共七十三頁(yè)。 Boltzmann機(jī)的訓(xùn)練 ? 神經(jīng)元 ANi在運(yùn)行中狀態(tài)發(fā)生了變化 ???????hjjjjijiij ooowE1?? ??
數(shù)學(xué)相關(guān)推薦
鄂ICP備17016276號(hào)-1