【正文】 ? ?? ?11::。 ? ? ? ?00, 0 , ,nr R n n nx r x r??? ? ? ? ???存 在 一 個 整 數(shù) 以 使 當 時 ，有 下 式 成 立 ：2020/11/29 29 四種收斂方法： 以概率 1收斂： 依概率收斂 ? ? ? ?? ?? ?: l i m 1nnp r R x r x r??? ? ?? ? ? ?? ?? ?: 0 0np r R x r x r ??? ? ? ? ? ?2020/11/29 30 四種收斂方法： 均方收斂 依分布收斂 ? ? 2l i m 0nn E x x?? ??????? ? ? ?l i m nxxn F r F r?? ?2020/11/29 31 四種收斂方法 四者關(guān)系： 以概率 1收斂 均方收斂 依概率收斂 依分布收斂， 上述逆不成立。 隨機過程也是有序號的隨機變量，不同序號的集合定義了不同的隨機過程。 :f X Y?fX Y? ?,p x y2020/11/29 13 四種無監(jiān)督學習 主要介紹：信號 Hebbian學習、 微分 Hebbian學習、 競爭學習、 微分競爭學習 2020/11/29 14 四個無監(jiān)督學習 首先介紹這四種非監(jiān)督學習定律的基本形式； 簡單回顧一下概率論、隨機過程、布朗運動和白噪聲； 最后，對這四種非監(jiān)督學習的學習定律的性質(zhì)分別加以簡單介紹。 jD? ?px2020/11/29 11 在神經(jīng)網(wǎng)絡(luò)中的區(qū)別 一般無監(jiān)督學習規(guī)則可用 一階差分或一階微分方程 來定義。缺點：精確度低 nR ? ?px? ?px? ?pxX2020/11/29 9 無監(jiān)督和有監(jiān)督學習 對于有監(jiān)督學習，它假設(shè)了一種樣本模式分組結(jié)構(gòu)或 性能 。被學習的原型矢量在一個足夠大的模式空間 中定義了 個突觸點。 注：突觸的改變就是權(quán)值的學習過程，而神經(jīng)元的改變只是網(wǎng)絡(luò)的演化 。 三種學習方式： 2020/11/29 3 編碼 我們使用行為（ behavioristic）編碼準則，如果輸入激勵為 ，而響應為 ，則該系統(tǒng)對激勵－響應 進行了學習。例如，如果我們通過了微積分的考試，那么可以說我們學會了微積分，并且可以持續(xù)這種 “ 會 “ 的狀態(tài)一段時間。原型可以擴展以使矢量量子化均方誤差最小或使某些數(shù)字性能規(guī)則最優(yōu)。缺點：速度較慢 ， 計算較復雜。 局部化使突觸可以實時、異步地學習，不需要全局的誤差信息；也使無監(jiān)督學習定律的函數(shù)空間縮小，從而也使得突觸只能獲得局部非常有限的信息。 是一個度量指示器函數(shù)。 ? ?1 , nX x x? ? ? ?2020/11/29 22 概率測度 定義：若 在 的不相交子集 上是可數(shù)、加性的，即： 則 定義了一個概率