前向人工神經(jīng)網(wǎng)絡(luò)敏感性研究(已修改)
2025-01-18 00:40 本頁面
【正文】 1 前向人工神經(jīng)網(wǎng)絡(luò)敏感性研究 曾曉勤 河海大學(xué)計(jì)算機(jī)及信息工程學(xué)院 2022年 10月 2 一 . 引言 1. 前向神經(jīng)網(wǎng)絡(luò) (FNN)介紹 ● 神經(jīng)元 – 離散型： 自適應(yīng)線性元（ Adaline） – 連續(xù)型： 感知機(jī)（ Perceptron） ● 神經(jīng)網(wǎng)絡(luò) – 離散型： 多層自適應(yīng)線性網(wǎng)（ Madaline） – 連續(xù)型： 多層感知機(jī)（ BP網(wǎng)或 MLP） 3 ● 問題 – 硬件精度對權(quán)的影響 – 環(huán)境噪音對輸入的影響 ● 動(dòng)機(jī) – 參數(shù)的擾動(dòng)對網(wǎng)絡(luò)會(huì)產(chǎn)生怎樣影響？ – 如何衡量網(wǎng)絡(luò)輸出偏差的大小？ 2. 研究提出 4 ● 建立網(wǎng)絡(luò)輸出與網(wǎng)絡(luò)參數(shù)擾動(dòng)之間的關(guān)系 ● 分析該關(guān)系，揭示網(wǎng)絡(luò)的行為規(guī)律 ● 量化網(wǎng)絡(luò)輸出偏差 3. 研究內(nèi)容 ),( WXSY ???),( WXSY ???),( WXSY ????5 ● 指導(dǎo)網(wǎng)絡(luò)設(shè)計(jì)，增強(qiáng)網(wǎng)絡(luò)抗干擾能力 ● 度量網(wǎng)絡(luò)性能，如容錯(cuò)和泛化能力 ● 研究其它網(wǎng)絡(luò)課題的基礎(chǔ)，如網(wǎng)絡(luò)結(jié)構(gòu)的 裁剪和參數(shù)的挑選等 4. 研究意義 6 1. Madaline的敏感性 ● n維幾何模型（超球面） M. Stevenson, R. Winter, and B. Widrow, “Sensitivity of Feedforward Neural Networks to Weight Errors,” IEEE Trans. on Neural, Networks, vol. 1, no. 1, 1990. ● 統(tǒng)計(jì) 模型（方差） S. W. Pich233。, “The Selection of Weight Accuracies for Madalines,” IEEE Trans. on Neural Networks, vol. 6, no. 2, 1995. 二 .研究縱覽 （典型 方法和 文獻(xiàn) ） 7 ● 分析方法（偏微分） S. Hashem, “Sensitivity Analysis for Feed Forward Artificial Neural Networks with Differentiable Activation Functions”, Proc. of IJCNN, vol. 1, 1992. ● 統(tǒng)計(jì)方法（標(biāo)準(zhǔn)差） J. Y. Choi amp。 C. H. Choi, “Sensitivity Ana lysis of Multilayer Perceptron with Differ entiable Activation Functions,” IEEE Trans. on Neural Networks, vol. 3, no. 1, 1992. 2. MLP的敏感性 8 ● 輸入屬性篩選 J. M. Zurada, A. Malinowski, S. Usui, “Perturbation Method for Deleting Redundant Inputs of Perceptron Networks”, Neuroputing, vol. 14, 1997. ● 網(wǎng)絡(luò)結(jié)構(gòu)裁減 A. P. Engelbrecht, “A New Pruning Heuristic Based on Variance Analysis of Sensitivity Information”, IEEE Trans. on Neural Networks, vol. 12, no. 6, 2022. 3. 敏感性的應(yīng)用 9 . Bernier et al, “A Quantitive Study of Fault Tolerance, Noise Immunity and Generalization Ability of MLPs,” Neural Computation, vol. 12, 2022. ● 容錯(cuò)和泛化問題 10 三 . 研究方法 1. 自底向上 方法 ● 單個(gè)神經(jīng)元 ● 整個(gè)網(wǎng)絡(luò) 2. 概率統(tǒng)計(jì)方法 ● 概 率 （ 離散型） ● 均值（連續(xù)型） 3. n維幾何模型 ● 超矩形的頂點(diǎn)（ 離散型） ● 超矩形體（ 連續(xù)型） 11 四 .已獲成果（代表性論文） ● 敏感性分析： “Sensitivity Analysis of Multilayer Percep tron to Input and Weight Perturbations,” IEEE Trans. on Neural Networks, vol. 12, , pp. 13581366, Nov. 2022. 12
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1