【正文】 多時(shí)間周期神經(jīng)網(wǎng)絡(luò)，簡(jiǎn)稱(chēng) MTRNN，他能通 過(guò)自我組織作用來(lái)反射句子結(jié)構(gòu)和字的特征 ， 并最終 識(shí)別、產(chǎn)生和確認(rèn)句子。模型還可以修正在句子中的一些置換錯(cuò)誤， 通過(guò)每訓(xùn)練一次就迭代一個(gè)確定的可能 方式，可以增加 模型 錯(cuò) 桂林理工大學(xué)本科畢業(yè)設(shè)計(jì) 在 MTRNN 模型中，神經(jīng)元最快速變化的是“符號(hào)”，變化較慢的是“字”，變化最慢的是“句子”。近來(lái)發(fā)現(xiàn)這個(gè)模型能幫助我們克服語(yǔ)言整合的問(wèn)題： 當(dāng) 使用一個(gè)無(wú)注釋句子（每個(gè) 句 子 表示為一個(gè)字符順序）訓(xùn)練模型時(shí)，模型 的 自組織 作用會(huì) 反射 并分層語(yǔ)言作文 。 模型結(jié)構(gòu)見(jiàn)圖 ， 語(yǔ)言學(xué)習(xí)模型有三個(gè)神經(jīng)元組，分別為輸入和輸出組 (IO)、快速上下文組 (CF)、慢速上下文組組成 (CS)。 CF 由 40 個(gè)代碼組成， CS 由 11 個(gè)代碼組成， 模型的 a（ t）、 b（ t） ?? 是在時(shí)間 t 的信號(hào)神經(jīng)元的激勵(lì)值， 句子信號(hào)表示為連續(xù)的輸入輸出神經(jīng)元激勵(lì) 。與之前的語(yǔ)法理解模型的區(qū)別在于，語(yǔ)法理解模型在修改句子語(yǔ)法錯(cuò)誤上更突出，而MTRNN 的功能更全面。論文 16 4 人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知現(xiàn)象現(xiàn)狀 近些年來(lái)，利用人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知科學(xué)中的現(xiàn)象是神經(jīng)網(wǎng)絡(luò)研究的一個(gè)重要分支。在模擬認(rèn)知現(xiàn)象時(shí)，對(duì)神經(jīng)網(wǎng)絡(luò)模型設(shè)計(jì)中在理論上有兩種趨勢(shì)，一種是嚴(yán)格按照生物認(rèn)知現(xiàn)象的作用方式來(lái)設(shè)計(jì)模型結(jié)構(gòu)，另一種是在生物認(rèn)知現(xiàn)象作用方式的基礎(chǔ)上，再加上實(shí)際 非認(rèn)知理論 來(lái)設(shè)計(jì)模型結(jié)構(gòu)。 嚴(yán)格按照生物認(rèn)知現(xiàn)象設(shè)計(jì)模型的理論， 在 本文論述模型中 ， Rs 模型和 計(jì)算機(jī)認(rèn)知科學(xué) 模型是依照這種理論設(shè)計(jì)的。 文章中 絕大多數(shù)模型是同時(shí)按照生物認(rèn)知現(xiàn)象和實(shí)際非認(rèn)知理論聯(lián)合設(shè)計(jì)模型的，如語(yǔ)法理解模型、數(shù)字空間模型等。但是這類(lèi)模型的好處時(shí)，特別適合實(shí)際應(yīng)用領(lǐng)域。 其實(shí)之所以會(huì)出現(xiàn)這兩種不同的設(shè)計(jì)理論，主要是因?yàn)楝F(xiàn)代認(rèn)知科學(xué)對(duì)生物認(rèn)知機(jī)制，特別是人類(lèi)認(rèn)知機(jī)制了解得不完全。這類(lèi)研究只能部分分析認(rèn)知現(xiàn)象的形成機(jī)制，卻缺乏在整體上對(duì)認(rèn)知過(guò)程的把握。 未來(lái)一段時(shí)間內(nèi)，認(rèn)知機(jī)制和非認(rèn)知理論聯(lián)合設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)模型的方法還會(huì)繼續(xù)采用，但是隨著科學(xué)界對(duì)認(rèn)知現(xiàn)象的理解不斷深入，人工神經(jīng)網(wǎng)絡(luò)模型將更多的會(huì)從生物性角度設(shè)計(jì)模型，并最終完全模擬出人類(lèi)大腦對(duì)認(rèn)知現(xiàn)象處理的全過(guò)程，雖然這還有很長(zhǎng)的一段路要走。論文 17 5 人工智能中關(guān)于人工神經(jīng)網(wǎng)絡(luò)和認(rèn)知科學(xué)的國(guó)際會(huì)議 對(duì)于人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知科學(xué)，乃至對(duì)人工智能研究而言，國(guó)際會(huì)議已經(jīng)成為研究者交流研究成果的舞臺(tái)。然而，由于會(huì)議的開(kāi)會(huì)時(shí)間和會(huì)議招待經(jīng)費(fèi)有限，并不是所有的研究者參加會(huì)議，也不是所有參加會(huì)議的研究者都能發(fā)表所有的研究成果。 全世界關(guān)于人工智能研究的著名會(huì)議有幾十個(gè)，其中涉及人工神經(jīng)網(wǎng)絡(luò)或認(rèn)知科學(xué)的有 10 個(gè)左右。關(guān)于會(huì)議投稿，會(huì)議組織者都要求投稿者必須投遞電子檔 PDF 格式的稿件， 其頁(yè)數(shù)和格式也有這嚴(yán)格的限制，這些投稿要求可以在會(huì)議的組織網(wǎng)站上查出。在投稿要求中，會(huì)議討論主題是篩選投稿文章的重要因素，只有符合會(huì)議的投稿主題才有可能得到會(huì)議的采納。 國(guó)際人工智能協(xié)會(huì)年會(huì) 國(guó)際人工智能協(xié)會(huì)年會(huì)，其前身為美國(guó)人工智能協(xié)會(huì)年會(huì)（ the Association for the advancement of Artificial intelligence ，簡(jiǎn)稱(chēng) AAAI），每一年或兩年舉行一次，國(guó)際人工智能協(xié)會(huì)致力于推動(dòng)針對(duì)智能行為本質(zhì)的科學(xué)研究。 神經(jīng)信息處理系統(tǒng)年會(huì) 神經(jīng)信息處理系統(tǒng)（ neural information processing system，簡(jiǎn)稱(chēng) NIPS），每一年舉行一次，地點(diǎn)固定在加拿大溫哥華，會(huì)議后第二年出版論文集，討論方向?yàn)樯窠?jīng)科學(xué)和機(jī)器學(xué)習(xí)。論文 18 自然語(yǔ)言處理和神經(jīng)心理學(xué)），控制和強(qiáng)化學(xué)習(xí)（包括決定和控 制，探索，規(guī)劃），硬件技術(shù)，學(xué)習(xí)理論，神經(jīng)科學(xué)（包括研究處理和信息傳輸?shù)睦碚摵蛯?shí)驗(yàn)，生物神經(jīng)元網(wǎng)絡(luò)），語(yǔ)言與信號(hào)處理（包括聽(tīng)覺(jué)感知，語(yǔ)言模型），視覺(jué)處理（ 生物和機(jī)器視覺(jué)，目標(biāo)探測(cè)和識(shí)別，視覺(jué)心理物理，視覺(jué)場(chǎng)景分析和解釋?zhuān)? 國(guó)際神經(jīng)網(wǎng)絡(luò)年會(huì) 國(guó)際神經(jīng)網(wǎng)絡(luò)年會(huì)（ international joint conference on neural work，簡(jiǎn)稱(chēng) IJCNN），是由國(guó)際神經(jīng)網(wǎng)絡(luò)協(xié)會(huì)（ international neural work society)和 IEEE計(jì)算機(jī)智能協(xié)會(huì)（ IEEE putational intelligence society)主辦的。 國(guó)際人工智能聯(lián)合會(huì)議 國(guó)際人工智能聯(lián)合會(huì)議（ international joint conference on artificial intelligence，簡(jiǎn) 稱(chēng) IJCAI），在單數(shù)年召開(kāi)。 ICTAI 主題： AI 算法，人工智能研究領(lǐng)域：生物信息學(xué)，電子商務(wù) AI，游戲 AI，信息保證 AI，物流 AI，醫(yī)學(xué) AI，多媒體系統(tǒng) AI，機(jī)器人 AI，軟件工程 AI，案例推理，認(rèn)知造型，約束規(guī)劃，協(xié)同軟件代理，模糊或不確定下的推理，進(jìn)化計(jì)算，混合智能控制系統(tǒng)，信息檢索，智能教學(xué)培訓(xùn)系統(tǒng)，智能網(wǎng)絡(luò)代理，知識(shí)系統(tǒng)，知識(shí)提取，知識(shí)管理與共享，知識(shí)表示和推理，機(jī)器學(xué)習(xí)，自然語(yǔ)言處理，神經(jīng)網(wǎng)絡(luò)，計(jì)劃與調(diào)度，視覺(jué) /圖像處理，語(yǔ)言處理 。論文 19 6 未來(lái) 對(duì)于神經(jīng)網(wǎng)絡(luò)研究，未來(lái)主要有三個(gè)研究方向： 多學(xué)科綜合。 從人工神經(jīng)網(wǎng)絡(luò)到人工神經(jīng)系統(tǒng) [2]。 從部分認(rèn)知運(yùn)行機(jī)制的研究到認(rèn)知能力綜合性研究 [1214]。通過(guò)對(duì)認(rèn)知科學(xué)的了解，改進(jìn)人工神經(jīng)網(wǎng)絡(luò)模型和其理論，又通過(guò)人工神經(jīng)網(wǎng)絡(luò)模型增進(jìn)對(duì)認(rèn)知的研究。 桂林理工大學(xué)本科畢業(yè)設(shè)計(jì)在人工 神經(jīng)網(wǎng)絡(luò)發(fā)展史上， Perceptron（感知機(jī)）、 Adaptive Resonance Theory（自適應(yīng)共振理論 ART）、 SelfOrganizing feature map（自組織特征映射網(wǎng)絡(luò)）、Hopfield 網(wǎng)絡(luò)、 Boltzman machine（波爾茲曼機(jī)）、 Bidirectional Associative Memory（ BAM，雙向聯(lián)想記憶網(wǎng)）等模型對(duì)人工神經(jīng)網(wǎng)絡(luò)有著指導(dǎo)性的作用。雖然他們只是模擬認(rèn)知 中的某一部分（如模擬學(xué)習(xí)），但是這些模型使 我們對(duì)認(rèn)知有了更深入的了解。文章后對(duì) 五個(gè)著 名的國(guó)際會(huì)議的會(huì)議主題作出了 介紹， 這 也表明了現(xiàn)代人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知的發(fā)展方向。論文 21 致謝 感謝徐箭雨 老師對(duì)本次畢業(yè)設(shè)計(jì)的支持 ,感 謝所有在畢業(yè)設(shè)計(jì)期間幫助我的同學(xué)。論文 22 參考文獻(xiàn) [1] 楊行峻，鄭君里 . 人工神經(jīng)網(wǎng)絡(luò)與盲信號(hào)處理 [M]. 北京：清華大學(xué)出版社 . . [2] 韓力群 . 人工神經(jīng)網(wǎng)絡(luò)理論、設(shè)計(jì)及應(yīng)用 [M]. 北京：化學(xué)工業(yè)出版社出版社 . . [3] Vogel, .. A neural work model of memory and higher cognitive functions[J]. International Journal of Psychophysiology, 2021. 55(1): p. 321. [4] Chartier, S., P. Renaud, and M. Boukadoum. A nonlinear dynamic artificial neural work model of memory[J]. New Ideas in Psychology, 2021. 26(2): p. 252277. [5] H233。論文 23 [12] 李翔 . 從復(fù)雜到有序 神經(jīng)網(wǎng)絡(luò)智能控制理論新進(jìn)展 [M]. 上海交通大 學(xué)出版社 . . [13] 姚錫凡，李雯 . 人工智能技術(shù)及應(yīng)用 [M]. 北京：中國(guó)電力出版社 . 2021. [14] 羅四維 . 大規(guī)模人工神經(jīng)網(wǎng)絡(luò)理論基礎(chǔ) [M]. 北京：清華大學(xué)出版社；北京交通大學(xué)出版社 . . 桂林理工大學(xué)本科畢業(yè)設(shè)計(jì)利用人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知現(xiàn)象，則成為這個(gè)分支中重要的建模方式。神經(jīng)網(wǎng)絡(luò)由人工神經(jīng)元組成，神經(jīng)元間相互連接構(gòu)成了神經(jīng)網(wǎng)絡(luò)系統(tǒng)?，F(xiàn)代神經(jīng)網(wǎng)絡(luò)是非線性統(tǒng)計(jì)數(shù)據(jù)模型工具，他們通常是在輸入和輸出關(guān)系復(fù)雜的模式或查詢數(shù)據(jù)中得到應(yīng)用。其研究主要是在人類(lèi)的智力和行為上，特別是人類(lèi)的神經(jīng)系統(tǒng)。認(rèn)知科學(xué)涉及心理學(xué)、人工智能、哲學(xué)、神經(jīng)科學(xué)、語(yǔ)言學(xué)、社會(huì)學(xué)、教育學(xué)、人類(lèi)學(xué)，其分析層次既有低水平學(xué)習(xí)和機(jī)械式?jīng)Q定又有高水平邏輯和計(jì)劃，不僅關(guān)注神經(jīng)元的連接而且關(guān)注大腦分子組織。 1930 年代到 1940 年代（自動(dòng)控制化時(shí)期）， Warren Mcculloch 和 Walter Pitts 尋求解釋?zhuān)核季S的組織原則，第一次提出了人工神經(jīng)網(wǎng)絡(luò)。 1959 年， Noam chomsky 評(píng)論 的書(shū)：語(yǔ)言行為。 1973 年， Christopher LonguetHiggins 在他的文獻(xiàn)Lighthill report 中提到了認(rèn)知科學(xué)的術(shù)語(yǔ)。 1943 年生物學(xué)家 和數(shù)學(xué)家 發(fā)表了一篇桂林理工大學(xué)本科畢業(yè)設(shè)計(jì) 1949 年心理學(xué)家 Donald olding Hebb 出版了名為《 anization of Behavior》的書(shū)，提出了 Hebb 算法的連結(jié)權(quán)值訓(xùn)練算法和聯(lián)結(jié)主義。 1960年電機(jī)工程師 Bernard Widrow和 Marcian Hoff 發(fā)表了文章《 Adaptive Switching Circuits》實(shí)現(xiàn)了人工神經(jīng)網(wǎng) 絡(luò)的計(jì)算機(jī)仿真和硬件電路的設(shè)計(jì)。 1969 年 和 提出了自適應(yīng)共振理論模型。同年， 也提出了一個(gè)相似的“交換存儲(chǔ)器”。 1987 年美國(guó)電話與電報(bào)公司貝爾實(shí)驗(yàn)室利用 Hopfield 網(wǎng)絡(luò)，仿真出耳蝸與視網(wǎng)膜等硬件網(wǎng)絡(luò)。 1988 年 David 和 James 及其領(lǐng)導(dǎo)小組發(fā)表了《 Parallel Distributed Processing》。 1989 年 Stephen Grossberg、 Teuvo kohonen 和 Shunichi Amari 主持創(chuàng)辦了世界第一份神經(jīng)網(wǎng)絡(luò)雜志《 Neural Network》。在人工神經(jīng)網(wǎng)絡(luò)研究中，對(duì)如何設(shè)計(jì)模型，歷史上有三種理論思想分別是聯(lián)接主義、符號(hào)主義和行為主義。它主要是模 擬簡(jiǎn)單單元網(wǎng)絡(luò)間連接產(chǎn)生過(guò)程中的精神和生物現(xiàn)象。 符號(hào)主義，其原理為物理符號(hào)系統(tǒng)假設(shè)和有限合理性原理，認(rèn)為人的認(rèn)知基元是符號(hào)，而且認(rèn)知過(guò)程即符號(hào)操作過(guò)程。 行為主義，原理為控制論及感知 — 動(dòng)作型控制系統(tǒng)，認(rèn)為智能不需要知識(shí)、不需要表示、不需要推理，人工智能可以像人類(lèi)智能一樣逐步進(jìn)化，智能行為知識(shí)在現(xiàn)實(shí)世界中與周?chē)h(huán)境交互作用而表現(xiàn)出來(lái)的。論文 26 其中聯(lián)接主義是人工神經(jīng)網(wǎng)絡(luò)模擬認(rèn)知現(xiàn)象 的主題思想，其最主要的形式就是神經(jīng)網(wǎng)絡(luò)模型。根據(jù)聯(lián)結(jié)主義思想，設(shè)計(jì)出的神經(jīng)網(wǎng)絡(luò)模型具有高度的生物性，可以近似模擬出生物，特別是人類(lèi)在處理信息時(shí)的能力，這是有助于很多現(xiàn)實(shí)問(wèn)題的解決的。 (1)Perceptron（感知機(jī)） Frank Rosenblatt（康奈爾大學(xué)）在 1957 年提出的，應(yīng)用于 文字識(shí)別、聲音識(shí)別，聲納信號(hào)識(shí)別、學(xué)習(xí)記憶問(wèn)題研究。 (3)Avakabche（雪崩網(wǎng)）： 在 1967 年提出，應(yīng)用于連續(xù)語(yǔ)音識(shí)別、機(jī)器人手臂運(yùn)動(dòng)、數(shù)字教學(xué)指令。 (5)Back Propagation（誤差反傳網(wǎng)絡(luò)）： （哈佛大學(xué)）、 David Rumelhart（斯坦福大學(xué)） James McClelland（斯坦福大學(xué)）在 1979 年到 1990 年提出，應(yīng)用于語(yǔ)言識(shí)別、工業(yè)過(guò)程控制、貸款信用評(píng)估、股票預(yù)測(cè)、自適應(yīng)控制等。 (7)Brain State in a Box（盒中腦 BSB 網(wǎng)絡(luò)） James Anderson（布朗大學(xué)）在1977 年提出，應(yīng)用于解釋概念形式，分類(lèi)和知識(shí)處理。 (9)SelfOrganizing feature map（自組織特征映射網(wǎng)絡(luò)） Tuevo Konhonen（芬蘭赫爾辛基技術(shù)大學(xué)）在 1980 年提出，應(yīng)用語(yǔ)言識(shí)別 、機(jī)器人控制、工業(yè)過(guò)程控制、圖像壓縮、專(zhuān)家系統(tǒng)。 (11)Boltzman machine（波爾茲曼機(jī)）和 Cauchy machine（柯西機(jī)） （多倫多大學(xué)）和 （霍布金斯大學(xué)）在 1985 到 1986 年提出的，應(yīng)用于桂林理工大學(xué)本科畢業(yè)設(shè)計(jì) (12)Bidirectional Associative Memory（ BAM，雙向聯(lián)想 記憶網(wǎng)） Baaart kosko（南加州大學(xué)） 1985 年到 1988 年提出，應(yīng)用于內(nèi)容尋址的聯(lián)想記憶。 (14)Radial Basis Functions（ RBF，徑向基函數(shù)網(wǎng)絡(luò)） Broomhead Lowe 在 1988年提出，應(yīng)用于非線性函數(shù)逼近，時(shí)間序列分析，模式識(shí)別、信息處理、圖像處理、系統(tǒng)建模。 對(duì)于人工神經(jīng)網(wǎng)絡(luò)而言，現(xiàn)在其模型設(shè)計(jì)主要還是依靠科學(xué)家對(duì)人類(lèi)認(rèn)知現(xiàn)象機(jī)理的研究。了解到運(yùn)行方式后，設(shè)計(jì)出符合特定的認(rèn)知人工神經(jīng)網(wǎng)絡(luò)。為了能解決這一局 限性，有的科學(xué)家想到應(yīng)用部分非認(rèn)知原理參與設(shè)計(jì)模型，這可以使模型更適合實(shí)際應(yīng)用，