【導(dǎo)讀】60年前，達(dá)特茅斯會(huì)議召開，人工智能作為一門新興學(xué)科在美國(guó)肇始。經(jīng)過六十年的演進(jìn)，人工智能即將成為改變?nèi)祟惤?jīng)濟(jì)、社會(huì)的新技術(shù)引擎。2020年9月3日，習(xí)近平主席在二十國(guó)集。隨著人工智能從學(xué)術(shù)課題研發(fā)全面步入產(chǎn)業(yè)經(jīng)濟(jì)爆發(fā)階段，目前全球正邁向以互聯(lián)網(wǎng)＋、人。工智能、3D打印、自動(dòng)駕駛等技術(shù)代表的第四次工業(yè)革命。中國(guó)是全球創(chuàng)新舞臺(tái)上的佼佼者，也。是邁向智能時(shí)代最快的國(guó)家之一。產(chǎn)業(yè)篇主要對(duì)全球與中國(guó)的人工智能產(chǎn)業(yè)進(jìn)行概括性介紹，概覽全球產(chǎn)業(yè)戰(zhàn)略與布局。熱點(diǎn)篇關(guān)注2020年以來發(fā)展態(tài)勢(shì)迅猛的智能駕駛，從技術(shù)、企業(yè)、競(jìng)爭(zhēng)等角。投融資篇除了對(duì)全球與中國(guó)人工智能領(lǐng)域投融資情況進(jìn)行綜述，特別推出“新智元100”。另外，新智元評(píng)選的“2020最具競(jìng)爭(zhēng)力人工智能創(chuàng)業(yè)企業(yè)”名單也將在報(bào)告中。通過本報(bào)告，新智元希望提供關(guān)于中國(guó)人工智能產(chǎn)業(yè)的全局概覽和近期發(fā)展趨勢(shì)洞見。告的撰寫得到了許多業(yè)內(nèi)人士的幫助，在此一并表示感謝。1．人工智能：感知+理解+決策·············································································

　　

【正文】 在同等海量數(shù)據(jù)規(guī)模的情況 下 ，其表現(xiàn)超過了 支持向量機(jī)等淺層模 型 ，并隨著數(shù)據(jù)的增加可獲得持續(xù)改 進(jìn) ，業(yè)界對(duì)其應(yīng)用前景的評(píng)估日益樂 觀， 開始源源不斷地投入深度學(xué)習(xí)的改進(jìn)中。 2． 深度學(xué)習(xí)的三個(gè)里程碑 任何技 術(shù) 的發(fā)展過 程 ，都 伴 隨著一些重要 的 突破節(jié) 點(diǎn) ，在 深 度學(xué)習(xí)技術(shù)方 面， 可劃分為模型初 步、大規(guī)模嘗試和遍地開花三個(gè)階段。 2020 年前 后 ，深度模型初見端 倪 ，這個(gè)階段主要的挑戰(zhàn)是如何有效訓(xùn)練更大更深層次的神經(jīng) 網(wǎng) 絡(luò) ，曾一度因?yàn)樘荻确椒ㄈ菀自斐蓪哟伍g信息損失而效果受到影 響 。業(yè)界嘗試?yán)弥饘宇A(yù)訓(xùn)練的 方 法 （ 還有一種嘗試方法是上文提到 的 LSTM）來解決該問 題 ，預(yù)訓(xùn)練首先通過無監(jiān)督學(xué)習(xí)得到一 些比較穩(wěn)定的特 征 ，而后用監(jiān)督學(xué)習(xí)稍加調(diào)整便可得到較好效 果 ，最早 是 1992 年 Schmidhuber 提 出，而后 Hinton 等人在 2020 年改進(jìn)為前向反饋。 圖表 23 Google 大腦計(jì)劃 18 中國(guó)人工智能產(chǎn)業(yè)發(fā)展報(bào) 告 2020 年底，大公司逐步開始進(jìn)行大規(guī)模深度學(xué)習(xí)的設(shè)計(jì)和部署 。 “ Google 大腦 ”項(xiàng)目啟動(dòng)，由 時(shí)任斯坦福大學(xué)教授的吳恩達(dá) 和 Google 首席架構(gòu) 師 Jeff Dean 主 導(dǎo) ，專注于發(fā)展最先進(jìn)的神經(jīng)網(wǎng) 絡(luò) 。初期重點(diǎn)是使用大數(shù)據(jù)集以及海量計(jì) 算 ，盡可能拓展計(jì)算機(jī)的感知和語(yǔ)言理解能 力 。該項(xiàng)目最 終采用 了 16000 個(gè) GPU 搭建并行計(jì)算平 臺(tái) ， 以 YouTube 視頻中的貓臉作為數(shù)據(jù)對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練和 識(shí)別，引起業(yè)界轟動(dòng)，此后在語(yǔ)音識(shí)別和圖像識(shí)別等領(lǐng)域均有所斬獲。 圖表 24 ImageNet 挑戰(zhàn)賽 資料來源 ： 新智元 近年來深度學(xué)習(xí)獲得了非常廣泛的關(guān) 注 ，其進(jìn)展的一個(gè)直觀的體現(xiàn)就 是 ImageNet 競(jìng) 賽 。在這 個(gè)競(jìng)賽中參賽算法在數(shù)千個(gè)種類圖像和視頻的大規(guī)模數(shù)據(jù)上測(cè)試檢測(cè)和分類的正確率快速上升。 圖表 25 2020 年至 2020 年 ImageNet 圖片分類結(jié)果 資料來源 ： 新智元 19 二、技術(shù) 篇 ——深度學(xué) 習(xí) 近年 來 ，隨 著 GPU 的提 速 ，深層網(wǎng)絡(luò)的很多訓(xùn)練過程已無需預(yù)訓(xùn)練就可直接進(jìn) 行 ， 如 2020 年 Ciresan 等利用深度卷積神經(jīng)網(wǎng)絡(luò)贏得多項(xiàng)文本識(shí) 別 、交通標(biāo)志識(shí)別和醫(yī)學(xué)圖像識(shí)別等競(jìng) 賽 。 2020 年之 前 ，競(jìng)賽中物體的識(shí)別率一直提升得非常緩 慢 （ 低 于 70%） 。 在 2020 年引入深度學(xué)習(xí)之 后， Hinton 等人贏 得 ILSVRC2020 ImageNet，識(shí)別率一躍升 至 80%，現(xiàn)在已超 過 95%。這標(biāo)志了人工 特征工程正逐步被深度模型所取 代 。從排名來 看 ，深度學(xué)習(xí)目前具有壓倒性優(yōu) 勢(shì) ，已經(jīng)取代了傳統(tǒng) 視覺方法在這一競(jìng)賽中的地位。 進(jìn)一步 地 ，強(qiáng)化學(xué)習(xí)也重新成為焦 點(diǎn)， 2020 年 Google 子公 司 DeepMind 研發(fā)的基于深度強(qiáng)化 學(xué)習(xí)網(wǎng)絡(luò) 的 AlphaGo，與人類頂尖棋手李世石進(jìn)行了一 場(chǎng) “世紀(jì)對(duì) 決 ”，最終贏得比 賽 。 AlphaGo 突破了傳統(tǒng)程 序 ，搭建了兩套模仿人類思維的深度學(xué) 習(xí) ：價(jià)值網(wǎng)絡(luò)承擔(dān)棋局態(tài)勢(shì)評(píng) 估 ，策略網(wǎng)絡(luò)選 擇如何落子。 （二 ）深度學(xué)習(xí)發(fā)展現(xiàn)狀 1． 多家巨頭力推產(chǎn)業(yè)布局 技術(shù)的發(fā)展離不開產(chǎn)業(yè)巨頭的推進(jìn)，深度學(xué)習(xí)也不例外 。 Facebook 是最早使用 GPU 加速 DNN 訓(xùn)練的公司之 一 。深度網(wǎng)絡(luò) 和 GPU 在 Facebook 人工智能研究 院（ FAIR）推出的專門用于深度學(xué)習(xí) 訓(xùn)練的計(jì)算平臺(tái)中扮演著重要的作用 。 Facebook 寄希望以此推動(dòng)機(jī)器智能的發(fā)展并幫助人們更好的 交 流 ，目前在信息推 薦 、過濾攻擊言 論 、推薦熱門話 題 、搜索結(jié)果排名等等已經(jīng)使用了大量人工智 能和深度學(xué)習(xí)的技術(shù)。在 Facebook，還有許多應(yīng)用能夠從機(jī)器學(xué)習(xí)模型中獲利，然而對(duì)于很多沒有 深厚機(jī)器學(xué)習(xí)背景的工程師來 說 ，想要利用這些機(jī)器學(xué)習(xí)基礎(chǔ)設(shè) 施 ，還是有很大的困 難。 2020 年 末 Facebook 發(fā) 布 FBLearner Flow，試圖重新定義自己的機(jī)器學(xué)習(xí)平 臺(tái) ，把人工智能與機(jī)器學(xué)習(xí)中 最先進(jìn)的算法以最便利的方式提供 給 Facebook 的工程 師 。這一平臺(tái)能方便地在不同的產(chǎn)品中重復(fù) 使用多種算 法 ，并可以延伸到成千上萬(wàn)種模擬的定制試驗(yàn)操 中 ，輕松地對(duì)實(shí)驗(yàn)進(jìn)行管 理 。這一平臺(tái) 提供了創(chuàng)新性的功 能 ，比如從流水線定義和 對(duì) Python 編碼進(jìn)行自動(dòng)化平行移用中自動(dòng)生成用戶界 面（ UI）試 驗(yàn) 。目 前 ，超 過 25% 的 Facebook 工程開發(fā)團(tuán)隊(duì)都在使 用 FBLearner Flow。其未來的改 進(jìn)計(jì)劃包括效率、速度和自動(dòng)化等。 上文提 到， Google 也在深度學(xué)習(xí)領(lǐng)域投入了大量力 量 。 以 2020 年 “ Google 大 腦 ”為契 機(jī) ， Google 逐年在多個(gè)內(nèi)部重點(diǎn)項(xiàng)目上如廣告系 統(tǒng) 、 YouTube、 Gmail 和機(jī)器翻譯等部署深度學(xué) 習(xí) ， 為 Google 進(jìn)一步改善產(chǎn)品質(zhì)量和用戶體驗(yàn)提供了強(qiáng)有力的支 持 。此 外 ，鑒于開 源 Android 的成 功經(jīng) 驗(yàn)， Google 在深度學(xué)習(xí)模型和工具方面也積極擁抱開 源 ，目前正在大力推 動(dòng) TensorFlow 開 源深度學(xué)習(xí)平臺(tái)。 Google 目前有能力快速搭建和訓(xùn)練基于海量數(shù)據(jù)的模型，解決真實(shí)世界中的實(shí) 際問 題 ，并在不同的平 臺(tái) （ 比如移動(dòng) 端、 GPU、云 端 ）部署生產(chǎn)模 型 ，相關(guān)技術(shù)都以云服 務(wù) API 的形式提供。 20 中國(guó)人工智能產(chǎn)業(yè)發(fā)展報(bào) 告 圖表 26 Google 產(chǎn)品中深度學(xué)習(xí)的應(yīng)用在迅速增長(zhǎng) 就國(guó)內(nèi)來 講 ，百度是較早引入并大規(guī)模實(shí)踐深度學(xué)習(xí)的典 范 。 2020 年 ，百度成立深度學(xué)習(xí)實(shí) 驗(yàn) 室 ，是百度歷史上首個(gè)正式成立的前瞻性研究機(jī) 構(gòu) ，致力 于 “讓計(jì)算機(jī)像人腦一樣智 能 ”的科學(xué) 研 究 ，并推 出 “百度大 腦 ”計(jì) 劃 ，支撐百度相關(guān)產(chǎn)品線模型的改 進(jìn) ，近年來在搜索技 術(shù) 、自然語(yǔ) 言 處 理 、機(jī)器翻 譯 、機(jī)器學(xué) 習(xí) 、數(shù)據(jù)挖 掘 、推薦及個(gè)性 化 、語(yǔ) 音 、多媒體等領(lǐng)域取得了大量成 果 ， 并 廣泛應(yīng)用于百度 PC 和移動(dòng)端產(chǎn)品當(dāng)中。 國(guó)內(nèi)另一家使用深度學(xué)習(xí)技術(shù)的典型企業(yè)是科大訊飛。科大訊飛從 2020 年開展 DNN 語(yǔ)音識(shí)別 研 究， 2020 年上線首個(gè)中文語(yǔ)音識(shí) 別 DNN 系 統(tǒng)， 2020 年語(yǔ)種識(shí)別首 創(chuàng) BNivec 技 術(shù)， 2020 年將 注意力模型神經(jīng)網(wǎng)絡(luò)應(yīng)用于認(rèn)知智能。 圖表 27 科大訊飛的深度學(xué)習(xí)之路 ， 來源新智元 21 二、技術(shù) 篇 ——深度學(xué) 習(xí) 2． 三大領(lǐng)域技術(shù)革新 圖表 28 基于深度學(xué)習(xí)技術(shù)的創(chuàng)業(yè)公司 在產(chǎn)業(yè)界巨頭和學(xué)術(shù)界精英的不斷推動(dòng) 下 ，基于深度學(xué)習(xí)的人工智能終于迎來 了 “春 天 ”，數(shù) 不清的應(yīng)用和創(chuàng)業(yè)公司出 現(xiàn) ，試圖利用深度模型和垂直領(lǐng)域的積累來掘得第一桶 金 ，主要聚集的領(lǐng) 域有圖像識(shí)別、語(yǔ)音識(shí)別和自然語(yǔ)言處理。 圖像識(shí)別領(lǐng)域最早嘗試深度學(xué) 習(xí) ，從早 期 LeCun 的卷積神經(jīng)網(wǎng) 絡(luò) ， 到 Hinton 的更深層次網(wǎng) 絡(luò)， 再到百度以圖搜圖和人臉識(shí)別等技 術(shù) ，整個(gè)領(lǐng)域逐漸從人工特征工程和淺層學(xué)習(xí)模 型 ，轉(zhuǎn)向基于深 度學(xué)習(xí)和大數(shù)據(jù)的方 法 。 如 Face++ 以云服務(wù)方式提供基于深度學(xué)習(xí)的人臉識(shí)別技 術(shù) ，并且在金 融、 安防、零售領(lǐng)域分別開始了商業(yè)化探索。 語(yǔ)音識(shí)別領(lǐng) 域 ，深度學(xué)習(xí)技術(shù)能夠更好描述特征狀態(tài)空 間 ，尤其可以引入更高維的表 示 ， 能 更好描述特征間相關(guān) 性 ，取代了長(zhǎng)久以來占據(jù)壟斷性地位的混合高斯模 型 。如百度采用深度學(xué)習(xí)技 術(shù) ，進(jìn)行聲音建模的語(yǔ)音識(shí)別系統(tǒng)相比于傳統(tǒng) 的 GMM 語(yǔ)音識(shí)別系統(tǒng)而 言 ，相對(duì)誤識(shí)別率能降低 25%，早在 2020 年就上線了基于深度學(xué)習(xí)技術(shù)的語(yǔ)音搜索系統(tǒng)。 自然語(yǔ)言處理領(lǐng)域是近兩年來深度 學(xué)習(xí)逐步滲透的一個(gè)領(lǐng) 域 ，比起圖像和語(yǔ) 音 ，自然語(yǔ)言單 詞 帶有較強(qiáng)的語(yǔ)義內(nèi) 涵 ，需要更細(xì)致更擴(kuò)展的表示方法才能極大程度上保留信 息。 2020 年 ，加拿大蒙 特利爾大學(xué)教授 Yoshua Bengio 等提出用 embedding 的方法將詞映射到一個(gè)矢量表示空 間 ，然后用非 線性神經(jīng)網(wǎng)絡(luò)來表 示 NGram 模 型 ，此后語(yǔ)義變得可計(jì) 算 。通過大規(guī)模未標(biāo)注文本和無監(jiān)督學(xué) 習(xí) ， 可 以自動(dòng)學(xué)習(xí)出 字 、 詞 、句子的語(yǔ)義表 示 ，一舉擺脫知識(shí) 庫(kù) 、詞 法 、句法等傳統(tǒng)自然語(yǔ)言障 礙 。 Google 自然語(yǔ)言翻譯的最新進(jìn)展。 3． 三大開源框架促進(jìn)技術(shù)落地 深度學(xué)習(xí)目前表現(xiàn)出來的趨 勢(shì) ，不光是技 術(shù) ，還有商業(yè)模式的轉(zhuǎn) 變 。過去幾個(gè) 月 ，所有巨頭都 22 中國(guó)人工智能產(chǎn)業(yè)發(fā)展報(bào) 告 將自己的深度學(xué) 習(xí) IP 開 源 。核心目的是為了吸引用 戶 、擴(kuò)大市 場(chǎng) ，吸引人 才 、加速創(chuàng) 新 。開源會(huì) 使技術(shù)發(fā)展更快，但主宰市場(chǎng)的仍將是巨頭。 深度學(xué)習(xí)算法和平臺(tái)本身的設(shè)計(jì)與實(shí)現(xiàn)是較難的問題，也不應(yīng)該是應(yīng)用開發(fā)者所需要過分關(guān)注 的事 情 。近年來依托開源運(yùn) 動(dòng) ，全球互聯(lián)網(wǎng)巨頭 從 2020 年起掀起新一輪最前沿技術(shù)平臺(tái)開源共享 的風(fēng) 潮 。例如谷歌 和 Facebook 分別將深度學(xué)習(xí)平 臺(tái) TensorFlow 和 Torch 全面開 源 ，在全球范圍 內(nèi)大幅推進(jìn)人工智能與深度學(xué)習(xí)技術(shù)的應(yīng)用普 及 ，擴(kuò)大產(chǎn)業(yè)整體的市場(chǎng)規(guī) 模 ，極大加速了深度學(xué)習(xí) 在應(yīng)用領(lǐng)域的迅速推 廣 。這些軟件所具有的共同設(shè)計(jì)特征 是 ：容易表 達(dá) 、可擴(kuò) 展 、多平臺(tái)適 用 、可 重復(fù)使用和快速見效。 TensorFlow 是 Google 的第二代機(jī)器學(xué)習(xí)系 統(tǒng) ，用來理解學(xué)習(xí)大規(guī)模數(shù)據(jù)和模 型 。這一系統(tǒng)非常 靈 活 ，可適用于圖 像 、語(yǔ) 音 、文字理解等不同應(yīng) 用 。 Google 使用了上千 塊 GPU 并在性能上較同等 CPU 極大的提 升 。其優(yōu)點(diǎn)主要有三 個(gè) ，一是高度擴(kuò)展的設(shè) 計(jì) ，更快的實(shí)驗(yàn)速度加速研究進(jìn) 程 ；二是 容易分享模型，開發(fā)代碼應(yīng)用到可重用的效果；三是通過同一個(gè)系統(tǒng)把研究工作直接用于生產(chǎn)環(huán)境。 Paddle 是百度的深度學(xué)習(xí)系 統(tǒng) ，已經(jīng)在內(nèi)部運(yùn)行和推廣多 年 ，多次獲得百度最高獎(jiǎng)榮 譽(yù) ，并且 已經(jīng)做出了一些實(shí)際的產(chǎn) 品 ，較為成 熟 。在性能和各項(xiàng)指標(biāo)上都有優(yōu) 點(diǎn) ，如代碼簡(jiǎn) 潔 、設(shè)計(jì)干 凈， 無過多抽 象 、 速度較 快 ，顯存占用 小 、可多機(jī)多卡并 行 ，支持異 構(gòu) 、文檔翔實(shí)等 等 ，推出 后 Paddle 也獲得了較高的肯定，是一個(gè)不錯(cuò)的深度學(xué)習(xí)工具，在國(guó)內(nèi)有較大的應(yīng)用潛力。 另一個(gè)值得一提的 是 Caffee，是一個(gè)清晰而且高效的深度學(xué)習(xí)框 架 ，以易用 性 、擴(kuò)展性和速度 快迅速得到業(yè)界的認(rèn) 可 ，并且在文檔撰寫和代碼迭代過程中非常注重與用戶的互 動(dòng) ，時(shí)至今日已擁 有一個(gè)龐大的開發(fā)社區(qū)。 GitHub 根據(jù)上述框架衍生出數(shù)十個(gè)開源項(xiàng) 目 ，構(gòu)成良好的深度學(xué)習(xí)開發(fā)社區(qū)氛 圍 ，進(jìn)一步推 動(dòng)了該技術(shù)的推廣和落地。下表列舉了星級(jí)超過 1500 的大型項(xiàng)目。 圖表 29 GitHub 深度學(xué)習(xí)開源排名 項(xiàng) 目 星級(jí) 應(yīng)用項(xiàng)目 Deep Dream 9042 一款圖像識(shí)別工具 。 Keras 7502 一款 由 Python 實(shí)現(xiàn)的深度學(xué)習(xí) 庫(kù) ， 包括卷積神經(jīng)網(wǎng) 絡(luò) 、 遞歸神經(jīng)網(wǎng)絡(luò) 等 。 運(yùn)行 在 Theano 和 TensorFlow 之上 。 Roc AlphaGo 7170 由學(xué)生主導(dǎo)的一個(gè)獨(dú)立項(xiàng) 目 ， 重新實(shí)現(xiàn) 了 DeepMind 在 2020 發(fā)表 于 Nature 論 文 Mastering the game of Go with deep neural works and tree search（ 用深度學(xué)習(xí)和樹搜索學(xué)習(xí)圍 棋 ） (Nature 529, 484489, 28 Jan 2020)。 Neural Doodle 6275 運(yùn)用深度學(xué)習(xí)將涂鴉變?yōu)閮?yōu)雅的藝術(shù) 品 ， 從照片生成無縫紋 理 ， 轉(zhuǎn)變圖片風(fēng) 格 ， 進(jìn)行基于實(shí) 例的提升 ， 等等 。 （ 語(yǔ)義風(fēng)格傳遞的實(shí) 現(xiàn) ） CNTK 5957 計(jì)算網(wǎng)絡(luò)工具 （ Computational Network Toolkit， CNTK） TensorFlow Examples 5872 面向初學(xué)者 的 TensorFlow 教程和代碼示例 OpenFace 4855 基于深度學(xué)習(xí)網(wǎng)絡(luò)的面部識(shí)別 。 23 二、技術(shù) 篇 ——深度學(xué) 習(xí) （續(xù)表） 項(xiàng) 目 星級(jí) 應(yīng)用項(xiàng)目 Nupic 4364 智能計(jì)算 的 Numenta 平臺(tái) （ Numenta Platform for Intelligent Computing， Nupic） ： 一個(gè)腦啟發(fā) 式的計(jì)算智能和機(jī)器智能平臺(tái) ， 基于皮層學(xué)習(xí)算法的生物精確神經(jīng)網(wǎng)絡(luò)模型 。 Leaf 4281 面向黑客的開源機(jī)器智能框架 。 Char RNN 3820 基 于 Torch 開發(fā)的多層遞歸神經(jīng)網(wǎng)絡(luò)的字符級(jí)別語(yǔ)言模型 。 Neural Talk 3694 一 個(gè) Python+numpy 項(xiàng)目 ， 用多模式遞歸神經(jīng)網(wǎng)絡(luò)描述圖像 。 deeplearning4j 3673 基 于 Hadoop 和 Spark 的 Java, Scala amp。 Clojure 深度學(xué)習(xí)工具 。 TFLearn 3368 深度學(xué)習(xí)庫(kù) ， 包括高層次 的 TensorFlow 接口 。 OpenAI Gym 3020 一種用于開發(fā)和比較強(qiáng)化學(xué)習(xí)算法的工具包 。 Magenta 2914 用機(jī)器智能生成音樂和藝術(shù) Color 2798 用神經(jīng)網(wǎng)絡(luò)模型給灰度圖上色 。 Synaptic 2666 基 于 和瀏覽器的免架構(gòu)神經(jīng)網(wǎng)絡(luò)庫(kù) 。 Neural Talk 2 2550 Torch 開發(fā)的圖像簡(jiǎn)介生成代碼 ， 運(yùn)行 在 GPU 上 。 Image Analogies 2540 使用神經(jīng)匹配和融合生成相似圖形 。 Deep Learning Flappy Bird 1721 使用深度強(qiáng)化學(xué)習(xí)破 解 Flappy Bird 游戲 。 （三 ）深度學(xué)習(xí)未來展望 技術(shù)的發(fā) 展 ，尤其是到大規(guī)模落實(shí)階 段 ，都難免會(huì)發(fā)現(xiàn)局限 性 ，也正是這些局限 性 ，不斷促進(jìn) 業(yè)界思考和改進(jìn)技術(shù)，進(jìn)而得到未來的發(fā)展方向。 就深度學(xué)習(xí)而 言 ，首 先 ，缺乏理論支 持 。對(duì)于深度學(xué)習(xí)架 構(gòu) ，業(yè)界存在一系列的疑 問 ：卷積神 經(jīng)網(wǎng)絡(luò)為什么是一個(gè)好的架構(gòu) （ 事實(shí)上其存在梯度散射等缺 點(diǎn) ） ，深度學(xué)習(xí)的結(jié)構(gòu)需要多少隱層，在 一個(gè)大規(guī)模的卷積網(wǎng)絡(luò)中到底需要多少有效的參數(shù) （ 很多權(quán)重相互之間似乎都存在冗 余 ） ，隨機(jī)梯度 下降方法優(yōu)化權(quán)重得到一個(gè)局部最優(yōu)值如何解 決 。雖然深度學(xué)習(xí)在很多實(shí)際的應(yīng)用中取得了突出的 效 果 ，但這些問題一直困擾著深度學(xué)習(xí)的研究人 員 。深度學(xué)習(xí)方法常常被視為黑 盒 ，大多數(shù)的結(jié)論 確認(rèn)都由經(jīng)驗(yàn)而非理論來確 定 。不管是為了構(gòu)建更好的深度學(xué)習(xí)系 統(tǒng) ，還是為了提供更好的解 釋， 深度 學(xué)習(xí)都還需要更完善的理論支 撐 。隨著神經(jīng)網(wǎng)絡(luò)框架變得越來越復(fù)雜而精 密 ，在感 知 、語(yǔ)言翻 譯等等方面的大部分最先進(jìn)的神經(jīng)網(wǎng)絡(luò)框架正在發(fā)展并且不再僅僅關(guān)于簡(jiǎn)單前饋 式 （ feed forward） 框架或者卷積式框架 （ convolutional） 。特別地，它們正在混合并匹配不同的神經(jīng)網(wǎng)絡(luò)技術(shù)如 LSTM、 卷積、自定義目標(biāo)函數(shù)、多皮層柱（ multiple cortical columns）等等。此外，神經(jīng)網(wǎng)絡(luò)超參數(shù)和網(wǎng)絡(luò) 結(jié)構(gòu)的設(shè)計(jì)目前多依賴人工經(jīng)驗(yàn)，如何能夠自動(dòng)且高效地得到優(yōu)化是值得關(guān)注的方向。 其 次 ，缺乏推理能 力 。深度學(xué)習(xí)技術(shù)缺乏表達(dá)因果關(guān)系的手 段 ，缺乏進(jìn)行邏輯推理的方 法 。解 決這個(gè)問題的一種典型方法是將深度學(xué)習(xí)與結(jié)構(gòu)化預(yù)測(cè)相結(jié) 合 。目前幾個(gè)帶有結(jié)構(gòu)化預(yù)測(cè)模塊的增 強(qiáng)的深度學(xué)習(xí)系統(tǒng)已經(jīng)被提出來用 于 OCR、身體姿態(tài)檢測(cè)和語(yǔ)義分割等任務(wù) 中 。總的來 說 ，需要 更多新的思路以應(yīng)用于需要復(fù)雜推理的任務(wù) 中 。盡管深度學(xué)習(xí)和簡(jiǎn)單推理已經(jīng)應(yīng)用于語(yǔ)音和手寫字 24 中國(guó)人工智能產(chǎn)業(yè)發(fā)展報(bào) 告 識(shí)別較長(zhǎng)時(shí) 間 ，仍需要在大的向量上使用新的范式來代替基于規(guī)則的字符表達(dá)式操 作 。最 終 ，那些 結(jié)合了復(fù)雜推理和表示學(xué)習(xí)的系統(tǒng)很可能為人工智能帶來巨大的進(jìn) 步 。深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的交叉 應(yīng)用會(huì)繼 續(xù) ，不僅僅聚焦在圖 像 、聲音和文本數(shù) 據(jù) 。如端對(duì)端學(xué)習(xí)控制無人車和機(jī)器 人 ，使用深度 學(xué)習(xí)和強(qiáng)化學(xué)習(xí)來完成原始傳感器數(shù)據(jù)到實(shí)際動(dòng)作執(zhí)行器的直接映 射 。深度學(xué)習(xí)模型正從過去的只 是分類一步步發(fā)展到試圖理解如何在方程中加入規(guī)劃控制相關(guān)的變量。 第 三 ，缺乏短時(shí)記憶能 力 。人類的大腦有著驚人的記憶功 能 ，不僅能夠識(shí)別個(gè)體案 例 ，更能 分析輸入信息之間的整體邏輯序 列 。這些信息序列富含有大量的內(nèi) 容 ，信息彼此間有著復(fù)雜的時(shí)間 關(guān)聯(lián) 性 。例如在自然語(yǔ)言理解的許多任 務(wù) （ 例如問答系 統(tǒng) ） 中 ，需要一種方法來臨時(shí)存儲(chǔ)分隔的片 段 ，正確解釋視頻中的事 件 ，并能夠回答有關(guān)它的問 題 ，這需要網(wǎng)絡(luò)具備記住的視頻中發(fā)生的事件 抽象表示的能 力 。然而包括遞歸神經(jīng)網(wǎng)絡(luò)在內(nèi)的深度學(xué)習(xí)系 統(tǒng) ，都不能很好地存儲(chǔ)多個(gè)時(shí)間序列上 的記 憶 。這使得研究人員提出在神經(jīng)網(wǎng)絡(luò)中增加獨(dú)立的記憶模 塊 ， 如 LSTM，記憶網(wǎng) 絡(luò)（ Memory Networks） ，神經(jīng)圖靈機(jī) （ Neural Turing Machines） ，和 Stack 增強(qiáng) RNN（ stackAugmented RNN） 。雖 然這些方法思路很直觀，也取得了一定的成果，但在未來仍需要更多的嘗試和新的思路。 最 后 ，缺乏執(zhí)行無監(jiān)督學(xué)習(xí)的能 力 。無監(jiān)督學(xué)習(xí)在人類和動(dòng)物的學(xué)習(xí)中占