【正文】 最 后 ，缺乏執(zhí)行無監(jiān)督學(xué)習(xí)的能 力 。這使得研究人員提出在神經(jīng)網(wǎng)絡(luò)中增加獨(dú)立的記憶模 塊 ， 如 LSTM，記憶網(wǎng) 絡(luò)（ Memory Networks） ，神經(jīng)圖靈機(jī) （ Neural Turing Machines） ，和 Stack 增強(qiáng) RNN（ stackAugmented RNN） 。例如在自然語言理解的許多任 務(wù) （ 例如問答系 統(tǒng) ） 中 ，需要一種方法來臨時存儲分隔的片 段 ，正確解釋視頻中的事 件 ，并能夠回答有關(guān)它的問 題 ，這需要網(wǎng)絡(luò)具備記住的視頻中發(fā)生的事件 抽象表示的能 力 。人類的大腦有著驚人的記憶功 能 ，不僅能夠識別個體案 例 ，更能 分析輸入信息之間的整體邏輯序 列 。深度學(xué)習(xí)模型正從過去的只 是分類一步步發(fā)展到試圖理解如何在方程中加入規(guī)劃控制相關(guān)的變量。深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的交叉 應(yīng)用會繼 續(xù) ，不僅僅聚焦在圖 像 、聲音和文本數(shù) 據(jù) 。盡管深度學(xué)習(xí)和簡單推理已經(jīng)應(yīng)用于語音和手寫字 24 中國人工智能產(chǎn)業(yè)發(fā)展報 告 識別較長時 間 ，仍需要在大的向量上使用新的范式來代替基于規(guī)則的字符表達(dá)式操 作 。目前幾個帶有結(jié)構(gòu)化預(yù)測模塊的增 強(qiáng)的深度學(xué)習(xí)系統(tǒng)已經(jīng)被提出來用 于 OCR、身體姿態(tài)檢測和語義分割等任務(wù) 中 。深度學(xué)習(xí)技術(shù)缺乏表達(dá)因果關(guān)系的手 段 ，缺乏進(jìn)行邏輯推理的方 法 。此外，神經(jīng)網(wǎng)絡(luò)超參數(shù)和網(wǎng)絡(luò) 結(jié)構(gòu)的設(shè)計目前多依賴人工經(jīng)驗，如何能夠自動且高效地得到優(yōu)化是值得關(guān)注的方向。隨著神經(jīng)網(wǎng)絡(luò)框架變得越來越復(fù)雜而精 密 ，在感 知 、語言翻 譯等等方面的大部分最先進(jìn)的神經(jīng)網(wǎng)絡(luò)框架正在發(fā)展并且不再僅僅關(guān)于簡單前饋 式 （ feed forward） 框架或者卷積式框架 （ convolutional） 。深度學(xué)習(xí)方法常常被視為黑 盒 ，大多數(shù)的結(jié)論 確認(rèn)都由經(jīng)驗而非理論來確 定 。對于深度學(xué)習(xí)架 構(gòu) ，業(yè)界存在一系列的疑 問 ：卷積神 經(jīng)網(wǎng)絡(luò)為什么是一個好的架構(gòu) （ 事實(shí)上其存在梯度散射等缺 點(diǎn) ） ，深度學(xué)習(xí)的結(jié)構(gòu)需要多少隱層，在 一個大規(guī)模的卷積網(wǎng)絡(luò)中到底需要多少有效的參數(shù) （ 很多權(quán)重相互之間似乎都存在冗 余 ） ，隨機(jī)梯度 下降方法優(yōu)化權(quán)重得到一個局部最優(yōu)值如何解 決 。 （三 ）深度學(xué)習(xí)未來展望 技術(shù)的發(fā) 展 ，尤其是到大規(guī)模落實(shí)階 段 ，都難免會發(fā)現(xiàn)局限 性 ，也正是這些局限 性 ，不斷促進(jìn) 業(yè)界思考和改進(jìn)技術(shù)，進(jìn)而得到未來的發(fā)展方向。 Image Analogies 2540 使用神經(jīng)匹配和融合生成相似圖形 。 Synaptic 2666 基 于 和瀏覽器的免架構(gòu)神經(jīng)網(wǎng)絡(luò)庫 。 OpenAI Gym 3020 一種用于開發(fā)和比較強(qiáng)化學(xué)習(xí)算法的工具包 。 Clojure 深度學(xué)習(xí)工具 。 Neural Talk 3694 一 個 Python+numpy 項目 ， 用多模式遞歸神經(jīng)網(wǎng)絡(luò)描述圖像 。 Leaf 4281 面向黑客的開源機(jī)器智能框架 。 （ 語義風(fēng)格傳遞的實(shí) 現(xiàn) ） CNTK 5957 計算網(wǎng)絡(luò)工具 （ Computational Network Toolkit， CNTK） TensorFlow Examples 5872 面向初學(xué)者 的 TensorFlow 教程和代碼示例 OpenFace 4855 基于深度學(xué)習(xí)網(wǎng)絡(luò)的面部識別 。 Roc AlphaGo 7170 由學(xué)生主導(dǎo)的一個獨(dú)立項 目 ， 重新實(shí)現(xiàn) 了 DeepMind 在 2020 發(fā)表 于 Nature 論 文 Mastering the game of Go with deep neural works and tree search（ 用深度學(xué)習(xí)和樹搜索學(xué)習(xí)圍 棋 ） (Nature 529, 484489, 28 Jan 2020)。 Keras 7502 一款 由 Python 實(shí)現(xiàn)的深度學(xué)習(xí) 庫 ， 包括卷積神經(jīng)網(wǎng) 絡(luò) 、 遞歸神經(jīng)網(wǎng)絡(luò) 等 。下表列舉了星級超過 1500 的大型項目。 另一個值得一提的 是 Caffee，是一個清晰而且高效的深度學(xué)習(xí)框 架 ，以易用 性 、擴(kuò)展性和速度 快迅速得到業(yè)界的認(rèn) 可 ，并且在文檔撰寫和代碼迭代過程中非常注重與用戶的互 動 ，時至今日已擁 有一個龐大的開發(fā)社區(qū)。 Paddle 是百度的深度學(xué)習(xí)系 統(tǒng) ，已經(jīng)在內(nèi)部運(yùn)行和推廣多 年 ，多次獲得百度最高獎榮 譽(yù) ，并且 已經(jīng)做出了一些實(shí)際的產(chǎn) 品 ，較為成 熟 。 Google 使用了上千 塊 GPU 并在性能上較同等 CPU 極大的提 升 。 TensorFlow 是 Google 的第二代機(jī)器學(xué)習(xí)系 統(tǒng) ，用來理解學(xué)習(xí)大規(guī)模數(shù)據(jù)和模 型 。例如谷歌 和 Facebook 分別將深度學(xué)習(xí)平 臺 TensorFlow 和 Torch 全面開 源 ，在全球范圍 內(nèi)大幅推進(jìn)人工智能與深度學(xué)習(xí)技術(shù)的應(yīng)用普 及 ，擴(kuò)大產(chǎn)業(yè)整體的市場規(guī) 模 ，極大加速了深度學(xué)習(xí) 在應(yīng)用領(lǐng)域的迅速推 廣 。 深度學(xué)習(xí)算法和平臺本身的設(shè)計與實(shí)現(xiàn)是較難的問題，也不應(yīng)該是應(yīng)用開發(fā)者所需要過分關(guān)注 的事 情 。核心目的是為了吸引用 戶 、擴(kuò)大市 場 ，吸引人 才 、加速創(chuàng) 新 。 3． 三大開源框架促進(jìn)技術(shù)落地 深度學(xué)習(xí)目前表現(xiàn)出來的趨 勢 ，不光是技 術(shù) ，還有商業(yè)模式的轉(zhuǎn) 變 。通過大規(guī)模未標(biāo)注文本和無監(jiān)督學(xué) 習(xí) ， 可 以自動學(xué)習(xí)出 字 、 詞 、句子的語義表 示 ，一舉擺脫知識 庫 、詞 法 、句法等傳統(tǒng)自然語言障 礙 。 自然語言處理領(lǐng)域是近兩年來深度 學(xué)習(xí)逐步滲透的一個領(lǐng) 域 ，比起圖像和語 音 ，自然語言單 詞 帶有較強(qiáng)的語義內(nèi) 涵 ，需要更細(xì)致更擴(kuò)展的表示方法才能極大程度上保留信 息。 語音識別領(lǐng) 域 ，深度學(xué)習(xí)技術(shù)能夠更好描述特征狀態(tài)空 間 ，尤其可以引入更高維的表 示 ， 能 更好描述特征間相關(guān) 性 ，取代了長久以來占據(jù)壟斷性地位的混合高斯模 型 。 圖像識別領(lǐng)域最早嘗試深度學(xué) 習(xí) ，從早 期 LeCun 的卷積神經(jīng)網(wǎng) 絡(luò) ， 到 Hinton 的更深層次網(wǎng) 絡(luò)， 再到百度以圖搜圖和人臉識別等技 術(shù) ，整個領(lǐng)域逐漸從人工特征工程和淺層學(xué)習(xí)模 型 ，轉(zhuǎn)向基于深 度學(xué)習(xí)和大數(shù)據(jù)的方 法 ?？拼笥嶏w從 2020 年開展 DNN 語音識別 研 究， 2020 年上線首個中文語音識 別 DNN 系 統(tǒng)， 2020 年語種識別首 創(chuàng) BNivec 技 術(shù)， 2020 年將 注意力模型神經(jīng)網(wǎng)絡(luò)應(yīng)用于認(rèn)知智能。 2020 年 ，百度成立深度學(xué)習(xí)實(shí) 驗 室 ，是百度歷史上首個正式成立的前瞻性研究機(jī) 構(gòu) ，致力 于 “讓計算機(jī)像人腦一樣智 能 ”的科學(xué) 研 究 ，并推 出 “百度大 腦 ”計 劃 ，支撐百度相關(guān)產(chǎn)品線模型的改 進(jìn) ，近年來在搜索技 術(shù) 、自然語 言 處 理 、機(jī)器翻 譯 、機(jī)器學(xué) 習(xí) 、數(shù)據(jù)挖 掘 、推薦及個性 化 、語 音 、多媒體等領(lǐng)域取得了大量成 果 ， 并 廣泛應(yīng)用于百度 PC 和移動端產(chǎn)品當(dāng)中。 Google 目前有能力快速搭建和訓(xùn)練基于海量數(shù)據(jù)的模型，解決真實(shí)世界中的實(shí) 際問 題 ，并在不同的平 臺 （ 比如移動 端、 GPU、云 端 ）部署生產(chǎn)模 型 ，相關(guān)技術(shù)都以云服 務(wù) API 的形式提供。 以 2020 年 “ Google 大 腦 ”為契 機(jī) ， Google 逐年在多個內(nèi)部重點(diǎn)項目上如廣告系 統(tǒng) 、 YouTube、 Gmail 和機(jī)器翻譯等部署深度學(xué) 習(xí) ， 為 Google 進(jìn)一步改善產(chǎn)品質(zhì)量和用戶體驗提供了強(qiáng)有力的支 持 。其未來的改 進(jìn)計劃包括效率、速度和自動化等。這一平臺 提供了創(chuàng)新性的功 能 ，比如從流水線定義和 對 Python 編碼進(jìn)行自動化平行移用中自動生成用戶界 面（ UI）試 驗 。 2020 年 末 Facebook 發(fā) 布 FBLearner Flow，試圖重新定義自己的機(jī)器學(xué)習(xí)平 臺 ，把人工智能與機(jī)器學(xué)習(xí)中 最先進(jìn)的算法以最便利的方式提供 給 Facebook 的工程 師 。 Facebook 寄希望以此推動機(jī)器智能的發(fā)展并幫助人們更好的 交 流 ，目前在信息推 薦 、過濾攻擊言 論 、推薦熱門話 題 、搜索結(jié)果排名等等已經(jīng)使用了大量人工智 能和深度學(xué)習(xí)的技術(shù)。 Facebook 是最早使用 GPU 加速 DNN 訓(xùn)練的公司之 一 。 AlphaGo 突破了傳統(tǒng)程 序 ，搭建了兩套模仿人類思維的深度學(xué) 習(xí) ：價值網(wǎng)絡(luò)承擔(dān)棋局態(tài)勢評 估 ，策略網(wǎng)絡(luò)選 擇如何落子。從排名來 看 ，深度學(xué)習(xí)目前具有壓倒性優(yōu) 勢 ，已經(jīng)取代了傳統(tǒng) 視覺方法在這一競賽中的地位。 在 2020 年引入深度學(xué)習(xí)之 后， Hinton 等人贏 得 ILSVRC2020 ImageNet，識別率一躍升 至 80%，現(xiàn)在已超 過 95%。 圖表 25 2020 年至 2020 年 ImageNet 圖片分類結(jié)果 資料來源 ： 新智元 19 二、技術(shù) 篇 ——深度學(xué) 習(xí) 近年 來 ，隨 著 GPU 的提 速 ，深層網(wǎng)絡(luò)的很多訓(xùn)練過程已無需預(yù)訓(xùn)練就可直接進(jìn) 行 ， 如 2020 年 Ciresan 等利用深度卷積神經(jīng)網(wǎng)絡(luò)贏得多項文本識 別 、交通標(biāo)志識別和醫(yī)學(xué)圖像識別等競 賽 。 圖表 24 ImageNet 挑戰(zhàn)賽 資料來源 ： 新智元 近年來深度學(xué)習(xí)獲得了非常廣泛的關(guān) 注 ，其進(jìn)展的一個直觀的體現(xiàn)就 是 ImageNet 競 賽 。初期重點(diǎn)是使用大數(shù)據(jù)集以及海量計 算 ，盡可能拓展計算機(jī)的感知和語言理解能 力 。 圖表 23 Google 大腦計劃 18 中國人工智能產(chǎn)業(yè)發(fā)展報 告 2020 年底，大公司逐步開始進(jìn)行大規(guī)模深度學(xué)習(xí)的設(shè)計和部署 。 2020 年前 后 ，深度模型初見端 倪 ，這個階段主要的挑戰(zhàn)是如何有效訓(xùn)練更大更深層次的神經(jīng) 網(wǎng) 絡(luò) ，曾一度因為梯度方法容易造成層次間信息損失而效果受到影 響 。 21 世紀(jì) 初 ，伴隨著信息革命的發(fā) 展 ，計算機(jī)性能大幅提 升 ，大規(guī)模并行計算設(shè)備 如 GPU 等的 出 現(xiàn) ，使得深度學(xué)習(xí)模型的訓(xùn)練過程可以提速千 倍 ，在同等海量數(shù)據(jù)規(guī)模的情況 下 ，其表現(xiàn)超過了 支持向量機(jī)等淺層模 型 ，并隨著數(shù)據(jù)的增加可獲得持續(xù)改 進(jìn) ，業(yè)界對其應(yīng)用前景的評估日益樂 觀， 開始源源不斷地投入深度學(xué)習(xí)的改進(jìn)中。 圖表 21 神經(jīng)網(wǎng)絡(luò)方面的發(fā)展 1943 年 McCulloch 和 Pitt 設(shè)計的人工神經(jīng)元 1958 年 Rosenblatt 提出感知機(jī) 1979 年 Fukushima 設(shè)計最早的卷積神經(jīng)網(wǎng)絡(luò) ， 已經(jīng)具備了多層卷積和池化 ， 但是訓(xùn)練方法上還存在缺陷 1985 年 Hinton 將反向傳播引入神經(jīng)網(wǎng)絡(luò)訓(xùn)練 ， 發(fā)現(xiàn)可以得出帶有語義的網(wǎng)絡(luò)結(jié)構(gòu) 1985 年業(yè)界提出認(rèn)知學(xué)問題 ： 人類是否也是類似的依賴神經(jīng)元連接來進(jìn)行認(rèn)知 1989 年 Hinton 提出自編碼 （ Auto Encoder） 1999 年 Hinton 等人提出受限玻爾茲曼機(jī) 二、技術(shù) 篇 ——深度學(xué) 習(xí) 17 圖表 22 深層模型發(fā)展 1965 年烏克蘭數(shù)學(xué) 家 Ivakhnenko 發(fā)表深度前向多層感知器 ； 1971 年 Ivakhnenko 設(shè)計八層網(wǎng)絡(luò) ； 1986 年 Dechter 將深度學(xué)習(xí)引入到機(jī)器學(xué)習(xí)領(lǐng)域 ； 2020 年 Aizenberg 等將其與人工神經(jīng)網(wǎng)絡(luò)