【導讀】60年前，達特茅斯會議召開，人工智能作為一門新興學科在美國肇始。經(jīng)過六十年的演進，人工智能即將成為改變?nèi)祟惤?jīng)濟、社會的新技術引擎。2020年9月3日，習近平主席在二十國集。隨著人工智能從學術課題研發(fā)全面步入產(chǎn)業(yè)經(jīng)濟爆發(fā)階段，目前全球正邁向以互聯(lián)網(wǎng)＋、人。工智能、3D打印、自動駕駛等技術代表的第四次工業(yè)革命。中國是全球創(chuàng)新舞臺上的佼佼者，也。是邁向智能時代最快的國家之一。產(chǎn)業(yè)篇主要對全球與中國的人工智能產(chǎn)業(yè)進行概括性介紹，概覽全球產(chǎn)業(yè)戰(zhàn)略與布局。熱點篇關注2020年以來發(fā)展態(tài)勢迅猛的智能駕駛，從技術、企業(yè)、競爭等角。投融資篇除了對全球與中國人工智能領域投融資情況進行綜述，特別推出“新智元100”。另外，新智元評選的“2020最具競爭力人工智能創(chuàng)業(yè)企業(yè)”名單也將在報告中。通過本報告，新智元希望提供關于中國人工智能產(chǎn)業(yè)的全局概覽和近期發(fā)展趨勢洞見。告的撰寫得到了許多業(yè)內(nèi)人士的幫助，在此一并表示感謝。1．人工智能：感知+理解+決策·············································································

　　

【正文】 在同等海量數(shù)據(jù)規(guī)模的情況 下 ，其表現(xiàn)超過了 支持向量機等淺層模 型 ，并隨著數(shù)據(jù)的增加可獲得持續(xù)改 進 ，業(yè)界對其應用前景的評估日益樂 觀， 開始源源不斷地投入深度學習的改進中。 2． 深度學習的三個里程碑 任何技 術 的發(fā)展過 程 ，都 伴 隨著一些重要 的 突破節(jié) 點 ，在 深 度學習技術方 面， 可劃分為模型初 步、大規(guī)模嘗試和遍地開花三個階段。 2020 年前 后 ，深度模型初見端 倪 ，這個階段主要的挑戰(zhàn)是如何有效訓練更大更深層次的神經(jīng) 網(wǎng) 絡 ，曾一度因為梯度方法容易造成層次間信息損失而效果受到影 響 。業(yè)界嘗試利用逐層預訓練的 方 法 （ 還有一種嘗試方法是上文提到 的 LSTM）來解決該問 題 ，預訓練首先通過無監(jiān)督學習得到一 些比較穩(wěn)定的特 征 ，而后用監(jiān)督學習稍加調(diào)整便可得到較好效 果 ，最早 是 1992 年 Schmidhuber 提 出，而后 Hinton 等人在 2020 年改進為前向反饋。 圖表 23 Google 大腦計劃 18 中國人工智能產(chǎn)業(yè)發(fā)展報 告 2020 年底，大公司逐步開始進行大規(guī)模深度學習的設計和部署 。 “ Google 大腦 ”項目啟動，由 時任斯坦福大學教授的吳恩達 和 Google 首席架構 師 Jeff Dean 主 導 ，專注于發(fā)展最先進的神經(jīng)網(wǎng) 絡 。初期重點是使用大數(shù)據(jù)集以及海量計 算 ，盡可能拓展計算機的感知和語言理解能 力 。該項目最 終采用 了 16000 個 GPU 搭建并行計算平 臺 ， 以 YouTube 視頻中的貓臉作為數(shù)據(jù)對網(wǎng)絡進行訓練和 識別，引起業(yè)界轟動，此后在語音識別和圖像識別等領域均有所斬獲。 圖表 24 ImageNet 挑戰(zhàn)賽 資料來源 ： 新智元 近年來深度學習獲得了非常廣泛的關 注 ，其進展的一個直觀的體現(xiàn)就 是 ImageNet 競 賽 。在這 個競賽中參賽算法在數(shù)千個種類圖像和視頻的大規(guī)模數(shù)據(jù)上測試檢測和分類的正確率快速上升。 圖表 25 2020 年至 2020 年 ImageNet 圖片分類結果 資料來源 ： 新智元 19 二、技術 篇 ——深度學 習 近年 來 ，隨 著 GPU 的提 速 ，深層網(wǎng)絡的很多訓練過程已無需預訓練就可直接進 行 ， 如 2020 年 Ciresan 等利用深度卷積神經(jīng)網(wǎng)絡贏得多項文本識 別 、交通標志識別和醫(yī)學圖像識別等競 賽 。 2020 年之 前 ，競賽中物體的識別率一直提升得非常緩 慢 （ 低 于 70%） 。 在 2020 年引入深度學習之 后， Hinton 等人贏 得 ILSVRC2020 ImageNet，識別率一躍升 至 80%，現(xiàn)在已超 過 95%。這標志了人工 特征工程正逐步被深度模型所取 代 。從排名來 看 ，深度學習目前具有壓倒性優(yōu) 勢 ，已經(jīng)取代了傳統(tǒng) 視覺方法在這一競賽中的地位。 進一步 地 ，強化學習也重新成為焦 點， 2020 年 Google 子公 司 DeepMind 研發(fā)的基于深度強化 學習網(wǎng)絡 的 AlphaGo，與人類頂尖棋手李世石進行了一 場 “世紀對 決 ”，最終贏得比 賽 。 AlphaGo 突破了傳統(tǒng)程 序 ，搭建了兩套模仿人類思維的深度學 習 ：價值網(wǎng)絡承擔棋局態(tài)勢評 估 ，策略網(wǎng)絡選 擇如何落子。 （二 ）深度學習發(fā)展現(xiàn)狀 1． 多家巨頭力推產(chǎn)業(yè)布局 技術的發(fā)展離不開產(chǎn)業(yè)巨頭的推進，深度學習也不例外 。 Facebook 是最早使用 GPU 加速 DNN 訓練的公司之 一 。深度網(wǎng)絡 和 GPU 在 Facebook 人工智能研究 院（ FAIR）推出的專門用于深度學習 訓練的計算平臺中扮演著重要的作用 。 Facebook 寄希望以此推動機器智能的發(fā)展并幫助人們更好的 交 流 ，目前在信息推 薦 、過濾攻擊言 論 、推薦熱門話 題 、搜索結果排名等等已經(jīng)使用了大量人工智 能和深度學習的技術。在 Facebook，還有許多應用能夠從機器學習模型中獲利，然而對于很多沒有 深厚機器學習背景的工程師來 說 ，想要利用這些機器學習基礎設 施 ，還是有很大的困 難。 2020 年 末 Facebook 發(fā) 布 FBLearner Flow，試圖重新定義自己的機器學習平 臺 ，把人工智能與機器學習中 最先進的算法以最便利的方式提供 給 Facebook 的工程 師 。這一平臺能方便地在不同的產(chǎn)品中重復 使用多種算 法 ，并可以延伸到成千上萬種模擬的定制試驗操 中 ，輕松地對實驗進行管 理 。這一平臺 提供了創(chuàng)新性的功 能 ，比如從流水線定義和 對 Python 編碼進行自動化平行移用中自動生成用戶界 面（ UI）試 驗 。目 前 ，超 過 25% 的 Facebook 工程開發(fā)團隊都在使 用 FBLearner Flow。其未來的改 進計劃包括效率、速度和自動化等。 上文提 到， Google 也在深度學習領域投入了大量力 量 。 以 2020 年 “ Google 大 腦 ”為契 機 ， Google 逐年在多個內(nèi)部重點項目上如廣告系 統(tǒng) 、 YouTube、 Gmail 和機器翻譯等部署深度學 習 ， 為 Google 進一步改善產(chǎn)品質(zhì)量和用戶體驗提供了強有力的支 持 。此 外 ，鑒于開 源 Android 的成 功經(jīng) 驗， Google 在深度學習模型和工具方面也積極擁抱開 源 ，目前正在大力推 動 TensorFlow 開 源深度學習平臺。 Google 目前有能力快速搭建和訓練基于海量數(shù)據(jù)的模型，解決真實世界中的實 際問 題 ，并在不同的平 臺 （ 比如移動 端、 GPU、云 端 ）部署生產(chǎn)模 型 ，相關技術都以云服 務 API 的形式提供。 20 中國人工智能產(chǎn)業(yè)發(fā)展報 告 圖表 26 Google 產(chǎn)品中深度學習的應用在迅速增長 就國內(nèi)來 講 ，百度是較早引入并大規(guī)模實踐深度學習的典 范 。 2020 年 ，百度成立深度學習實 驗 室 ，是百度歷史上首個正式成立的前瞻性研究機 構 ，致力 于 “讓計算機像人腦一樣智 能 ”的科學 研 究 ，并推 出 “百度大 腦 ”計 劃 ，支撐百度相關產(chǎn)品線模型的改 進 ，近年來在搜索技 術 、自然語 言 處 理 、機器翻 譯 、機器學 習 、數(shù)據(jù)挖 掘 、推薦及個性 化 、語 音 、多媒體等領域取得了大量成 果 ， 并 廣泛應用于百度 PC 和移動端產(chǎn)品當中。 國內(nèi)另一家使用深度學習技術的典型企業(yè)是科大訊飛?？拼笥嶏w從 2020 年開展 DNN 語音識別 研 究， 2020 年上線首個中文語音識 別 DNN 系 統(tǒng)， 2020 年語種識別首 創(chuàng) BNivec 技 術， 2020 年將 注意力模型神經(jīng)網(wǎng)絡應用于認知智能。 圖表 27 科大訊飛的深度學習之路 ， 來源新智元 21 二、技術 篇 ——深度學 習 2． 三大領域技術革新 圖表 28 基于深度學習技術的創(chuàng)業(yè)公司 在產(chǎn)業(yè)界巨頭和學術界精英的不斷推動 下 ，基于深度學習的人工智能終于迎來 了 “春 天 ”，數(shù) 不清的應用和創(chuàng)業(yè)公司出 現(xiàn) ，試圖利用深度模型和垂直領域的積累來掘得第一桶 金 ，主要聚集的領 域有圖像識別、語音識別和自然語言處理。 圖像識別領域最早嘗試深度學 習 ，從早 期 LeCun 的卷積神經(jīng)網(wǎng) 絡 ， 到 Hinton 的更深層次網(wǎng) 絡， 再到百度以圖搜圖和人臉識別等技 術 ，整個領域逐漸從人工特征工程和淺層學習模 型 ，轉向基于深 度學習和大數(shù)據(jù)的方 法 。 如 Face++ 以云服務方式提供基于深度學習的人臉識別技 術 ，并且在金 融、 安防、零售領域分別開始了商業(yè)化探索。 語音識別領 域 ，深度學習技術能夠更好描述特征狀態(tài)空 間 ，尤其可以引入更高維的表 示 ， 能 更好描述特征間相關 性 ，取代了長久以來占據(jù)壟斷性地位的混合高斯模 型 。如百度采用深度學習技 術 ，進行聲音建模的語音識別系統(tǒng)相比于傳統(tǒng) 的 GMM 語音識別系統(tǒng)而 言 ，相對誤識別率能降低 25%，早在 2020 年就上線了基于深度學習技術的語音搜索系統(tǒng)。 自然語言處理領域是近兩年來深度 學習逐步滲透的一個領 域 ，比起圖像和語 音 ，自然語言單 詞 帶有較強的語義內(nèi) 涵 ，需要更細致更擴展的表示方法才能極大程度上保留信 息。 2020 年 ，加拿大蒙 特利爾大學教授 Yoshua Bengio 等提出用 embedding 的方法將詞映射到一個矢量表示空 間 ，然后用非 線性神經(jīng)網(wǎng)絡來表 示 NGram 模 型 ，此后語義變得可計 算 。通過大規(guī)模未標注文本和無監(jiān)督學 習 ， 可 以自動學習出 字 、 詞 、句子的語義表 示 ，一舉擺脫知識 庫 、詞 法 、句法等傳統(tǒng)自然語言障 礙 。 Google 自然語言翻譯的最新進展。 3． 三大開源框架促進技術落地 深度學習目前表現(xiàn)出來的趨 勢 ，不光是技 術 ，還有商業(yè)模式的轉 變 。過去幾個 月 ，所有巨頭都 22 中國人工智能產(chǎn)業(yè)發(fā)展報 告 將自己的深度學 習 IP 開 源 。核心目的是為了吸引用 戶 、擴大市 場 ，吸引人 才 、加速創(chuàng) 新 。開源會 使技術發(fā)展更快，但主宰市場的仍將是巨頭。 深度學習算法和平臺本身的設計與實現(xiàn)是較難的問題，也不應該是應用開發(fā)者所需要過分關注 的事 情 。近年來依托開源運 動 ，全球互聯(lián)網(wǎng)巨頭 從 2020 年起掀起新一輪最前沿技術平臺開源共享 的風 潮 。例如谷歌 和 Facebook 分別將深度學習平 臺 TensorFlow 和 Torch 全面開 源 ，在全球范圍 內(nèi)大幅推進人工智能與深度學習技術的應用普 及 ，擴大產(chǎn)業(yè)整體的市場規(guī) 模 ，極大加速了深度學習 在應用領域的迅速推 廣 。這些軟件所具有的共同設計特征 是 ：容易表 達 、可擴 展 、多平臺適 用 、可 重復使用和快速見效。 TensorFlow 是 Google 的第二代機器學習系 統(tǒng) ，用來理解學習大規(guī)模數(shù)據(jù)和模 型 。這一系統(tǒng)非常 靈 活 ，可適用于圖 像 、語 音 、文字理解等不同應 用 。 Google 使用了上千 塊 GPU 并在性能上較同等 CPU 極大的提 升 。其優(yōu)點主要有三 個 ，一是高度擴展的設 計 ，更快的實驗速度加速研究進 程 ；二是 容易分享模型，開發(fā)代碼應用到可重用的效果；三是通過同一個系統(tǒng)把研究工作直接用于生產(chǎn)環(huán)境。 Paddle 是百度的深度學習系 統(tǒng) ，已經(jīng)在內(nèi)部運行和推廣多 年 ，多次獲得百度最高獎榮 譽 ，并且 已經(jīng)做出了一些實際的產(chǎn) 品 ，較為成 熟 。在性能和各項指標上都有優(yōu) 點 ，如代碼簡 潔 、設計干 凈， 無過多抽 象 、 速度較 快 ，顯存占用 小 、可多機多卡并 行 ，支持異 構 、文檔翔實等 等 ，推出 后 Paddle 也獲得了較高的肯定，是一個不錯的深度學習工具，在國內(nèi)有較大的應用潛力。 另一個值得一提的 是 Caffee，是一個清晰而且高效的深度學習框 架 ，以易用 性 、擴展性和速度 快迅速得到業(yè)界的認 可 ，并且在文檔撰寫和代碼迭代過程中非常注重與用戶的互 動 ，時至今日已擁 有一個龐大的開發(fā)社區(qū)。 GitHub 根據(jù)上述框架衍生出數(shù)十個開源項 目 ，構成良好的深度學習開發(fā)社區(qū)氛 圍 ，進一步推 動了該技術的推廣和落地。下表列舉了星級超過 1500 的大型項目。 圖表 29 GitHub 深度學習開源排名 項 目 星級 應用項目 Deep Dream 9042 一款圖像識別工具 。 Keras 7502 一款 由 Python 實現(xiàn)的深度學習 庫 ， 包括卷積神經(jīng)網(wǎng) 絡 、 遞歸神經(jīng)網(wǎng)絡 等 。 運行 在 Theano 和 TensorFlow 之上 。 Roc AlphaGo 7170 由學生主導的一個獨立項 目 ， 重新實現(xiàn) 了 DeepMind 在 2020 發(fā)表 于 Nature 論 文 Mastering the game of Go with deep neural works and tree search（ 用深度學習和樹搜索學習圍 棋 ） (Nature 529, 484489, 28 Jan 2020)。 Neural Doodle 6275 運用深度學習將涂鴉變?yōu)閮?yōu)雅的藝術 品 ， 從照片生成無縫紋 理 ， 轉變圖片風 格 ， 進行基于實 例的提升 ， 等等 。 （ 語義風格傳遞的實 現(xiàn) ） CNTK 5957 計算網(wǎng)絡工具 （ Computational Network Toolkit， CNTK） TensorFlow Examples 5872 面向初學者 的 TensorFlow 教程和代碼示例 OpenFace 4855 基于深度學習網(wǎng)絡的面部識別 。 23 二、技術 篇 ——深度學 習 （續(xù)表） 項 目 星級 應用項目 Nupic 4364 智能計算 的 Numenta 平臺 （ Numenta Platform for Intelligent Computing， Nupic） ： 一個腦啟發(fā) 式的計算智能和機器智能平臺 ， 基于皮層學習算法的生物精確神經(jīng)網(wǎng)絡模型 。 Leaf 4281 面向黑客的開源機器智能框架 。 Char RNN 3820 基 于 Torch 開發(fā)的多層遞歸神經(jīng)網(wǎng)絡的字符級別語言模型 。 Neural Talk 3694 一 個 Python+numpy 項目 ， 用多模式遞歸神經(jīng)網(wǎng)絡描述圖像 。 deeplearning4j 3673 基 于 Hadoop 和 Spark 的 Java, Scala amp。 Clojure 深度學習工具 。 TFLearn 3368 深度學習庫 ， 包括高層次 的 TensorFlow 接口 。 OpenAI Gym 3020 一種用于開發(fā)和比較強化學習算法的工具包 。 Magenta 2914 用機器智能生成音樂和藝術 Color 2798 用神經(jīng)網(wǎng)絡模型給灰度圖上色 。 Synaptic 2666 基 于 和瀏覽器的免架構神經(jīng)網(wǎng)絡庫 。 Neural Talk 2 2550 Torch 開發(fā)的圖像簡介生成代碼 ， 運行 在 GPU 上 。 Image Analogies 2540 使用神經(jīng)匹配和融合生成相似圖形 。 Deep Learning Flappy Bird 1721 使用深度強化學習破 解 Flappy Bird 游戲 。 （三 ）深度學習未來展望 技術的發(fā) 展 ，尤其是到大規(guī)模落實階 段 ，都難免會發(fā)現(xiàn)局限 性 ，也正是這些局限 性 ，不斷促進 業(yè)界思考和改進技術，進而得到未來的發(fā)展方向。 就深度學習而 言 ，首 先 ，缺乏理論支 持 。對于深度學習架 構 ，業(yè)界存在一系列的疑 問 ：卷積神 經(jīng)網(wǎng)絡為什么是一個好的架構 （ 事實上其存在梯度散射等缺 點 ） ，深度學習的結構需要多少隱層，在 一個大規(guī)模的卷積網(wǎng)絡中到底需要多少有效的參數(shù) （ 很多權重相互之間似乎都存在冗 余 ） ，隨機梯度 下降方法優(yōu)化權重得到一個局部最優(yōu)值如何解 決 。雖然深度學習在很多實際的應用中取得了突出的 效 果 ，但這些問題一直困擾著深度學習的研究人 員 。深度學習方法常常被視為黑 盒 ，大多數(shù)的結論 確認都由經(jīng)驗而非理論來確 定 。不管是為了構建更好的深度學習系 統(tǒng) ，還是為了提供更好的解 釋， 深度 學習都還需要更完善的理論支 撐 。隨著神經(jīng)網(wǎng)絡框架變得越來越復雜而精 密 ，在感 知 、語言翻 譯等等方面的大部分最先進的神經(jīng)網(wǎng)絡框架正在發(fā)展并且不再僅僅關于簡單前饋 式 （ feed forward） 框架或者卷積式框架 （ convolutional） 。特別地，它們正在混合并匹配不同的神經(jīng)網(wǎng)絡技術如 LSTM、 卷積、自定義目標函數(shù)、多皮層柱（ multiple cortical columns）等等。此外，神經(jīng)網(wǎng)絡超參數(shù)和網(wǎng)絡 結構的設計目前多依賴人工經(jīng)驗，如何能夠自動且高效地得到優(yōu)化是值得關注的方向。 其 次 ，缺乏推理能 力 。深度學習技術缺乏表達因果關系的手 段 ，缺乏進行邏輯推理的方 法 。解 決這個問題的一種典型方法是將深度學習與結構化預測相結 合 。目前幾個帶有結構化預測模塊的增 強的深度學習系統(tǒng)已經(jīng)被提出來用 于 OCR、身體姿態(tài)檢測和語義分割等任務 中 。總的來 說 ，需要 更多新的思路以應用于需要復雜推理的任務 中 。盡管深度學習和簡單推理已經(jīng)應用于語音和手寫字 24 中國人工智能產(chǎn)業(yè)發(fā)展報 告 識別較長時 間 ，仍需要在大的向量上使用新的范式來代替基于規(guī)則的字符表達式操 作 。最 終 ，那些 結合了復雜推理和表示學習的系統(tǒng)很可能為人工智能帶來巨大的進 步 。深度學習和強化學習的交叉 應用會繼 續(xù) ，不僅僅聚焦在圖 像 、聲音和文本數(shù) 據(jù) 。如端對端學習控制無人車和機器 人 ，使用深度 學習和強化學習來完成原始傳感器數(shù)據(jù)到實際動作執(zhí)行器的直接映 射 。深度學習模型正從過去的只 是分類一步步發(fā)展到試圖理解如何在方程中加入規(guī)劃控制相關的變量。 第 三 ，缺乏短時記憶能 力 。人類的大腦有著驚人的記憶功 能 ，不僅能夠識別個體案 例 ，更能 分析輸入信息之間的整體邏輯序 列 。這些信息序列富含有大量的內(nèi) 容 ，信息彼此間有著復雜的時間 關聯(lián) 性 。例如在自然語言理解的許多任 務 （ 例如問答系 統(tǒng) ） 中 ，需要一種方法來臨時存儲分隔的片 段 ，正確解釋視頻中的事 件 ，并能夠回答有關它的問 題 ，這需要網(wǎng)絡具備記住的視頻中發(fā)生的事件 抽象表示的能 力 。然而包括遞歸神經(jīng)網(wǎng)絡在內(nèi)的深度學習系 統(tǒng) ，都不能很好地存儲多個時間序列上 的記 憶 。這使得研究人員提出在神經(jīng)網(wǎng)絡中增加獨立的記憶模 塊 ， 如 LSTM，記憶網(wǎng) 絡（ Memory Networks） ，神經(jīng)圖靈機 （ Neural Turing Machines） ，和 Stack 增強 RNN（ stackAugmented RNN） 。雖 然這些方法思路很直觀，也取得了一定的成果，但在未來仍需要更多的嘗試和新的思路。 最 后 ，缺乏執(zhí)行無監(jiān)督學習的能 力 。無監(jiān)督學習在人類和動物的學習中占