【正文】 weights on the active lines (input of 1) by some amount d. ? If output is 1 and should be 0, decrement weights on the active lines by some amount d. 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 27 Limits of Perceptrons ? Singlelayer works are only capable of learning classes that are linearly separable – For example, exclusiveor is not linearly separable, and thus cannot be represented by a perceptron ? For any ndimensional space, a classification is linearly separable if these groups can be separated with a single n1 dimensional hyperplane Y X X xor Y = 0 X xor Y = 1 0 1 1 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 28 二十世紀(jì)八十年代的研究 ? 符號機(jī)器學(xué)習(xí)取得進(jìn)展。 返回 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 25 機(jī)器學(xué)習(xí)早期研究 ? Rosenblatt的 感知機(jī) (1956)。s Interior Work? ? Are We Alone in the Universe? ? How and Where Did Life on Earth Arise? ? What Determines Species Diversity? ? What Geic Changes Made Us Uniquely Human? ? How Are Memories Stored and Retrieved? ? How Did Cooperative Behavior Evolve? ………. On 25 big questions facing science over the next quartercentury. (1 July 2022) 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 21 記憶的模型與過程 ? 記憶的模型與過程 通常包括三個(gè)相互聯(lián)系的階段： 編碼（ encoding）， 存儲（ storage） 提?。?retrieval） ?記憶的模型 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 22 工作記憶 （ Working Memory） ? 工作記憶系統(tǒng)能同時(shí)儲存和加工信息 ， 這和短時(shí)記憶概念僅強(qiáng)調(diào)儲存功能是不同的 ?；颍? – 給定世界 W的所有對象獨(dú)立同分布。 （ 3） 泛化能力 ：決定模型對世界的有效性。 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 5 入侵檢測系統(tǒng) IDS： 是否是入侵？是何種入侵？ 如何檢測？ ?歷史數(shù)據(jù)： 以往的正常訪問模式及其表現(xiàn)、以往的入侵模式及其表現(xiàn) …… ?對當(dāng)前訪問模式分類 這是一個(gè)典型的機(jī)器學(xué)習(xí)問題 常用技術(shù)： 神經(jīng)網(wǎng)絡(luò)，決策樹，支持向量機(jī)，貝葉斯分類器， k近鄰 ，聚類，序列分析，免疫網(wǎng)絡(luò)等 …… 實(shí)例 1：網(wǎng)絡(luò)安全問題 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 6 如何預(yù)測？ ?氣象歷史數(shù)據(jù)： 以往的各種氣象數(shù)據(jù)及其變化特點(diǎn) …… ?對未來一周天氣的預(yù)報(bào) 這是一個(gè)典型的機(jī)器學(xué)習(xí)問題 常用技術(shù)： 統(tǒng)計(jì)多參數(shù)模型，神經(jīng)網(wǎng)絡(luò)， 貝葉斯分類器， k近鄰 ，聚類 …… 實(shí)例 2：天氣預(yù)報(bào) 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 7 實(shí)例 3：搜索引擎 Google的成功，使得 Inter搜索引擎成為一個(gè)新興的產(chǎn)業(yè)出現(xiàn)有眾多專營搜索引擎的公司（例如百度等專門針對中文搜索），而且 Microsoft等巨頭也開始投入巨資進(jìn)行搜索引擎的研發(fā) 機(jī)器學(xué)習(xí)技術(shù)正在支撐著各類搜索引擎 （尤其是貝葉斯學(xué)習(xí)技術(shù)） Google掘到的第一桶金，來源于其創(chuàng)始人 Larry Page和 Sergey Brin提出的 PageRank算法 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 8 Application 4 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 9 Application 4 Automatic Car Drive Class of Tasks: Learning to drive on highways from vision stereos. Knowledge: Images and steering mands recorded while observing a human driver. Performance Module: Accuracy in classification 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 10 Application 5 Learning to classify astronomical structures. galaxy stars Features: o Color o Size o Mass o Temperature o Luminosity unkown 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 11 Application 6 Classifying Astronomical Objects Class of Tasks: Learning to classify new objects. Knowledge: database of images with correct classification. Performance Module: Accuracy in classification 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 12 Other Applications ? BioTechnology ? Protein Folding Prediction ? Microarray gene expression ? Computer Systems Performance Prediction ? Banking Applications ?Credit Applications ? Fraud Detection ? Character Recognition (US Postal Service) ? Web Applications ? Document Classification ? Learning User Preferences 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 13 機(jī)器學(xué)習(xí)的任務(wù) ? 令 W是這個(gè)給定世界的有限或無限所有對象的集合，由于觀察能力的限制，我們只能獲得這個(gè)世界的一個(gè)有限的子集 Q?W，稱為樣本集。2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 1 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 譚營 教授 北京大學(xué)智能科學(xué)系 視覺與聽覺信息處理國家重點(diǎn)實(shí)驗(yàn)室 2022/8/18 譚營 機(jī)器學(xué)習(xí)研究及最新進(jìn)展 2 目錄 ? 機(jī)器學(xué)習(xí)的定義和任務(wù) ? 機(jī)器學(xué)習(xí)的發(fā)展歷史 ? 機(jī)器學(xué)習(xí)的主要方法 ? 機(jī)器學(xué)習(xí)面臨的挑戰(zhàn) ? 最新發(fā)