【正文】 覺/聽覺）合成，和并行信息處理。圖32 Baldi的表情：高興、生氣、吃驚、恐懼、傷心、惡心 手勢 Gesture 手勢是人們自發(fā)的無意識的語言表達(dá)，是很重要的溝通手段，對多模式(MultiModal)會話Agent的具體化最終都需要一套肢體語言的支持，可從真人捕捉，或手動預(yù)定義。圖33 與Max多模交互 Max的多模(MultiModal)發(fā)言直接由一種基于XML的語言描述，包括語言詞句和非語言行為。手勢由發(fā)出階段(Stroke Phrase)的時空特性決定，由子動作組成。子動作是靜態(tài)或動態(tài)，靜態(tài)代表一定時間內(nèi)不變，動態(tài)子動作又由連續(xù)的動作片斷(Segment)組成。圖34是XML說明片斷，圖35是其結(jié)果。在高級(HigherLevel)規(guī)劃時，手勢發(fā)出(Stroke)階段的約束條件被充分限定，按時序傳給獨(dú)立的運(yùn)動控制模塊(Motion Control Module)，手、拳頭、手臂、脖子和臉都有不同的模塊。LMP定義在外部坐標(biāo)系或關(guān)節(jié)連接角上，根據(jù)當(dāng)前運(yùn)動狀態(tài)自動激活，并按照給定的邊界條件互相連接，如圖35。手勢被分成準(zhǔn)備(Preparation)、保持(Hold)、發(fā)出(Stroke)、收回(Reaction)四個階段，語言也組織成音調(diào)階段(Intonational Phrase)。在Max的同步結(jié)構(gòu)中，塊各自在獨(dú)立的黑板上交叉執(zhí)行。圖36 情感 Emotion情感為人類特有，在Agent的應(yīng)用中，如何給Agent 賦予一定的感情(Emotion)、情緒(Mood)和個性(Personality)一直是研究者們最感興趣的問題。為了表現(xiàn)情感，需要：(1) 評估內(nèi)外事件對動態(tài)情感(Emotion Dynamics)的影響；(2) 模擬Agent的感情和情緒，及其相互作用；(3) 確信將Agent的情感表達(dá)出來。下面詳細(xì)說明另外兩個方面。感情由激勵引起，持續(xù)時間短，情緒則比較均勻的分布在時間維度上，時間比較長；感情能加強(qiáng)或減弱情緒，而情緒可看作比較弱而且較長久的感情。原點(diǎn)被認(rèn)為是穩(wěn)定點(diǎn)，所以類比彈簧，感情價和情緒價分別對應(yīng)一個彈性系數(shù)dx、dy，由此產(chǎn)生的力Fx、Fy使它們在一定時間后恢復(fù)到原點(diǎn)。較小的α導(dǎo)致懶性，較大的α使Agent更加情緒化。如果Agent的情感處在原點(diǎn)的一個橢圓區(qū)域(圖38)內(nèi)，在沒有刺激的情況下，厭煩程度線形增長；一旦出了這個區(qū)域，厭煩程度重設(shè)為0。圖38以上的模型有效的概括了人類的情感，然而體現(xiàn)在交流中，情感有三個維度內(nèi)涵：愉快(Please)、激活(Arousal)、支配(Dominance)。公式32規(guī)定映射方式，定義域由公式33確定。公式 32公式 33p(xt, yt)是愉快度。A(xt, zt)是激活度?？偸侨∝?fù)值的厭煩程度起降低激活度的作用。支配的存在是為了區(qū)分影響外界狀況和事件的感覺，如厭煩和生氣，或被外界環(huán)境控制的感覺，如恐懼和悲傷。一個形容詞代表一種PAD類別，人工設(shè)定相應(yīng)的PDA值。當(dāng)點(diǎn)在且僅在一個類的Φ內(nèi)，類被激活，激活程度由公式34計算。如果以上條件都不滿足，Agent進(jìn)入特殊的混亂(Confused)狀態(tài)。Max的認(rèn)知構(gòu)架通過兩種途徑提供給情感系統(tǒng)情感價信息：(1) Interpretation和Dialog Manager，審察過程；(2) Perception，對正面或負(fù)面刺激的直接反應(yīng)。前兩項數(shù)據(jù)用于Behavior Generation，第三項用于Dialog Manager。圖313會話Agent對實(shí)時性的要求比較高，在交互、展示、教育上有廣范的應(yīng)用，但是由于硬件的限制，Agent的外形一般計較粗糙。 還有，語言識別模塊是會話Agent比較薄弱的一塊，這個模塊如果不能很好的適應(yīng)環(huán)境，會使Agent答非所問，完全背離設(shè)計的目的。四 行為Agent Behavioral Agent 行為Agent與會話Agent有所不同。徐曉媛[26]和James[27]分別就動物和人的運(yùn)動模擬所做的博士工作，深入細(xì)致的探索了理論模型和實(shí)踐方法。[29]將增強(qiáng)學(xué)習(xí)法(Reinforcement Learning)用于自發(fā)虛擬Agent(Autonomous Virtual Agent)的運(yùn)動控制，采用QLearning和TDLearning兩種算法。 MIT Media Lab C4[31]的理念基于大腦被分成很多系統(tǒng)，并在一塊黑板上交流。C4的工作集中在訓(xùn)練一只家庭寵物上。C4描述了一種新的多層次腦體系，模擬生活在圖形世界中的自主半自主生物。因此，C4是高度模塊化的系統(tǒng)，除了必需的子系統(tǒng)外，很方便擴(kuò)充。圖41C4與世界之間的相互作用通過數(shù)據(jù)記錄(DataRecord)的形式傳輸，數(shù)據(jù)記錄可以表示C4的感應(yīng)器和感知系統(tǒng)所能識別的任何信息，包括聲音、視覺、符號等。圖42 感應(yīng)系統(tǒng) Sensor System為了保持世界——Agent分離的完整性，C4采用抽象感應(yīng)系統(tǒng)(Sensor System Abstraction)。 感知系統(tǒng) Perception System感知系統(tǒng)將“意義(Meaning)”賦予感應(yīng)到的事件。感知子的輸入是從感應(yīng)系統(tǒng)傳過來的數(shù)據(jù)記錄，返回匹配概率(SheepShapePercept返回看到的是一頭羊的概率)，如果概率大于閾值，同時返回提取的數(shù)據(jù)(SheepShapePercept羊的位置坐標(biāo))。為了提高感知效率，感知子以樹形結(jié)構(gòu)(圖43)組織，每一次判斷都裁減掉大量不可能的感知判斷，降低復(fù)雜度；而且子感知子只接受父感知子提取的數(shù)據(jù)；減少數(shù)據(jù)量。每當(dāng)數(shù)據(jù)記錄到達(dá)，感知系統(tǒng)就會創(chuàng)建一個感知存儲(PerceptMemory)對象，此后每一個感知子返回的可信度和提取的數(shù)據(jù)都保存在感知存儲中。圖43感知子不僅僅作為接受場(Receptive Field)，而且會根據(jù)反應(yīng)系統(tǒng)(Action System)的反饋，修改樹的拓?fù)浣Y(jié)構(gòu)，動態(tài)添加子節(jié)點(diǎn)——稱之為革新(Innovation)。她們構(gòu)成生物對世界的“視圖(View)”。預(yù)測一般對感知存儲的數(shù)據(jù)進(jìn)行外推函數(shù)逼近，更復(fù)雜地考慮周期性為和知行關(guān)系。 動作系統(tǒng) Action System動作是一個五元組ActionTuple：(1) Primitive Action(s)：做什么；(2) TriggerContext：什么時候做；(3) ObjectContext：對誰做；(4) DoUntilContext：做多久；(5) Intrinsic Value：做的好處。Startle具有較高的優(yōu)先級，具有最高優(yōu)先級的ActionTuple被激活；Default根據(jù)evalues隨機(jī)的激活動作。 導(dǎo)航系統(tǒng) Navigation System導(dǎo)航系統(tǒng)是對動作系統(tǒng)的高級實(shí)現(xiàn)，她隱藏動作的實(shí)現(xiàn)細(xì)節(jié)，使動作簡化成“前進(jìn)、吃、離開”等一般的指令。 運(yùn)動系統(tǒng) Motor System運(yùn)動系統(tǒng)組織成動詞圖(Verb Graph)，定義了最基本的運(yùn)動和運(yùn)動序列。參數(shù)從黑板的MOTOR_DESIRED和MOTOR_ADVERB獲得。如牧羊狗的頭部層、身體層、尾巴層。 感覺輸入 Sensorial Input系統(tǒng)有兩個信息通道：視覺和聽覺，主要是視覺。3D的虛擬環(huán)境由多層次空間表示成八叉樹(Octree)，如果一個節(jié)點(diǎn)包圍的圖元大于某個閾值，就將這個節(jié)點(diǎn)再次叉分成八個字結(jié)點(diǎn)。同樣地，感知層也要對輸入進(jìn)行過濾。角色的行為設(shè)計分成高級和低級兩層。低級層面向動作，更具體，更細(xì)致。記憶就是將能記住的物體保留在八叉樹中，并用一個遞減的八進(jìn)制數(shù)說明記憶的準(zhǔn)確度。Quaternion方法的球面線形插值(Spherical Linear Interpolation)算法完成動畫的平滑過渡。圖43 行為Agent主要從行為上模擬生物，代替人類在虛擬環(huán)境中活動，給其它研究一個相對理想的試驗(yàn)平臺，不論是動力學(xué)、社會學(xué)、生物學(xué)。如汽車裝配機(jī)器，外太空探測器等。如讓Agent平衡自然上下樓梯就不是一件易為的工作。五 多Agent系統(tǒng)MultiAgent在大型的虛擬環(huán)境中，一個Agent并不能很真實(shí)的反映客觀世界的情況，常常需要大群Agent參予其中，相互交流，協(xié)同合作。以下以金斯敦大學(xué)計算和信息學(xué)院的FreeWill[33][34]體系構(gòu)架為例，說明多Agent在生成人群場景上的應(yīng)用。FreeWill用java編碼，圖形包用的是3D Max Studio。表51是關(guān)于FCA和SAC的對比。幾何引擎包括一系列幾何函數(shù)，把握虛擬人的軀體參數(shù)。幾何引擎內(nèi)建了許多簡單的動作模式模擬人的行為。FCA的內(nèi)部世界模型是知識的基本組成，同樣包含計劃庫(Plan Library)。調(diào)度器(Scheduler)維護(hù)一個事件隊列，既分配事件，又要安排事件的序列。所以FreeWill執(zhí)行周期是這樣進(jìn)行的：(1) 虛擬人感應(yīng)環(huán)境的變化；(2) 更新信念(Belief)；(3) 評估當(dāng)前計劃，如果一個新的動作必須被執(zhí)行，取消當(dāng)前運(yùn)動隊列，提交新的動作事件；(4) 如果需要，更新目標(biāo)；(5) 如果需要，更新計劃；(6) 選擇上一個動作并提交，當(dāng)虛擬人執(zhí)