【正文】 的回應(yīng)，以統(tǒng)一的文件格 式傳送給客戶端。 超文本通信協(xié)議 HTTP(Hyper Text Transfer Protocol)是在 Inter環(huán)境下使用萬維網(wǎng) (WWW)的標(biāo)準(zhǔn)化協(xié)議。 多媒體同步技術(shù) 多媒體同步概述 多媒體同步概述 多媒體系統(tǒng)中集成了具有各種不同時態(tài)特性的媒體，這些 媒體有 依賴于時間的媒體 （例如視頻、音頻、動畫等）和 獨立 于時間的媒體 （例如文本、靜止圖像、表格等）。 這里的同步點處于畫面的改變點和講解的起始點與結(jié)束點 。 多媒體同步分類 從類型上來劃分，多媒體的同步類型分為 上層同步 、 中層同步 和 底層同步 。這要求同步過程既能體現(xiàn)用戶的交互性，又要容易被用戶理解和使用。 同樣，對于多媒體表現(xiàn)，各媒體以何種時間關(guān)系和空間關(guān)系在屏幕上呈現(xiàn)給用戶，可以用類似電影劇本的 “ 腳本 ” 方式來組織。例如，選擇不同的按鈕 (或菜單 )，會導(dǎo)致不同場次的繼續(xù)。如在可視電話中，音頻和視頻必須始終同步地表現(xiàn)在接收端上，以確?？谛闻c聲音的同步。 在單機(jī)多媒體情況下 ，同步技術(shù) 要考慮計算機(jī)的讀盤時間、圖像的顯示速度和處理速度 ；這和磁盤的存取速度、視頻適配器和中央處理器的處理能力有關(guān)。 3 影響媒體同步的因素 從媒體關(guān)系的角度出發(fā) ， 媒體對象的同步包括兩個方面： 媒體內(nèi)同步 和 媒體間同步 。 解決辦法 可以通過 在信宿端設(shè)置緩存加以補(bǔ)償 ， 也可 使各個媒體流在不同時刻發(fā)送 ， 但 須保證 在經(jīng)歷了不同時延后 能夠同時到達(dá)接收端 。 網(wǎng)絡(luò)抖動 是指數(shù)據(jù)包從發(fā)送方到接收方網(wǎng)絡(luò) I／ O設(shè)備的傳輸過程中所經(jīng)歷的時延變化 ， 這是由中間節(jié)點的緩存引入的 。 一般來說 ， 不能假定所有時鐘同步 。 例如 ， 平均時延的改變或媒體單元丟失率的增高 。多媒體數(shù)據(jù)的形成過程就是在多媒體計算機(jī)的控制下多種媒體數(shù)據(jù)的合成過程。 一般說到 多媒體數(shù)據(jù) 時 至少要包含一種實時媒體數(shù)據(jù)和一種非實時媒體數(shù)據(jù) 。 一 個 場 景 一 幀 圖 像 . . . 一 個 宏 塊 組 . . .一 個 宏 塊 . . .L D U 第 4 種 劃 分L D U 第 3 種 劃 分L D U 第 2 種 劃 分L D U 第 1 種 劃 分圖 510 LDU的劃分 連續(xù)媒體數(shù)據(jù)的各個 LDU之間存在著固定的時間關(guān)系。 L D U 1 L D U 2 L D U 3 L D U 4 L D U 5 . . . 4 0 m s 4 0 m s 4 0 m s 4 0 m s 4 0 m st圖 511 連續(xù)媒體 LDU之間的相對時間關(guān)系 多媒體數(shù)據(jù)約束關(guān)系 在多媒體數(shù)據(jù)中，各種媒體數(shù)據(jù)對象之間并不是相互獨立的，它們之間存在著許多種相互制約的同步關(guān)系。 空域約束關(guān)系 也稱為布局關(guān)系，它定義了多媒體數(shù)據(jù)顯示過程中某個時刻，不同媒體對像在呈現(xiàn)媒體上的空間位置關(guān)系。布局框架在文檔中的位置既可固定于文檔的某一點，也可固定于文檔的某一頁，并且可相對于其他布局框架來說明位置。媒體流內(nèi)部同步的復(fù)雜性不僅和單個媒體的種類有關(guān)，而且也和分布式系統(tǒng)所提供的服務(wù)質(zhì)量 QoS有關(guān)；同時也和源端和目的端的操作系統(tǒng)的實時性有關(guān)。當(dāng)多媒體數(shù)據(jù)在表現(xiàn)時的時域特征遭到破壞時，用戶就可能遺漏或誤解多媒體數(shù)據(jù)所要表達(dá)的信息內(nèi)容。 靜止圖像 3 動畫視頻圖像聲音 2聲音 1文本靜止圖像 2靜止圖像 1時間圖 5 15 不同媒體對象之間的時間約束關(guān)系 語音 記者念的第一條新聞 聲音 引導(dǎo)音樂 音樂漸隱 視頻 世界報道片頭 播音員全景 圖像 播音員上方的照片 （播音員） 整理講稿 整理領(lǐng)帶 播音員播第一條新聞 時 間 不同媒體對象之間的約束關(guān)系實例 5． 3． 3多媒體時域特征表示（自學(xué)） 時域場景及時域定義方案 時域特征的表示過程可以用下圖來表示。如果一個時域事件在時域場景中的時間位置是完全確定的，該事件就稱為 確定性事件 ，否則就稱為 非確定性事件 。 時間模型是對數(shù)據(jù)進(jìn)行抽象描述的數(shù)據(jù)模型，它是由若干基本部件和部件的使用規(guī)則組成。除了同步描述數(shù)據(jù)外，還需要考慮同步機(jī)制提出必要的服務(wù)質(zhì)量要求，這種要求是用戶和同步機(jī)制之間在應(yīng)當(dāng)以何種準(zhǔn)確程度來維持時域特征方面所達(dá)成的一種質(zhì)量約定。如圖 65所示。時域定義方案是在計算機(jī)系統(tǒng)內(nèi)為時域場景建模并對建模結(jié)果進(jìn)行形式化描述的方法，由時間模型和形式化語言兩部分構(gòu)成。同步機(jī)制是一種服務(wù)過程，它能夠了解同步描述數(shù)據(jù)所定義的時域特征，并根據(jù)用戶所要求的同步容限，完成對該特征的維護(hù)（在運(yùn)行過程中保證時域特征不遭到破壞）。在定量關(guān)聯(lián)信息的時間模型中，認(rèn)為時域場景中的各個時域事件是相互獨立的，因而可以單獨地描述每一個時域事件在時域場景中的位置，從而間接地反映各個事件間的關(guān)系。 對于確定性時域場景，任意兩個時刻之間只有一種基本時域關(guān)系。虛軸模型是一種比較常見的定性定期型時間模型，其關(guān)聯(lián)信息包含的是非確定性時域事件的全排序信息。 定性時刻型時間模型的基本時間單位是時刻，其關(guān)聯(lián)信息是時刻間時域關(guān)系的定性關(guān)聯(lián)信息，個別情況下也可以包含定量關(guān)聯(lián)信息，其時間表示技術(shù)為約束傳播方式。其定性關(guān)聯(lián)信息包含的是兩個時間間隔間基本的時域關(guān)系描述，該模型不具有表示非確定性時域場景的能力。偏差的存在必然會造成多媒體同步質(zhì)量的降低，偏差的大小對同步質(zhì)量的影響也有所不同。由主觀評估所得到的大致許可范圍如表 61所示。 240 不重疊顯示 177。 11 寬松耦合（會議中來自不同參加者的聲音） 177。 500 文本 字幕 177。 多媒體同步的四層參考模型如圖 611。 圖 611媒體同步的四層參考模型與時域參考框架 按層次的劃分從上而下來看， 由 多媒體應(yīng)用 生成時域場景，時域場景是規(guī)范層的處理對象。 在層次參考模型中，每一層都有對應(yīng)的數(shù)據(jù)處。 規(guī)范層 處理的核心是時域定義方案，其接口可以為用戶提供利用多媒體時間模型描述媒體數(shù)據(jù)時域約束關(guān)系的工具，例如同步編輯器、多媒體文檔編輯器和著作編輯系統(tǒng)等。 在實際的多媒體系統(tǒng)中，同步機(jī)制往往不是作為一個獨立的部分存在，而是分散在傳輸層之上的各個模塊中，因此在實際系統(tǒng)中不一定能夠清晰地看到圖示的層次。 其主要目的是 用于表征多種媒體之間的時序關(guān)系 。 500 圖像 緊密耦合（音樂與樂譜） 177。 240 不重疊顯示 177。 120 音頻 唇音同步（ Lipsyn） 177。同步容限包含了用戶對偏差許可范圍的定義，同步機(jī)制則需依據(jù)同步容限，保證在恢復(fù)后的時域場景中，事件間的偏差在其許可范圍之內(nèi)。 時域參考框架 同步容限 在實際工作中，多媒體系統(tǒng)總存在著一些影響準(zhǔn)確恢復(fù)時域場景的因素，例如其他進(jìn)程對 CPU的搶占、緩沖區(qū)不夠大、傳輸帶寬有限等，這些因素的存在常常會導(dǎo)致在恢復(fù)后的時域場景中時域事件間的相對位置發(fā)生變化，稱這種變化稱為事件間偏差，如圖 68所示。 定性間隔型時間模型的基本時間單位為間隔，其關(guān)聯(lián)信息是間隔時域關(guān)系的定性關(guān)聯(lián)信息，時間表示技術(shù)為約束傳播方式，有時也可以包含定量關(guān)聯(lián)信息。所采用的時間軸可以是物理的計時單位，因此也稱為物理時間軸；也可以采用邏輯計時單位，稱為邏輯時間軸。 ( 1 ) A 先 于 B( 2 ) A B 銜 接( 3 ) A B 相 交( 4 ) A 包 含 B( 5 ) A B 同 始( 6 ) A B 同 終( 7 ) A B 平 行圖 67 兩個間隔之間的基本時域關(guān)系 （ 2）時間模型的分類 根據(jù)基本時間單位、關(guān)聯(lián)信息和時間表示技術(shù)這三個構(gòu)成成分的具體內(nèi)容，可以將時間模型分為 5類，即定量定期型、定性定期型、定性時刻型、定性間隔型和定量間隔型。有些時間模型的定性關(guān)聯(lián)信息中包含了對事件之間時域關(guān)系的描述，主要分為兩個時刻之間的基本時域關(guān)系和兩個間隔的時域關(guān)系。 基本時間單位用來表示一個時域場景中所發(fā)生的事件，時間單位可以分為時刻和間隔兩種類型，可以用時刻來表示時域事件，也可以用間隔來表示時域事件。通過時域定義方案，把時域場景轉(zhuǎn)化為同步描述數(shù)據(jù)。 時 間 模 型時 域 場 景基 本 時 間 單 位關(guān) 聯(lián) 信 息時 間 表 示 技 術(shù)形 式 化 語 言理 論 和 機(jī) 制多 媒 體 場 景時 域 定 義 方 案同 步 機(jī) 制圖 65 時域參考框架 多媒體場景是對多媒體數(shù)據(jù)在時間特征和空間特征抽象的結(jié)果，反映了多媒體數(shù)據(jù)在相關(guān)方面所具備的語義。最后，描述數(shù)據(jù)和同步容限相結(jié)合就構(gòu)成了在計算機(jī)內(nèi)部對多媒體數(shù)據(jù)時域特征表示。建模的結(jié)果再通過某種形式化語言轉(zhuǎn)化為形式化描述，這種形式化描述數(shù)據(jù)就是同步描述數(shù)據(jù)。由確定性時域事件構(gòu)成的時域場景為確定性時域場景，包含有非確定性時域事件的時域場景為非確定性時域場景。這些具體動作可以是開始播放、暫停、結(jié)束播放、恢復(fù)播放等。 不同媒體對象之間的相對時間關(guān)系可以用下圖來說明。媒體流之間同步的復(fù)雜性與需要同步的媒體流的數(shù)量有關(guān)。主要表現(xiàn)在兩個方面： 媒體內(nèi)同步 ：連續(xù)媒體對象的各個 LDU之間的相對時間關(guān)系； 媒體間同步 ：各個媒體對象之間（包括連續(xù)媒體之間以及連續(xù)媒體和非連續(xù)媒體之間）的相對時間關(guān)系。 如在桌面出版系統(tǒng)中，空域關(guān)系通常表達(dá)為布局框架。 多媒體數(shù)據(jù)的約束關(guān)系有三種： 基于內(nèi)容的約束 關(guān)系 空域約束 關(guān)系 時域約束 關(guān)系 基于內(nèi)容的約束關(guān)系 描述的是不同媒體對像是同一數(shù)據(jù)內(nèi)容的不同表現(xiàn)形式而在媒體之間所具有的一種約束關(guān)系。這種時間關(guān)系是在數(shù)據(jù)獲取時確定的，而且要在存儲、處理、傳輸和播放的整個過程中保持不變，一旦這種時間關(guān)系發(fā)生變化，就會損傷媒體顯示的質(zhì)量，比如會產(chǎn)生圖像的停頓、跳動或聲音的間斷。 LDU的內(nèi)容不是固定的，可以由具體的應(yīng)用、編碼方式、數(shù)據(jù)的存儲方式和傳輸方式來決定的。其中，有著嚴(yán)格時間關(guān)系的音頻、視頻和動畫等類型的數(shù)據(jù)稱為 實時媒體數(shù)據(jù)或連續(xù)媒體數(shù)據(jù) 。 處理丟失單元的同步機(jī)制 是重復(fù)播映前一個媒體單元的內(nèi)容 。 如果忽略時鐘漂移 ， 在較長一段時間后 ， 客戶端的緩存就會發(fā)生上溢或下溢 。 抖動通常是 在信宿端通過采用彈性緩沖區(qū)來補(bǔ)償?shù)?。 此外還可以將這兩種方法配合使用 。 媒體同步關(guān)系主要受以下因素的影響 ： 媒體間時延偏移 、 網(wǎng)絡(luò)抖動 、 端系統(tǒng)抖動 、 時鐘漂移和網(wǎng)絡(luò)條件變化 。這些因素可能影響媒體內(nèi)部的同步，造成單一連續(xù)媒體（音頻或視頻信息）在傳輸和播放時的穩(wěn)定性較差，也可能影響媒體間的同步，造成各個媒體間的配合出現(xiàn)障礙。 底層同步 即系統(tǒng)同步， 也稱為媒體內(nèi)部同步 。 中層同步 是信息合成同步，即不同媒體類型的數(shù)據(jù)之間的合成，所以，合成同步 又稱為 “ 媒體之間的同步 ” 。腳本，就是把用戶對多媒體表現(xiàn)形式 (結(jié)合其交互參與行動 )的意圖與構(gòu)思，最終像電影劇本一樣， “ 一場一場 ” 地表示出來。在實際的多媒體應(yīng)用中， 它是一種事件驅(qū)動同步 ，發(fā)生在系統(tǒng)中某一節(jié)點需要起始動作的情況下。在這一級，用戶可以對各個媒體進(jìn)行編排，由此決定何種媒體何時以何種時空關(guān)系表現(xiàn)出來。 依賴于時間的媒體也叫 時基媒體 （連續(xù)媒體） 不依賴于時間的媒體也叫 非時基媒體 （非連續(xù)媒體）。 多媒體系統(tǒng)的同步控制必須保證在同步點上各個媒體之間能夠保持時間關(guān)