09-多媒體同步技術(shù)-文庫吧資料
2025-02-17 22:14本頁面
【正文】 表達(dá)式：？ )()。 52 上講內(nèi)容 1．同步任務(wù)： ? 維持媒體內(nèi)、媒體間的時間關(guān)系。 也可以選擇外部時鐘源作為主設(shè)備。 ? 選擇主設(shè)備時的考慮因素有 : 時鐘頻率的精確性和媒體源的重要性等。 每個 CSRC標(biāo)識了包含在該 RTP報(bào)文有效載荷中的所有特約信源 。 同步信源 (SSRC)標(biāo)識符 : 占 32位 , 用于標(biāo)識同步信源 。 接收者使用時戳來計(jì)算延遲和延遲抖動 , 并進(jìn)行同步控制 。 每發(fā)送一個報(bào)文 , 序列號增 1。 48 PT: 有效載荷類型 , 占 7位 , 用于說明 RTP報(bào)文中有效載荷的類型 。 對于音頻 , 標(biāo)記會話的開始 。M : 標(biāo)記 , 占 1位 , 不同的有效載荷有不同的含義 。CC: CSRC計(jì)數(shù)器 , 占 4位 , 指示 CSRC 標(biāo)識符的個數(shù) 。 如果 X=1, 則在 RTP報(bào)頭后跟有一個擴(kuò)展報(bào)頭 。 P : 填充標(biāo)志 , 占 1位 。 當(dāng)前協(xié)議版本號為 2。 46 圖 RTP報(bào)頭格式 RTP協(xié)議中的時間標(biāo)志 47 其中 : ? 邏輯時間軸的單位應(yīng)小于最小媒體單元的持續(xù)時間 , 從而使同一媒體中兩個不同的媒體單元的時戳相異。 45 時間標(biāo)記： ? 多媒體對象起始媒體單元位于時間系統(tǒng)的零點(diǎn)，一個媒體單元在相對時間系統(tǒng)中的位置。 ? 同步標(biāo)記形式 ? 有形標(biāo)記：如以信息幀的形式插入到媒體數(shù)據(jù)流中 。 (1) 將在 Nxocpn中的每一個 IPP（ 流間播放點(diǎn) ） 處中斷快速流的播放過程 , 直到所有需要同步的媒體流都到達(dá) IPP才播放 。 Synchronize: 按所希望的同步策略實(shí)現(xiàn)流間同步機(jī)制。Action. Resource Release: 在媒體對象完成播出后 , 立即釋放所占用的資源 。 其中 , 資源 （ Resource） 定義了通信通道 、 緩沖器或輸出設(shè)備等 。 38 (2) 它表示基于 XOCPN語義的控制過程 , 在其上執(zhí)行的操作有資源的建立 , 資源的釋放以及媒體間的同步等 , 即 : 每個對象位置表示如下兩種操作之一 : (1) 它表示媒體對象的播放進(jìn)程 , 每個對象位置與媒體對象的一個同步單元 （ SIU） 相對應(yīng) 。 ? Z: P→{ 動作 , 函數(shù)地址 , 同步單元地址 , 通信和同步的信息地址 }定義了由位置集向地址集的映射。 ? 用一個八元組 XOCPN= { T,P,A,D,R,M,Y,Z }表示 , 也就是在 OCPN模型的基礎(chǔ)上擴(kuò)展了兩個映射函數(shù) Y（ pi）和 Z（ pi） : ? Y: P→{ 控制 , 對象 }定義了位置集向位置類型集的映射。 6. M:P→I,I ={1,2,…} 定義了由位置集向整數(shù)集的映射 ,它表示位置集中的標(biāo)記 (token)分布。 4. D: P→Re 定義了由位置集向?qū)崝?shù)集的映射 , 實(shí)數(shù)集 Re OCPN中的時間約束。 2. P = { p1,p2, …, pm } 為位置集 , pi表示進(jìn)程 , 并假定變遷瞬時發(fā)生 , 故 pi具有相應(yīng)狀態(tài) , 在圖中用圓表示。B ? A/B ? Ai* ? N:A 32 將對象分成 SIU(同步間隔單元） 2. 基于 Petri網(wǎng)的描述法 33 OCPN模型（對象合成 Petri網(wǎng)） ? OCPN模型描述了媒體對象內(nèi)和媒體對象間的時間關(guān)系， 它是一個定時 Petri網(wǎng)。 23 ? 如何描述多媒體數(shù)據(jù)的時域特征，對多媒體數(shù)據(jù)的時域特征進(jìn)行抽象、描述以及給出必要的同步容限。 ? 為用戶提供描述多媒體數(shù)據(jù)時域約束關(guān)系的工具。 ? 任務(wù)： ? 制定調(diào)度方案：同步容限、媒體信息、資源情況 ? 系統(tǒng)初始化 ? 執(zhí)行調(diào)度方案：非連續(xù)媒體與連續(xù)媒體對象之間的同步控制 22 4. 描述層 ? 處理多媒體應(yīng)用生成的時域場景。 ? 流層將連續(xù)碼流作為一個整體進(jìn)行處理，向上層用戶提供各種功能函數(shù)。 ? 同步容限越小， LDU越小 ? 同步機(jī)制與底層服務(wù)系統(tǒng)之間的接口，向上提供與設(shè)備無關(guān)的操作，內(nèi)部不包含同步控制操作。 ? 同步機(jī)制保證恢復(fù)后的時域場景中，事件間的偏差在同步容限內(nèi) 17 3. 層次同步模型 18 同步工作過程 ? 按照同步描述數(shù)據(jù)生成調(diào)度方案 ? 根據(jù)同步容限及多媒體數(shù)據(jù)特點(diǎn)申請資源 ? 同步控制機(jī)制按照同步容限要求完成對偏差的控制，維持多媒體數(shù)據(jù)的時域關(guān)系。 例： ? 一幀圖像為一個 LDU，每秒 25幀，兩個 LDU之間的時間 40ms。 ? 層次同步模型 ? 對多媒體同步進(jìn)行分層處理，規(guī)定了同步機(jī)制所應(yīng)有的層次及各層所應(yīng)完成的主要任務(wù)。 3. 媒體內(nèi)的同步關(guān)系 12 三、影響媒體同步的因素 1. 延時偏移 ? 媒體間信道不同產(chǎn)生不同延時 2. 延時抖動 ? 傳輸過程中的延時偏差 ? 最大延時與最小延時之差 3. 時鐘漂移 ? 端系統(tǒng)之間的時鐘頻率變化 ? 一段時間間隔內(nèi)的平均抖動 4. 數(shù)據(jù)丟失 13 多媒體同步參考模型 ? 多媒體同步參考模型用于從整體上描述媒體之間的時序關(guān)系。 ? 流內(nèi)同步的復(fù)雜性不僅和單個媒體的種類有關(guān) , 而且和分布式系統(tǒng)提供的服務(wù)質(zhì)量 （ Quality of Service, QoS） 有關(guān) 。 ? 一個可視電話系統(tǒng) , 其語音和圖像序列通過通信網(wǎng)絡(luò)傳輸?shù)浇邮斩?, 且必須同步地在接收設(shè)備上演示 , 以保持口型和聲音同步 。 例： ? 一個有語音講解的多媒體幻燈片 , 其講解必須和一組畫面同時表現(xiàn) , 且隨著畫面的顯示 , 講解是順序的 。 如：音頻和視頻之間的時態(tài)關(guān)系 , 音頻和文本之間的時態(tài)關(guān)系等 , 表現(xiàn)為各個媒體流中在同步點(diǎn)上的同時播放 。 9 2 .媒體間的同步關(guān)系 ? 媒體間的同步關(guān)系即流間同步。 7 二、同步的類型 1. 上層同步（用戶級同步） 2. 中層同步（媒體間同步） 3. 底層同步（媒體內(nèi)同步） 8 1. 用戶級同步 ? 描述方式： ? 從用戶的角度設(shè)計(jì)模型框架，體現(xiàn)用戶的交互性，容易被用戶理解和使用。多媒體通信技術(shù) 西南科技大學(xué)信息工程學(xué)院
環(huán)評公示相關(guān)推薦
鄂ICP備17016276號-1