09-多媒體同步技術(編輯修改稿)
2025-03-03 22:14 本頁面
【文章內容簡介】 ? 邏輯標記：如相對數據量和相對時間。 45 時間標記： ? 多媒體對象起始媒體單元位于時間系統(tǒng)的零點，一個媒體單元在相對時間系統(tǒng)中的位置。 ? 將各個媒體流映射到一個邏輯時間軸上 , 賦予每個媒體單元一個時戳 (Timestamp), 以此來標識媒體單元相對于邏輯時間軸起始點的時域位置。 ? 邏輯時間軸的單位應小于最小媒體單元的持續(xù)時間 , 從而使同一媒體中兩個不同的媒體單元的時戳相異。 ? 在媒體表現過程中 , 具有相同時戳的媒體單元同步播放。 46 圖 RTP報頭格式 RTP協(xié)議中的時間標志 47 其中 : V : RTP協(xié)議的版本號 , 占 2位 。 當前協(xié)議版本號為 2。 P : 填充標志 , 占 1位 。 如果 P=1, 則在該報文的尾部將填充一個或多個額外的八位組 。 X : 擴展標志 ， 占 1位 。 如果 X=1, 則在 RTP報頭后跟有一個擴展報頭 。 CC: CSRC計數器 , 占 4位 , 指示 CSRC 標識符的個數 。 M : 標記 , 占 1位 , 不同的有效載荷有不同的含義 。 對于視頻 , 標記一幀的結束 。 對于音頻 , 標記會話的開始 。 PT: 有效載荷類型 , 占 7位 , 用于說明 RTP報文中有效載荷的類型 。 例如 , GSM音頻 、 JPEM視頻等 。 48 序列號 : 占 16位 , 用于標識發(fā)送者所發(fā)送的 RTP報文的序列號 。 每發(fā)送一個報文 , 序列號增 1。 接收者通過序列號來檢測報文丟失情況 , 重新排序報文 , 恢復數據 。 時戳 (Timestamp): 占 32位 , 時戳反映了該 RTP報文的第一個八位組的采樣時刻 。 接收者使用時戳來計算延遲和延遲抖動 , 并進行同步控制 。 同步信源 (SSRC)標識符 : 占 32位 , 用于標識同步信源 。 該標識符是隨機選擇的 , 參加同一視頻會議的兩個同步信源不能有相同的 SSRC。 特約信源 (CSRC)標識符 : 每個 CSRC標識符占 32位 , 可以有0～ 15個 。 每個 CSRC標識了包含在該 RTP報文有效載荷中的所有特約信源 。 49 ? 設備驅動法： ? 連接驅動法： 典型的時戳遞進策略 50 (1) 設備驅動法 ? 源于主設備的媒體單元的時戳在主設備時鐘控制下遞進； ? 源于從設備的媒體單元的時戳的遞進要經過調節(jié)過程的處理 , 使從設備媒體單元與同時生成的主設備媒體單元具有相同的時戳。 ? 選擇主設備時的考慮因素有 : 時鐘頻率的精確性和媒體源的重要性等。例如 , 聲音媒體和圖像媒體中 , 通常選擇聲音頻媒體源作為主設備 , 因為聲音媒體的時間誤差易被人們的聽覺感受 。 也可以選擇外部時鐘源作為主設備。 51 (2) 連接驅動法 ? 在分布式網絡環(huán)境中 , 媒體單元時戳遞進率取決于某一網絡連接的數據傳輸率。 52 上講內容 1．同步任務： ? 維持媒體內、媒體間的時間關系。 2．同步的類型： ? 用戶級同步、媒體間同步、媒體內同步 3．多媒體數據的組成： ? 成分數據、同步數據（同步描述數據、同步容限）、邏輯數據單元（ LDU）。 4．同步描述方法： ? 基于路徑的描述方法： ? 基于 OCPN模型的描述方法 ? 基于時間標記的描述方法 53 課后練習 節(jié)目片頭 引導音樂 音樂漸隱 播音員念第一條新聞 播音員全景 播音員上部照片 圖形 A B C D E F 視頻 音樂 語音 路徑描述表達式：？ )()。()。( FEDCBA ???54 ? 同步控制機制： ? 理解同步描述數據所定義的時域特征，并根據用戶所要求的同步容限，完成對改特征的維護。 ? 內容： ? 分布式多媒體系統(tǒng)中的同步 ? 連續(xù)媒體內部的同步 ? 媒體流之間的同步 多媒體同步控制機制 55 多路復用同步技術 ? 將多個媒體流的數據復用到一個數據流中，從而使他們在傳輸中自然保持媒體間的同步關系。 ? 例： MPEG2標準中 TS流的形成 數據編碼器 音頻編碼器 TS復用 音頻 視頻 數據 視頻編碼器 打包器 打包器 打包器 PS復用 TS碼流 PS碼流 ES PES 56 節(jié)目 1 音頻 1 節(jié)目 1 視頻 1 節(jié)目 1 PMT 節(jié)目 1 視頻 2 節(jié)目 1 視頻 3 TS包 音頻 PES 視頻 PES 數據 PES 節(jié)目 1 音頻 2 節(jié)目 1 音頻 3 節(jié)目 1 數據 1 PES包頭 PES包數據 PES 包 鏈接頭 適配域 TS 包 凈荷 184byte 188byte 鏈接頭 適配域 凈荷 ……. 57 一、分布式多媒體系統(tǒng)中的同步 1. 分布式系統(tǒng)結構 ： ? 點對點、點對多點、多點對點、多點對多點 S D S D S D S D S D 58 2．同步規(guī)范的傳送方式： ① 提前傳送法 ? 傳送多媒體數據之前，將整個播放過程所需同步規(guī)范以文件方式傳送到接收端，以備播放時參照。 ② 輔助通道傳送法 ? 使用附加邏輯通道專門傳送同步規(guī)范文件 ③ 插入同步標記法 ? 將同步規(guī)范與成分數據復接在一起使用一個通道傳送 59 3. 影響媒體同步的因素 1. 延時偏移 ? 媒體間信道不同產生不同延時 2. 延時抖動 ? 傳輸過程中的延時偏差 ? 最大延時與最小延時之差 3. 時鐘漂移 ? 端系統(tǒng)之間的時鐘頻率變化 ? 一段時間間隔內的平均抖動 4. 數據丟失 60 傳輸延時 抖動對多媒體同步的破壞 服務器 用戶 音頻數據 視頻數據 網絡 61 時鐘偏差對同步的影響 ? 信源和信宿之間時鐘存在偏差，經過一段時間后，接收端數據不足，破壞連續(xù)媒體播放的連續(xù)性 ? 例： ? 時鐘偏差 103秒， 90分鐘后，偏差
環(huán)評公示相關推薦
鄂ICP備17016276號-1