【正文】 廣播圖像分為廣播多畫面和廣播單畫面，當(dāng)廣播多畫面而多畫面只有一個(gè)會(huì)場且會(huì)場占據(jù)整個(gè)畫面時(shí)，就是單畫面圖像。對于主席和導(dǎo)演模式的會(huì)議，在主席存在的時(shí)候要將消息轉(zhuǎn)發(fā)給終端，沒有主席時(shí)處理方 式與導(dǎo)演模式相似。 第三 、自動(dòng)調(diào)度時(shí)，下級會(huì)場只能在自己所在域或上級域中找可用 MCU，不能在下級或平級之間查找，如一直未找到，則調(diào)度失敗；所有已選會(huì)場必選全部掛接到會(huì)議組織結(jié)構(gòu)樹上，否則認(rèn)為自動(dòng)調(diào)度失敗，可選擇手工調(diào)整，即 當(dāng)自動(dòng)調(diào)度完成后，不管是成功與否，用戶還可以手動(dòng)調(diào)整級聯(lián)關(guān)系樹。 當(dāng)會(huì)議中 MCU 異常后會(huì)議角色處理 一般情況下，視訊會(huì)議系統(tǒng)應(yīng)用的網(wǎng)絡(luò)環(huán)境應(yīng)該比較穩(wěn)定和暢通，但是萬一由于某種特殊原因產(chǎn)生網(wǎng)絡(luò)異常時(shí)，例如：通過 iMSC 召開的級聯(lián)會(huì) 議會(huì)議過程中，當(dāng) MCU 重啟，或者 MCU 與 iMSC 斷開連接后又重新注冊成功，這時(shí)會(huì)議的活動(dòng)信息必然發(fā)生一些變化，（比如 FECC 控制者 /受控者、會(huì)議主場、廣播會(huì)場等會(huì)議信息）本節(jié)就是討論發(fā)生這種異常時(shí) iMSC 的處理策略。為了避免出現(xiàn)此類情況，本文做如下處理：在 MCU 再次注冊到 iMSC 上時(shí)，刪除其上面的所有會(huì)議（包括活動(dòng)會(huì)議和預(yù)約會(huì)議）。周期會(huì)議類型有月、周、天。在搬移過程，會(huì)議所有數(shù)據(jù)（包括會(huì)議 ID）不變地搬移到歷史會(huì)議信息表。當(dāng) SS 沒有收到 MCU 狀態(tài)上報(bào)，定時(shí)器觸發(fā)。即當(dāng)設(shè)計(jì)廣播或會(huì)場觀看的時(shí)候，如果所需要的通道被占用，就不能實(shí)現(xiàn)該功能，也就是當(dāng)廣播下級會(huì)場而其他用戶再執(zhí)行選擇觀看該 MCU 下的其他會(huì)場，則此時(shí)不能正常觀看；當(dāng)多畫面中 有兩個(gè)子畫面同時(shí)為同一下級 MCU 的兩個(gè)會(huì)場時(shí)，也不能實(shí)現(xiàn)。 2) 在創(chuàng)建級聯(lián)會(huì)議前，檢查各個(gè) MCU上的時(shí)間與 iMSC 上的時(shí)間是否相同，若不相同，則提示管理員去修改該 MCU 的上時(shí)間；如果時(shí)間不能被修改，比如正在召開會(huì)議等，則該 MCU 包括其下級 MCU 不能被級聯(lián)入會(huì)； 如果 MCU 與iMSC 上的時(shí)間一致，則可以正常召開該互控級聯(lián)會(huì)議。如果會(huì)控命令針對具體的一個(gè)終端，則查找該終端所在的 MCU，會(huì) 控命令直接下發(fā)給該 MCU；否則需要將會(huì)控命令逐個(gè)下發(fā)給所有的 MCU。消息通訊框架：基于 iMF，提供了基于私有 消息的進(jìn)程內(nèi)外部通信框架。支持基于 H323/SIP的呼叫模型，并支持各自轉(zhuǎn)換網(wǎng)關(guān)。該特性開發(fā)不改變原有系統(tǒng)架構(gòu)，仍然通過 SS(調(diào)度服務(wù) Switch Service)模塊來實(shí)現(xiàn)對視訊業(yè)務(wù)的管理；仍通過接收由 SDK發(fā)來的 ；通過調(diào)用 MM、 CC、 MC等的相關(guān)平臺(tái)組件接口，實(shí)現(xiàn)相關(guān)的業(yè)務(wù)操作，并進(jìn)行業(yè)務(wù)狀態(tài)信息的維護(hù)。提供了“原子” 業(yè)務(wù)（基礎(chǔ)業(yè)務(wù)） 。 多媒體平臺(tái)中間件 ，提供全開放的集成框架，在“多媒體基礎(chǔ)模型”的基礎(chǔ)浙江大學(xué)碩士學(xué)位論文 第 2 章 課題支撐技術(shù)簡介 13 上更進(jìn)一步，提供“多媒體中間件”的功能。 根據(jù) 的標(biāo)準(zhǔn)得到網(wǎng)守主要有以下基本功能： 1）地址翻譯：將終端和網(wǎng)關(guān)的 別名轉(zhuǎn)換為網(wǎng)絡(luò)地址，在實(shí)際設(shè)置使用網(wǎng)守的情況下，為方便起見設(shè)置 test作為設(shè)備的別名，建立呼叫經(jīng)過網(wǎng)守時(shí)，則會(huì)在相應(yīng)的列表中查找該別名對應(yīng)的 IP地址如 ，將該地址反饋給呼叫的另一端，這樣就可以建立端到端的呼叫了。 網(wǎng)關(guān)的主要功能有以下幾類： 1）傳輸格式的轉(zhuǎn)換，如對于 (如 IP網(wǎng) )和電路交換網(wǎng) (SCN)之間就必須通過網(wǎng)關(guān)實(shí)現(xiàn) 碼流和 碼流之間的互譯，以完成鏈路層的連接 [15]。本系統(tǒng)中采用的 MCU 是同時(shí)具有 MC 和 MP 功能的 MCU。 從上面可以看出 RTP 提供了點(diǎn)對點(diǎn)的傳送服務(wù)，通常在 UDP 上運(yùn)行 RTP，一般使用這兩種協(xié)議來完成碼流的傳輸。利用這個(gè)時(shí)間戳，接收方可以去除由網(wǎng)絡(luò)引起的信息包的抖動(dòng)，實(shí)現(xiàn)與接收方同步的功能 [17]。 3）網(wǎng)絡(luò)層：主要負(fù)責(zé)數(shù)據(jù)的封包傳輸，讓每一個(gè)數(shù)據(jù)包都能達(dá)到 目的地址。 TCP/IP 協(xié)議可分為 4 層結(jié)構(gòu)，分別為應(yīng)用層、傳輸層、網(wǎng)絡(luò)層、鏈路層 [6]，具體協(xié)議應(yīng)用如 圖 ： 浙江大學(xué)碩士學(xué)位論文 第 2 章 課題支撐技術(shù)簡介 7 圖 TCP/IP 協(xié) 議分層結(jié)構(gòu) [1] 1）應(yīng)用層：主要負(fù)責(zé)處理特定的網(wǎng)絡(luò)應(yīng)用程序，如 SMTP 應(yīng)用于簡單郵件傳送、 SNMP 簡單網(wǎng)絡(luò)設(shè)備管理協(xié)議、 Tel 遠(yuǎn)程訪問登錄、 FTP 文件傳輸協(xié)議等。 本文主要內(nèi)容 本章主要介紹多級級聯(lián)會(huì)議在國內(nèi)的發(fā)展?fàn)顩r，闡述了 iMSC 級聯(lián)會(huì)議的開發(fā)的必要性。 該方法的優(yōu)點(diǎn)為： 功能上：只要級聯(lián)樹建立好后，可以直接在原先的 MCU 控制臺(tái)上進(jìn)行會(huì)控操 作，對非互控級聯(lián)會(huì)議無影響，不需要再開發(fā)一個(gè)系統(tǒng)，實(shí)現(xiàn)起來相對開發(fā)周浙江大學(xué)碩士學(xué)位論文 第 1 章 緒論 3 期較短； 可用 /易用性：在用戶熟悉原 MCU 系統(tǒng)用戶界面的情況下，只要在界面上添加互控級聯(lián)功能，其他不會(huì)影響原用戶的使用習(xí)慣，增加易用性。從用戶的角度出發(fā)，如何更好的利用調(diào)度并使用會(huì)議服務(wù)器資源成為省錢的關(guān)鍵，也為用戶更好的體驗(yàn)多媒體帶來的便利。 根據(jù)級聯(lián)會(huì)議的特性，分析測試的測試策略及測試方案，以保障產(chǎn)品 在開發(fā)完成時(shí) 的質(zhì)量。因此， MCU 需要高效靈活的 平臺(tái)進(jìn)行統(tǒng)一管理和調(diào)度，當(dāng)單個(gè) MCU 不能滿足 要求的時(shí)候，我們需要調(diào)度多個(gè) MCU 進(jìn)行級聯(lián)，以實(shí)現(xiàn)會(huì)議的擴(kuò)容。視訊會(huì)議最基本的包含會(huì)議服務(wù)器、會(huì)議終端和網(wǎng)絡(luò)。其中多點(diǎn)會(huì)議包含：非級聯(lián)會(huì)議、簡單級聯(lián)會(huì)議和互控級聯(lián)會(huì)議，文本主要關(guān)注互控級聯(lián)會(huì)議。目前，單個(gè) MCU 所能承受的會(huì)議容量已經(jīng)不能滿足特定環(huán)境下的需求，而不同會(huì)議存在于不同 MCU 時(shí)，我們又很難進(jìn)行統(tǒng)一管理。 第 5 章：主要介紹級聯(lián)會(huì)議特性的 測試策略及 測試方案。 浙江大學(xué)碩士學(xué)位論文 第 2 章 課題支撐技術(shù)簡介 8 而另一方面， TCP 需要進(jìn)行 3 次握手，對于一些數(shù)據(jù)比較多或者數(shù)據(jù)丟一兩個(gè)包不是很重要的時(shí)候，需要一種協(xié)議來提高實(shí)時(shí)性和傳輸效率， UDP 協(xié)議從此而產(chǎn)生，為應(yīng)用層提供一種非常簡單的服務(wù)。 RTP 協(xié)議負(fù)責(zé)將媒體流數(shù)據(jù)進(jìn)行封裝并傳輸，每個(gè) RTP 數(shù)據(jù)報(bào)由頭部和負(fù)載兩部分組成，頭部前 12 個(gè)字符含 義是固定的，負(fù)載可以是音頻數(shù)據(jù)也可以是視頻數(shù)據(jù)。如果發(fā)送端在會(huì)話過程中需改變編碼方法，發(fā)送端可以發(fā)送信令通知接受端 [1]。它可以連接兩個(gè)終端構(gòu)成點(diǎn)對點(diǎn)會(huì)議，隨后再擴(kuò)展為多點(diǎn)會(huì)議。 網(wǎng)關(guān) 網(wǎng) 關(guān)是 系統(tǒng)與現(xiàn)有的公用電路交換網(wǎng) (PSTN)或其它異構(gòu)網(wǎng)絡(luò) (如ISDN)的互通設(shè)備，其核心功能是對不同網(wǎng)絡(luò)結(jié)構(gòu)的會(huì)議媒體信息和信令控制信息進(jìn)行轉(zhuǎn)換 [6]。 網(wǎng)閘 網(wǎng)守是 視頻會(huì)議系統(tǒng)的一個(gè)可選組件，網(wǎng)守在系統(tǒng)中向終端和網(wǎng)關(guān)單元提供呼叫控制服務(wù)，根據(jù)接收到的指令控制是否允許用戶接入該會(huì)議系統(tǒng)。 iMOS 平臺(tái)簡介 IMOS 的全稱為 IP Multimedia Operating System（ IP 多媒體操作系統(tǒng)），與公司 IToIP 的理念一脈相承，意在打造 IP 領(lǐng)域的多媒體開發(fā)平臺(tái)。 2).業(yè)務(wù)邏輯層 通過對原子業(yè)務(wù)的簡單組合或者定制開發(fā)，可以快速構(gòu)建新的業(yè)務(wù)。通過 對 TCP/IP、 RTP/RTCP 協(xié)議及 H323 協(xié)議，了解一般視頻會(huì)議的實(shí)現(xiàn)方式，再通過 iMOS 平臺(tái)的學(xué)習(xí)，了解 iMSC 級 聯(lián)會(huì)議分析及開發(fā)需要的知識及環(huán)境，為后續(xù)總體設(shè)計(jì)及詳細(xì)設(shè)計(jì)奠定理論基礎(chǔ)。在監(jiān)控對視訊的呼叫中，監(jiān)控解碼端把視訊終端看成攝像機(jī)資源。 7） MDP模塊： MDP模塊負(fù)責(zé)內(nèi)部模塊間消息的轉(zhuǎn)發(fā)，包括進(jìn)程間和線程間 8） NS模塊： NS負(fù)責(zé)給各個(gè)注冊到 MDP的模塊分發(fā)唯一的名字。 第三、 工具函數(shù)庫：提供了一些常用的函數(shù)封裝，如加密解密、動(dòng)態(tài)庫管理等。 實(shí)現(xiàn)策略 MCU 時(shí)間同步策略 在互控級聯(lián)會(huì)議中，時(shí)間同步十分重要，由于各個(gè) MCU 上的時(shí)間以及 MCU與 iMSC 上的時(shí)間可能存在差異，所以需要對每臺(tái) MCU 的時(shí)間進(jìn)行同步，同步各個(gè) MCU 的時(shí)間可以有以下 3 種方式： 1) 在創(chuàng)建互控級聯(lián)會(huì)議時(shí)，獲取 MCU 與 iMSC 之間的時(shí)間差，根據(jù)用戶在iMSC 上創(chuàng)建會(huì)議的時(shí)間，如果 MCU 的時(shí)間與 iMSC 上的時(shí)間不一致，在 MCU上創(chuàng)建會(huì)議時(shí)推遲或提前召開該會(huì)議。 浙江大學(xué)碩士學(xué)位論文 第 4 章 詳細(xì)設(shè)計(jì) 20 解決了時(shí)間同步問題后，在后面召開會(huì)議和對會(huì)議進(jìn)行控制都是在該前提下進(jìn)行。 會(huì)議生命周期策略 這里主要描述： 會(huì)議狀態(tài)從未召 開到活動(dòng)會(huì)議，從活動(dòng)會(huì)議到歷史會(huì)議；以及數(shù)據(jù)庫的會(huì)議數(shù)據(jù)的如何操作。 結(jié)束會(huì)議時(shí)處理分兩種情況： 浙江大學(xué)碩士學(xué)位論文 第 4 章 詳細(xì)設(shè)計(jì) 23 第一、 周期會(huì)議未結(jié)束（經(jīng)計(jì)算，周期會(huì)議還有下一輪的會(huì)議）： 如果周期會(huì)議未結(jié)束（判斷方法見下面方法 1），先將會(huì)議數(shù)據(jù)搬移到歷史會(huì)議信息表中，會(huì)議預(yù)約信息表重復(fù)次數(shù)減一（如果是次數(shù)控制見方法 1），重新計(jì)算下次開始與結(jié)束會(huì)議的時(shí)間，并保存到會(huì)議基本信息表中（計(jì)算方法見下面方法 2），查詢會(huì)議狀態(tài)。 如果會(huì)議基本信息表中會(huì)議設(shè)定為永久會(huì)議，則會(huì)議基本信息表的結(jié)束時(shí)間為空，即會(huì)議不會(huì)結(jié)束，除非用戶主動(dòng)撤銷該會(huì)議 。注：會(huì)議開始時(shí)間與結(jié)束時(shí)間可能跨天。 根據(jù)上面廣播和觀看下級會(huì)場的策略，下級的碼流是先發(fā)到主 MCU 下進(jìn)行處理，故對于圖像參數(shù)的下 發(fā)有如下策略：對于圖像配置中的字幕、橫幅、會(huì)場名、多畫面信息等參數(shù)，只下發(fā)到主 MCU，從 MCU 采用默認(rèn)值。 級聯(lián)關(guān)系樹的創(chuàng)建，遵循如下基本原則： 第一、 會(huì)場選擇 MCU時(shí)，根據(jù)調(diào)度算法將提供出所有可用的 MCU，然后根據(jù) Level值（每個(gè)組織域都有自己的 level）選擇小的進(jìn)行選擇；在同一 level中如果浙江大學(xué)碩士學(xué)位論文 第 4 章 詳細(xì)設(shè)計(jì) 27 包含多個(gè) MCU時(shí)，優(yōu)先使用設(shè)備編碼排序靠前的 MCU開會(huì)； 第二 、 將全網(wǎng)劃分為多個(gè)組織域，可按地域或行政區(qū)域劃分，每個(gè)組織下有一臺(tái) MCU（如果有備用 MCU，則加上備用 MCU），若干終端。本文主要介紹這三種功能類型的實(shí)現(xiàn)方式，其他功能如鎖定會(huì)議、延長會(huì)議時(shí)長只做簡單介紹，針對上面三種類型，根據(jù)三類消息在會(huì)控操作中重要性我們重 點(diǎn)介紹：發(fā)言申請、廣播圖像、 FECC 控制、結(jié)束會(huì)議，剩下的會(huì)控操作只做簡單介紹。如果單畫面或者是多畫面設(shè)置中有畫面查看發(fā)言人，則需要在主 MCU 上設(shè)置畫面的布局，指定發(fā)言人位置的圖像為發(fā)言人所在分支的二級 MCU，同時(shí)設(shè)置從發(fā)言人到 主 MCU 之間的 MCU，將發(fā)言人的媒體流單播給上級 MCU 或者主 MCU。 SS 查詢出會(huì)議所。如果會(huì)議是主控級聯(lián)會(huì)議，則需要將消息發(fā)給主用MCU。根據(jù)觸發(fā)方 式和處理的不同，我們將上面會(huì)控操作分為下面三種： （ 1） 由終端發(fā)起的會(huì)議控制操作，如：發(fā)送輔流、申請發(fā)言；（ 2）由 iMSC 界面觸發(fā)，消息發(fā)送到主從 MCU 的會(huì)控操作，如：全部開 /關(guān)麥克風(fēng)、全部停 /發(fā)視頻、全部開 /關(guān)揚(yáng)聲器、群邀上線、全部離線、結(jié)束會(huì)議。主要過程為：進(jìn)入 iMSC的客戶端界面，用戶先劃分不同的域，然后在不同的域下添加對應(yīng)的設(shè)備（視訊終端、多點(diǎn)控制單元），添加完成后，用戶創(chuàng)建會(huì)議，選擇要加入會(huì)議的會(huì)場到已選會(huì)場列表中，配置會(huì)議參數(shù)后，此時(shí)級聯(lián)調(diào)度算法先將會(huì)場進(jìn)行域劃分，然后在各自的域下尋找可用的MCU，并嘗試創(chuàng)建會(huì)議（此時(shí)需要根據(jù)會(huì)議參數(shù)、入會(huì)會(huì)場數(shù)等信息，計(jì)算 MCU的資源，如果可用，則嘗試創(chuàng)建成功，否則失?。?，如果在自己的域下未找到可用的 MCU，此時(shí)則會(huì)繼續(xù)向父域 查找，如找到則將該會(huì)場掛到父域所在的 MCU下，未找到則繼續(xù)向父域的父域查找，依次向上，一直找到可用的 MCU為止，如一直未找到，則確認(rèn)此次級聯(lián)調(diào)度失??；如果在查找過程中，自己所在域或父域下同時(shí)提供多臺(tái)可用 MCU，則優(yōu)先使用設(shè)備編碼排序靠前的 MCU開會(huì)。 基本會(huì)議參數(shù)下發(fā)到主、從 MCU 上，下發(fā)的參數(shù)主要有：會(huì)議名稱、會(huì)議別名、會(huì)議創(chuàng)建者、會(huì)議創(chuàng)建時(shí)間、是否為立即會(huì)議、是為永久會(huì)議、會(huì)議召開時(shí)間、會(huì)議結(jié)束時(shí)間、會(huì)議描述、是否有會(huì)議備份、是否級聯(lián)、是否有預(yù)約會(huì)議信息、會(huì)議入會(huì)權(quán)限信息（是否密碼會(huì)議、入會(huì)密碼、最大會(huì)場數(shù)、會(huì)議鎖定）、會(huì)議速率、離線重邀方式、是否支持自動(dòng)降速 、會(huì)議主場信息、音頻協(xié)議適配、音頻標(biāo)準(zhǔn)列表、主流協(xié)議適配、主流格式適配、主流設(shè)置、主流速率幀率適配、會(huì)議類型（純音頻會(huì)議、音視頻會(huì)議、雙流視頻會(huì)議）、是否輔流適配、輔流格式適配、輔流設(shè)置、輔流類型、輔流速率幀率適配、媒體加密算法、信令加密信息、 NAA 設(shè)置、 I 幀發(fā)送條件、是否要發(fā)組播（是否自動(dòng)發(fā)送組播、組播應(yīng)指定哪個(gè) MCU 發(fā)送）、預(yù)設(shè)主席或主場、預(yù)設(shè)廣播會(huì)場、指定輔流會(huì)場等。開會(huì)當(dāng)天的具體開始時(shí)間，取預(yù)約會(huì)議表開始時(shí)間的時(shí)分部分。通過重復(fù)次數(shù)控制時(shí)，每開一次會(huì)，重復(fù)次數(shù)減一，此時(shí)截止時(shí)間為空。 F2：會(huì)議開始定時(shí)器超時(shí)或 SS 收到 MCU 上報(bào)會(huì)議狀態(tài)變更消息；則將會(huì)議基本信息表中會(huì)議狀態(tài)變更為已召開； F3： SS 收到 MCU 會(huì)議狀態(tài)變更“召開中”與“在解散中”，只更新數(shù)據(jù)庫會(huì)議基本信息表中會(huì)議狀態(tài)，不做其他處理。 為了解決該問題，考慮通過當(dāng)某個(gè)下級 MCU 有兩路或兩路以上碼流需要上傳時(shí)，可以通過先在 該 MCU 上進(jìn)行圖像的編解碼處理，這樣可以實(shí)際上傳一路碼流，而其中包含多路碼流的信息。這種方法比較簡單，只需要在實(shí)施布置視頻會(huì)議網(wǎng)絡(luò)環(huán)境是布置一個(gè) NTP服務(wù)器就可以，降低了軟件實(shí)現(xiàn)的復(fù)雜度，也降低的維護(hù)成