【導讀】新奧特(北京)視頻技術有限公司。ChinaDigitalVideoLimited虛擬演播室系統(tǒng)方案

　　

【正文】 比原則、擴展性原則、兼容性原則等。 . 安全可靠性原則 采用安全、穩(wěn)定的主控工作站與圖形工作站網絡化連接方式是虛擬演播室系統(tǒng)建設中的關鍵。在其日后的節(jié)目的日常制作、播出等方面安全性表現更加突出，系統(tǒng)應具有極高的運行可靠性。同時， 虛擬演播室系統(tǒng) 采用“制作”、“渲染”、“播出”分離式系統(tǒng)軟件架構，真正從用戶使用時的安全性考慮，成為國內最先擁有“制”“播”分離軟件架構的虛擬演播室系統(tǒng)。 . 易維護可管理 原則 所設計和提供的 虛擬演播室系統(tǒng)具備優(yōu)秀的可用性能，同時也提供了良好的檢錯能力。系統(tǒng)軟件采用全中文界面，操作簡單、直觀、維護管理方便。傳感跟蹤系統(tǒng)定位快速精確，移動機位后不需經任何測量。 . 良好性價比原則 虛擬演播室系統(tǒng)在采用先進的技術和設備的同時，應該充分為用戶著想，在系統(tǒng)配置、運行管理、系統(tǒng)擴展性等方面進行合理化設計，使整個解決方案具備良好的性價比，切實做到最大限度地降低用戶的總體成本（ TCO）。 . 擴展性原則 虛擬演播室系統(tǒng) 采用模塊化設計方法，隨著新奧特公司對自主Mariana 系列產品不斷的研發(fā)和升級 ，構建在此模塊化架構下的 虛擬演播室系統(tǒng) 也可以不斷的加入各種應用模塊， 滿足日后各類應用。 . 兼容性原則 虛擬演播室系統(tǒng)支持高、標清實時三維渲染；兼容第三方軟件制 新奧特 (北京 )視頻技術有限公司 China Digital Video (Beijing) Limited 虛擬演播室 系統(tǒng)方案 作的各類三維模型場景，支持三維模型場景的無縫導入接入，如 3DMAX、 MAYA制作的 3DS、 WRL 等三維場景模型描述格式；支持多種動態(tài)紋理；支持 BPM、 PGA、JPEG、 PNG 等常用的圖像格式；支持圖像平面創(chuàng) 作軟件的分層導入；兼容用戶原有各種類型的演播室設備等。 新奧特 (北京 )視頻技術有限公司 China Digital Video (Beijing) Limited 虛擬演播室 系統(tǒng)方案 第五章 相關虛擬演播室技術介紹 虛擬演播室是在色鍵系統(tǒng)的基礎上發(fā)展起來的。傳統(tǒng)的色鍵 (ChromaKey)合成系統(tǒng)是電視節(jié)目制作中常用的合成手段，它的原理就是將主持人或演員置身于藍色背景前表演，然后利用色鍵合成器的色鍵功能將前景圖象中的色度與其作背景的彩色幕布的色調差別作為形成鍵控電壓的依據，并利用此電壓去 摳 插入畫面，然后再將前景圖象填入畫面，這樣就將主持人從藍色背景中分離出來，用其他的 畫面作為背景填充藍色部分，形成一幅天衣無縫的合成畫面。這種系統(tǒng)現在在電視制作中應用得非常普遍，但是它有一個主要的不足之處在于：前景在運動，但背景卻不能作出與前景運動相應的動作。 也就是說，傳統(tǒng)的色鍵扣像不能保持住在背景和前景之間存在的空間位置關系，使得前景沒有 溶入 到背景中，從而限制了傳統(tǒng)的色鍵扣像的應用范圍。 虛擬演播室基于傳統(tǒng)的色鍵扣像合成系統(tǒng)，卻突破了傳統(tǒng)色鍵扣像系統(tǒng)的限制，消除了攝象機拍攝的前景畫面不能與場景畫面同步運動的致命弱點，做到真實的演員能深入到虛擬的三維場景中，并能與其中的虛擬對象實時交 互。 一般來說，一套典型的虛擬演播室系統(tǒng)一般由三個子系統(tǒng)組成：攝像機跟蹤系統(tǒng)、虛擬場景生成系統(tǒng)及視頻色鍵合成系統(tǒng)。 攝像機在拍攝過程中有水平角 PAN、俯仰角 TITLE、鏡頭變焦 Z00M、聚焦 FOCUS 等變化，這些參數的改變會引起所攝圖像視野與視角的改變，為了模擬人物所在的三維環(huán)境，高性能的圖形工作站必須根據這些參數不斷調整三維視圖。而攝像機跟蹤系統(tǒng)的作用正是獲取攝像機的位置信息和運動數據，實時的跟蹤真實攝像機，以保證攝象機前景畫面與高性能的圖形工作站場景畫面 聯動 。 目 前虛擬演播室的固定機位攝像機跟蹤系統(tǒng)主要有以下兩種方式 : 1. 基于圖形分析系統(tǒng) 。 該方式需要把一個精確的網絡圖案以兩種不同的藍色形狀繪制于藍背景上，通過攝像機識別這種圖案并與計算機跟蹤軟件預先確定的模型進行對比，以確定物體與虛擬背景的透視關系及距離。 新奧特 (北京 )視頻技術有限公司 China Digital Video (Beijing) Limited 虛擬演播室 系統(tǒng)方案 采用圖像分析法存在很多不足之處，最主要的是： ① 由于這種方式要對圖像進行分析、計算，所以數據處理時間長，加大了視頻延時量。因此，虛擬演播室使用視頻和音頻延遲硬件以達到同步，視頻延時量在 812 幀 。許多用戶因為過長的延時導致拍攝時很少使用跟蹤系統(tǒng)。 ②用這 種方式獲得的攝像機運動參數的精度比機械傳感器的精度低。 ③當參考點不在當前視野時，跟蹤系統(tǒng)有可能失去方向，必須準確知道參考點的坐標，使攝像機移動時維持住正確的相對位置。在藍室內標記參考點也不是一件容易的事情，這種精確的藍色圖案必須被繪制在藍背景之上，它必須有別于藍底，這種藍色網格圖案在制作色鍵過程的陰影很難處理，同時合成后又應該是不可見的。攝像機拍攝不能垂直于藍色網格圖案，必須偏離30 度角以上，否則不能準確定位。另外，這種藍色網格圖案很難保持良好的鍵質量。 ④當攝像機散焦或者攝取畫面中圖像信息量過少時， 系統(tǒng)無法正常工作。為了保持精確的跟蹤，攝像機的焦點必須始終保證在網格上，真實的演員有時會顯得模糊。 鑒于上述須待解決的若干問題，網格識別方案在目前的虛擬演播室系統(tǒng)中 使用的不多。 2. 基于機電傳感器的系統(tǒng)； 這種攝像機跟蹤系統(tǒng)采集攝像機的位置及透視數據，它通常被安裝在三角架或基座之上。為測量攝像機的鏡頭運動參數，需要在攝像機鏡頭上安裝附加裝置。聚焦 Focus 和變焦 Z00M 傳感器，附于鏡頭的聚焦齒輪和變焦齒輪處。這個裝置中包含有傳感器和有關電子裝置，稱為鏡頭運動參數編碼器。這是一種精確的旋轉編碼器。鏡頭 編碼器通過托架與鏡頭上變焦環(huán)和聚焦環(huán)的齒輪緊密咬合。當變焦環(huán)或聚焦環(huán)發(fā)生位置變化時，編碼器能夠檢測出上、下、左、右擺動的細微角度并將其編碼輸出。信息數據通常通過一些串行接口類型如 RS232 或RS422 傳送給計算機。 攝像機的地面位置 X、 Y 也可用類似的編碼器方式測量，即用相應的傳感器檢測攝像機的運動，并對其參數值進行編碼。 X、 Y 跟蹤器傳感攝像機全方位的信息，可以裝在滑軌或升降架上。 新奧特 (北京 )視頻技術有限公司 China Digital Video (Beijing) Limited 虛擬演播室 系統(tǒng)方案 利用機械跟蹤方式克服了圖形識別方式的缺點，有許多優(yōu)點，主要有： 測量攝像機參數可以達到非常精確，旋轉角度可以達到 176。，移動距離可以達到 1 毫米的精確度，數據處理時間短。 ① 單顏色藍背景，無需用戶繪制背景墻，很容易照亮藍色背景而不用擔心照亮網格。攝像機運動不受限制，因此允許攝像機有更好的拍攝角度。演員在藍色舞臺范圍內可以任意速度自由活動，不受限制。 ② 跟蹤數據沒有延時。攝像機可以 60Hz 速率進行搖移、俯仰及變焦，無需額外的工作站處理跟蹤信息。 ④在合成拍攝過程中可以很容易處理陰影，無需進行額外的修補不足之處。 . 虛擬場景生成系統(tǒng) 虛擬演播室的場景是由專業(yè)軟件創(chuàng)作的二維或三維圖形 CG（ Computer Graphics），即虛擬場景。 虛擬演播室的場景是高性能的圖形工作站繪制的圖形，高性能的圖形工作站繪圖有二維和三維之分，因而虛擬場景也有二維和三維之分，二維場景沒有厚度，只是一個平面圖形，所以二維虛擬場景只能作為背景平面，出現在真實人物的后面，而三維虛擬場景中的景物具有 Z 方向的厚度，是立體的，以背景中的一個長方體為例，長方體是一種六面體，其底面和背面一般是看不見的。然而隨拍攝角度的不同，有可能看見其正面，側面和頂面。因此在高性能的圖形工作站中，其正面、側面和頂面的圖像都分解為像素的形式，保存在存儲器中 ，當攝像機處于任意的角度位置時，高性能的圖形工作站即進行計算，獲得相應的畫面。同時，三維的場景中，虛擬景物既能作為真實人物的前景出現，也能作為背景出現如圖，這樣在視覺效果上更具縱深感，更加真實。顯然對于圖形工作站的運算能力、運算速度提出了很高的要求。當然還必須進一步考慮許多細節(jié)問題，比如燈光和陰影的問題，當攝像機改變其取向位置時，根據照明條件，陰影部分將發(fā)生相應的變化，背景畫面應該能夠反映出這種變化。 新奧特 (北京 )視頻技術有限公司 China Digital Video (Beijing) Limited 虛擬演播室 系統(tǒng)方案 視頻合成系統(tǒng)； 虛擬演播室系統(tǒng)視頻合成的基本技術是色鍵摳像，攝像機拍攝的藍箱前的真實景物：通過色 鍵器進行摳像處理，與高性能的圖形工作站生成的虛擬場景合成一個畫面。那么在進行合成是需要考慮兩方面的技術： (1)深度合成技術 虛擬演播室的一個基礎就是前景和背景合成的時候，前景的演員可以被背景的內容覆蓋，同時為了豐富畫面的拍攝效果，還需要考慮虛擬物體的遮擋效果，這一般都采用深度合成技術。所謂深度就是虛擬物體與實際演員的前后遮擋關系，這一種技術要考慮兩路鍵信號的深度信息，就可以讓背景的內容在演員前面。這不同于二維圖像的層技術。因為是三維圖像的各像素都帶有深度信息，而且各像素還有與攝像機的距離的信息，由這兩部分 的信息決定前景和背景的像素的可見性。這樣就可以實現虛擬場景的遮擋效果：使主持人可以自由的在虛擬場景中的虛擬物體之間穿越，大大豐富了拍攝和畫面的表現手法。 (2)同步技術 . 要使攝象機的前景畫面和虛擬場景天衣無縫的合成，需要讓虛擬演播室系統(tǒng)中所有的設備接受外同步鎖定，這樣才能保證在進行實時合成時， 高性能的圖形工作站根據傳感系統(tǒng)的參數變化實時提供相應的虛擬場景，并與攝象機前景信號精確同步合成。 新奧特 (北京 )視頻技術有限公司 China Digital Video (Beijing) Limited 虛擬演播室 系統(tǒng)方案 第六章 虛擬演播室技術 虛擬演播系統(tǒng) 是 新奧特公司精心 打造的全新一代虛擬產品，是新奧特公司結合三維虛擬演播室技術、三維圖文技術、 數據庫技術， 在 新奧特 虛擬演播室基礎上開發(fā)的全新一代高性能、高穩(wěn)定性的三維虛擬演播室系統(tǒng)，突破原有虛擬演播室在渲染能力和質量上的限制，實現了質的飛躍 。 Mariana .VS 系統(tǒng)的“十大獨有核心技術” : . 創(chuàng)新技術、自主產權、高端高效渲染引擎： 渲染引擎是圖形圖像處理的核心和基礎， Mariana 三維渲染引擎是采用 GPU高級編程語言開發(fā)的全新的三維渲染引擎，也是國內唯一擁有自主知識產權的三維渲染 引擎技術的公司。 Mariana 三維渲染引擎 充分利用了 GPU 在浮點運算、并行運算、高效紋理處理、向量運算方面的能力實現絢麗的圖文效果， 為三維圖形、圖像處理提供強勁的實時渲染動力，可以充分發(fā)揮高端圖形加速卡 GPU 可編程渲染管線特性，渲染能力得到質的提升和飛躍。 . 高質量的渲染效果： 對場景元素的渲染： 構建在 Mariana渲染引擎基礎上的 關鍵技術，使其在三維渲染的效果、質感和效率上取得了突破性、跳躍性的提升。能夠逼真的描繪出物體的凹凸貼圖、 片段光照、紋理材質、高光反射等細膩真實的效果， 系統(tǒng)出色的質感、光感、動感和實時渲染能力為節(jié)目制作質量的提升奠定了良好的技術基礎。 對視頻的高畫質渲染： 虛擬演播室系統(tǒng)采用精密的反走樣和多種紋理處理渲染算法，以及基于像素處理特效的渲染流水線，提供對視頻高清晰、高畫質的渲染效果。 支持高清實時渲染： 虛擬演播室系統(tǒng) 支持常用的 fp16/fp32 的紋理格式 ， 并支持 新奧特 (北京 )視頻技術有限公司 China Digital Video (Beijing) Limited 虛擬演播室 系統(tǒng)方案 fp16 格式的混合和濾波操作 ，從真正意義上實現高動態(tài)光照渲染（ HDR）。 并且Mariana 渲染引擎（ ）通過高效內部指令能實現 高清實時渲染以及 標清向高清的平滑過度。 智能識別快速定位跟蹤技術： Mariana. VS 系統(tǒng)采用自主研發(fā)的智能識別分析算法，真正實現快速高精度初始化定位。同時，該傳感定位技術充分考慮到鏡頭的變焦、聚焦以及鏡頭非線性誤差對定位的細微影響，采用精確的圖形處理和擬合算法，可以精確的隨著攝像機的俯仰、平搖和變焦的變化，實時生成相應的虛擬場景。 多元素、多圖層可選擇性跟蹤技術： 系統(tǒng)采用自主研發(fā)的傳感跟 蹤分析算法，可以提供場景或場景中的物體，如：臺標、公告板、電視墻、三維數據圖表等選擇性跟蹤，使其可以跟隨攝像機傳感跟蹤同步運動，也可不跟隨攝像機傳感跟蹤運動，大大豐富了拍攝手段和效果，讓節(jié)目更具表現力