【文章內容簡介】 根據自己的喜愛來切換顯示方式 [11]。 縱觀可視電話的發(fā)展歷史，大致分為三個階段，第一階段是可視階段。首先我們要討論電話的發(fā)明，電話是美國人貝爾于 1876 年發(fā)明的，當時電話的功能只是完成了語音的傳輸，只能聽見對方的聲音卻看不見對方。從那時起，能遠距離看到對方這個需求就一直是人類追求的夢想。直到 1964 年，美國貝爾實驗室首先研制成功呢了 PicturePhone I，即靜止黑白圖像電話，但由于當時的設備的落后，以及圖像船速技術和視頻壓縮技術發(fā)展的緩慢，可視電話一 直沒有很大的提高。直到1992 年，美國 ATamp。T 公司推出了全彩色可視電話機，該電話機的主要發(fā)展是可在普 2 通電 話線上傳送 10 幀每秒的彩色圖像，但因為視頻壓縮技術這個問題沒有改善，使得彩色可視電話機在價格上一直居高不下，導致市場不能接受。 1996 年底，國際電訊聯(lián)盟制定了在普通電話網上的可視電話標準，即 ，這個標準的制定給可視電話系統(tǒng)的發(fā)展帶來了質的飛越。它解決了各公司之間產品不能互通這個問題，使可視電話成為了通訊領域中的一個新熱點?，F在市面上的可視電話主要可分為兩種，一種是由電話、監(jiān)視器、帶攝像頭的 壓縮解壓縮主機組成的系統(tǒng)，但是這種方式使可視電話系統(tǒng)擺放的體積非常大，線路非常多，對于攜帶和操作有著很多的麻煩。另一種是具有攝像頭、顯示器、電話功能的一體機系統(tǒng)，這種方式的可視電話體積之比普通電話機略大，攜帶非常方便。另外因其線路很少，操作也變得非常簡單，因此第二種方式廣泛使用在現有的應用中?，F有的可視電話具有的主要功能是圖像可視且動作連續(xù)，聲音與圖像可以同時傳遞與接收，實現了百年來人類對于聞其聲、觀其容的夢想。但是，由于技術和設備的緣故，可視電話系統(tǒng)也同應該能存在著一些問題，比如動作快時的可視握手時間長和 馬賽克現象等。相信隨著通訊網絡設備的不斷提升和該著，會使可視圖像質量更高，達到電影或 HDTV 的效果。 第二階段是可視信息平臺。可視電話系統(tǒng)出了能看對方容貌，聽對方聲音，同時也要具備手機的短信功能，電子郵件功能等的網絡功能，這就要求可視電話能夠上網。隨著電話的使用和提升，使得可視信息平臺發(fā)展有了良好的基礎。使得可視電話兼容了許多的網絡功能，比如發(fā)送電子郵件，進行網上交流，查看天氣信息，股票信息，交互式游戲，看電話等等。目前，可視電話發(fā)展的趨勢任是電腦，電話，電視三機合一的智能機，這為可視信息平臺提供了發(fā)展的條 件。 第三階段是遠程監(jiān)控階段。 1996 年年初，美國微軟公司提出了智能屋的概念：任何家庭設備都可以通過輸入指令來進行遠程監(jiān)控。智能屋的概念也可以擴展到辦公、倉庫等的中央控制中，使用戶能在任何地方撥電話檢查室內情況，并進行遠程控制?，F在，可視電話進行遠程遙控這一目標已經在慢慢實現，一些產品已經具備了此功能。隨著可視電話的不斷進步，科學技術和網絡媒體的不斷發(fā)展，可視電話功能以及遠程遙控必將有新的提高。 研究內容和目的 內容：基于 ARM9 的可視電話系統(tǒng)的設計與實現。其構成有 SAMSUNG 的 S3C2440 ARM9 開發(fā)板（帶 1 個 接口、帶音頻輸入 \輸出接口、以太網接口、 LCD 液晶屏接口、觸摸屏接口、 SD 卡接口、帶蜂鳴器），攝像頭模塊組成，上電后兩端都處于接收信號狀態(tài)，用戶通過不用的指令輸入可以完成視頻通話，發(fā)信息，錄音，畫圖，瀏覽圖片等功能。系統(tǒng)實現的具體功能有以下種： 1）具有良好的用戶交互界面。 2）具有本地終端設備掃描功能，可獲取在線設備的 IP地址，昵稱及狀態(tài)等 。 3 狀態(tài)分為：空閑、忙碌、離開、自定義等 。 3）可根據 IP地址進行拔號，需要考慮遠端狀態(tài)，遠端狀態(tài)為忙，無法拔號。 4）可以單獨進行語音通 信，也可語音視頻同時通信。 5）具有短信功能，短信無視對方狀態(tài)。收到短信的一方，提示信息（包括遠端 IP，遠端昵稱），并可通過命令查看短信。 6）所有來電、去電，短信往來，都需要有日志文件保存到文件，保存時需要有 時間、遠端信息等一些提示信息。并可通過命令查看歷史記錄。 7) 具有錄音功能，錄音時間由用戶控制 。 8) 具有瀏覽圖片和畫圖功能 。 本文的設計的目的：查閱期刊文獻，了解 ARM9 的工作原理，深化對大學所獲知識的理解。制作一個基于 ARM9 的可視電話系統(tǒng)，增強對 ARM9 系統(tǒng)構建的理解并加入到實際運用 當中，最終實現以上功能。從中學習了 Linux 虛擬機與 Xshell 等相關軟件應用，提升繪圖及編程能力。 小結 本章主要是闡述本課題研究的背景及意義、本課題研究的現狀和發(fā)展趨勢以及本課題的研究內容和目的。 4 2 多媒體通信協(xié)議研究 IP 電話的標準 IP 電話相關的國際標準化組織 IP電話有一個國家標準組織，主要有幾部分組成，分別是國際電信聯(lián)盟電信標準部 (ITUT)、歐洲電信技術標準所 (ETSI)、英特網工程任務組（ IETF)、國際多媒體電視會議聯(lián)合會（ IMTC）和 INOW[5]。 (1)ITUT 國際電聯(lián)是世界上比較有權威性的制定通信標準的公司，其第 16 研究組已經制定了 協(xié)議，并且該協(xié)議已經廣泛應用在了計算機業(yè)、電信業(yè)。另外， ITUT第 16 研究組已經開始制定研究 。 (2)ETSI TIPHON 項目組主要研究業(yè)務互操作、網絡結構、編號和尋址、服務質量等方面。研究這些方面的目的在于使電信和互聯(lián)網技術相結合。同時 TIPHON 項目組提出了 IP 網上傳輸語音的標準并將此研究過程分為四個階段，第一階段的重點是由 IP 網到電路交換網絡，第二階段的重點是電路交換網到 IP 網，第三階 段的重點是電路交換網通過 IP網至電路交換網，第四階段的重點是 IP 網電路交換網至IP網。 (3)IMTC 和 IETF 國際多媒體電視會議聯(lián)合會（ IMTC）由大約 140 個成員組成，是一個不以盈利為目的的組織。目前 IMTC 與 ETSI TIPHON 相合作來一起研究互通問題，研究此問題用來保證設備的互操作性；另外， IETF 中的 IPTEL、 PINT、 MEGACO等研究組正在研究 IP電話的新協(xié)議使得 IP 電話有著更好的技術。 (4)INOW 是有 ITXC 發(fā)起的。 ITXC 擁有一個覆蓋全球的 IP 電話網，是一個 IP電話業(yè)務批發(fā)商。目前 ， ITXC 已經建立了 127 個網關接入點。 IP 電話相關協(xié)議標準 1990 開始，互聯(lián)網有了迅猛的發(fā)展，分組話音業(yè)務也由此有了很大的發(fā)展前景。各廠商著眼于這個發(fā)展前景，積極推動 IP 電話的標準化進程。共同制定了 IP電話相關的協(xié)議。 協(xié)議介紹及組成 協(xié)議介紹 ITUT 制定的 標準所具有的功能是在分組網上提供實時音頻、視頻和數據通信，目前被認為是最成熟的協(xié)議。 ITU 推出的 的第一版和第二版，其目的是保證 QOS 的分組交換網絡上展開多媒體會議。 制定的無 QOS（服務質量）的分組網絡 PBN（ packet Based Networks）上的多媒體通信系統(tǒng)標準主宰了當今的桌面系統(tǒng)。因此， 標準為多種平臺上的多媒體通信應用提供了技術基礎和保障。 。 5 其中， ， ， ， 分別是 NISDN 上， BISDN 上，有服務質量保證的 LAN 上， GSTN 和無線網絡上進行多媒體通信的標準。 若和其他的 IP 技術相結合，就可以實現網絡的多媒體通信。另外 IP over SDH/SONET、 IP over ARM技術正在快速的發(fā)展以及 LAN 寬帶的不斷提高，使得基于 IP 的 LAN 正變得越來越強大。 體系結構 標準具備終端設備、視頻、音頻、數據傳輸、通信控制、網絡控制接口、組成多點會議的多點控制單元（ MCU）、多點處理器（ MP）、多點控制器（ MC）、網關以及關守等設備。標準中的概念 “ 域 ” 是有一個關守管理的網關、多點控制單元（ MCU）、多點控制器（ MC）、多點處理器（ MP）和所有終端組成的集合。其中終端、網關、多點控制單元（ MCU）是 中的終端設備，是網絡中的邏輯單元。 標準包括了 終端與其它終端之間的、通過不同網絡的、端到端的連接。見圖 基本協(xié)議圖： 圖 . 基本協(xié)議圖 為基于網絡的通信系統(tǒng)定義了四個主要的組件：終端（ Terminal）、網關（ Gateway）、關守（ Gatekeeper）、多點控制單元（ MCU）。系統(tǒng)控制單元由三個部分組成： 控制， 呼叫控制和 的 RAS 控制。 控制管道承載管理 系統(tǒng)的操作中，終端到終端 的控制消息。 6 圖 . 協(xié)議終端構成 圖 所示為 終端的組成框圖，主要從發(fā)送端和接收端進行操作：在發(fā)送端獲取的視頻和音頻信號，編碼器壓縮后成為一定格式，通過網絡發(fā)送出去；在收端接收互聯(lián)網中的數據并且解壓，然后送入輸出設備，用戶數據和控制數據也得到了相應的處理。以上的功能包含的一些協(xié)議是視頻編解碼和音頻編解碼。 視頻壓縮 組成 協(xié)議時作為 ISDN 上視頻會議標準而設計得，它的設計最初是為了引入運動預測和塊傳輸等功能。它具有良好的圖像傳 送功能，主要定位于電路交換網絡上使用 [6]。 協(xié)議是一種新型的視頻編解碼協(xié)議，此協(xié)議使用戶可以擴展帶寬利用率。 協(xié)議具有非常好的靈活性，且具有節(jié)省帶寬和存儲空間的特性，因為此些特征使得 剛推出來就迅速地獲得了投資回報。 控制單元（ )協(xié)議的提出是為了保證 終端的正常功能而提供端到端的指令。 定義了請求、應答、信令和指示這四種信息，用來完成對通信的控制。 層：發(fā)送視頻、音頻、控制等數據，同時接收網絡上的數據。另外，還負責處理一些諸如加序列號、邏輯分幀 、錯誤檢測等功能。 組件： 終端是 定義的最基本組件。所有的 終端也支持 標準。 音頻編解碼是對音頻輸入源處進行編碼傳輸的功能，在輸出源處解碼后進行播 7 放。 支持的壓縮算法符合 ITU 標準。編碼器使用的音頻算法必須由 來確定。 視頻編解碼是在視頻源處將視頻信息進行解碼傳輸的功能，在接收端解碼后進行顯示。 、 等協(xié)議： 標準描述了 LAN 上媒體流的打包分組與同步傳輸機制。 將這些控制流輸出到網絡接口。 是一種 控制信道協(xié)議，控制 系統(tǒng)中的音頻、視頻等信息。 數據傳送 在數據傳送中，利用了連接的 TCP/IP 協(xié)議，控制信令和數據流來進行傳送。在 IP 傳輸中， IP 與 TCP 共同協(xié)作，完成穩(wěn)定的傳輸。音頻和視頻信息的傳輸采用了 TCP/IP，可以保證數據包傳輸時的流量控制、連續(xù)性以及正確性。 IP 傳輸的另一種方式使多播，是以 UDP方式進行不可靠多點廣播傳輸的協(xié)議。 RTP 工作于 IP 多播的頂層，用于處理口網上的視頻和音頻流，將一個包含時間戳和序號的報頭加在每個 UDP 包。若接收端配以適當的緩沖，那么它就可以種用時間 戳和序號信息 “ 復原，再生 ” 數據包、同步語音、記錄失序包、圖像和數據以及改善邊接重放效果。實時對控制協(xié)議 RTCP 用于 RTP 的控制。 RTCP 監(jiān)視服務質量以及網上傳送的信息，并定期將包含服務質量信息的控制信息包發(fā)分給所有通信節(jié)點。 音頻視頻編解碼 音頻和視頻編解碼是對音頻、視頻數據量的采集壓縮和解碼播放的功能。在 協(xié)議中規(guī)定，音頻和視頻數據量必須分裝在實時協(xié)議 RTP 中，編碼成功后，通過 sockek 創(chuàng)建的一個套接口來對其進行承載。 規(guī)定了其終端必須都要有一個語音編解器。 視頻特性 視頻編解碼大致分為兩種： 編解碼和 編解碼，其中 為必選項，而 為可選項。 (1) 視頻編解碼： ① 此編解碼的實現應符合 YD/T8221996 的規(guī)定。 圖像格式： 視頻編碼的圖像格式中 QCIF 為必選項， CIF 為可選項。 活動圖像：公共中間格式（ CIF）的大?。?288 行 *352 像素； ② 1/4 公共中間格式（ QCIF）的大?。?144 行 *176 像素。 ③ 圖像幀頻： QCIF：不小于 10幀 /秒； CIF：不小于 3 幀 /秒。 (2) 視頻編解碼： ① 該編解碼的實現應符合 GB/T18119 的規(guī)定。 8 ② 圖像格式： 視頻編解碼的圖像格式中 QCIF 為必選項， CIF 和 SQCIF為可選項。 ③ 活動圖像： 公共中間格式（ CIF）大?。?288 行 *352 像素； 1/4 公共中間格式（ QCIF）的大?。?144 行 *176 像素； 子 1/4公共中間格式（ SQCIF）的大?。?96行 *128 像素。 ④ 圖像幀頻： SQCIF：不小于 15幀 /秒； QCIF：不小于 10幀 /秒； CIF：不小于 3 幀 /秒。 音頻特性 (1)音頻編解碼 音頻編解碼應符合 的要求，支持兩種速率： 。 (2)話音質量的主管 性能評定 按照 建議，采用平均意見得分法，來評定話音質量，評定者的評分標準為 5到 1級。 (3)唇齒同步 在圖像格式為 QCIF 時，語音和唇形應無明顯的失步。 小結 本章介紹了 IP 電話相關協(xié)議的標準，并詳細地介紹了 協(xié)議的組成。本系統(tǒng)中主要運用了 G711 音頻編解碼， 視頻編解碼，通過 socket 創(chuàng)建 TCP 套接字發(fā)送視頻，音頻流，通過 socket 創(chuàng)建 UDP 套接字，并設置其屬性為廣播類型，通過廣播定時將本地信息（ IP 地址、昵稱、狀態(tài)等）發(fā)送給局域網中所有有效 IP地址 ,并本 地實時接收局域網中其它設備發(fā)來的廣播信息。 9 3 系統(tǒng)環(huán)境搭建及方案設計 ARM 微處理器核 ARM 微處理器包括下面幾個系列，以及其它廠商基于 ARM 體系結構的處理器，目前基于 ARM核的處理器主要有以下幾大類： (1)ARM7 ARM7 系列微處理器為低功耗的 32 位 RISC 處理器，應用于對價位和功耗要求較高的消費類。其指令系統(tǒng)與 ARM9 系列、 ARM9E 系列和 ARM10E 系列兼容，便于用戶的產品升級換代。 (2)ARM9 ARM9 系列微處理器包含 ARM920T、 ARM922T 和 ARM940T 三種類型， 這一系列的處理器主要應用于視頻電話，下一代手持設備產品，數字消費產品， PDA，家用網關等方面等。 (3)ARM9E ARM9E 使用單一的處理器內核提供了相關系統(tǒng)的解決方案，極大的減少了芯片的面積和系統(tǒng)的復雜程度。 ARM9E 提供了增強的 DSP 處理能力，應用與 DSP 和微控制器共同使用的場合。 (4)ARM 10E ARM10E 具有高性能、低功耗的特點，與 ARM9 器件相比較，性能提高了 50 %。 (5)SecurCore SecurCore 的設計是為了安全著想，具有 32 位 RISC 技術， SecurCore 具有 A低功耗、高性能外，還提供了對安全解決方案的支持。 (6)StrongARM Intel StrongARM SA1100 處理器是采用 ARM體系結構高度集成的 32 位 RISC 微處理器。它采用兼容 ARMv4 體系結構、并采用具有 Intel 技術優(yōu)點的體系結構。 Intel StrongARM 處理器已成功應用于多家公司的掌上電腦系列產品。 (7)Xscale Xscale 處理器是一款全性能、高性價比、低功耗的處理器。它支持 16 位的 Thumb 指令和 DSP 指令集，已使用在數字移動電話、個人數字助理 和網絡產品等場合。 Xscale 處理器是 Intel 主要推廣的一款 ARM 微處理器。 綜合價格、速度等各方面性能的比較，本論文選擇了基于 ARM9 核心的微處理器作為開發(fā)平臺。目前市場上主流的 ARM 微處理器基本上都是 ARM7 和 ARM9。在性能上兩者有一定的差異，這種差異也為用戶提供不同的需求。 ARM9 與 ARM7 相比，最顯著的提升是流水線從 3 級增加到了級。 ARM7 的流水線操作如圖 所示： 10 圖 . ARM7 流水線操作 到 ARM7 之前， 3級流水線在總體的性價上很高，但是隨著技術需求的不斷加強，3級流水線已無法滿足快速性的需要，因此 ARM9 采用 5級流水線。增加了緩沖和回寫這兩個級別，具體如下 : 1) 取址：從寄存器中取出指令，并將其放入指令流水線。 2) 譯碼：對指令進行譯碼。 3) 執(zhí)行：把一個操作數移位，產生 ALU 的結果。 4) 緩沖 /數據：如果需要，從數據存儲器訪問，否則就單單緩沖 1 個時鐘周期。 5) 回寫：將指令產生結果寫回寄存器堆中，包括任何從寄存器中讀取的數據。 ARM9 的流水線操作如圖 所示： 圖 . ARM9 流水線操作 ARM 板環(huán)境搭建 本次項目設計使用了天嵌的 TQ2440 開發(fā)板 使用 HJtag 燒寫 UBoot 到 Nand Flash (1)HJtag 的設置 Step雙擊打開 HJTAG 圖標，點擊 “close” 選項，進入下面的界面，見圖： 11