【文章內(nèi)容簡介】 的基本需求。對于 FFmpeg的平臺移植，也有相應的簡介和平臺搭建方法，而且也有許多人在此基礎上進行過開發(fā)，有相 對成熟的經(jīng)驗。不足的是，網(wǎng)上可利用的資源不多，許多問題的研究并不見得深入。 對于 PC端的視頻數(shù)據(jù)獲取和播放，使用的是 SDL的三方庫。現(xiàn)在 官方也發(fā)布 版本，對于老式的 vfw 攝像頭驅動和現(xiàn)在較多的 directshow 都有較好的支持，網(wǎng)絡上也有相應的基礎應用的示例，包含對應的事件機制和緩沖刷新機制，能夠基本滿足攝像頭視頻獲取相應的功能。 視頻數(shù)據(jù)的傳輸是基于 TCP 協(xié)議的 socket 套接字的一個傳輸方式，這種方式適用于建立長時間的連接，而且數(shù)據(jù)傳輸相對有保證，通常是應用于即時傳輸。這類數(shù)據(jù)傳輸協(xié)議和傳輸方法，已 經(jīng)有了較成熟的示例，但是要根據(jù)不同的應用來加以更改， 理解對于流數(shù)據(jù)的處理機制，才能更好的應用。 手機終端視頻解碼的處理和播放，是基于 FFmpeg 的方式進行，由于Android 平臺近年來才興起，對于 FFmpeg 的移植有先例，但是并不是完全的成熟，有許多的問題有待解決。作為開發(fā)者，這一方面網(wǎng)上的資源可謂也少了許多。 至于 Android前端界面的編寫，現(xiàn)在已經(jīng)是發(fā)展到了相當成熟的階段，幾乎能夠滿足所有應用的一種移植所需的前端設計。 本系統(tǒng)的應用現(xiàn)狀 本系統(tǒng)的主要應用 更加趨向于視頻監(jiān)控方向，由于采集端是基于 PC 的攝像頭，可能要真正進行應用的話，還需要一定的改進。目前基于 Android移動終端 第 4 頁 共 39 頁 的視頻監(jiān)控還不常見，大多數(shù)都是基于 PC 的一個視頻監(jiān)控，并沒有將視屏傳輸?shù)椒掌?，與移動終端進行一定的交互，將視屏實時傳輸?shù)揭苿咏K端。而大多數(shù)的攝像頭的開發(fā)精力主要是集中在智能視頻監(jiān)控方面，以及高清視頻監(jiān)控方面。少有對移動終端方面的視頻監(jiān)控進行研發(fā)。 本系統(tǒng)研發(fā)成功后，在以后的智能家居這方面，對于私人的視頻監(jiān)控的應用有著廣闊的空間。 特別是在人們外出時，依舊可以在有網(wǎng)絡的情況下，對家中的一些情況進行監(jiān)視和查看。例如：防止有陌生人物侵入自己 的房間。家中小孩遇到的突發(fā)情況。配合紅外感應及時查看 和預防 家中可能出現(xiàn)的火災。 若攝像頭的安裝方便，還可以根據(jù)自己的需求對于一些需要觀察監(jiān)視的物品進行實時查看。 本課題研究的意義 本系統(tǒng)的研究，致力于將視頻監(jiān)控變得跟加方便化，人性化。在于傳統(tǒng)意義上的 PC 視頻監(jiān)控上，增加了服務器存儲， 以免重要的視頻信息遺漏、丟失。而且可以同步實時傳輸?shù)綄?移動終端。夠跟加方便人們出行時對于房屋、車庫或者自己所重視的東西進行一個實時視頻查看的效果。能夠使人們更加快捷的對危險情況進行反應和處理，保障人們財產(chǎn)和生命安全。與此同時， 又不會極大的約束人們的生活節(jié)奏和工作活動，與智能家居進行配合合作， 在智能家居進行一些數(shù)字化的檢測過后，由視頻數(shù)據(jù)來進行更加準確的判定。例如在有人進入你家中的時候，在智能家居感應到時，你可以通過視頻數(shù)據(jù)來判定是否是你的家人，還是外來入侵者。這些與此相近的一系列的應用 能更加方便人們的生活 ，保障人們的財產(chǎn)。 本課題的研究 方案 本系統(tǒng)在設計之前， 對設計方案有過初始簡單的了解和建立， FFmpeg 是個成熟穩(wěn)定的三方開源庫，而且支持攝像頭視頻提取功能。并且可以通過 Jni 與Java通訊，能很好的移植到 Android上。 總 體來說，這個方案 的可行性更加高，而且 和實際的需求有很高程度上的契合度，也依舊有一些缺陷和不足有待改進和優(yōu)化。 前人已實現(xiàn)方案 Anychat 即時通訊平臺，是一套 基于 相對成熟 的即時通訊視頻解決方案，而且可以更好的融合不同平臺之間的通訊。 針對的主要是視頻網(wǎng)絡視頻聊天和視頻游戲一類的需求開發(fā)的一套實現(xiàn)方案。 其中也是基于第三方的開源技術進行開發(fā)的。其中包含了 FFmpeg、 libvpx、 libspeex、 webrtc。 在視頻壓縮編解碼方面是基于 的視頻編碼標準、 AAC 音頻編碼標準和 P2P 技術。其中包含了音視頻 處理模塊、流媒體管理模塊、流媒體播放模塊以及 P2P 網(wǎng)絡模塊。對于底層的硬件操作比如音視頻采集、播放和流媒體處理比如音視頻的編碼解碼等 第 5 頁 共 39 頁 非常專業(yè)的技術都進行了封裝。只為上層提供了對應的 API 接口，方便開發(fā)者進行調用。 但是由于此系統(tǒng)主要是針對上層進行開發(fā)，重點突出的是跨平臺。更多用于大型的視頻實時通訊的一種解決方案，并且它對于底層的操作都進行了封裝， 在本系統(tǒng)的開發(fā)中自由度受到了限制。 另一種實現(xiàn)方案相對 與 anychat 來說，沒有那么多現(xiàn)成的功能較為豐富的API接口，但是提供了更多在 基本音視頻處理方面 的 API接口。 比如圖像縮放具體實現(xiàn)，每一幀視頻數(shù)據(jù)的提取處理一類的。 具體是 用 FFmpeg獲取視頻并進行壓縮轉碼，自行編碼服務器，進行數(shù)據(jù)實時傳輸，移動終端基于 Android 或者iOS 對 Ffmpeg 又 進行平臺移植，自己編碼實現(xiàn)視頻數(shù)據(jù)的解碼，并用自帶的視頻顯示 控件 進行播放。 這一種實現(xiàn)方式是在網(wǎng)上看到的一些分塊的設計自行組合而成的，這個方案只是有人提出可以實現(xiàn)，但是并沒有相關的源碼。但是FFmpeg 對視頻數(shù)據(jù)的獲取，編碼壓縮技術基本已經(jīng)成熟，而且也有相對應參考文獻。關于 FFmpeg在移動平臺的移植技術也有先例，但是技術還并不 成熟。這里面也有關于 C 和 Java 之間的數(shù)據(jù)傳輸問題，大多使用的都是 Jni 進行接口調用，也有許多的參考資源。 兩種方案比較， anychat開發(fā)更為簡單快捷。比如使用 anychat進行視頻攝像頭調用，僅僅需要一個函數(shù) BRAC_SetVideoPos 就可以啟用攝像頭，里面已近具體實現(xiàn)了攝像頭類型檢測，驅動監(jiān)測和攝像頭開啟等工作。其他的功能也相對于 FFmpeg 來說，又進行了豐富和集成。而且 anychat 還擁有一套的 sdk 可供不同平臺開發(fā)，免去了跨平臺的移植麻煩，也提供了對應的服務器開發(fā)方案，用此來搭建服務器。但是， anychat 比較 FFmpeg 封裝的較多，遇到問題不能直接看源碼實現(xiàn)，而且它支持的音視頻解碼器比 FFmpeg 少了許多 。 這就使得使用anychat 的自由度少了許多。 其實 anychat 也就是基于 FFmpeg進行開發(fā)的， 并且相比 FFmpeg，開發(fā)文檔和相關開發(fā)資料也少了許多。 基于自由度 、代碼開放度、開發(fā)資料的豐富程度選擇使用 FFmpeg 對應的方案。 本系統(tǒng)使用方案 本系統(tǒng)由于相對接近底層，也就并沒有采用第一種 Anychat 的方案，Anychat 是一種已經(jīng)實現(xiàn)和封裝好的即時通訊平臺，更加針對的是上層開發(fā)。也就采用了 第二種實現(xiàn)方案，本系統(tǒng)也在此基礎上進行細節(jié)性的更改，使其更加適合本項目的開發(fā)。 本系統(tǒng)的方案具體為使用 FFmpeg來對視頻數(shù)據(jù)進行獲取、編碼、壓縮。由于此三方庫相對比較成熟，而且功能強大，網(wǎng)上資源較為豐富。但是想要靈活運用比較困難。使用 SDL 三方庫來對視頻攝像頭的硬件驅動進行檢測，能夠有效的運行對應的驅動來進行視頻數(shù)據(jù)的獲取，并且對已經(jīng)解碼好的視頻數(shù)據(jù)進 第 6 頁 共 39 頁 行播放。由于 SDL 有消息機制以及緩存刷新機制，對于視頻的播放相對也比較流暢，對于基本的攝像頭驅動也能很好的支持，是相對理想的選擇。在數(shù)據(jù)傳輸方面， 使用的是基 于 TCP 協(xié)議的 Socket 套接字來進行數(shù)據(jù)是實時傳輸，這種方式適用于建立長時間的連接，而且數(shù)據(jù)傳輸相對有保證，通常是應用于即時傳輸。由于 C 和 Java之間要建立通訊連接，故采用 Jni 技術來進行接口的調用，這種調用方式能夠很好的支持字節(jié)、數(shù)組、對象等基本數(shù)據(jù)的參數(shù)傳遞和返回，也能實現(xiàn) C 對 Java 函數(shù)的調用，以及回調。 由于是基于 FFmpeg 的視頻壓縮處理，在 Android 移動終端使用的也是基于 FFmpeg 的三方庫視頻解碼，和Android 自帶的視頻播放控件。 方案的確定及其優(yōu)缺點 優(yōu)點：本系統(tǒng)的這套方案，每一個部 分清晰明了，恰 到好處的實現(xiàn) 了對應的功能。 FFmpeg 是專門針對視頻數(shù)據(jù)進行處理的， 支持許多的編解碼方案，性能穩(wěn)定， 而且基于 C 有更高的效率。 SDL(Simple DirectMedia Layer)也是個簡單的三方庫， 專門針對視頻圖像和音頻圖像的輸出，而且能夠對攝像頭驅動進行有效的檢測和調用。對應的服務器使用的是 Socket 套接字，相對于 URL 和webserver 這類的通訊方式，這種方式更加適合于長連接和即時通訊，而且數(shù)據(jù)也有所保障。基于 Android 的移動終端，現(xiàn)在 Android 手機的使用也很廣泛，開發(fā)技術 也相對成熟，支持很多功能的實現(xiàn)，是個較為方便和成熟的平臺。 缺點： 由于運用了 Jni 對 Native 進行了調用，在系統(tǒng)的穩(wěn)定性和安全性上并沒有那么可靠 。 全文結構 第一章，引言部分 ，大致介紹了本系統(tǒng)的課題背景，現(xiàn)階段國內(nèi)外的研究現(xiàn)狀，本系統(tǒng)實現(xiàn)的方案選擇以及其優(yōu)缺點。 第二章，系統(tǒng)概要設計，簡單介紹了本系統(tǒng)的結構框架，展示系統(tǒng)結構框架圖，以及系統(tǒng)所需求的結構、功能、性能等各方面的設計簡潔。 第三章，系統(tǒng)詳細設計， 是本論文的重點部分。 詳細的介紹了 本系統(tǒng)的 每個 部分的詳細設計，設計框架結構，數(shù)據(jù)詳細設計說明等 。 其中附 有詳細的結構圖和對應的關鍵源程序代碼。 第四章，是在本系統(tǒng)的開發(fā)過程中所遇到的一些比較有代表性的問題以及其解決方案，當然也有尚未解決的問題。 第五章，是對本系統(tǒng)的 測試分析，主要是在本系統(tǒng)開發(fā)中的一些測試，及開發(fā)完成后完善的一些測試。 本章小結，此章的重點就是在系統(tǒng)的總體簡介之前對其課題背景的一個描述，和對當前相關技術的一個大致了解 。這其中大多數(shù)是從書籍、網(wǎng)絡上了解 第 7 頁 共 39 頁 的知識，對于本系統(tǒng)的大體設計有著很大的幫助。除此之外，還學習了其他與視頻通訊相關的知識，有助于其他開發(fā)者的參考，也幫助我更加完善和改進自己的設計。 2 系統(tǒng)概要設計 系統(tǒng)框架結構 系統(tǒng)框架結構主要是通過 PC 采集視頻， 由 服務器進行同步傳輸， 再通過Android 手機端進行播放。 其結構框圖如下 圖 21： 服 務 器 確 認 數(shù) 據(jù) 接 收 并 傳 輸P C 端 獲 取 攝 像 頭 數(shù) 據(jù) 并 編 碼手 機 端 播 發(fā) 視 頻 數(shù) 據(jù)顯 示 獲 取 的 數(shù) 據(jù)連 接 成 功 后 將 數(shù) 據(jù)傳 輸 至 服 務 器第 一 次 連 接 服 務 器確 認 移 動 終 端 與 服務 器 的 連 接連 接 成 功 后 將 數(shù)據(jù) 接 收 到 移 動 終端第 一 次 連 接 服 務 器確 認 P C 端 與 服 務 器的 連 接手 機 端 接 收 視 頻 數(shù) 據(jù) 解 碼圖 1 系統(tǒng)框架結構圖 下面是與之對應的功能結構框架圖： 第 8 頁 共 39 頁 視 頻 實 時 傳 輸 服 務 器 A n d r o i d P C 端 視頻數(shù)據(jù)獲取 視頻傳輸 攝像頭啟動 視頻數(shù)據(jù)解碼 視頻播放 數(shù)據(jù)接收 客戶端監(jiān)測連接 數(shù)據(jù)傳輸 服務器啟動 2 系統(tǒng)功能機構圖 系統(tǒng)需求分析 本小結主要是針對 系統(tǒng)的各個方面的性能進行一個相關的闡述，對于各個模塊功能的 大致需求。 本系統(tǒng)的運行環(huán)境硬件需求， win7的 PC電腦一臺， 支持 directShow 的視頻攝像頭，并且能夠正常的工作。 PC 端有對應的無線網(wǎng)卡，能夠產(chǎn)生一個良好的局域網(wǎng)。 本系統(tǒng)所需的軟件和其他條件， 使用本軟件的人能夠熟練的運用 PC 電腦和 Android手機，對于網(wǎng)絡也要有一方面的了解。在本系統(tǒng)運行之前，要對系統(tǒng)的局域網(wǎng) IP 進行查看，能夠獲取到對應客戶端的局域網(wǎng) IP 地址。而且本系統(tǒng)運行時，確認系統(tǒng)沒有其他軟件對 9876(自定義端口，可更改 )端口進行占用，如果有占用，要先解除占用，本系統(tǒng)才能夠正常運行。移動終端的 Android手機要基于 平臺以上，能夠正常工作的手機。 并且要先安裝本系統(tǒng)對應的Android 客戶端軟件。 系統(tǒng)功能模塊 本系統(tǒng)的功能需求，是實現(xiàn)在 PC 端的數(shù)據(jù)采集和數(shù)據(jù)編解碼 ，并且在客戶端進行顯示。獲取到數(shù)據(jù)編碼壓縮完畢后連接到服務器，進行數(shù)據(jù)的同步傳輸。在移動終端接收到數(shù)據(jù)過后進行解碼，而后由手機端進行同步播放。 在此分別給出三個大模塊對應的結構框架圖： 第 9 頁 共 39 頁 顯 示 器P C 主 機獲 取 b u f f e r 數(shù) 據(jù)傳 輸 到 服 務 器與 服 務 器 建 立 連接服 務 器監(jiān) 測 攝 像 頭型 號 ， 啟 動攝 像 頭數(shù) 據(jù) B u f f e r獲 取 視 頻 數(shù) 據(jù)進 行 編 碼 緩 存對 于 視 頻 數(shù)據(jù) 進 行 播 放線 程 二線 程 一 圖 3 PC端結構框架圖 啟 動 服 務 器并 初 始 化P C 端移 動 終 端等 待 客 戶 端的 連 接新 建 客 戶 端 進 程 并判 斷 客 戶 端 來 源新 建 讀 進 程 新 建 寫 進 程