【正文】 客 戶 端的 連 接新 建 客 戶 端 進(jìn) 程 并判 斷 客 戶 端 來 源新 建 讀 進(jìn) 程 新 建 寫 進(jìn) 程讀 取 P C 端 發(fā)送 來 的 數(shù) 據(jù)到 B u f f e r 中將 B u f f e r 中的 數(shù) 據(jù) 寫 入到 移 動(dòng) 終 端連 接 服 務(wù) 器 連 接 服 務(wù) 器P C 端 移 動(dòng) 終 端數(shù) 據(jù) B u f f e r 圖 4服務(wù)器結(jié)構(gòu)圖 第 10 頁 共 39 頁 服 務(wù) 器移 動(dòng) 終 端 啟動(dòng)連 接 服 務(wù) 器連 接 成 功獲 取 服 務(wù) 器數(shù) 據(jù)將 數(shù) 據(jù) 存 入B u f f e r數(shù) 據(jù) B u f f e r初 始 化 播 放控 件讀 取 B u f f e r 中的 數(shù) 據(jù) 播 放連 接 失 敗連 接 成 功 圖 5移動(dòng)終端結(jié)構(gòu)框架圖 系統(tǒng)數(shù)據(jù)傳輸 有關(guān)數(shù)據(jù)傳輸?shù)男枨?，主要是針?duì)數(shù)據(jù)傳輸?shù)耐叫院蛿?shù)據(jù)傳輸?shù)恼_性。獲取到數(shù)據(jù)編碼壓縮完畢后連接到服務(wù)器，進(jìn)行數(shù)據(jù)的同步傳輸。 并且要先安裝本系統(tǒng)對(duì)應(yīng)的Android 客戶端軟件。而且本系統(tǒng)運(yùn)行時(shí)，確認(rèn)系統(tǒng)沒有其他軟件對(duì) 9876(自定義端口，可更改 )端口進(jìn)行占用，如果有占用，要先解除占用，本系統(tǒng)才能夠正常運(yùn)行。 本系統(tǒng)所需的軟件和其他條件， 使用本軟件的人能夠熟練的運(yùn)用 PC 電腦和 Android手機(jī)，對(duì)于網(wǎng)絡(luò)也要有一方面的了解。 本系統(tǒng)的運(yùn)行環(huán)境硬件需求， win7的 PC電腦一臺(tái)， 支持 directShow 的視頻攝像頭，并且能夠正常的工作。 2 系統(tǒng)概要設(shè)計(jì) 系統(tǒng)框架結(jié)構(gòu) 系統(tǒng)框架結(jié)構(gòu)主要是通過 PC 采集視頻， 由 服務(wù)器進(jìn)行同步傳輸， 再通過Android 手機(jī)端進(jìn)行播放。這其中大多數(shù)是從書籍、網(wǎng)絡(luò)上了解 第 7 頁 共 39 頁 的知識(shí)，對(duì)于本系統(tǒng)的大體設(shè)計(jì)有著很大的幫助。 第五章，是對(duì)本系統(tǒng)的 測(cè)試分析，主要是在本系統(tǒng)開發(fā)中的一些測(cè)試，及開發(fā)完成后完善的一些測(cè)試。 其中附 有詳細(xì)的結(jié)構(gòu)圖和對(duì)應(yīng)的關(guān)鍵源程序代碼。 第三章，系統(tǒng)詳細(xì)設(shè)計(jì)， 是本論文的重點(diǎn)部分。 全文結(jié)構(gòu) 第一章，引言部分 ，大致介紹了本系統(tǒng)的課題背景，現(xiàn)階段國內(nèi)外的研究現(xiàn)狀，本系統(tǒng)實(shí)現(xiàn)的方案選擇以及其優(yōu)缺點(diǎn)?；?Android 的移動(dòng)終端，現(xiàn)在 Android 手機(jī)的使用也很廣泛，開發(fā)技術(shù) 也相對(duì)成熟，支持很多功能的實(shí)現(xiàn)，是個(gè)較為方便和成熟的平臺(tái)。 SDL(Simple DirectMedia Layer)也是個(gè)簡單的三方庫， 專門針對(duì)視頻圖像和音頻圖像的輸出，而且能夠?qū)z像頭驅(qū)動(dòng)進(jìn)行有效的檢測(cè)和調(diào)用。 方案的確定及其優(yōu)缺點(diǎn) 優(yōu)點(diǎn)：本系統(tǒng)的這套方案，每一個(gè)部 分清晰明了，恰 到好處的實(shí)現(xiàn) 了對(duì)應(yīng)的功能。由于 C 和 Java之間要建立通訊連接，故采用 Jni 技術(shù)來進(jìn)行接口的調(diào)用，這種調(diào)用方式能夠很好的支持字節(jié)、數(shù)組、對(duì)象等基本數(shù)據(jù)的參數(shù)傳遞和返回，也能實(shí)現(xiàn) C 對(duì) Java 函數(shù)的調(diào)用，以及回調(diào)。由于 SDL 有消息機(jī)制以及緩存刷新機(jī)制，對(duì)于視頻的播放相對(duì)也比較流暢，對(duì)于基本的攝像頭驅(qū)動(dòng)也能很好的支持，是相對(duì)理想的選擇。但是想要靈活運(yùn)用比較困難。 本系統(tǒng)的方案具體為使用 FFmpeg來對(duì)視頻數(shù)據(jù)進(jìn)行獲取、編碼、壓縮。 本系統(tǒng)使用方案 本系統(tǒng)由于相對(duì)接近底層，也就并沒有采用第一種 Anychat 的方案，Anychat 是一種已經(jīng)實(shí)現(xiàn)和封裝好的即時(shí)通訊平臺(tái)，更加針對(duì)的是上層開發(fā)。 其實(shí) anychat 也就是基于 FFmpeg進(jìn)行開發(fā)的， 并且相比 FFmpeg，開發(fā)文檔和相關(guān)開發(fā)資料也少了許多。但是， anychat 比較 FFmpeg 封裝的較多，遇到問題不能直接看源碼實(shí)現(xiàn)，而且它支持的音視頻解碼器比 FFmpeg 少了許多 。其他的功能也相對(duì)于 FFmpeg 來說，又進(jìn)行了豐富和集成。 兩種方案比較， anychat開發(fā)更為簡單快捷。關(guān)于 FFmpeg在移動(dòng)平臺(tái)的移植技術(shù)也有先例，但是技術(shù)還并不 成熟。 這一種實(shí)現(xiàn)方式是在網(wǎng)上看到的一些分塊的設(shè)計(jì)自行組合而成的，這個(gè)方案只是有人提出可以實(shí)現(xiàn)，但是并沒有相關(guān)的源碼。 比如圖像縮放具體實(shí)現(xiàn)，每一幀視頻數(shù)據(jù)的提取處理一類的。更多用于大型的視頻實(shí)時(shí)通訊的一種解決方案，并且它對(duì)于底層的操作都進(jìn)行了封裝， 在本系統(tǒng)的開發(fā)中自由度受到了限制。只為上層提供了對(duì)應(yīng)的 API 接口，方便開發(fā)者進(jìn)行調(diào)用。其中包含了音視頻 處理模塊、流媒體管理模塊、流媒體播放模塊以及 P2P 網(wǎng)絡(luò)模塊。其中包含了 FFmpeg、 libvpx、 libspeex、 webrtc。 針對(duì)的主要是視頻網(wǎng)絡(luò)視頻聊天和視頻游戲一類的需求開發(fā)的一套實(shí)現(xiàn)方案。 總 體來說，這個(gè)方案 的可行性更加高，而且 和實(shí)際的需求有很高程度上的契合度，也依舊有一些缺陷和不足有待改進(jìn)和優(yōu)化。 本課題的研究 方案 本系統(tǒng)在設(shè)計(jì)之前， 對(duì)設(shè)計(jì)方案有過初始簡單的了解和建立， FFmpeg 是個(gè)成熟穩(wěn)定的三方開源庫，而且支持?jǐn)z像頭視頻提取功能。例如在有人進(jìn)入你家中的時(shí)候，在智能家居感應(yīng)到時(shí)，你可以通過視頻數(shù)據(jù)來判定是否是你的家人，還是外來入侵者。能夠使人們更加快捷的對(duì)危險(xiǎn)情況進(jìn)行反應(yīng)和處理，保障人們財(cái)產(chǎn)和生命安全。而且可以同步實(shí)時(shí)傳輸?shù)綄?duì)應(yīng)的 移動(dòng)終端。 本課題研究的意義 本系統(tǒng)的研究，致力于將視頻監(jiān)控變得跟加方便化，人性化。配合紅外感應(yīng)及時(shí)查看 和預(yù)防 家中可能出現(xiàn)的火災(zāi)。例如：防止有陌生人物侵入自己 的房間。 本系統(tǒng)研發(fā)成功后，在以后的智能家居這方面，對(duì)于私人的視頻監(jiān)控的應(yīng)用有著廣闊的空間。而大多數(shù)的攝像頭的開發(fā)精力主要是集中在智能視頻監(jiān)控方面，以及高清視頻監(jiān)控方面。 本系統(tǒng)的應(yīng)用現(xiàn)狀 本系統(tǒng)的主要應(yīng)用 更加趨向于視頻監(jiān)控方向，由于采集端是基于 PC 的攝像頭，可能要真正進(jìn)行應(yīng)用的話，還需要一定的改進(jìn)。作為開發(fā)者，這一方面網(wǎng)上的資源可謂也少了許多。這類數(shù)據(jù)傳輸協(xié)議和傳輸方法，已 經(jīng)有了較成熟的示例，但是要根據(jù)不同的應(yīng)用來加以更改， 理解對(duì)于流數(shù)據(jù)的處理機(jī)制，才能更好的應(yīng)用?，F(xiàn)在 官方也發(fā)布 版本，對(duì)于老式的 vfw 攝像頭驅(qū)動(dòng)和現(xiàn)在較多的 directshow 都有較好的支持，網(wǎng)絡(luò)上也有相應(yīng)的基礎(chǔ)應(yīng)用的示例，包含對(duì)應(yīng)的事件機(jī)制和緩沖刷新機(jī)制，能夠基本滿足攝像頭視頻獲取相應(yīng)的功能。不足的是，網(wǎng)上可利用的資源不多，許多問題的研究并不見得深入。官方還有對(duì)于的動(dòng)態(tài)庫，開發(fā)包以及源碼下載，幾乎都能夠滿足開發(fā)者的基本需求。 本系統(tǒng)視頻編解碼是基于 FFmpeg 的三方庫，進(jìn)行編解碼的。軍事領(lǐng)域的應(yīng)用就跟加的復(fù)雜，技術(shù)難度也就越大。但醫(yī)學(xué)類的視頻圖像處理依舊還在發(fā)展中，使其能夠更加準(zhǔn)清晰的判斷病情。其次常見的就是醫(yī)療設(shè)備的視頻圖像處理，這類主要還是針對(duì)核磁共振，超聲波圖像這一類的醫(yī)學(xué)圖像處理。這類只是處理好視頻清晰度和網(wǎng)絡(luò)帶寬的問題，能夠清晰流暢的觀看視頻或者進(jìn)行視頻通話即可。 日常生活中的視頻應(yīng)用，莫過于在手機(jī)上、電視上或者電腦上觀看電視或 第 3 頁 共 39 頁 者電影?？梢哉f視頻技術(shù)的應(yīng)用幾乎涉及各個(gè)領(lǐng)域。對(duì)于算法，前端設(shè)備的依賴性比較大，目前也是處于研發(fā)優(yōu)化狀態(tài)。這些更多的是應(yīng)用 于嵌入式視頻處理的產(chǎn)品，以算法、結(jié)構(gòu)、硬件的優(yōu)化來提高視頻信息的處理，盡量使其更加自動(dòng)化、智能化，能更加快捷準(zhǔn)確的獲取某些有效信息。 這也就是現(xiàn)在發(fā)展比較火熱的智能視頻分析技術(shù)。這也算是現(xiàn)在高清視頻通話，高清視頻會(huì)議，以及其他高清視頻實(shí)時(shí)通訊的一個(gè)重難點(diǎn)所在。當(dāng)然將這些數(shù)據(jù)進(jìn)行下載存儲(chǔ)播放，并不是什么太大的難題。 高清視頻技術(shù)的發(fā)展多為高清 720p(HD)和全高清 1080P(FullHD)類型的攝像頭獲取的視頻數(shù)據(jù)，傳輸?shù)膸l為 25 幀 /秒，通常在經(jīng)過 或者 MPEG4等不同編碼格式的壓縮處理下進(jìn)行傳輸，碼率一般是在 420MB/S。 目前的視頻技術(shù)發(fā)展方向是更加高清，更加現(xiàn)實(shí)以及數(shù)字轉(zhuǎn)換。視頻通訊的相關(guān)協(xié)議的不斷成熟，以及編碼、信息壓縮技術(shù)和寬帶技術(shù)的不斷普及深化發(fā)展，使得現(xiàn)在的視頻通訊技術(shù)已經(jīng)達(dá)到了一個(gè)較為成熟的階段。 視頻技術(shù)發(fā)展現(xiàn)狀 網(wǎng)絡(luò)時(shí)代的不斷發(fā)展，網(wǎng)速的不斷提升，使得視頻技術(shù)也得到了不斷的提升和加強(qiáng) 。 而進(jìn)年來的移動(dòng)終端的流行，也推出了 FFmpeg對(duì)應(yīng)的移植方法，應(yīng)用技術(shù)也相對(duì)成熟。后續(xù)版本還提供了基于 Mozilla 和 Active X的插件，使其在 Mozilla 和 IE 瀏覽器中也能夠正常的顯示。 其中 VLC 是基于它而制作出來的一款比較成功的開源軟件，和 FFmpeg 一樣， VLC 也支持眾多音視頻解碼器及檔案格式，并支持 DVD、 VCD 及各類串流協(xié)定。其中包括韓國名軟KMPlayer，以及國內(nèi)的暴風(fēng)影音、 影音等軟件，也由此引發(fā)了許多學(xué)者對(duì)于開源的基本規(guī)則和開發(fā)者如何尊重開源作者的一些思考。 而且有許多的播放器都是采用了基于 FFmpeg 的庫進(jìn)行開發(fā)的，比如 VLC， Mplayer，HandBrake， Google Chrome， DirectShow 和 ffdshow 等等。而且支持多種編碼解碼方案。隨著近幾年來的網(wǎng)絡(luò)通訊越發(fā)發(fā)達(dá)， IP 化成為了網(wǎng)絡(luò)發(fā)展的主流，也使得視頻音頻的編解碼協(xié)議發(fā)展變得更為重要，一些對(duì)視頻音頻進(jìn)行處理的軟件和開源項(xiàng)目的需求也變得急迫。 國內(nèi)外研究現(xiàn)狀 視頻技術(shù)在九十年代就已經(jīng)有了初步的發(fā)展，對(duì)視頻和音頻進(jìn)行編解碼。這就可能直接導(dǎo)致人們對(duì)于所關(guān)心的事物由于各種原因而不能達(dá)到實(shí)時(shí)關(guān)注的情況。而且這種視頻的通行方式僅僅限于短距離之間，不能做到遠(yuǎn)距離監(jiān)控。而比較傳統(tǒng)的視頻實(shí)時(shí)通 訊基本上都是建立在攝像頭和 PC 電腦之間，這極大 的約束了人們的活動(dòng)范圍。而視頻信息又是人們最直觀的理解的信息。 Android。 FFmpeg。s life bee more convenient, greatly improved the work efficiency of people. Key words: Realtime video。 關(guān)鍵詞 ： 實(shí)時(shí)視頻 ； 視頻編解碼 ； FFmpeg； Jni； Android； socket Design and Implementation of Realtime video system Abstract With the continuous development of the Inter age, expanding the application of mobile terminals in society, the traditional PC realtime video munication bees heavy and inconvenient, greatly reduces the order to alleviate the situation, in this paper, based on the design of software engineering, analysis methods, the traditional PC realtime video munication transplantation to Android. Because of the constraints, the video of this system is through the acquisition of the video camera on the PC through the local server data transfer, reach the Android mobile terminal realtime video the aspect of software platform, which is based on visual studio2021 c + + development on Windows 7, based on eclipse and the Android SDK for Java server development and the development on the technical level, the system stability in PC using FFmpeg this strong, using range is wide open source library for the PC video capture and video the server side, use socket socket and fixed ports for the client39。使得系統(tǒng)即擁有較好的視頻處理性能，又具有友好的人機(jī)交互。將服務(wù)器搭建、數(shù)據(jù)傳輸、數(shù)據(jù)同步以及界面交互這種較為繁瑣的工作用 Java 來進(jìn)行處理。在 Android 端將 FFmpeg 開源庫進(jìn)行編譯，封裝成動(dòng)態(tài)庫，使用 Jni 實(shí)現(xiàn) C 和 Java 端的數(shù)據(jù)通信和接口調(diào)用。在技術(shù)層面，本系統(tǒng)在 PC 端使用了FFmpeg 這種穩(wěn)定性較強(qiáng)、運(yùn)用范圍比較廣的開 源三方庫進(jìn)行 PC 端的視頻采集和視頻轉(zhuǎn)碼。 由于 條件限制，此系統(tǒng)的視頻是通過 PC 端的視頻攝像頭進(jìn)行采集， 通過本地服務(wù)器的數(shù)據(jù)傳送，到達(dá) Android 手機(jī)端進(jìn)行實(shí)時(shí)的視頻播放。 分類號(hào)： TP31 U D C： D10621408(2021)14110 密 級(jí)：公