【文章內(nèi)容簡介】 有時(shí)屏幕電子教案可能要延用幾分鐘。這種運(yùn)動(dòng)圖像信號(hào)，除幀內(nèi)像素間相關(guān)外，幀 與幀之間的像素值也有很強(qiáng)的相關(guān)性，且?guī)兓^平穩(wěn)。若能利用幀之間的數(shù)據(jù)相關(guān)性，通過特殊變換，屏蔽幀與幀之間的變化，使之表現(xiàn)為大量連續(xù)相同數(shù)據(jù)，只保留差異，則使用簡單高效的行程編碼就能得到較高的壓縮比。 本 系統(tǒng)對(duì)幀間編碼使用了兩種方案，一種是基于異或運(yùn)算的幀間無損壓縮，一種是基于差值量化的幀間有損壓縮。 1． 基于異或運(yùn)算的無損壓縮：利用異或運(yùn)算性質(zhì)可知，令 X為時(shí)刻獲取的屏幕圖像的像素值， Y 為時(shí)刻獲取的屏幕圖像的像素值，在傳送端，對(duì)兩幅圖像的 像 6 素按位進(jìn)行異或運(yùn)算，相同的像素異或結(jié)果為 0。如果幀與幀之間的變化很少， 則會(huì)出現(xiàn)大量連續(xù)的 0。再用簡單的行程編碼對(duì)異或結(jié)果進(jìn)行壓縮，可以得到較好的壓縮結(jié)果。傳輸壓縮后的數(shù)據(jù)，在接收端接收并解壓縮，與上一幀圖像像素再次進(jìn)行異或運(yùn)算可還原該圖像。 [3] 2． 基于差值量化的有損壓縮：由人的視覺、生理、心理學(xué)的論證可知，肉眼對(duì)大面積圖像能分辨出的灰度等級(jí)比對(duì)小塊圖像或細(xì)節(jié)部分的灰度等級(jí)大得多。亦即，如果相鄰像素的色值差別很小，人的眼睛無法分辨，可考慮將相鄰且相近的色值量化為 1 個(gè)色值。 [3] 7 第三章 多媒體教學(xué)平臺(tái)的設(shè)計(jì) 需求 分析 現(xiàn)有教學(xué)系統(tǒng)的問題 目前，市場上現(xiàn) 有的網(wǎng)絡(luò)多媒體教學(xué)系統(tǒng)成本相對(duì)較高，系統(tǒng)依賴性強(qiáng)，針對(duì) 本 校的情況，如果要在 每一個(gè) 計(jì)算機(jī) 教室 都安裝這樣的系統(tǒng)，那么超額的成本使這項(xiàng)工作難以進(jìn)行。針對(duì)這個(gè)問題，研發(fā)一個(gè)具有自主知識(shí)產(chǎn)權(quán)的跨平臺(tái)的多媒體教學(xué)系統(tǒng)是一項(xiàng)勢在必行的工作。 本 系統(tǒng)功能模塊分析 本系統(tǒng)采用 C/S(Client/Server)模式。學(xué)生機(jī)作為 Client(客戶端 )，而教師機(jī)作為 Server(服務(wù)端 )。教師機(jī)為學(xué)生機(jī)提供服務(wù)，并對(duì)學(xué)生機(jī)進(jìn)行管理。 本 系統(tǒng)需要有教師機(jī)和學(xué)生機(jī)這兩個(gè)部分 ， 教師端功能：屏幕廣播， 教師端發(fā)布作業(yè)，屏幕錄制， 屏幕回放，屏幕監(jiān)視，提問問題、問題答疑， 顯示學(xué)生機(jī)的 IP，在線人數(shù)統(tǒng)計(jì)，網(wǎng)上聊天，發(fā)出警告，關(guān)機(jī)、重啟、注銷；學(xué)生端功能： 學(xué)生端 提交作業(yè)，接受廣播，接受監(jiān)視，接受警告，接受關(guān)機(jī)、重啟和注銷，向老師 請(qǐng)教 問題等 。 功能模塊 如圖 31： 屏幕操作 顯示學(xué)生 IP 顯示在線人數(shù) 屏幕回放 屏幕廣播 屏幕錄制 屏幕監(jiān)視 遠(yuǎn)程控制 發(fā)出警告 遠(yuǎn)程關(guān)機(jī) 聯(lián)機(jī) 討論問題 聯(lián)機(jī)互動(dòng) 提問問題 遠(yuǎn)程注銷 遠(yuǎn)程重啟 回答問題 教師端 教師端發(fā)布作業(yè) 8 圖 31 功能模塊圖 系統(tǒng)基本結(jié)構(gòu) 本系統(tǒng)的 設(shè)計(jì) 主要是針對(duì)局域網(wǎng)內(nèi)一臺(tái)教師機(jī)和多臺(tái)學(xué)生機(jī)的模型，教師機(jī)充當(dāng)服務(wù)器的角色，學(xué)生機(jī)充當(dāng)客戶機(jī)的角色，其系統(tǒng)的 基本 結(jié)構(gòu) 示意圖 如 圖 32所示 ： 圖 32 系統(tǒng)結(jié)構(gòu)示意圖 屏幕操作 學(xué)生端 聯(lián)機(jī)互動(dòng) 接受警告 接受遠(yuǎn)程控制 學(xué)生端 提交作業(yè) 接受屏幕廣播 接受屏幕監(jiān)視 接受遠(yuǎn)程關(guān)機(jī) 接受遠(yuǎn)程重啟 接受遠(yuǎn)程注銷 聯(lián)機(jī) 討論 問題 向老師請(qǐng)教問題 回答老師提問的問題 9 協(xié)議設(shè)計(jì) 的模型 基于 UDP多媒體轉(zhuǎn)輸協(xié)議設(shè)計(jì)的模型系統(tǒng)，與 RTP/RTCP 協(xié)議 相比， 系統(tǒng)設(shè)計(jì)的時(shí)候簡化了排序處理等流程，同樣采用 了 客戶端 /服務(wù)器模型。下面分別給出服務(wù)器的發(fā)送程序流程圖和客戶機(jī)的接收流程圖，如圖 33和圖 34 所示。 圖 33 服務(wù)器的發(fā)送程序流程圖 發(fā)送端首先獲取經(jīng)過壓縮的一幀視頻數(shù)據(jù)，遞交給 UDP 分組處理。然后將一幀視頻數(shù)據(jù)按照要求分解為適合網(wǎng)絡(luò)傳輸?shù)囊幌盗行〉臄?shù)據(jù)包 ，并加上此協(xié)議的分組包頭，其中包括數(shù)據(jù)包的順序號(hào)、時(shí)間戳，視頻數(shù)據(jù)的壓縮格式等參數(shù)，然后完成發(fā)送。發(fā)送端根據(jù)接收端反饋的延遲估計(jì)和接收質(zhì)量報(bào)告調(diào)整發(fā)送速度。客戶端從端口獲取數(shù)據(jù)包后寫入接收緩沖區(qū)。根據(jù)數(shù)據(jù)包頭信息確認(rèn)數(shù)據(jù)包是否丟失，做出相應(yīng)處理。由于在發(fā)送端控制每個(gè)發(fā)送的數(shù)據(jù)包小于 1024 字節(jié)， 所以在止常的網(wǎng)絡(luò)狀況下傳輸?shù)难舆t比較小。 而且由于發(fā)送的數(shù)據(jù)包大小一樣， 并且嚴(yán)格控制數(shù)據(jù)包發(fā)送的時(shí)間間隔，傳輸抖動(dòng)現(xiàn)象發(fā)生的可能性很小。所以，在客戶端只按照接收到的數(shù)據(jù)包的序列號(hào)的順序判斷是否有丟失現(xiàn)象發(fā)生。如果接收的 數(shù)據(jù)包是有序的，則認(rèn)為沒有丟失現(xiàn)象發(fā)生加果接收的數(shù)據(jù)包是亂序的，則作否 是 是 是 否 否 開始 獲取一幀視頻數(shù)據(jù) 發(fā)送數(shù)據(jù)包頭 添加數(shù)據(jù)包頭 生成數(shù)據(jù)包頭 視頻數(shù)據(jù)等分為若干數(shù)據(jù)包 獲取成功 發(fā)送完畢 結(jié)束 結(jié)束 10 為丟失數(shù)據(jù)包處理。經(jīng)過查閱相關(guān)資料證明了這種處理方法是簡單有效的。再接收到一個(gè)完整的幀數(shù)據(jù)的所有分組后，根據(jù)序列號(hào)是否連續(xù)判斷是否發(fā)生數(shù)據(jù)包的丟失，分離數(shù)據(jù)包頭，最后恢復(fù)成一幀完整的視頻數(shù)據(jù)，再根據(jù)縮格式標(biāo)記送往相應(yīng)的解碼流程。 圖 34 客戶端的發(fā)送程序流程圖 是 否 否 是 否 是 開始 丟失這幀數(shù)據(jù) 解碼提示 回復(fù)一幀數(shù)據(jù) 分離數(shù)據(jù)包頭 寫入緩沖區(qū) 讀數(shù)據(jù)包頭序列號(hào) 讀出端口數(shù)據(jù) 是否丟失數(shù)據(jù) 接收完畢 結(jié)束 結(jié)束 11 第四章 多媒體教學(xué)平臺(tái)的實(shí)現(xiàn) 屏幕錄制 由于屏幕截取 比較接近操作系統(tǒng)的操作，在 Windows 操作系統(tǒng)下，該操作幾乎成了 VC、 VB 等的專利，事實(shí)上，使用 Java JDK 提供 的 一個(gè) Robot 類，來完成屏幕截取操作，更加簡單。 Robot 類的 對(duì)象，可以完成對(duì)屏幕像素的拷貝 ,完成屏幕圖像截取操作。該類用于產(chǎn)生與本地操作系統(tǒng)有關(guān)的底層輸入、測試應(yīng)用程序運(yùn) 行 或 自 動(dòng) 控 制 應(yīng) 用 程 序 運(yùn) 行 。 Robot 類 提 供 了 一 個(gè) 方 法 ：createScreenCapture()， 可以直接將全屏幕或某個(gè)屏幕區(qū)域的像素拷貝到一個(gè)BufferedImage 對(duì)象中，我們只需要將該對(duì)象寫入到一個(gè)圖像文件之中，就完成了屏幕到圖像的拷貝過程 。循環(huán)這個(gè)操作，將 一系列圖像文件 保存到硬盤上的某個(gè)文件夾中，這樣就可以完成屏幕錄制了，在本課題軟件中捕獲的是全屏幕區(qū)域。實(shí)現(xiàn)的流程圖如圖 41所示： 圖 41 屏幕錄制 執(zhí)行過程 流程圖 //取得當(dāng)前顯示器的分辨率： screenSize = ().getScreenSize()。//獲得屏幕大小 否 是 開始 用 ()進(jìn)行 圖像捕獲 把 捕獲后 的圖像 存放到 圖像數(shù)據(jù)緩沖區(qū) BufferedImage 圖像編碼保存成 JPG 格式 錄制完成 結(jié)束 通過 FileOutputStream 文件輸出流 往指定的文件夾寫入圖片 關(guān)閉輸出流 睡眠 40 毫秒 12 rectangle = new Rectangle(screenSize)。 //可以捕獲屏幕區(qū)域 //實(shí)現(xiàn)錄制過程的主要代碼如下： while (true){ try{ BufferedImage image = (rectangle)。 //把捕獲到的指定屏幕矩形區(qū)域圖像存放到可訪問的圖像數(shù)據(jù)緩沖區(qū) Image， createScreenCapture 捕獲 指定 屏幕矩形區(qū)域 的圖像 fos = new FileOutputStream(C:\\records\\ + i + .jpg)。//創(chuàng)建一個(gè)文件輸出流對(duì)象 ，往指定的文件里面寫圖片 //FileOutputStream 創(chuàng)建一個(gè)向指定 File 對(duì)象表示的文件中寫入數(shù)據(jù)的文件輸出流 (fos).encode(image)。//圖像編碼成JPEG ()。//關(guān)閉輸出流 i = i + 1。//進(jìn)行下一張的圖片寫入 (40)。//每秒 25幀 ,每 40毫秒保存一張 } } 當(dāng)在主界面上點(diǎn)擊“屏幕錄制”按鈕 的時(shí)候，會(huì)彈出一個(gè)錄制的對(duì)話框，效果如圖 42 所示： 圖 42 屏幕錄制界面 13 屏幕播放 屏幕播放可以讓教師預(yù)先錄制好屏幕圖像，以 JPG 格式的圖片形式存儲(chǔ)，以后通過“屏幕回放”功能可以進(jìn)行播放，再現(xiàn)錄制時(shí)的屏幕圖像畫面。這既可以方便老師提前備課，又解決了學(xué)生跟不上教學(xué)進(jìn)度的問題，還可以讓學(xué)生在課余的時(shí)間自己去溫習(xí)上課的內(nèi)容，極大提高教學(xué)效率這個(gè)功能是建立在屏幕錄制之后的，把屏幕錄制保存下來的一系列連續(xù)的圖片調(diào)出來并與屏幕錄制相同的速度顯示在電腦屏幕上，這樣就可以看到之前錄制的屏幕了。其實(shí)現(xiàn)的流程圖 如圖 43如下： 圖 43 屏幕播放 執(zhí)行過程 流程圖 實(shí)現(xiàn)的主要代碼如下： public void run(){ int i = 0。//定義圖片從序號(hào) 0 開始 while(true){ try{ cimage = loadImage(i + .jpg)。//取得一張圖片 i = i + 1。 否 是 開始 取得要播放圖片的文件夾 從序號(hào) 0 開始 取一張 的圖片 把圖片 顯示到屏幕上 播放完成 結(jié)束 按錄制時(shí)的先后順序 從 0 開始編號(hào)圖片 睡眠 40 毫秒 取下一張圖片 14 repaint()。//重 繪 (40)。//與錄像 時(shí)每秒幀數(shù)一致 }catch(Exception e){ ()。//打印異常的消息 (e)。 } } } 當(dāng)在主界面上點(diǎn)擊“屏幕播放”按鈕的時(shí)候，就會(huì)看到一個(gè)播放的對(duì)話框，效果如圖 44所示： 圖 44 屏幕播放界面 圖 教師機(jī)與學(xué)生機(jī)的連接 市場上的很多軟件（如 本 校 計(jì)算機(jī)教室 用到 的 凌波多媒體教學(xué)軟件），如果教師機(jī)比學(xué)生機(jī)先啟動(dòng)的話，后啟動(dòng)的學(xué)生機(jī)就連接不上教師機(jī)了。本系統(tǒng) 克服了這一缺點(diǎn)：不管學(xué)生機(jī)先啟動(dòng)還是教師機(jī)先啟動(dòng)， 教師機(jī)與學(xué)生機(jī) 都能 自動(dòng)連接 。 本系統(tǒng)采用了套接字 Socket 機(jī)制， 分別在教師端程序和學(xué)生端程序里面寫了一個(gè)連接文件 ，這個(gè)就是克服以上缺點(diǎn)的重點(diǎn)方法。而且 程序里面用到一個(gè)端口和 IP 的構(gòu)造函數(shù)，并沒有對(duì)方機(jī)子的端口號(hào)和 IP 綁定，所以在運(yùn)行軟件的時(shí)候，不需要進(jìn)行物理的設(shè)計(jì)端口號(hào)和 IP。其實(shí)現(xiàn)的代碼如下： public ClientSocket(String ip, int port) {//構(gòu)造函數(shù)， IP 地址和端口號(hào) =ip。 =port。 } //創(chuàng)建 socket 連接 ： public void CreateConnection()throws Exception{ 15 try{ socket=new Socket(ip,port)。 }catch(Exception e){ ()。 if(socket!=null)()。 throw