【正文】 的主要任務(wù)是用多媒體工具軟件按照劇情構(gòu)思編制程序和組織多媒體數(shù)據(jù)，以形成完整的多媒體應(yīng)用程序。多媒體計(jì)算機(jī)軟件開(kāi)發(fā)者在編制程序時(shí)應(yīng)注意：首先要考慮程序運(yùn)行的操作系統(tǒng)環(huán)境，然后程序設(shè)計(jì)者還得確定用于編程的工具。根據(jù)應(yīng)用程序的特點(diǎn)和編程個(gè)人的風(fēng)格，可以選擇程序設(shè)計(jì)語(yǔ)言、多媒體編輯軟件或多媒體數(shù)據(jù)庫(kù)系統(tǒng)作為基本的編程工具。在Windows環(huán)境下Microsoft 公司的Visual 。 多媒體播放器多媒體播放器是指那些能夠回放不同編碼格式音視頻文件的軟件。這類軟件一般分為兩類：一類是運(yùn)行在個(gè)人計(jì)算機(jī)上并用來(lái)播放本地存儲(chǔ)的音視頻文件的播放器，另一類就是播放基于Web的音視頻流的播放器。 Microsoft DirectX DirectX 是由Microsoft公司開(kāi)發(fā)的用途廣泛的API,由C++編程語(yǔ)言實(shí)現(xiàn)，遵循COM.。DirectX是一組低級(jí)“應(yīng)用程序編程接口（API）”，可以為Windows程序提供高性能的硬件加速多媒體支持，增強(qiáng)計(jì)算機(jī)的多媒體功能。DirectX使程序能夠輕松確定計(jì)算機(jī)的硬件性能，然后設(shè)置與之匹配的程序參數(shù)。 DirectX 10的主要優(yōu)勢(shì)是更好、更合理地利用GPU資源從而降低對(duì)CPU的依賴，主要從以下三方面來(lái)解決：提高繪圖效率、提高GPU利用率、指令優(yōu)化。 Microsoft DirectSound簡(jiǎn)介Microsoft DirectSound是DirectX API的音頻組件之一，它為程序和音頻適配器的混音、聲音加速和聲音捕獲功能之間提供鏈接。1..DirectSound的主要優(yōu)點(diǎn)：，并根據(jù)當(dāng)前計(jì)算機(jī)硬件配置來(lái)決定最好的解決問(wèn)題的方法；，可以使用那些尚未由DirectSound直接支持的硬件新特性；，保證了程序的快速響應(yīng)；；。2..DirectSound的體系結(jié)構(gòu)：DirectSound的音效 回放部分建立在IDirectSound和IDirectSoundBuffer COM接口之上，后者用于控制音頻緩沖區(qū)。：在DirectSound和DirectSoundCapture中均要用到頻率恒定的波形音頻數(shù)據(jù)。：DirectSound中的音頻緩沖區(qū)對(duì)象代表了一個(gè)含有音頻數(shù)據(jù)的緩沖區(qū)。：DirectSoundCapture對(duì)象用來(lái)查詢捕捉。：DirectSound通過(guò)音頻設(shè)備驅(qū)動(dòng)提供硬件抽象出HAL，其功能有：獲得和釋放音頻硬件的控制權(quán)、描述音頻硬件的能力：當(dāng)音頻硬件可用時(shí)完成指定操作；當(dāng)音頻硬件不可用時(shí)，向操作申請(qǐng)者返回錯(cuò)誤。 Microsoft DirectShow簡(jiǎn)介Microsoft DirectShow為多媒體流的捕獲與回放提供了強(qiáng)有力的支持。參與數(shù)據(jù)處理的各個(gè)功能模塊叫做過(guò)濾器（Filter）：Filter大致分為三類：Source Filter(源過(guò)濾器)、Transform Filter(轉(zhuǎn)換過(guò)濾器)和Reading Filter(表現(xiàn)過(guò)濾器)。 DirectShow應(yīng)用程序的開(kāi)發(fā)：1. Library的調(diào)用； Graph管理器接口； Graph Manager接口； Graph；。 DirectShow應(yīng)用示例要利用Media Detector和Sample Grabber Filter實(shí)時(shí)在線獲取視圖像幀，主要包括以下4個(gè)步驟：；；；。第7章 多媒體文檔的組織與設(shè)計(jì) 超文本和超媒體：超媒體系統(tǒng)：基于超文本信息管理技術(shù)的系統(tǒng)稱為超文本系統(tǒng)。其是作為一種復(fù)雜的信息管理系統(tǒng)而出現(xiàn)的。其準(zhǔn)許人們從各種媒體創(chuàng)建、互聯(lián)和共享信息。超文本系統(tǒng)：是由結(jié)點(diǎn)和鏈組成的，其提供非線性信息的訪問(wèn)方式，是一種新的訪問(wèn)信息手段的數(shù)據(jù)庫(kù)系統(tǒng)。超文本：有信息結(jié)點(diǎn)和表示信息結(jié)點(diǎn)相關(guān)性的鏈構(gòu)成一個(gè)具有一定邏輯結(jié)構(gòu)和語(yǔ)義的網(wǎng)絡(luò)，結(jié)點(diǎn)為多媒體數(shù)據(jù)。其目的是提供一個(gè)復(fù)雜的、具有豐富鏈接和交叉引用的信息系統(tǒng)。超媒體:包含多媒體的超文本稱為超媒體。其目的是為了生產(chǎn)巨大、復(fù)雜、豐富鏈接和交叉引用的信息體。 超文本系統(tǒng)的基本特點(diǎn)：超文本系統(tǒng)：基于超文本信息管理技術(shù)的系統(tǒng)。其基本特征有以下幾個(gè)方面：。在瀏覽器和圖表的幫助下，用戶可以通過(guò)點(diǎn)擊鏈接并閱讀結(jié)點(diǎn)的內(nèi)容來(lái)獲取大量的信息。，使用戶在每一時(shí)刻都可以得到當(dāng)前結(jié)點(diǎn)的鄰接環(huán)境。，這種鏈接應(yīng)支持跨越各種網(wǎng)絡(luò)。用戶可以根據(jù)自己的需要?jiǎng)討B(tài)的改變網(wǎng)絡(luò)周邊各的結(jié)點(diǎn)和鏈，以便方便快速的瀏覽。 系統(tǒng)的組成：由結(jié)點(diǎn)和鏈組成。結(jié)點(diǎn)通過(guò)鏈來(lái)連接。結(jié)點(diǎn)的類型有：文本結(jié)點(diǎn)、圖形和圖像結(jié)點(diǎn)、動(dòng)畫和視頻結(jié)點(diǎn)、音樂(lè)和數(shù)字化語(yǔ)音結(jié)點(diǎn)、混合媒體結(jié)點(diǎn)、動(dòng)作與操作結(jié)點(diǎn)、組織型結(jié)點(diǎn)、推理型結(jié)點(diǎn)。鏈的結(jié)構(gòu)分為：，是導(dǎo)致結(jié)點(diǎn)信息的原因；，鏈的目的所在即結(jié)點(diǎn)；，是指鏈的版權(quán)和權(quán)限等信息。鏈按用于導(dǎo)航和信息檢索分的種類：：用來(lái)建立結(jié)點(diǎn)之間的基本順序。：可以簡(jiǎn)單的移動(dòng)到相關(guān)的節(jié)點(diǎn)。：可以擴(kuò)大當(dāng)前結(jié)點(diǎn)。：返回超文本系統(tǒng)的高層視圖，與縮放鏈相對(duì)應(yīng)。：依賴于用戶使用的目的，常常被用來(lái)實(shí)現(xiàn)可靠性和安全性。鏈按超媒體結(jié)點(diǎn)和鏈的組織與推理分的種類：：實(shí)現(xiàn)結(jié)點(diǎn)中點(diǎn)和域之間的鏈接。：用于組織結(jié)點(diǎn)。：用來(lái)描述結(jié)點(diǎn)性質(zhì)。：用于在推理中事實(shí)的鏈，通常等價(jià)于規(guī)則。：觸發(fā)多媒體系統(tǒng)與高級(jí)程序設(shè)計(jì)接口，而執(zhí)行一段代碼的按鈕。宏結(jié)點(diǎn)：通過(guò)鏈連接在一起的結(jié)點(diǎn)群。子網(wǎng)：宏結(jié)點(diǎn)作為超文本網(wǎng)絡(luò)的一部分稱為子網(wǎng)。 超文本的發(fā)展歷史和典型的超文本系統(tǒng) 超文本的發(fā)展歷史現(xiàn)在超文本與傳統(tǒng)字典形式的超文本的區(qū)別：訪問(wèn)速度快，文獻(xiàn)容納信息量大，以及結(jié)點(diǎn)和鏈可以動(dòng)態(tài)的改變。 典型的超文本系統(tǒng)：Augment/NLS、KMS、Guide（支持替換鏈、記事鏈、引用鏈、查詢鏈）、NoteCards、Hypercard。 超文本系統(tǒng)的用戶接口解決迷失和認(rèn)識(shí)開(kāi)銷的方法：圖像瀏覽器、Web視圖、地圖和概貌圖、路徑和形跡。 HTML語(yǔ)言的簡(jiǎn)介，維網(wǎng).：是一個(gè)信息資源網(wǎng)絡(luò)萬(wàn)維網(wǎng)使信息資源廣泛利用所憑借的三個(gè)技術(shù)；。HTML及其的作用：HTML實(shí)一種組織文檔的語(yǔ)言，可以用來(lái)編排文檔、創(chuàng)建列表、建立連接、插入聲音和影視片斷等。 HTML發(fā)展歷史. HTML語(yǔ)言結(jié)構(gòu)，TML是一種沒(méi)有格式的文檔，也稱ASCII文件，可以使用文本編輯器來(lái)編輯。一個(gè)mtml文檔通常由文檔頭head、文檔名title、表格table、段落paragraph和列表list組成。文檔元素：簡(jiǎn)稱文素，是指html文檔的組成元素HTML標(biāo)簽：其由、標(biāo)簽名、組成HTML分成文檔頭、正文分別用HEAD.../HEAD和BODY.../BODY來(lái)標(biāo)記 HTML標(biāo)簽和屬性：HTML.../HTML標(biāo)簽告訴瀏覽器這中間的文件是用html編寫的。HEAD：HEAD.../HEAD之間包含的是HTML文檔名；TITLE:之間包含具體的HTML文檔名稱。BODY：之間是正文部分。 超鏈接：即超文本鏈接的簡(jiǎn)稱，或簡(jiǎn)稱鏈接。是HTML最強(qiáng)大、價(jià)值的功能。超鏈接分為：文本鏈接和文檔內(nèi)部之間的鏈接。 用HTML實(shí)現(xiàn)多媒體 XML簡(jiǎn)介 SMIL及其應(yīng)用示例 SMIL簡(jiǎn)介 SMIL的基本語(yǔ)法規(guī)則 應(yīng)用設(shè)計(jì) 應(yīng)用示例 設(shè)計(jì)超文本的工具 javascript 動(dòng)態(tài)網(wǎng)頁(yè)設(shè)計(jì)：ASP技術(shù)、JSP技術(shù)、PHP技術(shù)、 Ajax技術(shù)：是幾個(gè)技術(shù)的組合,有基于XHTML和CSS標(biāo)準(zhǔn)的表述；使用Document Object Modle 進(jìn)行動(dòng)態(tài)顯示和交互；使用XML HttpRequst與服務(wù)器進(jìn)行異步通信；使用JavaScript綁定一切。第八章 多媒體數(shù)據(jù)庫(kù)概述 多媒體數(shù)據(jù)的特點(diǎn)多媒體數(shù)據(jù)的特點(diǎn)：、、。 多媒體數(shù)據(jù)庫(kù)應(yīng)具有以下功能：、圖像、動(dòng)畫、聲音、動(dòng)態(tài)視頻、文本等多媒體字段類型及用戶自定義類型；；，要求有表示和處理實(shí)體間復(fù)雜關(guān)系的能力，有保證實(shí)； ；；；；。 多媒體數(shù)據(jù)庫(kù)的發(fā)展 實(shí)現(xiàn)多媒體數(shù)據(jù)庫(kù)系統(tǒng)的途徑可以分3類：擴(kuò)充關(guān)系數(shù)據(jù)庫(kù)方法面向?qū)ο蟮姆椒ā⒊谋痉椒ā? 多媒體數(shù)據(jù)庫(kù)的研究分為兩大類型：1].面向?qū)ο髷?shù)據(jù)庫(kù)的研究：三種實(shí)現(xiàn)面向?qū)ο髷?shù)據(jù)庫(kù)的方法：；；，從底層實(shí)現(xiàn)面向?qū)ο髷?shù)據(jù)庫(kù)系統(tǒng)。；：因?yàn)槠浔旧泶嬖谌狈νㄓ脭?shù)據(jù)模型、理論基礎(chǔ)、有好的用戶界面和工具環(huán)境、有利的查詢優(yōu)化。2].對(duì)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行擴(kuò)充 開(kāi)發(fā)一個(gè)通用的多媒體數(shù)據(jù)庫(kù)，還應(yīng)該重點(diǎn)研究一下問(wèn)題：，特別是視頻和圖像的語(yǔ)義模型，以滿足多媒體數(shù)據(jù)實(shí)時(shí)性的要求 多媒體數(shù)據(jù)庫(kù)的數(shù)據(jù)模型 數(shù)據(jù)模型通常由數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)操作和完整性約束三部分組成。 對(duì)象分為兩類：一類是與數(shù)據(jù)類型、內(nèi)容、性質(zhì)有關(guān)的對(duì)象；另一類是與數(shù)據(jù)之間關(guān)聯(lián)有關(guān)的對(duì)象。數(shù)據(jù)庫(kù)主要有兩大操作：檢索和更新多媒體數(shù)據(jù)具有復(fù)合性、分散性、時(shí)序性的特點(diǎn)復(fù)合性、分散性、時(shí)序性的特點(diǎn)對(duì)數(shù)據(jù)模型的要求：支持豐富的數(shù)據(jù)類型及相應(yīng)的處理；說(shuō)明不完備信息；擴(kuò)充個(gè)別對(duì)象的定義到其類型定義之外；編組來(lái)自不同數(shù)據(jù)庫(kù)的數(shù)據(jù)并加以一致性處理；描述結(jié)構(gòu)化信息；模擬對(duì)象內(nèi)部的概念與外部表達(dá)；支持上下文無(wú)關(guān)與有關(guān)的引用；支持?jǐn)?shù)據(jù)共享；支持版本的生成和控制；支持系統(tǒng)預(yù)定義操作和用戶定義操作；支持對(duì)象的同頻與集成。多媒體數(shù)據(jù)模型可以分為3類：關(guān)系數(shù)據(jù)模型、面向?qū)ο髷?shù)據(jù)模型和超文本數(shù)據(jù)模型：，結(jié)構(gòu)簡(jiǎn)單，實(shí)際上就是一張二維表增加對(duì)非格式化數(shù)據(jù)處理的能力技術(shù)策略:，實(shí)現(xiàn)對(duì)非格式化數(shù)據(jù)的管理；，形成一個(gè)完整的元組，存放在數(shù)據(jù)頁(yè)面或數(shù)據(jù)也組中；，一部分是非格式化數(shù)據(jù)本身，一部分是對(duì)非格式化數(shù)據(jù)的引用。 1）數(shù)據(jù)抽象：即類與子類的概念及相關(guān)性；2）封裝數(shù)據(jù)及其操作一體化；3）繼承：及父類屬性及其操作可以向子類傳遞；4）消息傳遞：即客觀事物之間的相互作用用同一的消息傳遞的方法描述. 多媒體數(shù)據(jù)庫(kù)與查詢 查詢語(yǔ)言 多媒體的三種查詢方法：關(guān)鍵字查詢、可視化查詢、語(yǔ)義查詢 全文檢索技術(shù) 全文檢索包括以下幾方面的技術(shù)問(wèn)題：。、豐富的檢索操作手段。對(duì)多媒體對(duì)象的檢索方法可以分成以下4種：按標(biāo)識(shí)符檢索。按條件語(yǔ)句檢索。借助例子的相似性檢索。按內(nèi)容檢索. 萬(wàn)維網(wǎng)文檔的全文檢索技術(shù)分布式、數(shù)據(jù)量巨大、動(dòng)態(tài)性、復(fù)雜的標(biāo)識(shí)符處理。 基于內(nèi)容的信息檢索 內(nèi)容的檢索，有如下特點(diǎn)：從媒體內(nèi)容中提取信息線索、近似匹配、大型數(shù)據(jù)庫(kù)的快速檢索、多種檢索手段。 1]. 基于內(nèi)容的圖像檢索圖像檢索（CBIR）技術(shù)特點(diǎn)如下：，她需要處理前所未有的數(shù)據(jù)，因此在處理速度、準(zhǔn)確度、算法的魯棒性方面都提出更高的要求，多種表達(dá)方式并存是可能的，表達(dá)方法的選擇要依賴于特定的用戶和特定的應(yīng)用領(lǐng)域3在傳統(tǒng)的圖像數(shù)據(jù)庫(kù)中，符號(hào)數(shù)據(jù)可以用基本的數(shù)據(jù)類型精準(zhǔn)地表示，檢索匹配是精確的匹配，在符號(hào)數(shù)據(jù)命名的過(guò)程中舉賦予特定的信息，因?yàn)闄z索得到的結(jié)果可能包含一些不相關(guān)的圖像，這種情況對(duì)于基于內(nèi)容的檢索式允許的重要的一點(diǎn)就是在檢索中不要將相關(guān)的圖像漏掉CBIR的檢索內(nèi)容主要包括：顏色、紋理、形狀、對(duì)象。CBIR的常見(jiàn)方式如下：、重復(fù)多次，直至找到為止。 2]. 基于內(nèi)容的視頻檢索 視頻可用故事單元、場(chǎng)景、鏡頭、幀等描述。 幀是直接從視頻中抽取的每一幅圖像，是視頻的最小單位。 鏡頭是視頻序列經(jīng)過(guò)時(shí)序分割后的結(jié)果，是基于內(nèi)容的視頻檢索中的最小語(yǔ)義單元關(guān)鍵幀是為了減少數(shù)據(jù)量，提高檢索效率，從鏡頭中提取的一幀或多幀圖像來(lái)表示鏡頭的特殊的視頻幀。場(chǎng)景是在鏡頭的基礎(chǔ)上，為了抽取高一級(jí)的語(yǔ)義單元，需要聚類相似的鏡頭為場(chǎng)景。故事單元式相同的場(chǎng)景經(jīng)過(guò)聚類后形成故事單元。視頻檢索的方式目前主要有以下兩種：基于關(guān)鍵幀的檢索、基于運(yùn)動(dòng)的檢索。一個(gè)典型的視頻檢索CBVR系統(tǒng)至少包括媒體庫(kù)、特征庫(kù)、方法庫(kù)和檢索界面四部分。3. 基于內(nèi)容的音頻檢索音頻信息檢索分：1）基于語(yǔ)音技術(shù)的檢索：成果有利用大量詞匯語(yǔ)音識(shí)別技術(shù)進(jìn)行檢索、基于子單詞元進(jìn)行檢索、基于識(shí)別關(guān)鍵詞進(jìn)行檢索基于說(shuō)話人的辨認(rèn)進(jìn)行分割。2）音頻檢索：聲音訓(xùn)練和分類、聽(tīng)覺(jué)檢索、音頻分割。3）音樂(lè)檢索：以音樂(lè)為中心的檢索。 分布式多媒體數(shù)據(jù)庫(kù)系統(tǒng) 分布式多媒體數(shù)據(jù)庫(kù)系統(tǒng)的特點(diǎn)：實(shí)時(shí)性、同步特性、服務(wù)質(zhì)量、體系結(jié)構(gòu)、客戶—服務(wù)器結(jié)構(gòu)。 結(jié)構(gòu)化查詢語(yǔ)言 SQL簡(jiǎn)介SQL86主要包括以下4部分：模塊定義語(yǔ)言、數(shù)據(jù)操縱語(yǔ)言、模塊語(yǔ)言、嵌入式語(yǔ)法。 SQL的5種數(shù)據(jù)類型：字符型、文本型、數(shù)值型、邏輯性和日期型。1. 基本數(shù)據(jù)類型1）字符型：VARCHAR、CHAR2)文本型：TEXT3)數(shù)值型：INT、SMALLINT、TINYINT4）邏輯性：BIT5)日期型：DATETIME、SMALLDATETIME2. 支持多媒體數(shù)據(jù)的數(shù)據(jù)類型BLOB數(shù)據(jù)是數(shù)據(jù)量很大的數(shù)據(jù)類型，它會(huì)占用大量的硬盤空間、內(nèi)存和網(wǎng)絡(luò)資源，對(duì)提高存儲(chǔ)效率、查詢速度有很大的影響。BLOB的設(shè)計(jì)原則是：使用BLOB數(shù)據(jù)類型還是使用varchar、存儲(chǔ)BLOB在數(shù)據(jù)庫(kù)中或者在文件系統(tǒng)中。 SQL的基本語(yǔ)：創(chuàng)建表、創(chuàng)建索引、改變結(jié)構(gòu)、刪除數(shù)據(jù)對(duì)象、執(zhí)行查詢、修改表中數(shù)據(jù)、數(shù)據(jù)庫(kù)切換、統(tǒng)計(jì)函數(shù)。 多媒體數(shù)據(jù)保存和獲取示例 圖片文件的保存圖片是以二進(jìn)制的形式保存在數(shù)據(jù)庫(kù)中，保存步驟有：1）將圖片轉(zhuǎn)換為二進(jìn)制數(shù)組；2）把轉(zhuǎn)換后的二進(jìn)制作為參數(shù)傳遞給要執(zhí)行的Command；3)執(zhí)行Commad。第9章 多媒體計(jì)算機(jī)網(wǎng)絡(luò) 多媒體網(wǎng)絡(luò)通信技術(shù) 多媒體通信網(wǎng)絡(luò)的基本結(jié)構(gòu)和特點(diǎn) 1. 多媒體計(jì)算機(jī)通信網(wǎng)絡(luò)與人的交互界面主要是文字、圖像、圖形、聲音、等人性化信息，主要體現(xiàn)了人類感覺(jué)器官對(duì)多媒體信息的自然需求。人機(jī)多媒體交互的雙向性：多種多媒體信息提供服務(wù)同時(shí)我們又在像其輸入信息。 2. 多媒體計(jì)算機(jī)通信網(wǎng)絡(luò)除了通過(guò)人性化多媒體信心與人交互外