【文章內(nèi)容簡介】 檢索解決方案，將對(duì)現(xiàn)有內(nèi)容識(shí)別專用解決方案的有限的能力進(jìn)行擴(kuò)展，特別是包含更多的數(shù)據(jù)類型。MPEG7的組成：MPEG7的系統(tǒng)、描述定義語言、音頻、視頻、屬性、參考軟件、一致性。 MPEG21標(biāo)準(zhǔn)：其目的是希望定義一個(gè)包含各種多媒體的框架，從而使各種多媒體有機(jī)結(jié)合，提供安全統(tǒng)一、跨平臺(tái)、用于信息制作、發(fā)布、處理等功能的框架平臺(tái)。MPEG21的實(shí)質(zhì)：就是關(guān)鍵技術(shù)的集成，通過集成環(huán)境對(duì)全球數(shù)字多媒體資源進(jìn)行透明和管理。 ：CCITT的第一個(gè)國際視頻壓縮標(biāo)準(zhǔn)，主要滿足電視電話電視會(huì)議。 ：其目的在于在現(xiàn)有的電話網(wǎng)上傳輸活動(dòng)圖像。其基于塊的預(yù)測標(biāo)差分編碼系統(tǒng)。：，僅包含幀本身的信息，從而每幀可以獨(dú)立編碼；，只對(duì)幀間預(yù)測誤差進(jìn)行編碼，從而極大消除時(shí)間冗余。：，、基于語法的算術(shù)編碼方法、高級(jí)預(yù)測和PB幀。+中新增項(xiàng)：，有分級(jí)圖像、增強(qiáng)的PB幀、用戶定義的圖像格式。，有先進(jìn)的幀內(nèi)碼AIC、塊效應(yīng)消除濾波器DF、片結(jié)構(gòu)SS、參考幀選擇RPS、參考幀重采樣RPR。 ：其主要目標(biāo)和特點(diǎn)在于，提高壓縮編碼效率、增強(qiáng)網(wǎng)絡(luò)適應(yīng)能力。：：分為視頻編碼層負(fù)責(zé)高效視頻內(nèi)容表示；網(wǎng)絡(luò)提取層NAL：負(fù)責(zé)以網(wǎng)絡(luò)所要求的恰當(dāng)?shù)姆绞綄?duì)數(shù)據(jù)進(jìn)行打包傳送。、多模式運(yùn)動(dòng)估計(jì)：、1/8像素精度的運(yùn)動(dòng)矢量。3. 4*4塊的整數(shù)變換：對(duì)殘差采用基于塊的變換編碼，但變換時(shí)整數(shù)操作不是實(shí)數(shù)運(yùn)算。：，一種是對(duì)所有的待編碼符號(hào)采用統(tǒng)一VLC(UVLC)，一種是采用內(nèi)容自適應(yīng)的二進(jìn)制算術(shù)編碼CABAC：不是在時(shí)間上，而是在空間域上進(jìn)行的預(yù)測編碼算法，可以消除相鄰塊之間的空間冗余，取得更有效的壓縮。：第4章 音頻信號(hào)和聲卡 音頻編碼基礎(chǔ)聲音，根據(jù)其內(nèi)容可以分為波形聲波、語音和音樂。波形聲音，是數(shù)字化了的聲音，包含所有的聲音形式。音頻信號(hào)，是指經(jīng)過計(jì)算機(jī)處理過的離散化了的省略信號(hào)。 聲音信號(hào)的特點(diǎn)：，連續(xù)性表現(xiàn)在，一是時(shí)間上的連續(xù)，二是幅度上的連續(xù)。聲波具有普通波的特性，反射、折射、衍射。，按不同聲音特性可分為不規(guī)則聲音和規(guī)則聲音。 前者不包含任何信息的噪音，后者常分為語音、音樂、和音效。語音：是指具有語言內(nèi)涵和人類約定俗成的特殊媒體。音樂：是規(guī)范的、符號(hào)化的聲音。音效：是指人類熟悉的其他聲音。，音調(diào)、音強(qiáng)、音色。 音頻信號(hào)處理的方法聲音是連續(xù)模擬的信號(hào)，計(jì)算機(jī)要對(duì)聲音時(shí)間軸和幅度兩個(gè)方面進(jìn)行離散化。采樣：是指計(jì)算機(jī)對(duì)聲音在時(shí)間軸上的離散化處理。量化：是指計(jì)算機(jī)對(duì)聲音在幅度上的離散化處理。 音頻文件的存儲(chǔ)格式目前流行的種類：主要在計(jì)算機(jī)上的WAV格式，主要在UNIX工作站上的AU格式，主要在蘋果機(jī)和SGI工作站上的AIFF和SND格式，和目前PC機(jī)上流行的mr和mp3格式。WAV文件格式：稱為波形文件格式。波形文件格式，支持存儲(chǔ)各種采樣頻率和采樣精度的聲音數(shù)據(jù)支持聲音數(shù)據(jù)壓縮。RIFF文件格式：一種為交換多媒體資源而開發(fā)的資源交換文件格式，前面兩個(gè)字段表示文件類型，其中最主要的兩個(gè)塊是，文件結(jié)構(gòu)塊（包含波形重要參數(shù)）和聲音數(shù)據(jù)塊（包含實(shí)際波形數(shù)據(jù)）。WAV外的常見音頻格式：，文件即采用MP3文件格式壓縮的文件。，一種符合RIFF文件規(guī)范的數(shù)以音頻和視頻文件格式。，由RealNetworks開發(fā)主要用于低速廣域網(wǎng)上實(shí)時(shí)傳輸活動(dòng)視頻影像。 聲音質(zhì)量的度量，一次為DAT CD FM AM 數(shù)字電話。：一是客觀質(zhì)量，主要使用信噪比來度量，建立在度量均方差基礎(chǔ)上，特點(diǎn)是計(jì)算簡單，但不能完全反映人對(duì)語言質(zhì)量的感覺；二是主觀質(zhì)量，常用的方法有平均意見得分MOS法，其5個(gè)等級(jí)有若干參與測試者平分得出。，廣播質(zhì)量、網(wǎng)絡(luò)質(zhì)量、通信質(zhì)量、合成質(zhì)量。 音頻信號(hào)壓縮技術(shù)數(shù)字化的音頻信號(hào)必須經(jīng)過編碼處理，以適應(yīng)存儲(chǔ)和傳輸?shù)囊?，并且在音頻信號(hào)再生時(shí)得到做好的音質(zhì)的聲音。 一般壓縮技術(shù)分為，有損壓縮和無損壓縮，而按照壓縮方案不同，又可分為時(shí)間域壓縮、變換壓縮、子帶壓縮以及多技術(shù)混合壓縮。，是概念上最簡單、理論上最完善的編碼系統(tǒng)，是最早研制成功、使用最廣泛的編碼系統(tǒng)，但一時(shí)數(shù)據(jù)量最大的編碼系統(tǒng)。聲音數(shù)字化的兩個(gè)步驟：一是采樣，每隔一段時(shí)間間隔讀一次聲音的幅度；二是量化，把采樣得到的聲音信號(hào)幅度轉(zhuǎn)化成數(shù)字值，可分為均勻量化和非均勻量化。 增量調(diào)制DM增量調(diào)制DM是一種預(yù)測編碼技術(shù)，是PCM編碼的變形，PCM具有對(duì)任意變形進(jìn)行編碼的能力。DM對(duì)實(shí)際的采樣信號(hào)與預(yù)測的采樣信號(hào)之差的極性極性編碼，將極性變成0和1這兩種可能。增量調(diào)制孫然簡單單有兩個(gè)缺點(diǎn)：一是會(huì)出現(xiàn)斜率過載，二是會(huì)產(chǎn)生粒狀噪聲。 自適應(yīng)脈沖編碼調(diào)制APCM其是一種根據(jù)輸入信號(hào)幅度的均方根值的變化來改變量化的一種編碼技術(shù)。改變量化階大小的方法：一是前向自適應(yīng)，二是后向自適應(yīng)。 差分脈沖編碼調(diào)制DPCM是利用樣本與樣本之間存在的信息冗余來進(jìn)行編碼的一種數(shù)據(jù)壓縮技術(shù)。其思想是根據(jù)過去的樣本去估算下一個(gè)樣本信號(hào)的幅度大小，這個(gè)值稱為預(yù)測值，然后對(duì)實(shí)際信號(hào)值與與預(yù)測值之差進(jìn)行量化編碼從而減少了表示每個(gè)樣本信號(hào)的位數(shù)。 自適應(yīng)差分脈沖編碼調(diào)制ADPCM其綜合APCM的自適應(yīng)和DPCM的差分特性，是一種比較好的波形編碼。ADPCM的思想是：，即使用小的量化增量去編碼小的差值，使用大的量化增量去編碼打的差值；，使實(shí)際樣本值和預(yù)測值之間的差值總是最小。，其思想是使用一組帶通濾波器把輸入音頻信號(hào)的頻帶分成若干個(gè)連續(xù)的頻段，每個(gè)頻段稱為子帶。采用對(duì)子帶分別編碼的好處：一是對(duì)每個(gè)子帶信號(hào)分別進(jìn)行自適應(yīng)控制，量化階的大小可以按照每個(gè)子帶的能量電平進(jìn)行調(diào)節(jié)；二是可以根據(jù)每個(gè)子帶信號(hào)在感覺上的重要性，對(duì)每個(gè)子帶分配不同的位數(shù)，用來表示每個(gè)樣本值。 音頻編碼標(biāo)準(zhǔn) CCITT G系列聲音壓縮標(biāo)準(zhǔn)：為電話質(zhì)量和語音壓縮用于電話，使用μ律或A律的非線性量化技術(shù)。：為調(diào)幅廣播質(zhì)量的音頻信號(hào)壓縮制定，用于視聽多媒體和會(huì)議電視。：采用多脈沖激勵(lì)最大似然量化算法，用于可視電話及IP電話系統(tǒng)。：使用基于低時(shí)延碼本激勵(lì)線性預(yù)測編碼，用于公共電話網(wǎng)。：使用8kbps的共軛結(jié)構(gòu)代數(shù)碼激勵(lì)線性預(yù)測算法，多用于無線移動(dòng)網(wǎng)、數(shù)字多路復(fù)用系統(tǒng)和計(jì)算機(jī)通信系統(tǒng)中。CCITT G系列聲音壓縮標(biāo)準(zhǔn)比較標(biāo)準(zhǔn) 比特率 編碼技術(shù) 應(yīng)用 制定日G711 64kbps PCM 公共電話網(wǎng) 1972 64kbps SBC+ADPCM視聽多媒體和會(huì)議電話 MPMLQ 視頻電話及IP電話 16kbps LDCELP 公共電話網(wǎng) 8kbps CSACELP 無線移動(dòng)網(wǎng)、計(jì)算機(jī)通信系統(tǒng) MP3壓縮技術(shù)，MP3是MPEG audio layer3的縮寫，是一種超級(jí)聲音文件的壓縮方法，具有文件小、音質(zhì)佳的特點(diǎn)。MPEG分視頻和音頻壓縮，音頻上分MPEG layerMPEG layerMPEG layer3三種，壓縮比一次升高。MPEG 音頻編碼模式中，MP3功能強(qiáng)大，同樣條件下，MP3需要的數(shù)據(jù)量小且音質(zhì)要好。 MP3采用有損壓縮，為降低失真度，其采用“感官編碼技術(shù)”，即編碼時(shí)先對(duì)音頻文件進(jìn)行頻譜分析，然后用過濾器濾掉噪聲電平，接著通過量化的方式將剩下的每一位打散排列，最后形成具有較高壓縮比的MP3文件，并使壓縮后的文件在回放時(shí)能夠達(dá)到比較接近原音源的聲音效果。雖然有損壓縮，但以極小的聲音損失換來較高的壓縮比。 MP3產(chǎn)品： MP4簡介MP4最初是音頻格式，采用先進(jìn)的音頻壓縮技術(shù)ACC，并且實(shí)現(xiàn)了版權(quán)保護(hù)。 樂器數(shù)字接口MIDIMIDI是數(shù)字音樂電子合成音樂的統(tǒng)一國際標(biāo)準(zhǔn)，其目的是解決各種電子樂器間存在的兼容性問題。MIDI定義的內(nèi)容：定義了計(jì)算機(jī)音樂程序、音樂合成器及其他電子音樂設(shè)備交換音樂信號(hào)的方式，而其還規(guī)定了不同廠家的電子樂器與計(jì)算機(jī)連接的電纜和硬件及設(shè)備間的數(shù)據(jù)傳輸協(xié)議，可用于為不同樂器創(chuàng)建數(shù)字聲音，能很容易的模擬鋼琴、小提琴等傳統(tǒng)樂器的聲音。計(jì)算機(jī)播放MIDI的兩種合成聲音：FM合成和波表合成。FM合成石通過多個(gè)頻率的聲音混合來模擬樂器的聲音；波表面合成是將樂器的聲音樣本存儲(chǔ)在聲卡波形表中播放時(shí)從波形表中取出聲音，所以更為逼真。MIDI文件格式：CMF隨聲卡一起的音樂文件,與MIDI文件僅頭文件不同；MIDI是windows使用的RIFF文件格式， 音頻編碼標(biāo)準(zhǔn) 聲卡的發(fā)展歷史； Blaster聲卡；；。 聲卡的聲道：比較原始的聲音復(fù)制形式；：聲音在錄制時(shí)被分配到兩個(gè)獨(dú)立的聲道；：其四個(gè)發(fā)音點(diǎn)位前左前、右后、左后、右及附加低音單元。：廣泛用于傳統(tǒng)電影院和數(shù)家庭影院。 聲卡的功能：、編輯和回放數(shù)字聲音文件；，并混合在一起，一遍數(shù)字化；，以節(jié)省存儲(chǔ)空間；，能夠讓計(jì)算機(jī)朗讀文件； 聲卡的工作原理主機(jī)通過總線將數(shù)字化聲音信號(hào)以PCM的方式送到數(shù)模轉(zhuǎn)換器（D/A），將數(shù)字信號(hào)變成模擬信號(hào)；同時(shí)又可以通過模數(shù)轉(zhuǎn)換器(A/D)將麥克風(fēng)或CD的輸入信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。聲音處理芯片，是核心芯片，是一個(gè)完整的音頻子系統(tǒng)電纜，通過對(duì)音頻信號(hào)的轉(zhuǎn)換控制加工處理，在計(jì)算機(jī)上實(shí)現(xiàn)較理想的音響效果。其含有A/D、D/A轉(zhuǎn)換器以及可重構(gòu)數(shù)字濾波器、設(shè)置增益值和衰減值的模擬混合器和數(shù)字混合器、并行總線接口，實(shí)現(xiàn)音頻數(shù)據(jù)獲取和播放的全雙通道。合成器芯片，其由總線接口、發(fā)聲電源、定時(shí)控制三部分組成。 語音合成技術(shù)及應(yīng)用語音識(shí)別和語音合成技術(shù)時(shí)實(shí)現(xiàn)人和計(jì)算機(jī)進(jìn)行語音通信所必須的關(guān)鍵技術(shù)。語音合成：包含兩個(gè)可能性：一是機(jī)器能再生一個(gè)預(yù)先存入的語音信號(hào)，就像錄音機(jī)只是采用數(shù)字技術(shù)；一種是采用數(shù)字信號(hào)處理方法?；诠舱穹謇碚摰娜N實(shí)用模型：；；。 LPC參數(shù)合成其本質(zhì)是一種實(shí)踐波形的部門技術(shù)，目的是為了降低時(shí)間域信號(hào)的傳輸速率。需要與其他技術(shù)結(jié)合才能明顯改善LPC合成質(zhì)量。按人類語言功能的不同層次可分三個(gè)層次：；；。 語音合成技術(shù)的應(yīng)用:；；；；；。 語音識(shí)別技術(shù)的最終目標(biāo)是人與計(jì)算機(jī)自由的交談，及其能聽懂人話。 語音識(shí)別技術(shù)的發(fā)展歷史其研究始于20世紀(jì)59年代，由ATamp。A Ball實(shí)驗(yàn)室實(shí)現(xiàn)Audry 10詞識(shí)別語音系統(tǒng)，60年代提出動(dòng)態(tài)規(guī)劃和線性預(yù)測分析技術(shù)，后者解決了語言信號(hào)產(chǎn)生模型的問題，70年代動(dòng)態(tài)規(guī)劃技術(shù)得到進(jìn)一步發(fā)展，動(dòng)態(tài)實(shí)踐規(guī)正技術(shù)成熟，提出了矢量量化和隱馬爾可夫模型理論在實(shí)踐上實(shí)現(xiàn)了基于線性預(yù)測倒譜和動(dòng)態(tài)實(shí)踐規(guī)正技術(shù)的特定人孤立語音識(shí)別系統(tǒng)，80年代HMM模型和ANN人工神經(jīng)元網(wǎng)絡(luò)在語音識(shí)別中的成功應(yīng)用，90年代語音識(shí)別由實(shí)驗(yàn)室走向大眾。：信號(hào)處理、模式識(shí)別、概率論和信息論、發(fā)聲機(jī)理和聽覺機(jī)理、人工智能等。語音識(shí)別技術(shù)主要包括：特征提取技術(shù)、模式匹配準(zhǔn)則、模型訓(xùn)練技術(shù)三個(gè)，另外還涉及到語音識(shí)別單元的選取。：選擇識(shí)別單元式語音識(shí)別研究的第一步，其有單詞（句）、音節(jié)和音素三種。單詞單元主要用于中小詞匯識(shí)別系統(tǒng)，不適合大詞匯系統(tǒng)；音節(jié)多見于漢語語音識(shí)別，因?yàn)闈h語為單音節(jié)語言；音素中英語音識(shí)別都用。：常用的聲學(xué)特征有線性預(yù)測系數(shù)LPC、倒譜系數(shù)CEP、Mel倒譜系數(shù)MFCC和感知線性預(yù)測PLP：模式匹配時(shí)根據(jù)一定準(zhǔn)則，使未知模式與模型庫中的某一個(gè)模型獲得最佳匹配。模型訓(xùn)練是指按照一定的準(zhǔn)則，從大量已知模式中獲取該模式本質(zhì)特征的模型參數(shù)。 語音識(shí)別系統(tǒng)的類型語音識(shí)別系統(tǒng)的幾種分類方式：按對(duì)說話人的依賴程度可以分特定人非特定人語音識(shí)別系統(tǒng)；按對(duì)話人說話方式可以分孤立字詞語、連接詞、連續(xù)語音識(shí)別系統(tǒng)。按詞匯量大小可分小詞匯量、中等詞匯量、大詞匯量和無限詞匯量語音識(shí)別系統(tǒng)。：可以訓(xùn)練特定人的系統(tǒng)來識(shí)別更大的詞匯表，但也存在限制：需要徹底的訓(xùn)練，因?yàn)橐褑卧~輸入系統(tǒng)重復(fù)很多次；為識(shí)別大詞匯表中的單吃需要大量的存儲(chǔ)；為識(shí)別單詞進(jìn)行的搜索時(shí)間更長。：可以識(shí)別任何用戶的語音。：一次只提供一個(gè)單詞的識(shí)別。：識(shí)別句子。：主要的兩個(gè)問題：一是分割和標(biāo)志過程，把語音段標(biāo)記成代表音素、半音節(jié)、音節(jié)和單詞更小的單元，二是為跟上輸入語音并實(shí)時(shí)地識(shí)別詞序列所需的計(jì)算能力。 連續(xù)語音識(shí)別技術(shù)的三個(gè)組成部分：一是數(shù)字化、幅度歸一化、時(shí)間歸一化和參數(shù)歸一化：二是分割并把語音段標(biāo)記成在基于知識(shí)或基于規(guī)則系統(tǒng)上的符號(hào)串：三是設(shè)計(jì)用于識(shí)別詞序序列而進(jìn)行語音段匹配。 語音識(shí)別的應(yīng)用:；；。第5章 光盤存儲(chǔ) 光盤的發(fā)展歷史CDDA過度到CDROM兩個(gè)重要問題：一個(gè)是計(jì)算機(jī)如何尋找光盤上面的數(shù)據(jù)，二是CD作為計(jì)算機(jī)的存儲(chǔ)器時(shí)要求錯(cuò)誤率遠(yuǎn)小于聲音數(shù)據(jù)的錯(cuò)誤率。光盤存儲(chǔ)的主要?dú)v史事件：，PHILIPS、SONY 制定CDDA標(biāo)準(zhǔn)；,SONY 第一臺(tái)CD播放機(jī) CDP101，第一張 CD；,SONY 第一臺(tái)汽車CD播放機(jī)和便攜式CD播放機(jī)；,PHILIPS、SONY定義了 CDROM標(biāo)準(zhǔn)；、SONY定義了交互式CDI標(biāo)準(zhǔn)；,PHILIPS、SONY將 CDROM 標(biāo)準(zhǔn)擴(kuò)展為CDROM XA 和CDR標(biāo)準(zhǔn)；,CDROM成為家用計(jì)算機(jī)標(biāo)配；,可擦寫CD和 CD+標(biāo)準(zhǔn)；,SNOY 和其他8家公建立了DVD格式統(tǒng)一標(biāo)準(zhǔn)。不同格式光盤之間的主要差別：，可以播放74分鐘；；；、圖、聲、像等，650MB，動(dòng)畫、動(dòng)靜態(tài)圖像；、圖、聲、靜止像、動(dòng)畫等； FMV存放數(shù)值化的電影、電視節(jié)目等； CD 存放數(shù)字化的卡拉OK節(jié)目； CD存放數(shù)字化的電影、電視節(jié)目，70分MPEG1數(shù)字影視節(jié)目；。技術(shù)皮書說明標(biāo)準(zhǔn) 盤名 應(yīng)用目的 播放時(shí)間 顯示圖像紅皮書 CDDA 存儲(chǔ)音樂節(jié)目 74分鐘 動(dòng)畫動(dòng)靜態(tài)圖像黃皮書 CDROM 存儲(chǔ)文、圖、聲、像 650MB 動(dòng)畫靜態(tài)圖像綠皮書 CDI 存儲(chǔ)文、圖、聲、像 760MB 橙皮書 CDR 讀寫文、圖、聲、像 白皮書 Video