【文章內容簡介】 檢索解決方案，將對現(xiàn)有內容識別專用解決方案的有限的能力進行擴展，特別是包含更多的數(shù)據(jù)類型。MPEG7的組成：MPEG7的系統(tǒng)、描述定義語言、音頻、視頻、屬性、參考軟件、一致性。 MPEG21標準：其目的是希望定義一個包含各種多媒體的框架，從而使各種多媒體有機結合，提供安全統(tǒng)一、跨平臺、用于信息制作、發(fā)布、處理等功能的框架平臺。MPEG21的實質：就是關鍵技術的集成，通過集成環(huán)境對全球數(shù)字多媒體資源進行透明和管理。 ：CCITT的第一個國際視頻壓縮標準，主要滿足電視電話電視會議。 ：其目的在于在現(xiàn)有的電話網(wǎng)上傳輸活動圖像。其基于塊的預測標差分編碼系統(tǒng)。：，僅包含幀本身的信息，從而每幀可以獨立編碼；，只對幀間預測誤差進行編碼，從而極大消除時間冗余。：，、基于語法的算術編碼方法、高級預測和PB幀。+中新增項：，有分級圖像、增強的PB幀、用戶定義的圖像格式。，有先進的幀內碼AIC、塊效應消除濾波器DF、片結構SS、參考幀選擇RPS、參考幀重采樣RPR。 ：其主要目標和特點在于，提高壓縮編碼效率、增強網(wǎng)絡適應能力。：：分為視頻編碼層負責高效視頻內容表示；網(wǎng)絡提取層NAL：負責以網(wǎng)絡所要求的恰當?shù)姆绞綄?shù)據(jù)進行打包傳送。、多模式運動估計：、1/8像素精度的運動矢量。3. 4*4塊的整數(shù)變換：對殘差采用基于塊的變換編碼，但變換時整數(shù)操作不是實數(shù)運算。：，一種是對所有的待編碼符號采用統(tǒng)一VLC(UVLC)，一種是采用內容自適應的二進制算術編碼CABAC：不是在時間上，而是在空間域上進行的預測編碼算法，可以消除相鄰塊之間的空間冗余，取得更有效的壓縮。：第4章 音頻信號和聲卡 音頻編碼基礎聲音，根據(jù)其內容可以分為波形聲波、語音和音樂。波形聲音，是數(shù)字化了的聲音，包含所有的聲音形式。音頻信號，是指經(jīng)過計算機處理過的離散化了的省略信號。 聲音信號的特點：，連續(xù)性表現(xiàn)在，一是時間上的連續(xù)，二是幅度上的連續(xù)。聲波具有普通波的特性，反射、折射、衍射。，按不同聲音特性可分為不規(guī)則聲音和規(guī)則聲音。 前者不包含任何信息的噪音，后者常分為語音、音樂、和音效。語音：是指具有語言內涵和人類約定俗成的特殊媒體。音樂：是規(guī)范的、符號化的聲音。音效：是指人類熟悉的其他聲音。，音調、音強、音色。 音頻信號處理的方法聲音是連續(xù)模擬的信號，計算機要對聲音時間軸和幅度兩個方面進行離散化。采樣：是指計算機對聲音在時間軸上的離散化處理。量化：是指計算機對聲音在幅度上的離散化處理。 音頻文件的存儲格式目前流行的種類：主要在計算機上的WAV格式，主要在UNIX工作站上的AU格式，主要在蘋果機和SGI工作站上的AIFF和SND格式，和目前PC機上流行的mr和mp3格式。WAV文件格式：稱為波形文件格式。波形文件格式，支持存儲各種采樣頻率和采樣精度的聲音數(shù)據(jù)支持聲音數(shù)據(jù)壓縮。RIFF文件格式：一種為交換多媒體資源而開發(fā)的資源交換文件格式，前面兩個字段表示文件類型，其中最主要的兩個塊是，文件結構塊（包含波形重要參數(shù)）和聲音數(shù)據(jù)塊（包含實際波形數(shù)據(jù)）。WAV外的常見音頻格式：，文件即采用MP3文件格式壓縮的文件。，一種符合RIFF文件規(guī)范的數(shù)以音頻和視頻文件格式。，由RealNetworks開發(fā)主要用于低速廣域網(wǎng)上實時傳輸活動視頻影像。 聲音質量的度量，一次為DAT CD FM AM 數(shù)字電話。：一是客觀質量，主要使用信噪比來度量，建立在度量均方差基礎上，特點是計算簡單，但不能完全反映人對語言質量的感覺；二是主觀質量，常用的方法有平均意見得分MOS法，其5個等級有若干參與測試者平分得出。，廣播質量、網(wǎng)絡質量、通信質量、合成質量。 音頻信號壓縮技術數(shù)字化的音頻信號必須經(jīng)過編碼處理，以適應存儲和傳輸?shù)囊?，并且在音頻信號再生時得到做好的音質的聲音。 一般壓縮技術分為，有損壓縮和無損壓縮，而按照壓縮方案不同，又可分為時間域壓縮、變換壓縮、子帶壓縮以及多技術混合壓縮。，是概念上最簡單、理論上最完善的編碼系統(tǒng)，是最早研制成功、使用最廣泛的編碼系統(tǒng)，但一時數(shù)據(jù)量最大的編碼系統(tǒng)。聲音數(shù)字化的兩個步驟：一是采樣，每隔一段時間間隔讀一次聲音的幅度；二是量化，把采樣得到的聲音信號幅度轉化成數(shù)字值，可分為均勻量化和非均勻量化。 增量調制DM增量調制DM是一種預測編碼技術，是PCM編碼的變形，PCM具有對任意變形進行編碼的能力。DM對實際的采樣信號與預測的采樣信號之差的極性極性編碼，將極性變成0和1這兩種可能。增量調制孫然簡單單有兩個缺點：一是會出現(xiàn)斜率過載，二是會產(chǎn)生粒狀噪聲。 自適應脈沖編碼調制APCM其是一種根據(jù)輸入信號幅度的均方根值的變化來改變量化的一種編碼技術。改變量化階大小的方法：一是前向自適應，二是后向自適應。 差分脈沖編碼調制DPCM是利用樣本與樣本之間存在的信息冗余來進行編碼的一種數(shù)據(jù)壓縮技術。其思想是根據(jù)過去的樣本去估算下一個樣本信號的幅度大小，這個值稱為預測值，然后對實際信號值與與預測值之差進行量化編碼從而減少了表示每個樣本信號的位數(shù)。 自適應差分脈沖編碼調制ADPCM其綜合APCM的自適應和DPCM的差分特性，是一種比較好的波形編碼。ADPCM的思想是：，即使用小的量化增量去編碼小的差值，使用大的量化增量去編碼打的差值；，使實際樣本值和預測值之間的差值總是最小。，其思想是使用一組帶通濾波器把輸入音頻信號的頻帶分成若干個連續(xù)的頻段，每個頻段稱為子帶。采用對子帶分別編碼的好處：一是對每個子帶信號分別進行自適應控制，量化階的大小可以按照每個子帶的能量電平進行調節(jié)；二是可以根據(jù)每個子帶信號在感覺上的重要性，對每個子帶分配不同的位數(shù)，用來表示每個樣本值。 音頻編碼標準 CCITT G系列聲音壓縮標準：為電話質量和語音壓縮用于電話，使用μ律或A律的非線性量化技術。：為調幅廣播質量的音頻信號壓縮制定，用于視聽多媒體和會議電視。：采用多脈沖激勵最大似然量化算法，用于可視電話及IP電話系統(tǒng)。：使用基于低時延碼本激勵線性預測編碼，用于公共電話網(wǎng)。：使用8kbps的共軛結構代數(shù)碼激勵線性預測算法，多用于無線移動網(wǎng)、數(shù)字多路復用系統(tǒng)和計算機通信系統(tǒng)中。CCITT G系列聲音壓縮標準比較標準 比特率 編碼技術 應用 制定日G711 64kbps PCM 公共電話網(wǎng) 1972 64kbps SBC+ADPCM視聽多媒體和會議電話 MPMLQ 視頻電話及IP電話 16kbps LDCELP 公共電話網(wǎng) 8kbps CSACELP 無線移動網(wǎng)、計算機通信系統(tǒng) MP3壓縮技術，MP3是MPEG audio layer3的縮寫，是一種超級聲音文件的壓縮方法，具有文件小、音質佳的特點。MPEG分視頻和音頻壓縮，音頻上分MPEG layerMPEG layerMPEG layer3三種，壓縮比一次升高。MPEG 音頻編碼模式中，MP3功能強大，同樣條件下，MP3需要的數(shù)據(jù)量小且音質要好。 MP3采用有損壓縮，為降低失真度，其采用“感官編碼技術”，即編碼時先對音頻文件進行頻譜分析，然后用過濾器濾掉噪聲電平，接著通過量化的方式將剩下的每一位打散排列，最后形成具有較高壓縮比的MP3文件，并使壓縮后的文件在回放時能夠達到比較接近原音源的聲音效果。雖然有損壓縮，但以極小的聲音損失換來較高的壓縮比。 MP3產(chǎn)品： MP4簡介MP4最初是音頻格式，采用先進的音頻壓縮技術ACC，并且實現(xiàn)了版權保護。 樂器數(shù)字接口MIDIMIDI是數(shù)字音樂電子合成音樂的統(tǒng)一國際標準，其目的是解決各種電子樂器間存在的兼容性問題。MIDI定義的內容：定義了計算機音樂程序、音樂合成器及其他電子音樂設備交換音樂信號的方式，而其還規(guī)定了不同廠家的電子樂器與計算機連接的電纜和硬件及設備間的數(shù)據(jù)傳輸協(xié)議，可用于為不同樂器創(chuàng)建數(shù)字聲音，能很容易的模擬鋼琴、小提琴等傳統(tǒng)樂器的聲音。計算機播放MIDI的兩種合成聲音：FM合成和波表合成。FM合成石通過多個頻率的聲音混合來模擬樂器的聲音；波表面合成是將樂器的聲音樣本存儲在聲卡波形表中播放時從波形表中取出聲音，所以更為逼真。MIDI文件格式：CMF隨聲卡一起的音樂文件,與MIDI文件僅頭文件不同；MIDI是windows使用的RIFF文件格式， 音頻編碼標準 聲卡的發(fā)展歷史； Blaster聲卡；；。 聲卡的聲道：比較原始的聲音復制形式；：聲音在錄制時被分配到兩個獨立的聲道；：其四個發(fā)音點位前左前、右后、左后、右及附加低音單元。：廣泛用于傳統(tǒng)電影院和數(shù)家庭影院。 聲卡的功能：、編輯和回放數(shù)字聲音文件；，并混合在一起，一遍數(shù)字化；，以節(jié)省存儲空間；，能夠讓計算機朗讀文件； 聲卡的工作原理主機通過總線將數(shù)字化聲音信號以PCM的方式送到數(shù)模轉換器（D/A），將數(shù)字信號變成模擬信號；同時又可以通過模數(shù)轉換器(A/D)將麥克風或CD的輸入信號轉換成數(shù)字信號。聲音處理芯片，是核心芯片，是一個完整的音頻子系統(tǒng)電纜，通過對音頻信號的轉換控制加工處理，在計算機上實現(xiàn)較理想的音響效果。其含有A/D、D/A轉換器以及可重構數(shù)字濾波器、設置增益值和衰減值的模擬混合器和數(shù)字混合器、并行總線接口，實現(xiàn)音頻數(shù)據(jù)獲取和播放的全雙通道。合成器芯片，其由總線接口、發(fā)聲電源、定時控制三部分組成。 語音合成技術及應用語音識別和語音合成技術時實現(xiàn)人和計算機進行語音通信所必須的關鍵技術。語音合成：包含兩個可能性：一是機器能再生一個預先存入的語音信號，就像錄音機只是采用數(shù)字技術；一種是采用數(shù)字信號處理方法?；诠舱穹謇碚摰娜N實用模型：；；。 LPC參數(shù)合成其本質是一種實踐波形的部門技術，目的是為了降低時間域信號的傳輸速率。需要與其他技術結合才能明顯改善LPC合成質量。按人類語言功能的不同層次可分三個層次：；；。 語音合成技術的應用:；；；；；。 語音識別技術的最終目標是人與計算機自由的交談，及其能聽懂人話。 語音識別技術的發(fā)展歷史其研究始于20世紀59年代，由ATamp。A Ball實驗室實現(xiàn)Audry 10詞識別語音系統(tǒng)，60年代提出動態(tài)規(guī)劃和線性預測分析技術，后者解決了語言信號產(chǎn)生模型的問題，70年代動態(tài)規(guī)劃技術得到進一步發(fā)展，動態(tài)實踐規(guī)正技術成熟，提出了矢量量化和隱馬爾可夫模型理論在實踐上實現(xiàn)了基于線性預測倒譜和動態(tài)實踐規(guī)正技術的特定人孤立語音識別系統(tǒng)，80年代HMM模型和ANN人工神經(jīng)元網(wǎng)絡在語音識別中的成功應用，90年代語音識別由實驗室走向大眾。：信號處理、模式識別、概率論和信息論、發(fā)聲機理和聽覺機理、人工智能等。語音識別技術主要包括：特征提取技術、模式匹配準則、模型訓練技術三個，另外還涉及到語音識別單元的選取。：選擇識別單元式語音識別研究的第一步，其有單詞（句）、音節(jié)和音素三種。單詞單元主要用于中小詞匯識別系統(tǒng)，不適合大詞匯系統(tǒng)；音節(jié)多見于漢語語音識別，因為漢語為單音節(jié)語言；音素中英語音識別都用。：常用的聲學特征有線性預測系數(shù)LPC、倒譜系數(shù)CEP、Mel倒譜系數(shù)MFCC和感知線性預測PLP：模式匹配時根據(jù)一定準則，使未知模式與模型庫中的某一個模型獲得最佳匹配。模型訓練是指按照一定的準則，從大量已知模式中獲取該模式本質特征的模型參數(shù)。 語音識別系統(tǒng)的類型語音識別系統(tǒng)的幾種分類方式：按對說話人的依賴程度可以分特定人非特定人語音識別系統(tǒng)；按對話人說話方式可以分孤立字詞語、連接詞、連續(xù)語音識別系統(tǒng)。按詞匯量大小可分小詞匯量、中等詞匯量、大詞匯量和無限詞匯量語音識別系統(tǒng)。：可以訓練特定人的系統(tǒng)來識別更大的詞匯表，但也存在限制：需要徹底的訓練，因為要把單詞輸入系統(tǒng)重復很多次；為識別大詞匯表中的單吃需要大量的存儲；為識別單詞進行的搜索時間更長。：可以識別任何用戶的語音。：一次只提供一個單詞的識別。：識別句子。：主要的兩個問題：一是分割和標志過程，把語音段標記成代表音素、半音節(jié)、音節(jié)和單詞更小的單元，二是為跟上輸入語音并實時地識別詞序列所需的計算能力。 連續(xù)語音識別技術的三個組成部分：一是數(shù)字化、幅度歸一化、時間歸一化和參數(shù)歸一化：二是分割并把語音段標記成在基于知識或基于規(guī)則系統(tǒng)上的符號串：三是設計用于識別詞序序列而進行語音段匹配。 語音識別的應用:；；。第5章 光盤存儲 光盤的發(fā)展歷史CDDA過度到CDROM兩個重要問題：一個是計算機如何尋找光盤上面的數(shù)據(jù)，二是CD作為計算機的存儲器時要求錯誤率遠小于聲音數(shù)據(jù)的錯誤率。光盤存儲的主要歷史事件：，PHILIPS、SONY 制定CDDA標準；,SONY 第一臺CD播放機 CDP101，第一張 CD；,SONY 第一臺汽車CD播放機和便攜式CD播放機；,PHILIPS、SONY定義了 CDROM標準；、SONY定義了交互式CDI標準；,PHILIPS、SONY將 CDROM 標準擴展為CDROM XA 和CDR標準；,CDROM成為家用計算機標配；,可擦寫CD和 CD+標準；,SNOY 和其他8家公建立了DVD格式統(tǒng)一標準。不同格式光盤之間的主要差別：，可以播放74分鐘；；；、圖、聲、像等，650MB，動畫、動靜態(tài)圖像；、圖、聲、靜止像、動畫等； FMV存放數(shù)值化的電影、電視節(jié)目等； CD 存放數(shù)字化的卡拉OK節(jié)目； CD存放數(shù)字化的電影、電視節(jié)目，70分MPEG1數(shù)字影視節(jié)目；。技術皮書說明標準 盤名 應用目的 播放時間 顯示圖像紅皮書 CDDA 存儲音樂節(jié)目 74分鐘 動畫動靜態(tài)圖像黃皮書 CDROM 存儲文、圖、聲、像 650MB 動畫靜態(tài)圖像綠皮書 CDI 存儲文、圖、聲、像 760MB 橙皮書 CDR 讀寫文、圖、聲、像 白皮書 Video