【正文】 ? （采自 Fletcher, 1953） 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 聲音心理學 ? 掩蔽 (masking) ?聲音的響度不僅取決于自身的強度與頻率，而且也依同時出現(xiàn)的其他聲音而定。 ?等響線描述了響度與頻率和強度的關系。 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 聲音心理學 ? 聲音的三要素：音調、音強、音色 ?音調：與聲音的頻率有關，頻率快則聲音高，頻率慢則聲音低。 ?物理量綱可以用精確的值來描述，但對某一具體聲音得來的心理印象卻不容易說明白，因為心理印象要由被測者的經(jīng)驗而定。 ? 70 一米處正常談話聲。 ? 110 打雷。 2023 西安交通大學 新型計算機研究所 聲音心理學 ? 聲音的量綱 ?聲音的振動是一種正弦波，聲音的變化必須確定三件事：頻率（變化的速度）、幅度（產(chǎn)生的壓力）、相位（何時開始）。 ? 多通道同步輸入法（正在研究之中的方法） 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 媒體的性質和特點 ? 媒體的時間性質 ?表現(xiàn)需要時間 ?媒體在時間坐標軸上的相互關系 ? 媒體的語義 ?媒體的語義是有層次的 ?抽象的程度不同，語義的重點也就不同 ? 媒體結合的影響 ?媒體結合是多層次的 ?媒體結合有利于信息接受和理解 ? 隱喻 ?交互的概念模型，也稱心智模型 多媒體技術 169。 多媒體技術 169。 ?語音 ? 人的說話聲雖是一種特殊的媒體，但也是一種波形。 ?靜止的圖像是一個矩陣，由一些排成行列的點組成，這些點稱之為像素點（ pixel），這種圖像稱為位圖（ bitmap）。 2023 西安交通大學 新型計算機研究所 常見的媒體元素 ? 文本 ?文本是計算機文字處理程序的基礎 ? ASCII ? 中文 ? 圖形 ?一般指用計算機繪制的畫面。多媒體技術 169。也稱矢量圖。 ? 視頻 ?視頻源于電視技術，它由連續(xù)的畫面組成。 ?音樂 ? 符號化了的聲音，樂譜可轉變?yōu)榉柮襟w形式。 2023 西安交通大學 新型計算機研究所 媒體的種類 ? 視覺 視 覺 （靜止） 圖像 圖形 文字 符號 語言文字 抽象化 抽象化 （動態(tài)） 圖像 圖形 動態(tài)影像視頻 真實感三維動畫 二維動畫 三維動畫 其它表示為視覺的媒體 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 ? 由不同的媒體傳遞的信息的理解程度 ? 由不同的媒體傳遞的信息的記憶駐留效果 視覺 聽覺 觸覺 其它 理解程度 83% 1 1% 3% 3% 聽覺 視覺 視聽并舉 2 小時 70% 72% 85% 72 小時 10% 20% 65% 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 媒體的性質和特點 ? 多通道異步輸入輸出 聲音通道 傳感通道 文字通道 圖像通道 聲音 圖像 傳感信息 文字 表現(xiàn) 顯示 放音 觸覺 合成 存儲 圖 多通道異步輸入與輸出 多媒體技術 169。 ?復雜的波形：傅立葉變換 SIN波 ?聲音的強度：分貝 ?聲音分貝數(shù) =20LOG（ I/I0） ? I0為 /CM2 ( 1000Hz能聽到的最弱音 ) ?強度差 :一萬億倍 多媒體技術 169。 ? 100 交響樂高潮片斷。 ? 60 典型的辦公室 ? 50 普通住宅 ? 40 圖書館及交響樂低潮片斷 ? 30 ? 20 安靜的語音室及 處小聲談話聲。 ?聲音的心理屬性和物理屬性不可等同 ? 首先，這些關系不是線性的； ? 其次這些關系不是孤立的； ? 第三這些關系不是不變的。 ? 人的聽覺范圍： 20Hz~20KHz ?音強（響度）：取決于聲音的幅度，即振幅的大小與強弱。 2023 西安交通大學 新型計算機研究所 聲音心理學 S2周期 音色變化 S1音調 S2音強S1 S2S1周期S1與S2頻率、音色、音強均不同多媒體技術 169。從圖中可以看出，從心理學角度出發(fā)，對同一響度的聲音在頻率和強度上可以有很大的差別。各種聲音可以相互掩蔽，一種聲音的出現(xiàn)肯能使得另一種聲音難于聽清。 2023 西安交通大學 新型計算機研究所 聲音心理學 ? 上頁圖是佛萊奇爾（ Fletcher,1953）的一個實驗結果，從圖上可以看到以下幾種情況： ? （ 1）掩蔽音強度提高，掩蔽效果隨之增加，當 400赫茲的掩蔽音是 40分貝時， 800赫茲的純音要達到 23分貝時才能聽到；當該掩蔽音提高到 80分貝時， 800赫茲的純音須增加到 60分貝才能聽到，而且掩蔽音愈強，它的影響范圍也愈大。 ? （ 3）低頻對高頻的掩蔽效果大于高頻對低頻的掩蔽。 2023 西安交通大學 新型計算機研究所 掩蔽對聲音的影響 多媒體技術 169。對于臨界頻帶的確定，使得對聲音響度的處理能夠有的放矢。 ?相位的確定對于多聲道聲音系統(tǒng)的設計非常重要，其可以應用在回聲的消除、會議系統(tǒng)的聲音設計上。在穩(wěn)定狀態(tài)區(qū)，頻譜保持固定。時變現(xiàn)象用于數(shù)字系統(tǒng)中，說明聲音中的某些錯誤是不太容易發(fā)現(xiàn)的，但如果出現(xiàn)停頓就很容易引起人的注意。通過聲音的精確再現(xiàn)，就可以構造出聽覺空間。人耳對頻譜成分的波峰和波谷是非常敏感的。 ?音色非常復雜，目前尚在研究中。用聲音可以表達出一些聲音的效果。 ?數(shù)字聲音是一個數(shù)據(jù)序列。 2023 西安交通大學 新型計算機研究所 聲音的采樣以及量化圖 多媒體技術 169。一般的采樣位數(shù)為 8位或 16位，即把聲音采集為 256等份或 65536等分。 ?對于聲音的符號化（也可以稱為抽象化）表示包括兩種類型：一種是音樂，一種是語音。 ?對 MIDI的編輯也很靈活，用戶可以自由地改變音調、音色等屬性，直到自己想要的效果 ? MIDI在音質上還不能與真正的樂器完全相似。是當前研究的熱點之一 ? 一句話：許多音節(jié)及其相互間的過度過程 ? 特點：成年人基頻： 60400Hz，音調周期 10ms（男）、6ms（女） ? 漢語：一字一音節(jié)（獨立的發(fā)音單位），在漢語普通話中這些字都是由 23聲母 +34韻母 +五種音調組合成，有1200多種不同的發(fā)音。一般說來，三維虛擬聲空間要達到以下的一些目標： ? ① 在可聽的范圍內重現(xiàn)頻率分辨度和動態(tài)范圍； ? ② 在三維空間中精確地呈現(xiàn)聲音的位臵信息； ? ③ 能表達多個靜止和移動的聲源； ? ④ 能和頭部的動作具有一定的關聯(lián)； ? ⑤ 能夠支持一定程度的交互。 2023 西安交通大學 新型計算機研究所 音頻媒體的三維化處理 IID和 ITD的示意 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 視覺媒體技術 多媒體技術 169。 2023 西安交通大學 新型計算機研究所 視覺心理學 ? 視覺特性 ?亮度 ? 亮度是人眼對光強度的感受。 2023 西安交通大學 新型計算機研究所 ?彩色 ? 三種心理屬性：色調、亮度和飽和度 ? 色調 就是通常意義下的彩色，它隨波長的變化而變化，反映顏色的基本特性。 ? 色調和飽和度統(tǒng)稱為色度。 ? 左右視角約為 180度，上下約為 60度。這個過程產(chǎn)生的一個有序的圖像信號集合，就組成了電視顯示中的一幅圖像，在此稱為 幀 。 ? 由于是隔行掃描，所以垂直頻率分別是每秒 50幀和 60幀。垂直分辨率和每幀中的掃