【正文】 能符號學(xué)視角。在許多情況下，語言與其它符號資源各有所長，一起構(gòu)建意義。他認(rèn)為語言學(xué)是符號學(xué)的一個組成部分。ckl（ 2021）也做了相關(guān)的研究，認(rèn)為不同模態(tài)在符號屬性、認(rèn)知取向和語義潛勢上體現(xiàn)出區(qū)別性特征。 ? 早期的功能符號學(xué)多模態(tài)研究關(guān)注用 Halliday的系統(tǒng)功能語法來分析語言之外的某種模態(tài)，如 O’Toole（ 1994）對油畫、建筑和雕塑的分析， Kress amp。 ? 更多的學(xué)者關(guān)注多模態(tài)話語中各模態(tài)之間的關(guān)系和語法整合。胡壯麟（ 2021: 7）將多模態(tài)讀寫解釋為具有能閱讀所能接觸到的各種媒體和模態(tài)的信息，并能循此產(chǎn)生相應(yīng)的材料，如閱讀互聯(lián)網(wǎng)或互動的多媒體。另外，我們也看到了系統(tǒng)功能語言學(xué)理論在多模態(tài)研究中的重要作用。Lemke 認(rèn)為，兩個網(wǎng)頁之間存在著交換關(guān)系、取向關(guān)系和呈現(xiàn)關(guān)系。 Van Leeuwen（ 1999）認(rèn)為音樂中人際功能占主導(dǎo)地位，因為音樂的結(jié)構(gòu)特征是韻律的和遞歸的，即旋律和節(jié)奏。 ? 功能符號學(xué)的視角運(yùn)用系統(tǒng)功能語言學(xué)理論，分析包括語言之內(nèi)不同模態(tài)的意義構(gòu)建模式。 ? 從認(rèn)知的視角，學(xué)者們關(guān)心的是概念化理論如何指導(dǎo)交際者選擇不同的模態(tài)或模態(tài)組合進(jìn)行連貫的交際。正如Kress（ 2021: 68）所提到的，在教材、報紙、機(jī)構(gòu)報告、電子媒介、網(wǎng)絡(luò)等，圖像正替代語言成為主要的意義構(gòu)建資源，或者與語言平分秋色。在“視覺文化”的影響下，意義的構(gòu)建往往通過文化處所或?qū)嶓w來體現(xiàn)，視聽動態(tài)圖像逐漸取代文本來傳遞信息。他們側(cè)重研究理想的認(rèn)知模式中源和目標(biāo)如何同時以一種以上的模態(tài)表征。在多模態(tài)話語的研究上，這一視角的研究成果最多，成為多模態(tài)研究的主要力量。Lemke（ 1998）對書面科學(xué)語篇中的圖形和圖表的分析表明呈現(xiàn)意義和組織意義要比取向意義更前景化，并顯示出明顯的多樣化。此外，顏色在空間分布上的差異也體現(xiàn)出不同的突顯模式。