【正文】 能符號學視角。在許多情況下，語言與其它符號資源各有所長，一起構建意義。他認為語言學是符號學的一個組成部分。ckl（ 2021）也做了相關的研究，認為不同模態(tài)在符號屬性、認知取向和語義潛勢上體現(xiàn)出區(qū)別性特征。 ? 早期的功能符號學多模態(tài)研究關注用 Halliday的系統(tǒng)功能語法來分析語言之外的某種模態(tài)，如 O’Toole（ 1994）對油畫、建筑和雕塑的分析， Kress amp。 ? 更多的學者關注多模態(tài)話語中各模態(tài)之間的關系和語法整合。胡壯麟（ 2021: 7）將多模態(tài)讀寫解釋為具有能閱讀所能接觸到的各種媒體和模態(tài)的信息，并能循此產(chǎn)生相應的材料，如閱讀互聯(lián)網(wǎng)或互動的多媒體。另外，我們也看到了系統(tǒng)功能語言學理論在多模態(tài)研究中的重要作用。Lemke 認為，兩個網(wǎng)頁之間存在著交換關系、取向關系和呈現(xiàn)關系。 Van Leeuwen（ 1999）認為音樂中人際功能占主導地位，因為音樂的結構特征是韻律的和遞歸的，即旋律和節(jié)奏。 ? 功能符號學的視角運用系統(tǒng)功能語言學理論，分析包括語言之內(nèi)不同模態(tài)的意義構建模式。 ? 從認知的視角，學者們關心的是概念化理論如何指導交際者選擇不同的模態(tài)或模態(tài)組合進行連貫的交際。正如Kress（ 2021: 68）所提到的，在教材、報紙、機構報告、電子媒介、網(wǎng)絡等，圖像正替代語言成為主要的意義構建資源，或者與語言平分秋色。在“視覺文化”的影響下，意義的構建往往通過文化處所或實體來體現(xiàn)，視聽動態(tài)圖像逐漸取代文本來傳遞信息。他們側重研究理想的認知模式中源和目標如何同時以一種以上的模態(tài)表征。在多模態(tài)話語的研究上，這一視角的研究成果最多，成為多模態(tài)研究的主要力量。Lemke（ 1998）對書面科學語篇中的圖形和圖表的分析表明呈現(xiàn)意義和組織意義要比取向意義更前景化，并顯示出明顯的多樣化。此外，顏色在空間分布上的差異也體現(xiàn)出不同的突顯模式。