[理學(xué)]編譯原理第三章(已修改)
2024-10-28 21:34 本頁面
【正文】 第三章 有限自動(dòng)機(jī)和詞法分析器 ? 詞法分析中的主要問題 ? 正則表達(dá)式 ? 有限自動(dòng)機(jī) ? 詞法分析器的構(gòu)造 詞法分析 一、詞法分析器的功能 將以字符為單位的源程序轉(zhuǎn)換成詞法單元序列。 例如：有小型語言 TOYL的程序 : begin x:=10。 read(y)。 x:=x+y end 經(jīng)過詞法分析之后得到結(jié)果 (詞法單元序列 )如下： [1](BEGIN,”begin”) [2](ID,”x”) [3](ASS_OP,”:=” ) [4](NUMBER,”10”) [5](SEMI,”?！? [6](READ,”read”) [7](OPEN,”(”) [8](ID ,”y”) [9](CLOSE,”)”) [10](SEMI,”?！? [11](ID,”x”) [12](ASS_OP,”:=”) [13](ID,”x”) [14](PLUS_OP,”+”) [15](ID,”y”) [16](END,”end”) 詞法單元由兩部分組成：（詞法單元名，屬性值 ) 詞素是一個(gè)詞法單元的一個(gè)實(shí)例。 附屬詞法分析器 調(diào)用 token 語法分析器 源程序 源程序 獨(dú)立詞法分析器 token 序列 語法分析器 二、詞法分析器的分類 ? 作為語法分析器的子程序 ? 作為編譯器的獨(dú)立一遍任務(wù) 不同語言，詞法單元的分類互不相同，一般而言，詞法單元類別包含： 每個(gè)關(guān)鍵字有個(gè)詞法單元。 表示運(yùn)算符的詞法單元，可以代表單個(gè)運(yùn)算，也可以表示一類運(yùn)算。 一個(gè)表示所有標(biāo)識(shí)符的詞法單元，標(biāo)識(shí)符詞法單元屬性值比較復(fù) 雜，通常，要為標(biāo)識(shí)符建立符號(hào)表，該標(biāo)識(shí)符的所有屬性將登記在 其對(duì)應(yīng)的符號(hào)表?xiàng)l目中，則該標(biāo)識(shí)符詞法單元的屬性值即為其在符 號(hào)表對(duì)應(yīng)條目的指針。 一個(gè)或多個(gè)表示常量的詞法單元。 每個(gè)界限符號(hào)有一個(gè)詞法單元，如左右括號(hào)、逗號(hào)、分號(hào)等。 三、關(guān)鍵字（保留字）的處理 區(qū)分一般標(biāo)識(shí)符和保留字的方法： ? 先構(gòu)造好保留字表，每當(dāng)拼出一個(gè) ID型的單詞時(shí)，先查 保留字表，若找到，則為保留字，否則為一般標(biāo)識(shí)符； 該方法需要注意保留字表結(jié)構(gòu)的構(gòu)造。 ? 在拼出單詞的同時(shí)完成保留字的判斷，該方法速度較 快，但程序較冗長(zhǎng)。 四、空格符、制表符和換行符的處理 ? 空格符 、制表符只有詞法意義而沒有語法和語義上的意 義，因此詞法分析后需刪除，但字符串中的空格符不能 刪除； ? 換行符對(duì)錯(cuò)誤處理具有重要的意義，在發(fā)現(xiàn)錯(cuò)誤時(shí)指出 錯(cuò)誤的行號(hào)，因此詞法分析時(shí)不能刪除。 五、括號(hào)類配對(duì)預(yù)檢 ? 程序中括號(hào)配對(duì)的正確性，對(duì)于提高語法分析器的報(bào) 錯(cuò)準(zhǔn)確率具有非常重要的意義，在詞法分析階段進(jìn)行括 號(hào)配對(duì)的檢查是必要的； ? 括號(hào)配對(duì)檢查的方法： 為每一類括號(hào)設(shè)置一個(gè)計(jì)數(shù)器，每當(dāng)遇到開
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1