【正文】 } %% 相應的 LEX規(guī)格說明（續(xù)） 如果沒有 return語句，則，處理完整個輸入之后才會返回?。? Wensheng Li BUPT 2022 67/78 /* 輔助過程 */ int install_id() { /* 把單詞插入符號表并返回該單詞在符號表中的位置 yytext指向該單詞的第一個字符 yyleng給出它的長度 */ } int install_num() { /* 類似于上面的過程，但單詞是常數(shù) */ } 相應的 LEX規(guī)格說明（續(xù)） Wensheng Li BUPT 2022 68/78 LEX解決沖突的方式 1. 根據(jù)規(guī)則定義的先后次序 解決了例子中關鍵字和標識符的沖突 2. 最長匹配原則 解決了例子中諸如 “ ” 和 “ =” 的沖突 ?Wensheng Li BUPT 2022 69/78 二、 LEX的工作原理 —— ? 掃描每一條翻譯規(guī)則 Pi，為之構造一個非確定的有限自動機 NFA Mi ? 將各條翻譯規(guī)則對應的 NFA Mi合并為一個新的 NFA M 0 q1 q2 qn p1 p2 pn NFA M1 NFA M1 NFA M1 ? ? ? ? ? ? ? ? ? 開始 ? 將 NFA M確定化為 DFA D，并生成該 DFA D的狀態(tài)轉換矩陣和控制執(zhí)行程序。 } “” { yylval=GT。 } “=” { yylval=EQ。 } “” { yylval=LT。 } {id} { yylval=install_id()。 Wensheng Li BUPT 2022 64/78 LEX源程序舉例 ? LEX生成的詞法分析器的執(zhí)行：最長匹配原則 ? 傳遞單詞的屬性，是把屬性值賦給全程變量 yylval ? 正規(guī)定義式： if ? if then ? then else ? else relop ? | = | = | | | = id ? letter(letter|digit)* num ? digit+(.digit+)?(E(+|)?digit+)? Wensheng Li BUPT 2022 65/78 相應的 LEX規(guī)格說明 /* 說明部分 */ %{ include /* C語言描述的標識符常量的定義，如 LT、 LE、 EQ、 NE、 GT、GE、 IF、 THEN、 ELSE、 ID、 NUMBER、 RELOP */ extern yylval。在第三節(jié)中的輔助過程也按同樣方式處理 Wensheng Li BUPT 2022 62/78 一、 LEX源程序 —— ? 形式： P1 { 動作 1 } P2 { 動作 2 } … Pn { 動作 n } ? Pi 是一個正規(guī)表達式 ， 描述一種記號的模式 。B=0。 CASE ?0?..?9?: cat。 BREAK。 BREAK。 stata=1。 state=0。 BREAK。 }。 WHILE (!?*?) get_char。?, )。 CASE ?)? : return(?)?, )。 CASE ?? : return(??, )。 return(?:?, )。} BREAK。 CASE ?? : get_char。 return(relop, LT)。 CASE ?? : get_char。 get_char。 }。 } retract。 get_char。 (14) table_insert：過程，將標識符插入符號表。 (10) letter和 digit：布爾函數(shù)，分別判斷 char中的字符是否為字母或數(shù)字，若是則返回 true，否則返回 false。 (6) buffer：字符數(shù)組，輸入緩沖區(qū)。 Wensheng Li BUPT 2022 52/78 (1) C：字符變量，存放當前讀進的字符。 Wensheng Li BUPT 2022 47/78 開始 讀字符 空白？ Y N Token :=‘ ’ 字母？ Y 組合標識符 R 查保留字表 保留字？ Y N 輸出保留字 輸出標識符 N 數(shù)字？ Y 組數(shù) R 輸出無符號數(shù) N ？ Y N 讀字符 = ？ Y 輸出 = N ？ Y 輸出 N R 輸出 ？ Y 讀字符 =？ Y 輸出 = N R 輸出 ：？ Y 讀字符 =? Y 輸出賦值號 := N R 輸出冒號： N / ? 讀字符 * ? 讀去注釋 N R 輸出斜杠 / N Y Y 轉入口 N 標點符號？ Y 輸出標點符號 N 錯誤處理 出口 說明： R 為一過程，其功能是向前指針回退一個字符； Token 為字符數(shù)組，用于存放單詞符號 Wensheng Li BUPT 2022 48/78 三、詞法分析程序的實現(xiàn) ? 輸出形式 ? 設計全局變量和過程 ? 編制詞法分析程 序 Wensheng Li BUPT 2022 49/78 輸出形式 ? 利用翻譯表，將識別出的單詞的記號以二元式的形式加以輸出 ? 二元式的形式： 記號，屬性 Wensheng Li BUPT 2022 50/78 正規(guī)表達式 記號 屬性 if if then then else else id id 符號表入口指針 num num 常數(shù)表入口指針 relop LT = relop LE = relop EQ relop NE relop GT = relop GE := assignop + + * * / / ( ( ) ) ? ? 。 賦值號 ： := 注釋標記 ：以‘ /*?開始，以‘ */?結束。 保留字 ：標識符的子集。 – 狀態(tài)之間用有向邊連接。 ? 在詞法分析階段，對記號只能確定一種屬性 – 關鍵字：一字一種或全體一種，前一種方法較好 – 標識符：一般統(tǒng)歸一種，也可分為若干種 – 常數(shù)：一般統(tǒng)歸一種，也可按類型分種 – 運算符：一符一種或一類一種 – 分界符：一般用一符一種 ? 記號的屬性是指記號的特征或特性，反映特征或特性的值是屬性值 ? 一種一符則種別值可以認為是屬性值，一種多符則需給出屬性值 Wensheng Li BUPT 2022 20/78 total:=total+rate*4 的詞法分析結果 id， 指向標識符 total在符號表中的入口的指針 assign_op， id， 指向標識符 total在符號表中的入口的指針 plus_op， id， 指向標識符 rate在符號表中的入口的指針 mul_op， num， 整數(shù)值 4 Wensheng Li BUPT 2022 21/78 記號的描述和識別 ? 識別單詞是按照記號的模式進行的，一種記號的模式匹配一類單詞的集合。 – 模式：是指某一類單詞符號的構詞規(guī)則，如標識符的模式是“由字母開頭的字母數(shù)字串”。 向前指針指向緩沖區(qū)的開始位置 。 eof eof ? 基本方法的缺點： 更新向前指針時要做二次測試 ? 改進：每半?yún)^(qū)帶有結束標記的緩沖器 更新向前指針時只要做一次測試 Wensheng Li BUPT 2022 17/78 測試指針的過程 (2) 向前指針前移一個位置； IF (向前指針指向 eof ) { IF (向前指針在左半?yún)^(qū)的終點 ) { 讀入字符串 ， 填充右半?yún)^(qū) 。 } ELSE IF (向前指針在右半?yún)^(qū)的終點 ) { 讀入字符串 ， 填充左半?yún)^(qū) 。 例： Pascal語言中： 、 :=、 （ * 例： C語言中： ==、 /*、 //、 ++ ? 方便實現(xiàn)讀字符和退字符操作 ， 提高詞法分析器的效率 Wensheng Li BUPT 2022 1