【正文】 Antlr簡介06通訊軟件 06382027 鄭毅本文主要介紹了什么是ANTLR，以及ANTLR的使用，其中ANTLR的使用包括了ANTLR的安裝及使用，ANTLR語法文件解析，ANTLR規(guī)則（RULE）解析，ANTLR語法實例—SensorSQL，ANTLR Studio及其功能介紹等。 Antlr（ANother Tool for Language Recognition）是一個工具，前身是 PCCTS,它為我們構(gòu)造自己的識別器（recognizers）、編譯器（piler）和轉(zhuǎn)換器（translators）提供了一個基礎(chǔ)。通過定義自己的語言規(guī)則，Antlr可以為我們生成相應(yīng)的語言解析器，這樣便可以省卻了自己全手工打造的勞苦。 它是這樣的一種工具，它可以接受文法語言描述，并能產(chǎn)生識別這些語言的語句的程序。作為翻譯程序的一部分，你可以使用簡單的操作符和動作來參數(shù)化你的文法，使之告訴ANTLR怎樣去創(chuàng)建抽象語法樹(AST)和怎樣產(chǎn)生輸出。ANTLR知道怎樣去生成識別程序，語言包括Java，C++，C和不久的Python。 ANTLR知道怎樣構(gòu)建識別程序，這些程序可以對以下三種不同的輸入應(yīng)用文法結(jié)構(gòu)：(i) 字符流, (ii) 記號流，和(iii)兩維的樹結(jié)構(gòu)。很自然的它們分別與詞法分析程序(lexers，以下簡稱lexer)，語言解析程序和樹遍歷程序向匹配。這個用于定義這些語法的元語言，在所有情況下幾乎一樣的。 一旦你對ANTLR和類似工具比較順手，你會開始以一種新的目光來看編程。許多任務(wù)強烈需要語言解決方案，而不是采用傳統(tǒng)編程語言的做法。比如，這些過程的注解都是用特倫斯標(biāo)記語言寫的。而ANTLR則能來將文本（內(nèi)含一些額外的東西和轉(zhuǎn)換）轉(zhuǎn)化為HTML，PDF或者其他那些生成程序的文件格式。 最后，ANTLR只是一件工具，僅僅這些。 雖然它能通過將容易理解的乏味部分自動化來幫助你創(chuàng)建軟件，但卻不能企圖讓你指定整個編譯器。例如，在單個的描述里就不行。那些宣稱這類事情非常偉大，可以為發(fā)布刊物文章編寫驚人的“一攬子解決方案”，卻會悲慘失敗在實際項目中。詞法分析器（Lexer）詞法分析器又稱為Scanner，Lexical analyser和Tokenizer。程序設(shè)計語言通常由關(guān)鍵字和嚴(yán)格定義的語法結(jié)構(gòu)組成。編譯的最終目的是將程序設(shè)計語言的高層指令翻譯成物力機器或虛擬機可以執(zhí)行的指令。此法分析器的工作是分析量化那些本來毫無意義的字符流，將他們翻譯成離散的字符組（也就是一個一個的Token）括關(guān)鍵字，標(biāo)識符，符號（symbols）和操作符供語法分析器使用。語法分析器（Parser）編譯器又稱為Syntactical analyser。在分析字符流的時候，Lexer不關(guān)心所生成的單個Token的語法意義及其與上下文之間的關(guān)系，而這就是Parser的工作。語法分析器將收到的Tokens組織起來，并轉(zhuǎn)換成為目標(biāo)語言語法定義所允許的序列。無論是Lexer還是Parser都是一種識別器，Lexer是字符序列識別器而Parser是Token序列識別器。他們在本質(zhì)上是類似的東西，而只是在分工上有所不同而已。ANTLRANTLR將上述兩者結(jié)合起來，它允許我們定義識別字符流的詞法規(guī)則和用于解釋Token流的詞法分析規(guī)則。然后，ANTLR將根據(jù)用戶提供的語法文件自動生成相應(yīng)的詞法/語法分析器。用戶可以利用他們將輸入的文本進行編譯，并轉(zhuǎn)換成其他形式（如AST—Abstract Syntax Tree，抽象的語法樹）。Antlr使用安裝及使用到（）。，寫好語法文件（），運行命令“java ”就可以獲得自動生成語法/詞法分析器。ANTLR語法文件解析下面我們對圖中所描述的ANTLR語法文件做一些詳細(xì)的分析。為了更好的使用ANTLR，你還可以下載ANTLR的Eclipse插件來幫助你完成工作。1. header域：所有出現(xiàn)在這里的部分，都會出現(xiàn)在由ANTLR編譯之后生成的Java文件的最頂部。在本例中你可以將包名和其他信息放到這一區(qū)域中，生成的結(jié)果如由面對應(yīng)代碼部分所示。2. 你在這一部分所提供的內(nèi)容對于文件中的每個語法都是唯一的。這一區(qū)域的內(nèi)容將出現(xiàn)在實際的類定義之前。也就是說，兩個import僅屬于類CalcParser，而不屬于在同一個文件中定義的其他類（如CalcLexer）3. 這里是語法定義部分，你同樣可以將它看成是類定義。4. 在Option域中，你可以為你的語法提供可選項。例如是否建立缺省的抽象語法樹，指定LL（K）中的參數(shù)k的值（缺省為1）等等，更詳細(xì)的參數(shù)請參閱ANTLR自帶的手冊。5. Token部分用來聲明那些在詞法分析器中沒有被聲明的“想象的”token。這些信息通常用在TreeParser中指定“想象”的節(jié)點。6. 這是另一個Action區(qū)，ANTLR將會忠實地將這一區(qū)域內(nèi)的信息放置到類的定義當(dāng)中，相當(dāng)于類的成員方法，主要為用戶提供一種在Parser種定制可擴展方法的途徑。ANTLR規(guī)則（RULE）解析在ANTLR的語法文件中，一個規(guī)則的定義是與一個由ANTLR生成的Java源文件相對應(yīng)的。1，2，3，4：正如你所看到的那樣，我們可以在一個規(guī)則定義中作與一個函數(shù)等價的所有事情。我們可以為規(guī)則指定參數(shù)（像上面的int a），制定返回值（int c），甚至拋出一個異常。從右半面我們可以清楚地看到，所有在規(guī)則中定義的內(nèi)容都被忠實而準(zhǔn)確的翻譯到Java源文件的相應(yīng)位置。5：這一可選的部分為我們提供了指定某些可選參數(shù)的能力。例如圖中所示代表告訴ANTLR在生成代碼的時候不要生成缺省的錯誤處理部分，這部分將由用戶自己負(fù)責(zé)。7：在異常處理部分，我們可以指定自定義的異常處理方法。像這里就僅僅是打印錯誤棧信息。 ANTLR語法實例—SensorSQLSensorSQL是一個自定義的簡化版SQL語言，它所支持的語法定義這里就不詳細(xì)列出了，我只是給出查詢的示例：通常，編譯一個查詢的目的是要把它轉(zhuǎn)化成某種被查詢設(shè)備可以理解的形式。通常的做法有兩種，一種是像在上一節(jié)中提到的那樣，寫好詳細(xì)的語法規(guī)則，在ANTLR生成相應(yīng)的Java文件之后，就可以直接使用其運行結(jié)果。這樣的例子有很多，其中最典型的就是對于算數(shù)表達式的解析了。對于形如1+23*4/5^6這樣的表達式，只要寫好語法規(guī)則，就可以在解析過程中直接得到運算結(jié)果：首先ANTLR將其編譯成逆波蘭結(jié)構(gòu) ( ( + 1 2 ) ( / ( * 3 4 ) ( ^ 5 6 ) ) ) 。在生成語法樹的過程中，同步計算表達式的值。結(jié)果如下：不過這樣作有一個缺點，就是在很多情況下，你可能并不知道要用什么樣的方法來處理。所以當(dāng)真正要開始寫處理代碼的時候，就要受限于已有的Parser/Lexer中的代碼。一旦要有所修改，就要重新編譯語法文件，生成新的Java代碼，不勝繁瑣。而且，一旦處理過程有誤，就要反復(fù)調(diào)試修改Antlr生成的代。自動生成的代碼嘛，結(jié)構(gòu)著實也不怎么樣，調(diào)試的時候也麻煩。所以如果效率允許的話，就沒有必要讓Antlr作額外的工作，干脆就專心于做他的語法分析也就是了，其他的工作等到生成語法樹之后再怎么遍歷或者折騰都可以嘛J。上圖就是剛才演示的SensorSQL語法分析之后產(chǎn)生的結(jié)果。在產(chǎn)生這個結(jié)果之后，我需要將每一個語法元素翻譯成字節(jié)序列打包發(fā)送給傳感器網(wǎng)絡(luò)。這時候，為了保證Where語句中的優(yōu)先級，你就可以按照ANTLR文檔中關(guān)于生成語法樹的一章，生成類似于這樣的結(jié)構(gòu)，然后只需前序遍歷這顆語法樹的Where部分就可以達到目的，至于其他部分，順序遍歷一遍就好了。 ANTLR Studio有了前面的基礎(chǔ)之后，我們就可以開始真正的工作了。不過用“記事本或E