【文章內(nèi)容簡介】 0000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 1 0000506891 0000000000 0000023580 0000622714 0000026400 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 2 0000529398 0000000000 0000024587 0000646473 0000027428 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 0000000000 COMMAND EXECUTEDReport headbodyblockSub blockblock圖5 NOKIA LINKSET LOAD 報告分析圖 報告 REPORT HEAD +BODY+ TAIL文件的主體由一個（至少一個）或者多個報告塊組成。報告塊由一行或者多行組成，邏輯上可分為報告頭、報告體、報告尾。每部分都是子報告塊組成，或者由子報告塊和一行/多行混合組成。如圖圖3和圖圖5的report head/body/block/sub block等。其中，報告頭REPORT HEAD有一些類似于FILE HEAD，是一個報告中用于全面介紹本報告屬性的數(shù)據(jù)，在我們實際處理中，為了簡化，沒有單獨拿出來處理。（早期的配置文件中有拿出來的，但是似乎已無必要）報告尾是需要注意的，標志了一個報告的結束。 子報告塊SUBBLOCK報告可以分解成多個重復出現(xiàn)的子報告塊，子報告塊也可以再分析成更小的子報告塊，直到最終的一行。例如圖5的subblock 。最小的block就是line 一行。文件尾文件尾基本上沒有用處。在分析完文件，變成一個個報告塊后，我們的工作就是在這些報告塊中找到并定義我們需要的數(shù)據(jù)。后面將以圖4 ALCATEL CE LOAD報告為例講解。 數(shù)據(jù)抽取定義在分析了解了文件結構的基礎上，我們進一步來定義我們要抽取的數(shù)據(jù)。即如何從文件的頭、報告塊中抽取我們需要的數(shù)據(jù)。我們以圖4來說明。在圖4中，我們需要取交換機的CPU負荷。ALCATEL交換機是多處理器結構，有多個CPU，通過LCEID （Logical CPU ELEMENT ID）來區(qū)分。我們需要提取LCEID字段，值出現(xiàn)6次，分別是H’15A0,H’16C0,H’0560,H’0630,’H’04B0,H’2130，以及對應的LOAD字段，值為8%，8%，8%，6%，6%。我們還需要取得交換機名稱，例如報告第一行的“GMSC1”。我們也需要知道CPU負荷是什么時候的，即測量時間，報告的REQUESTED START TIME和REQUESTED STOP TIME，在圖4中值為“23H 0M”和“24H 0M”。以上這些數(shù)據(jù)是我們需要的，文件中其它數(shù)據(jù)是我們不需要的，即我們需要的是：MSC_NAME, START_TIME,STOP_TIME,LCEID, LOAD。我們抽取的方式是順序掃描數(shù)據(jù)文件，根據(jù)提供的規(guī)則找到需要的數(shù)據(jù)。因此，需要制定具體的規(guī)則，到哪一行可以找到我們要的東西。我們的規(guī)則制定是通過正則表達式來實現(xiàn)的。每一個報告塊最終都將成為一行行ASCII數(shù)據(jù)，我們通過正則表達式匹配確認該行是否有我們需要的數(shù)據(jù)，如果有則提取，否則繼續(xù)，直到文件結束。正則表達式是文本分析的基礎，是工程開發(fā)人員的必修課。這里不作介紹，開發(fā)人員自行解決。 設定變量對于我們需要提取的數(shù)據(jù)，我們制定若干個變量來標識它們。變量名稱通常和我們要取的數(shù)據(jù)字段名一致，例如lceid變量對應文件中的LCEID。相應的變量還有msame, date, starttime, stoptime,load。變量的屬性除了名稱，還有：1）正則表達式規(guī)則；2）值。一旦我們確定了我們要取得的數(shù)據(jù)后，我們需要為它們制定一個正則表達式，來形式化描述，以便我們能夠從文件掃描中找到變量對應的數(shù)據(jù)。例如圖4中的”H’15A0”、”H’16C0”可以用 \S+統(tǒng)一描述。當我們掃描文件，找到變量對應的位置，例如lceid變量對應的H’15A0，則我們稱H’15A0是變量lceid當前的值。下一次掃描，可能又遇到H’16C0，則H’16C0為新的lceid值。因此，在變量多次出現(xiàn)的情況下，變量的值是可以發(fā)生變化的。但是變量的名稱、描述規(guī)則是不可變化的。在描述變量時，需要考慮松緊問題。例如交換機名稱MSC_NJ1 TMSC1_WX 之類的使用\w+可以表示，但是萬一出現(xiàn)MSC_NANJING1 之類的，用\w+就不行， 因為”“號不是\w+字符，這時要用 \S+才好。再例如，有時候某個數(shù)據(jù)一直都是數(shù)字編號，例如 001, 0051,1002，可以用\d+，但是突然存在A001之類的編號，則\d+就不行了，要用\w+。所以一定要注意采集足夠的樣本確認變量的取值范圍。原則上，在不影響處理的情況下，盡量制定的范圍大一些。\S+ 、\w+ 、 \d+是依次嚴格縮小范圍的。 創(chuàng)建原始表在確認好要取的數(shù)據(jù)之后，應設計原始表來和報告數(shù)據(jù)相對應。確認一條記錄里保存的數(shù)據(jù)內(nèi)容，多條記錄里保存的內(nèi)容，等等。網(wǎng)管系統(tǒng)中原始表的原理、創(chuàng)建規(guī)則見參考文檔1。這里不做詳細說明。需要提醒的是，必須注意原始表的unique index不要出錯，要正確理解報告中反復出現(xiàn)的數(shù)據(jù)彼此的關系。最容易犯的錯誤就是弄不清原始數(shù)據(jù)之間的關系，以至于發(fā)生數(shù)據(jù)的覆蓋和丟失。 編寫file2db配置文件FILE2DB配置文件負責描述要處理的文本數(shù)據(jù)文件的結構，該文件可能包含一個或者多個類型的報告。對每一種格式一定的報告，我們對應建立一個稱為“MEASUREMENT（測量）”的描述。（實際上，用MEASUREMENT比較適合稱呼性能統(tǒng)計報告，對于配置數(shù)據(jù)文件的處理，這種稱呼不甚恰當，不過為了統(tǒng)一，也就只有如此了）在配置文件中，我們會針對文件的頭、文件名等有價值的信息設定抽取規(guī)則。我們也將在每個MEASUREMENT中，對報告中出現(xiàn)的有價值的信息設定抽取規(guī)則。數(shù)據(jù)抽取規(guī)則包括：變量定義，變量搜索匹配規(guī)則。對抽取出來的數(shù)據(jù)，我們也設定了數(shù)據(jù)存儲規(guī)則。該規(guī)則指定抽取出的數(shù)據(jù)到原始表的映射關系和數(shù)據(jù)變換方法（OPTION），以及何時進行數(shù)據(jù)存儲。為了配置文件編寫的簡便，數(shù)據(jù)抽取和存儲規(guī)則是混雜在一起進行描述的。配置文件遵循XML格式。下面，我們逐一介紹配置文件的各個元素。下面是file2db配置文件元素層次關系圖：（第2版）File2db_ConfigHead (must)Target_Database (option)Globalvariable(option)Filehead(option)Filename(option)Measurement( at least 1)Tablename(must)Sourcevar(must)target_action(must)Mapping(must)Target_stat( insert amp。| update)Sourcereport(must)Filesplit(option)Body(option)Block( at least 1)blockblockMeasurement File2db_Config說明：該元素為xml配置文件根元素。屬性：Version ，取值“”，“”。內(nèi)容：其它元素都是其內(nèi)容。范例：File2db_Config Version=。 具體內(nèi)容 。/File2db_Config Head說明：描述該配置文件處理的基本信息，包括廠商、處理類型、數(shù)據(jù)庫連接重試次數(shù)、數(shù)據(jù)庫連接重試間隔；屬性：l Vendor ，取值范圍：ALCATEL、DATANG、ERICSSON、HUAWEI、ITALTEL、MOTOROLA、NOKIA、NORTEL、SIEMENS、TACS、BELL、TEXT。注意不可以寫錯。l Managetype，描述數(shù)據(jù)管理類型，是配置、性能還是告警？取值范圍：cm、pm、fm。l Retrycounts，數(shù)據(jù)庫連接重試次數(shù)，取值范圍：integer，建議=10l Retryinterval，數(shù)據(jù)庫連接重試間隔，取值范圍：integer，單位秒。內(nèi)容：無。范例：Head Vendor=ALCATEL Managetype=pm Retrycounts=10 Retryinterval=1/ Target_Database說明：數(shù)據(jù)存儲的目標數(shù)據(jù)庫信息。該項實際上是可選的，因為通常情況我們會從公用配置文件得到目的數(shù)據(jù)庫信息。只有無法從公用配置文件得到目的數(shù)據(jù)庫信息時，才啟用Target_Database信息。屬性：l Type：數(shù)據(jù)庫類型，取值Informix、 Oracle；l DbServer：數(shù)據(jù)庫服務器名稱l Database：數(shù)據(jù)庫名l User：用戶名l Password：口令。內(nèi)容：無。范例：Target_Database Type=Informix DbServer=cqsvr Database=njcookdb User=daloptr Password=dal1997 / globalvariable說明：全局變量。用于在一個文件中的多個報告之間通用的變量，例如從文件名得到交換機名稱，則文件中所有報告所屬的交換機都是它。在文件頭filehead中可以使用的變量必須定義為globalvariable。屬性：無。內(nèi)容：一個或者多個變量定義。范例：globalvariable var id=1 varname=msame is_col=yes\S+/var var id=2 varname=date\d{4}\d{2}\d{2}/var var id=3 varname=time\d{2}:\d{2}:\d{2}/var/globalvariable定義了三個全局變量。 Var說明：變量定義。用于描述文本報告中的需要抽取的數(shù)據(jù)。其屬性是一些名稱、類型、處理參數(shù)等，其內(nèi)容是其正則表達式。屬性：（如未提及，則是必選）l id：var編號，從1開始逐個累加，不可相同；l varname：變量名，字符串；l multiple（可選）：該變量會在一列中的多行重復出現(xiàn)；取值yes；l parallel（可選）：該變量會在一行中的多列重復出現(xiàn)；取值yes；l reset（可選）：該變量在每次輸出到數(shù)據(jù)庫后自身數(shù)值被清空；取值yes；l join（可選）：該變量的多次出現(xiàn)的數(shù)據(jù)會被以字符串方式合并在一起成為一個數(shù)據(jù)，中間為1個空格。該變量和parallel multiple不可同時使用。如果同時使用，則join優(yōu)先。取值yes；l sum（可選）：該變量多次出現(xiàn)的數(shù)據(jù)被作為數(shù)字累加在一起。該變量和parallel multiple不可同時使用。如果同時使用，則sum優(yōu)先。Sum和join在一起，則join優(yōu)先。取值yes； l is_col（可選）：取值為yes，表示該變量對應原始表中的一個同名字段，并且變量數(shù)據(jù)抽取出來之后可以不經(jīng)過任何轉換，直接插入到原始表對應字段中。內(nèi)容：正則表達式，準確說明變量數(shù)據(jù)匹配格式。注意：不可以使用[ ] 定義。File2db成功與否，很重要取決于正則表達式的定義準確性、容錯性。既不能太松以至于匹配到不需要的數(shù)據(jù)，也不能太緊以至于處理不了例外情況。范例：var id=1 varname=msame is_col=yes\S+/var var id=”2” varname=”c01” is_col=”yes” multiple=”yes” reset=”yes”\d+/var 預定義變量說明：file2db預先定義了一些變量，這些變量有固定的含義，不可用于globalvariable或者Measurement variable中。它們包括：l omcid：指示file2db命令行參數(shù)o ，是所處理數(shù)據(jù)的omc_id。注意，在原始表定義