【正文】 C a c h e t i m eU p d a t e p r i o r i t y t a b l e a c t i v e f l a gb u l k m a p p i n g f i l e s i z e i s a v a l u e w h e t h e r g e t a l l m a p p i n g i n f o f o r p r o v i d e r o r n o t D a t a P 。 27 / 49 模塊 主要處理流程L o a d D a t a p o i n t X P a t h C o n f i g (O u t p u t N o d e ) w h i c h i s u s e d f o r m a p p i n g d a t a p o i n t sU p d a t e f i l e s t a t u sI t e r a t e t o o p e r a t e r e c o r d ( G e t r e c o r d w i t h ‘ E x t e r n a l I d ’ X P a t h )U p d a t e P r o v i d e r C l a s sy e sE n dI m p o r t e r M a p p i n gD a t a F l o wR u nP e r f o r m a n c e F i l e S t a t u sS t a t u s : P a r s e d D o n eU p d a t e f i l e s t a t u sP r o v i d e r C l a s sS t a t u s : I m p o r t i n gG e t b u l k m a p p i n g f i l e s i z e f r o m A p p c o n f i gG e t t h e P r o v i d e r I d f r o m f i l eF i l e s e r v e ry e sI f t h e r e c o r d d o e s n ’ t e x i s t , a d d i tI t e r a t e t o o p e r a t e d a t a p o i n t G e t d a t a p o i n t v a l u e a c c o r d i n g t o D a t a p o i n t X P a t h C o nf i g A d d d a t a t o o r d i n a r y d a t a g r o u p c o n t a i n e rA c c o r d i n g P e r f o r m a n c e I d i s e x i s ty e sC a c h e p e r f o r m a n c e I d f o r t h i s r e c o r e dn oP e r f o r m a n c e I d i s a f l a g f o r m a t c h e d o r u n m a t c h e dD o e s t h e r e c o r d m a t c h e d a c c o r d i n g t o p e r f o r m a n c e I dy e sA d d d a t a t o o r p h a n d a t a g r o u p c o n t a i n e rn oS t a t u s : I m p o r t D o n eD o e s l o a d f i l e s u c c e s s f u l ?C a l l o r p h a n d a t a g r o u p c o n t a i n e r ’ s s a v e R a w D a t a : O p h a nS a v e S u c c e s s ?C a l l o r d i n a r y d a t a g r o u p c o n t a i n e r ’ s s a v eR o w D a t a : F a i l u r en oN oS t a t u s : I m p o r t F a i l u r eI t e r a t e t o G e t f i l e i n f o f r o m d a t a b a s e b y s t a t u s a n d p r i o r i t yI s d e l i v e r y b u l k m a p p i n g f l a g t r u eP r o v e r d e r D e l i v e r yy e sC a c h e p r o v i d e r ’ s a l l m a p p i n g i n f o w i t h P r o v i d e r I d , a n d C a c h e b e g i n n i n g t i m eE x t e n e r a l I d P e r f o rm a n c e I d M a p p i n gn oG e t f i l e s e r v e r i n f o f r o m A p p c o n f i gF i l e s i z e b u l k m a p p i n g f i l e s i z e f i l e s i z e s e t t i n gy e sn oP r o v i d e r C l a s s i s e x i s t i n d a t a b a s ey e sI n s e r t P r o v i d e r C l a s sn oG e t p r i o r i t y s e t t i n g f o r t h i s p r o c e s s f r o m a p p c o n f i gT h r o u g h P r o v i d e r I d amp。3. 實現(xiàn)了將 Xml 文件轉(zhuǎn)換為 clean file。此模塊完成的功能 :1. 實現(xiàn)了將 Excel 文件轉(zhuǎn)換為 clean file (即轉(zhuǎn)換完格式的文件) 。XMLFormat: XSLTFilePath 指的是路徑。DataPointId 指的是數(shù)據(jù)點的名稱。SheetIndex 指的是 excel 文件的 sheet。Orientation 指的是文件的方向，例如 excel 有的方向不同DecimalPoint 指的是數(shù)字的分隔符。ColumnRegex 指的是一行數(shù)據(jù)的正則表達式。 u s e s 187。 u s e s 187。 u s e s 187。22 / 49 模塊 主要處理文件流程U p d a t e f i l e s t a t u s l o c k f i l e f o r p a r s i n gG e t t h e f i l e f o r m a t a c c o r d i n g t o P r o v i d e r D e l i v e r y I d ( C a c h e l i s t )P e r f o r m a n c e F i l e St a t u sD e l i v e r y F i l e F o r m a t Ma p p i n gS t a r tM a t r i x P a r s eS e t t h e f i l e s t a t u s , P a r s e D a t a D e t a i l a n d P a r s e R o w s R a t eF i l e f o r m a tm a t r i x f o r m a tX m l f o r m a tS p e c i a l f o r m a tG e t s p e c i a l p a r s e r a c c o r d i n g t o ‘ s p e c i a l n a m e ’G e n e r a t e d r e c o r d s r a t e ( i n v a l i d c o u n t /t o t a l c o u n t ) m i n g e n e r a t e d r e c o r d s r a t e N oS e t t h e f i l e s t a t u s , P a r s e D a t a D e t a i l a n d P a r s e R o w s R a t eY e sG e t t h e f i l e s e r v e r p a t h amp。3. 從 Ssh 服務(wù)器上下載文件。19 / 49 模塊 主要處理流程R e a d d o w n l o a d t y p e a n d d e s t i n a t i o n f o l d e r f r o m A p p S e t t i n g s . c o n f i gF t p , S s h , L o c a l 2 . 1 I t e r a t e g e t t i n g d e l i v e r y s e t t i n g x m l G e t d e l i v e r y r e c o r d l i s t w i t h d o w n l o a d t y p eP r o v i d e r D e l i v e r yG e t c o n c r e t e c o n t r o l l e rC o n n e c t t h e s e r v e rD o w n l o a d r a w f i l e t o d e s t i n a t i o n f o l d e r A d d r a w f i l e r e c o r dP r o v i d e r R a w F i l eF i n d r a w f i l eD o w n l o a d T y p e ?E m a i lG e t m a i l s e r v e r l i s t M a i l B o x1 . 1 I t e r a t e t o d e a l w i t h e a c h m a i l s e r v e r C o n n e c t t o m a i l s e r v e rG e t m a i l i n f o l i s t 1 . 1 . 1 I t e r a t e d e a l i n g w i t h e a c h m a i lS e a r c h i n g m a t c h e d p r o v i d e r d e l i v e r y o f m a i lD o w n l o a d a t t a c h m e n t ( r a w f i l e ) t o d e s t i n a t i o n f o l d e r1 . 1 . 1 . 1 I t e r a t e d e a l i n g w i t h e a c h a t t a c h m e n t s i n m a i lA d d r a w f i l e r e c o r d1 . L o o p e v e r y X m i n u t e s .( X i s c o n f i g u r e d i n A p p S e t t i n g s . c o n f i g )2 . L o o p e v e r y X m i n u t e s .( X i s c o n f i g u r e d i n A p p S e t t i n g s . c o n f i g )圖 Downloader 主要數(shù)據(jù)流圖20 / 49 類圖M a i n P r o c e s s o rA t t a c h m e n tE m a i l+ M o