【導(dǎo)讀】{ "error_code": 17, "error_msg": "Open api daily request limit reached" }

　　

【正文】 工作，最后加載至數(shù)據(jù)中心。此過(guò)程保證了數(shù)據(jù)的有效 性、準(zhǔn)確性。 可按照數(shù)據(jù) 綜合平臺(tái) 的模型數(shù)據(jù)結(jié)構(gòu)生成質(zhì)量很高的數(shù)據(jù)集，為企業(yè)的查詢、報(bào)表提供了強(qiáng)大的后臺(tái)保障。 5) 綜合 數(shù)據(jù) 平臺(tái) 經(jīng)過(guò)上述過(guò)程，數(shù)據(jù)的結(jié)構(gòu)和質(zhì)量，完全能夠滿足查詢、報(bào)表等需求， 可 實(shí)現(xiàn)針對(duì) 原 業(yè)務(wù)系統(tǒng)的所有報(bào)表的功能。 此區(qū) 也可稱(chēng)為 BI系統(tǒng)概念中的運(yùn)營(yíng)數(shù)據(jù)存儲(chǔ) (ODS)。此過(guò)程只為滿足業(yè)－ Informatica公司技術(shù) 解決 方案 29 務(wù)系統(tǒng)的報(bào)表功能，從理論上講，只需保留一定時(shí)間內(nèi)的數(shù)據(jù)。例如： 2年。 這也是數(shù)據(jù)中心與企 業(yè) 數(shù) 據(jù) 倉(cāng)庫(kù)的重大區(qū)別之一。 綜合 數(shù)據(jù) 平臺(tái) 的數(shù)據(jù)結(jié)構(gòu)設(shè)計(jì)，更多的是為了滿足運(yùn)營(yíng)報(bào)表、查詢等需求。而對(duì)于企業(yè)而言，隨著競(jìng)爭(zhēng)和對(duì)自身 IT建 設(shè)要求的提高，越來(lái)越多的分析型需求，會(huì)很快提上日程。為了更好的積累企業(yè)歷史數(shù)據(jù)，保留數(shù)據(jù)的歷史狀態(tài)，進(jìn)而達(dá)到對(duì)歷史狀態(tài)數(shù)據(jù)的分析的要求，必須以數(shù)據(jù)倉(cāng)庫(kù)的思路去建設(shè)后繼的企業(yè) EDW區(qū)。 6) ETL(抽取、轉(zhuǎn)換、加載 ):PowerCenter=》 按照 數(shù)據(jù)倉(cāng)庫(kù)的模型需求，將數(shù)據(jù)中心的數(shù)據(jù)，經(jīng)過(guò)再次的高度清洗 、匯總等過(guò)程 ，進(jìn)入到數(shù)據(jù)倉(cāng)庫(kù)。在此，可以保證數(shù)據(jù)的歷史狀態(tài)，寫(xiě)入到目標(biāo)的數(shù)據(jù)倉(cāng)庫(kù)。而此處，正是 Informatica PowerCenter 所關(guān)注的地方。完全圖形化的設(shè)計(jì)、高性能 、良好的并發(fā)性 、高擴(kuò)展性等特點(diǎn)， 也為企業(yè)數(shù)據(jù)層面提供了強(qiáng)大的支持工具。 7) 企業(yè)數(shù)據(jù)倉(cāng)庫(kù) XXX數(shù)據(jù)倉(cāng) 庫(kù) ，經(jīng)過(guò)前面階段的過(guò)程。已存儲(chǔ)了準(zhǔn)確、有效、豐富的所有歷史數(shù)據(jù)，包括保留了數(shù)據(jù)的歷史狀態(tài)。從而為更高層的智能分析，提供了堅(jiān)實(shí)的數(shù)據(jù)集。 此處即為企業(yè)統(tǒng)一的、唯一的數(shù)據(jù)視圖。堅(jiān)實(shí)的數(shù)據(jù)基礎(chǔ)，是企業(yè)信息決策的根本。 8) 前端查詢 /報(bào)表工具 基于 企業(yè)數(shù)據(jù)倉(cāng)庫(kù)，可以 按主題進(jìn)行數(shù)據(jù)集市的劃分，從而達(dá)到按主題的智能化分析。分析以往的歷史數(shù)據(jù)，根據(jù)歷史數(shù)據(jù)的特性，達(dá)到數(shù)據(jù) 挖掘、滾動(dòng)預(yù)測(cè)等高級(jí)應(yīng)用。為高層和中層，提供了報(bào)表和分析的多項(xiàng) 功能。 － Informatica公司技術(shù) 解決 方案 30 數(shù)據(jù)加載描述 Informatica PowerCenter 可以利用數(shù)據(jù)庫(kù)的 Native Driver/ODBC等方式，將整合、轉(zhuǎn)換、清洗后的數(shù)據(jù)，按目標(biāo)數(shù)據(jù)結(jié)構(gòu)，寫(xiě)入到目標(biāo)數(shù)據(jù)庫(kù)中。同時(shí)， Informatica 支持對(duì)各種主流數(shù)據(jù)庫(kù)的批量加載功能。 ? Sybase External Loader ? MS SQL Server Bulk Loader ? Oracle External Loader ? Teradata Mload External Loader ? Teradata Tpump External Loader ? Teradata FastLoad External Loader ? DB2 EE External Loader ? DB2 EEE External Loader 增量數(shù)據(jù) 對(duì)于企業(yè)數(shù)據(jù)庫(kù)，一般存在兩類(lèi)數(shù)據(jù)表：業(yè)務(wù)發(fā)生表和字典表 1) 首先，增量數(shù)據(jù)一般針對(duì)業(yè)務(wù)發(fā)生表，即 BI概念中的事實(shí)表。而對(duì)于增量，無(wú)論如何也可通過(guò)一定的業(yè)務(wù)邏輯判斷出是新增數(shù)據(jù)，例如時(shí)間字段、標(biāo)識(shí)位或復(fù)雜邏輯的判斷。在增量采集作業(yè)中，將識(shí)別增量的業(yè)務(wù)邏輯內(nèi)嵌進(jìn)去，即可完成大業(yè)務(wù)表的增量識(shí)別。 2) 而對(duì)于像 部門(mén)、產(chǎn)品等字典表，每次均需全表采集，因?yàn)槭亲值?表，數(shù)據(jù)量不會(huì)很大，可以不 考慮增量采集 。 Informatica PowerCenter 針對(duì)字典表，提供了緩慢－ Informatica公司技術(shù) 解決 方案 31 變化維的向?qū)?，可完成字典表的?shù)據(jù)變化的判斷，并保留字典表變化的歷史狀態(tài)。 采集 Informatica PowerCenter 技術(shù)，可以只將變化記錄同步到目標(biāo)表中。 推薦產(chǎn)品及相應(yīng)配置 推薦產(chǎn)品 產(chǎn)品描述 Informatica PowerCenter UNIX 平臺(tái) 2 顆 CPU 機(jī)型（數(shù)量） 硬件配置 主流品牌 UNIX服務(wù)器（ 1臺(tái)） CPU 2顆 內(nèi)存 4 8 GB RAM 硬盤(pán) 2 * 120G HDD 網(wǎng)卡 1* 100MbaseT 光驅(qū) DVD 光纖卡 1*Fiber Channel Card 軟件 HP UNIX， IBM AIX， SUN Solaris Informatica PowerCenter 源及目標(biāo)數(shù)據(jù)庫(kù)客戶端 － Informatica公司技術(shù) 解決 方案 32 推薦產(chǎn)品簡(jiǎn)介 : Informatica PowerCenter 7 Informatica PowerCenter 提供專(zhuān)注于最主要的、最復(fù)雜的數(shù)據(jù)集成項(xiàng)目必須的工具和數(shù)據(jù)服務(wù)的平臺(tái)，是業(yè)界領(lǐng)先的、具有適應(yīng)性的軟件，用來(lái)訪問(wèn)、集成和傳遞數(shù)據(jù)。經(jīng)過(guò)精心設(shè)計(jì)的PowerCenter能夠利用有效的成本去平衡數(shù)據(jù)，從而得到一個(gè)統(tǒng)一的擴(kuò)展的企業(yè)視圖。使用 Informatica PowerCenter，企業(yè)能夠通過(guò)“一次建立，任意部署”的方法從事多個(gè)不同的集成項(xiàng)目，允許更多的時(shí)間和資源花費(fèi)在企業(yè)的業(yè)務(wù)上，而不是企業(yè)的業(yè)務(wù)整合上。 Informatica has enabled Prudential to build a solid data warehouse infrastructure that has grown from a departmental data mart to an enterprise data warehouse spanning many product platforms with the ability to efficiently handle terabytes of data。 —Russ Capone, Vice President, Prudential Financial 在 20世紀(jì) 90年代，隨著對(duì)業(yè)務(wù)過(guò)程處理的卓越追求，出現(xiàn)了一系列的 ERP、 CRM、 SCM和 Web應(yīng)用執(zhí)行軟件，導(dǎo)致了分異的、私有的、性質(zhì)相反的系統(tǒng)的增加。這些不同種類(lèi)環(huán)境的復(fù)雜性不僅僅是 IT部門(mén)維護(hù)現(xiàn)存構(gòu)架的負(fù)擔(dān)，還分散了他們關(guān)注支持新業(yè)務(wù)需求的精力 現(xiàn)在許多家企業(yè)正在尋找一個(gè)統(tǒng)一的業(yè)務(wù)視圖，并且開(kāi)始認(rèn)識(shí)到將那些復(fù)雜系統(tǒng)環(huán)境集成起來(lái)的需求。然而，這種挑戰(zhàn)往往使用大量的、客戶化編碼的方法，在單次單個(gè)項(xiàng)目中加以解決。而一些企業(yè)逐漸發(fā)現(xiàn)，這種方法不但昂貴并耗費(fèi)時(shí)間，而且因?yàn)榧尚枨?增長(zhǎng)的數(shù)量和復(fù)雜性，也已經(jīng)被證明是不能維持進(jìn)行的，并且它不能為項(xiàng)目的繼續(xù)進(jìn)行提供平衡作用或者價(jià)值。 － Informatica公司技術(shù) 解決 方案 33 為了解決現(xiàn)存的和即將展開(kāi)的集成需求，企業(yè)需要一個(gè)有適應(yīng)性的、可升級(jí)的數(shù)據(jù)集成體系架構(gòu)。在這個(gè)體系架構(gòu)里面，每一個(gè)項(xiàng)目?jī)r(jià)值可構(gòu)造在其他項(xiàng)目基礎(chǔ)之上。這種需求在今天的經(jīng)濟(jì)浪潮里變得特別迫切，因?yàn)闆Q策者們已在要求 IT部門(mén)使用愈來(lái)愈少的預(yù)算、時(shí)間和資源。 商業(yè)用戶的主要收益： ? 改變市場(chǎng)導(dǎo)向、客戶需求，進(jìn)化業(yè)務(wù)流程 ? 獲取組織的統(tǒng)一視圖 ? 最大價(jià)值和有用的企業(yè)數(shù)據(jù) ? 花費(fèi)所有者較低成本 ? 增加生產(chǎn)力 —— 用較少的資源做更多的事 IT和開(kāi)發(fā)者的主要收益： ? 通過(guò)一個(gè)數(shù)據(jù)集成服務(wù)架構(gòu)獲取更多的效率 ? 最優(yōu)化使用現(xiàn)存 IT投資 ? 加快開(kāi)發(fā)、減少維護(hù)時(shí)間 ? 用高質(zhì)量、安全的數(shù)據(jù)支持?jǐn)?shù)據(jù)管理員的工作 ? 快速響應(yīng)新的業(yè)務(wù)需求和架構(gòu)變化 ? 依靠已證明的可靠性和可測(cè)量性 Informatica PowerCenter的體系架構(gòu) PowerCenter是基于引擎和元數(shù)據(jù)驅(qū)動(dòng)的體系架構(gòu)，體系架構(gòu)如下： － Informatica公司技術(shù) 解決 方案 34 2個(gè) Server： ? Informatica Repository Server：資料庫(kù) Server，管理 ETL過(guò)程中 產(chǎn)生的元數(shù)據(jù) ? Informatica Server： ETL 引擎 5個(gè) Client： ? PowerCenter Designer：設(shè)計(jì)開(kāi)發(fā)環(huán)境，定義源及目標(biāo)數(shù)據(jù)結(jié)構(gòu)；設(shè)計(jì)轉(zhuǎn)換規(guī)則，生成 ETL 映射 ? Workflow Manager：合理地實(shí)現(xiàn)復(fù)雜的 ETL 工作流，基于時(shí)間、事件的作業(yè)調(diào)度 ? Workflow Monitor：監(jiān)控 Workflow 和 Session運(yùn)行情況，生成日志和報(bào)告 ? Repository Manager：資料庫(kù)管理，包括安全性管理等 ? Repository Server Administrator Console：資料庫(kù)的建立與維護(hù) Informatica PowerCenter功能列表 － Informatica公司技術(shù) 解決 方案 35 Informatica PowerCenter內(nèi)置的近 20種轉(zhuǎn)換組件： ? Source Qualifier:從源表中查詢出所有的數(shù)據(jù) (非 XML) ? XML Source Qualifier:從 XML 數(shù)據(jù)源中查詢數(shù)據(jù) ? ERP Source Qualifier:從 ERP 數(shù)據(jù)源中查詢出所有數(shù)據(jù) ? Normalizer:從 VSAM 或關(guān)系數(shù)據(jù)源中格式化記錄 ? Expression:基于單行記錄的表 達(dá)式計(jì)算 ? Aggregator:基于多行記錄的匯總計(jì)算 ? 異構(gòu)數(shù)據(jù)源，異構(gòu)目標(biāo) ? 多種緩慢變化維模板 ? Mapping/Session/Workflow/Server 級(jí)參數(shù)化，支持參數(shù)文件。 ? 局部變量，前后記錄比較 ? 條件匯總 ? 異構(gòu)數(shù)據(jù)源關(guān)聯(lián) ? 行 /列互換 ? 靜態(tài) /動(dòng)態(tài) /條件 Lookup ? ETL 事務(wù)處理 ? 自定義 SQL ? Pre SQL 和 Post SQL ? 復(fù)用組件 /Mapping 邏輯 ? 調(diào)用存儲(chǔ)過(guò)程 /外部過(guò)程 (動(dòng)態(tài)鏈接庫(kù) ) ? Custom Transformation ? 可視化 Debugger ? 強(qiáng)大的函數(shù)支持、功能豐富的轉(zhuǎn)換語(yǔ)言 ? 數(shù)據(jù)源為文件列表 (Filelist) ? 斷點(diǎn)續(xù)傳 (Session Recovery) ? 多目標(biāo)表約束裝載 (Constraint based loading) ? 錯(cuò)誤數(shù)量控制 ? FTP 源和 FTP 目標(biāo) ? ETL任務(wù)分區(qū) ? 增量匯總 (Incremental Aggregation) ? 測(cè)試裝載 ? Bulk Loading ? External Loading ? 多層 Workflow 嵌套 ? 功能豐富的 Workflow 控制 ? 任務(wù)串行、并行控制 ? 基于時(shí)間、事件和指示文件觸發(fā)任務(wù) ? Workflow 中調(diào)用操作系統(tǒng)外部命令 ? Workflow 中調(diào)用 Email ? 多 ETL Server 協(xié)同工作 － Informatica公司技術(shù) 解決 方案 36 ? Filter:執(zhí)行條件過(guò)濾 ? Router:按照條件分組來(lái)過(guò)濾數(shù)據(jù) ? Sorter:基于鍵字段進(jìn)行排序 ? Union: 對(duì)兩個(gè)或多個(gè)同結(jié)構(gòu)結(jié)果集做 Union All 操作。 ? Update Strategy:允許邏輯的插入 , 更新 , 刪除 , 或拒絕 ? Lookup:查找相關(guān)的值并且傳送給其他的對(duì)象 ? Joiner:關(guān)聯(lián)異構(gòu)數(shù)據(jù)源 ? Stored Procedure:調(diào)用存儲(chǔ)過(guò)程并且獲取返回值 ? External Procedure: 從共享庫(kù)中調(diào)用一個(gè)外部的用戶定義的 過(guò)程 ? Custom:利用 C/C++等編程語(yǔ)言開(kāi)發(fā)客戶自定義的轉(zhuǎn)換組件。 ? Sequence Generator:產(chǎn)生一組唯一的序列 id ? Transaction Control:自定義事務(wù)處理 ? Rank:取出最大或最小的一定數(shù)量的記錄 ? Input:定義 Mapplet 的輸入 ,僅在 Mapplet designer 中可用 ? Output:定義 Mapplet 的輸出 ,僅在 Mapplet designer 中可用 Informatica 功能 描述： 友好 產(chǎn)品交互 界面 Informatica提供一個(gè)非編碼、基于對(duì)象、完 全圖形化的開(kāi)發(fā)環(huán)境來(lái)滿足最大化的開(kāi)發(fā)生產(chǎn)力，提供了極其友好的操作界面，內(nèi)嵌的組件避免了手工編碼。提供了強(qiáng)大的變量支持和條件執(zhí)行的表達(dá)式語(yǔ)言，能夠在引擎中實(shí)現(xiàn)高級(jí)的－ Informatica公司技術(shù) 解決 方案 37 邏輯。提供了功能豐富、可視化的調(diào)試工具，使開(kāi)發(fā)者可以在開(kāi)發(fā)、測(cè)試和生產(chǎn)環(huán)境中調(diào)試任意粒度的對(duì)象。 Informatica PowerCenter提供了 5個(gè)客戶端工具： ? Designer: 導(dǎo)入數(shù)據(jù)源、目標(biāo)結(jié)構(gòu)并且創(chuàng)建 Mapping。下圖是 Designer的操作界面。 ? Repository Manager： 元數(shù)據(jù)維護(hù)和安全操作，如：元數(shù)據(jù)查找 ，用戶