【導讀】{ "error_code": 17, "error_msg": "Open api daily request limit reached" }

　　

【正文】 工作，最后加載至數據中心。此過程保證了數據的有效 性、準確性。 可按照數據 綜合平臺 的模型數據結構生成質量很高的數據集，為企業(yè)的查詢、報表提供了強大的后臺保障。 5) 綜合 數據 平臺 經過上述過程，數據的結構和質量，完全能夠滿足查詢、報表等需求， 可 實現針對 原 業(yè)務系統(tǒng)的所有報表的功能。 此區(qū) 也可稱為 BI系統(tǒng)概念中的運營數據存儲 (ODS)。此過程只為滿足業(yè)－ Informatica公司技術 解決 方案 29 務系統(tǒng)的報表功能，從理論上講，只需保留一定時間內的數據。例如： 2年。 這也是數據中心與企 業(yè) 數 據 倉庫的重大區(qū)別之一。 綜合 數據 平臺 的數據結構設計，更多的是為了滿足運營報表、查詢等需求。而對于企業(yè)而言，隨著競爭和對自身 IT建 設要求的提高，越來越多的分析型需求，會很快提上日程。為了更好的積累企業(yè)歷史數據，保留數據的歷史狀態(tài)，進而達到對歷史狀態(tài)數據的分析的要求，必須以數據倉庫的思路去建設后繼的企業(yè) EDW區(qū)。 6) ETL(抽取、轉換、加載 ):PowerCenter=》 按照 數據倉庫的模型需求，將數據中心的數據，經過再次的高度清洗 、匯總等過程 ，進入到數據倉庫。在此，可以保證數據的歷史狀態(tài)，寫入到目標的數據倉庫。而此處，正是 Informatica PowerCenter 所關注的地方。完全圖形化的設計、高性能 、良好的并發(fā)性 、高擴展性等特點， 也為企業(yè)數據層面提供了強大的支持工具。 7) 企業(yè)數據倉庫 XXX數據倉 庫 ，經過前面階段的過程。已存儲了準確、有效、豐富的所有歷史數據，包括保留了數據的歷史狀態(tài)。從而為更高層的智能分析，提供了堅實的數據集。 此處即為企業(yè)統(tǒng)一的、唯一的數據視圖。堅實的數據基礎，是企業(yè)信息決策的根本。 8) 前端查詢 /報表工具 基于 企業(yè)數據倉庫，可以 按主題進行數據集市的劃分，從而達到按主題的智能化分析。分析以往的歷史數據，根據歷史數據的特性，達到數據 挖掘、滾動預測等高級應用。為高層和中層，提供了報表和分析的多項 功能。 － Informatica公司技術 解決 方案 30 數據加載描述 Informatica PowerCenter 可以利用數據庫的 Native Driver/ODBC等方式，將整合、轉換、清洗后的數據，按目標數據結構，寫入到目標數據庫中。同時， Informatica 支持對各種主流數據庫的批量加載功能。 ? Sybase External Loader ? MS SQL Server Bulk Loader ? Oracle External Loader ? Teradata Mload External Loader ? Teradata Tpump External Loader ? Teradata FastLoad External Loader ? DB2 EE External Loader ? DB2 EEE External Loader 增量數據 對于企業(yè)數據庫，一般存在兩類數據表：業(yè)務發(fā)生表和字典表 1) 首先，增量數據一般針對業(yè)務發(fā)生表，即 BI概念中的事實表。而對于增量，無論如何也可通過一定的業(yè)務邏輯判斷出是新增數據，例如時間字段、標識位或復雜邏輯的判斷。在增量采集作業(yè)中，將識別增量的業(yè)務邏輯內嵌進去，即可完成大業(yè)務表的增量識別。 2) 而對于像 部門、產品等字典表，每次均需全表采集，因為是字典 表，數據量不會很大，可以不 考慮增量采集 。 Informatica PowerCenter 針對字典表，提供了緩慢－ Informatica公司技術 解決 方案 31 變化維的向導，可完成字典表的數據變化的判斷，并保留字典表變化的歷史狀態(tài)。 采集 Informatica PowerCenter 技術，可以只將變化記錄同步到目標表中。 推薦產品及相應配置 推薦產品 產品描述 Informatica PowerCenter UNIX 平臺 2 顆 CPU 機型（數量） 硬件配置 主流品牌 UNIX服務器（ 1臺） CPU 2顆 內存 4 8 GB RAM 硬盤 2 * 120G HDD 網卡 1* 100MbaseT 光驅 DVD 光纖卡 1*Fiber Channel Card 軟件 HP UNIX， IBM AIX， SUN Solaris Informatica PowerCenter 源及目標數據庫客戶端 － Informatica公司技術 解決 方案 32 推薦產品簡介 : Informatica PowerCenter 7 Informatica PowerCenter 提供專注于最主要的、最復雜的數據集成項目必須的工具和數據服務的平臺，是業(yè)界領先的、具有適應性的軟件，用來訪問、集成和傳遞數據。經過精心設計的PowerCenter能夠利用有效的成本去平衡數據，從而得到一個統(tǒng)一的擴展的企業(yè)視圖。使用 Informatica PowerCenter，企業(yè)能夠通過“一次建立，任意部署”的方法從事多個不同的集成項目，允許更多的時間和資源花費在企業(yè)的業(yè)務上，而不是企業(yè)的業(yè)務整合上。 Informatica has enabled Prudential to build a solid data warehouse infrastructure that has grown from a departmental data mart to an enterprise data warehouse spanning many product platforms with the ability to efficiently handle terabytes of data。 —Russ Capone, Vice President, Prudential Financial 在 20世紀 90年代，隨著對業(yè)務過程處理的卓越追求，出現了一系列的 ERP、 CRM、 SCM和 Web應用執(zhí)行軟件，導致了分異的、私有的、性質相反的系統(tǒng)的增加。這些不同種類環(huán)境的復雜性不僅僅是 IT部門維護現存構架的負擔，還分散了他們關注支持新業(yè)務需求的精力 現在許多家企業(yè)正在尋找一個統(tǒng)一的業(yè)務視圖，并且開始認識到將那些復雜系統(tǒng)環(huán)境集成起來的需求。然而，這種挑戰(zhàn)往往使用大量的、客戶化編碼的方法，在單次單個項目中加以解決。而一些企業(yè)逐漸發(fā)現，這種方法不但昂貴并耗費時間，而且因為集成需求 增長的數量和復雜性，也已經被證明是不能維持進行的，并且它不能為項目的繼續(xù)進行提供平衡作用或者價值。 － Informatica公司技術 解決 方案 33 為了解決現存的和即將展開的集成需求，企業(yè)需要一個有適應性的、可升級的數據集成體系架構。在這個體系架構里面，每一個項目價值可構造在其他項目基礎之上。這種需求在今天的經濟浪潮里變得特別迫切，因為決策者們已在要求 IT部門使用愈來愈少的預算、時間和資源。 商業(yè)用戶的主要收益： ? 改變市場導向、客戶需求，進化業(yè)務流程 ? 獲取組織的統(tǒng)一視圖 ? 最大價值和有用的企業(yè)數據 ? 花費所有者較低成本 ? 增加生產力 —— 用較少的資源做更多的事 IT和開發(fā)者的主要收益： ? 通過一個數據集成服務架構獲取更多的效率 ? 最優(yōu)化使用現存 IT投資 ? 加快開發(fā)、減少維護時間 ? 用高質量、安全的數據支持數據管理員的工作 ? 快速響應新的業(yè)務需求和架構變化 ? 依靠已證明的可靠性和可測量性 Informatica PowerCenter的體系架構 PowerCenter是基于引擎和元數據驅動的體系架構，體系架構如下： － Informatica公司技術 解決 方案 34 2個 Server： ? Informatica Repository Server：資料庫 Server，管理 ETL過程中 產生的元數據 ? Informatica Server： ETL 引擎 5個 Client： ? PowerCenter Designer：設計開發(fā)環(huán)境，定義源及目標數據結構；設計轉換規(guī)則，生成 ETL 映射 ? Workflow Manager：合理地實現復雜的 ETL 工作流，基于時間、事件的作業(yè)調度 ? Workflow Monitor：監(jiān)控 Workflow 和 Session運行情況，生成日志和報告 ? Repository Manager：資料庫管理，包括安全性管理等 ? Repository Server Administrator Console：資料庫的建立與維護 Informatica PowerCenter功能列表 － Informatica公司技術 解決 方案 35 Informatica PowerCenter內置的近 20種轉換組件： ? Source Qualifier:從源表中查詢出所有的數據 (非 XML) ? XML Source Qualifier:從 XML 數據源中查詢數據 ? ERP Source Qualifier:從 ERP 數據源中查詢出所有數據 ? Normalizer:從 VSAM 或關系數據源中格式化記錄 ? Expression:基于單行記錄的表 達式計算 ? Aggregator:基于多行記錄的匯總計算 ? 異構數據源，異構目標 ? 多種緩慢變化維模板 ? Mapping/Session/Workflow/Server 級參數化，支持參數文件。 ? 局部變量，前后記錄比較 ? 條件匯總 ? 異構數據源關聯 ? 行 /列互換 ? 靜態(tài) /動態(tài) /條件 Lookup ? ETL 事務處理 ? 自定義 SQL ? Pre SQL 和 Post SQL ? 復用組件 /Mapping 邏輯 ? 調用存儲過程 /外部過程 (動態(tài)鏈接庫 ) ? Custom Transformation ? 可視化 Debugger ? 強大的函數支持、功能豐富的轉換語言 ? 數據源為文件列表 (Filelist) ? 斷點續(xù)傳 (Session Recovery) ? 多目標表約束裝載 (Constraint based loading) ? 錯誤數量控制 ? FTP 源和 FTP 目標 ? ETL任務分區(qū) ? 增量匯總 (Incremental Aggregation) ? 測試裝載 ? Bulk Loading ? External Loading ? 多層 Workflow 嵌套 ? 功能豐富的 Workflow 控制 ? 任務串行、并行控制 ? 基于時間、事件和指示文件觸發(fā)任務 ? Workflow 中調用操作系統(tǒng)外部命令 ? Workflow 中調用 Email ? 多 ETL Server 協同工作 － Informatica公司技術 解決 方案 36 ? Filter:執(zhí)行條件過濾 ? Router:按照條件分組來過濾數據 ? Sorter:基于鍵字段進行排序 ? Union: 對兩個或多個同結構結果集做 Union All 操作。 ? Update Strategy:允許邏輯的插入 , 更新 , 刪除 , 或拒絕 ? Lookup:查找相關的值并且傳送給其他的對象 ? Joiner:關聯異構數據源 ? Stored Procedure:調用存儲過程并且獲取返回值 ? External Procedure: 從共享庫中調用一個外部的用戶定義的 過程 ? Custom:利用 C/C++等編程語言開發(fā)客戶自定義的轉換組件。 ? Sequence Generator:產生一組唯一的序列 id ? Transaction Control:自定義事務處理 ? Rank:取出最大或最小的一定數量的記錄 ? Input:定義 Mapplet 的輸入 ,僅在 Mapplet designer 中可用 ? Output:定義 Mapplet 的輸出 ,僅在 Mapplet designer 中可用 Informatica 功能 描述： 友好 產品交互 界面 Informatica提供一個非編碼、基于對象、完 全圖形化的開發(fā)環(huán)境來滿足最大化的開發(fā)生產力，提供了極其友好的操作界面，內嵌的組件避免了手工編碼。提供了強大的變量支持和條件執(zhí)行的表達式語言，能夠在引擎中實現高級的－ Informatica公司技術 解決 方案 37 邏輯。提供了功能豐富、可視化的調試工具，使開發(fā)者可以在開發(fā)、測試和生產環(huán)境中調試任意粒度的對象。 Informatica PowerCenter提供了 5個客戶端工具： ? Designer: 導入數據源、目標結構并且創(chuàng)建 Mapping。下圖是 Designer的操作界面。 ? Repository Manager： 元數據維護和安全操作，如：元數據查找 ，用戶