【文章內容簡介】 70+組件， 無需編碼， 方便地定制各種數據處理流程，減少手工代碼的錯誤 ? 提供數據集成運行過程的“調試預覽” ? 可以在開發(fā)階段，及時發(fā)現潛在錯誤，提升集成質量 ? 提供統(tǒng)一的資源庫 ? 可對開發(fā)和部署成果統(tǒng)一管理，保持對元數據管理和變化追蹤 ? 實時 監(jiān)控 ETL流程的 運轉 情況 ? 掌握 流程 的 每個步驟 、每個組件 的 運行狀態(tài)、執(zhí)行 結果 ? 支持多種數據抽取和同步模式 ? 增量捕獲（ CDC changed data capture觸發(fā)器 或 非侵入方式） ? 全量同步、雙向同步（ Oracle） ? 基于 Java，具備平臺獨立性（ Win， Linux， Unix），基于插件的架構，具備良好擴展性，支持任務組件和轉換組件開發(fā) 例 證 ：國家統(tǒng)計局網絡直報系統(tǒng) 萬風數據庫 同方數據庫 TI 按同方表映射 按萬風表映射 省統(tǒng)計局 省統(tǒng)計局 省統(tǒng)計局 省統(tǒng)計局 省統(tǒng)計局 省統(tǒng)計局 萬風統(tǒng)計應用 同方統(tǒng)計應用 萬風 數據庫 萬風 數據庫 萬風 數據庫 萬風 數據庫 同方 數據庫 同方 數據庫 國家統(tǒng)計局 兩庫不一致 需要全國各省數據 需要全國各省數據 解決方案： 1， 2， TIETL 案例：復雜的對應關系 同方的某一張數據表 轉到萬風的數據庫的 流程圖 注意： 我們的工作量： 分析工作量 配置工作量 變更工作量 異構程度： 表數量、表結構完全不同， 行列變換 ，統(tǒng)計合并，主從抽??； TIETL解決方案的優(yōu)勢 ? 采用 （工作量大） – 沒有充足的轉換組件（ Transformation）和更專業(yè)的圖形化轉換流程編排功能，許多情況下，必須采用編碼方式，增加了實施工作量，同時現場編碼的質量難以保證，今后變更更加困難 ? 采用 TIETL方案（工作量?。? ? 利用 TIETL集成工具和豐富 的 ETL組件，采用鼠標拖拽和參數配置的方式，將復雜的數據轉換過程圖形化的表示出來，無需 編碼 ，操作直觀，使用便捷，管理變更也非常方便 ? 可以利用集成工具的 “調試預覽”功能，在數據轉換的配置、調試階段，實時監(jiān)控數據轉換過程中出現的問題和異常情況，提高了開發(fā)人員查找錯誤、解決問題的效率，提升了數據集成的質量 ? 提供了“雙向同步”支持，保證 了雙方數據及時 交換 ? 可視化的實時監(jiān)控，運行狀況一目了然 數據集成系列 銷售建議 數據集成篇 什么時候賣 TIETL和 TIDXP ? TIETL – 適于處理大量的、異構的數據轉換 ? 數據大集中，數據量非常大，異構轉換復雜 ? 數據倉庫類應用，數據量非常大，異構轉換復雜 ? TIDX P – 適于做系統(tǒng)間數據結構比較相似的數據搬運 ? 上下級同類應用數據的同步，數據往往同構或相似 ? 部門間數據交換，往往有前置機（橋接系統(tǒng)），把業(yè)務系統(tǒng)數據發(fā)布到前置數據庫中再進行數據交換，對異構數據的轉換要求不高。 判別關鍵：是否需要復雜的數據轉換 如何判斷數據轉換的復雜度 ? 規(guī)模問題 – 參加交換的數據集成應用系統(tǒng)規(guī)模有多大 ? 數據轉換問題 – 參加數據集成的應用系統(tǒng)，是由 1家廠商開發(fā)的，還是由多家不同廠商開發(fā)的？ – 這些應用系統(tǒng)是同一類應用系統(tǒng)（名稱、用途、功能、用戶相近），還是不同類應用系統(tǒng)？ – 這些應用系統(tǒng)是否有數據規(guī)范約束，還是沒有數據規(guī)范？ – 簡單 ? 如果回答是前者， 這些 應用系統(tǒng)的數據庫的表結構相似程度一般比較高 – 復雜 ? 如果回答是后者，很可能在數據庫類型、表結構等方面存在較大差異 1家廠商 開發(fā)的？ 這些 應用系統(tǒng) 名稱相似嗎 ？ 這些 應用 系統(tǒng) 有數據 規(guī)范嗎 ？ 系統(tǒng)間數據關系簡單 系統(tǒng)間數據關系復雜 系統(tǒng)規(guī)模小 （ 210） 參加集成系統(tǒng)的規(guī)模大小 系統(tǒng)規(guī)模中（ 20） 或者 TI +TLQ 項目實施成本 系統(tǒng)間數據關系簡單 系統(tǒng)規(guī)模小 （ 210） TIDXP 項目實施成本 系統(tǒng)間數據關系簡單 系統(tǒng)規(guī)模大（ 20） TIDXP TIETL橋接 項目實施成本 系統(tǒng)間數據 關系復雜 系統(tǒng)規(guī)模大（ 20） 項目實施成本 系統(tǒng)間數據關系復雜 系統(tǒng)規(guī)模小 （ 210） 規(guī)模問題 轉換問題 推薦重點 數據集成場景與推薦方案的總結 N N N Y Y Y 案例：浙江省統(tǒng)計局企業(yè)直報系統(tǒng) ? 浙江省 企業(yè) 數據 國家 一套表 系統(tǒng)數據同步 – 浙江省 使用的系統(tǒng)與國家一套表系統(tǒng)不 一致 – 浙江 省 內各市之間使用系統(tǒng)也 不完全 相同 ? 整個 數據 同步過程 涉及復雜的數據轉換。 萬峰系統(tǒng) 中科系統(tǒng) 中科系統(tǒng) 溫州系統(tǒng) 和利時 系統(tǒng) 杭州系統(tǒng) 國家 第一次方案 國 家省 ( 中 科 )T I E T L溫 州 杭 州 臺 州T I E T L _ T L QT I E T L _ T L Q T I E T L _ T L Q? ? ?? ? ?根據分析對需求特點分析，整個項目采用 TIETL+tlq的方式完成整個數據同步。引入 TIETL主要考慮到異構系統(tǒng)之間轉換的復雜性， tlq主要提供省和地市之間網絡傳輸的穩(wěn)定性。 好處： TIETL很好地完成了大批量、不同數據格式和內容的轉換 問題： 1）這是 TIETL第一個應用，自身穩(wěn)定性還存在問題； 2） TIETL在 跨 地域網絡不穩(wěn)定情況下，難以難保事務完整性，有時丟數據。 改進后的方案 dxp主要將分步節(jié)點中的數據進行匯集 。 解決事務完整性問題。 匯集 以后的數據由 etl做集中轉換與同步 。解決數據轉換問題。 形象解釋：家具送貨安裝需要做 2類工作 送家具：零件打包、裝車、送達、卸貨、查驗；（搬運工作 TIDX 或者 TIDXP ） 裝家具：拆包，實地測量，組裝，歸位，調整；（加工工作 —TIETL） 如果實地簡單，組裝簡單（如茶幾），這 2類活可以 1類人做（如 TIDXP） 如果實地復雜，組裝復雜（如櫥柜，水電氣暖多方協作），就需要 2類人做。 政府部門 有數據集中的共享 交換 解決方案 前置 前置 前置 前置 工商 數據庫 前置 法人 基礎庫 質監(jiān) 數據庫 編辦 數據庫 數據交換平臺中心 安監(jiān) 數據庫 消防 數據庫 前置 應急 數據庫 人口 基礎庫 GIS 基礎庫 委辦局區(qū)縣 資源 目錄 宏觀經濟 信息資源管理部門 DX DX DX DX DX DX DXP +DX ETL 需求： 1）委辦局之間要數據交換 2）委辦局數據匯到 X中心 解決方案： 1）數據 交換平臺 DX負責將供方數據交換到需方，包擴上傳到 X中心，DXP負責總體交換體系管理 （可能要與資源目錄配合） 2）數據集中 中心用 ETL將各委辦局數據，進行對比、清洗、轉換后，進入 基礎 庫，作為政府部門分析決策的基礎 TIETL目標客戶群體 ? 目標客戶 – 數據大集中類： 數據中心 ，數據集中，主題庫 /基礎庫。往往 并不要求 BI級別，如 ODS，我們可以發(fā)揮在電子政務領域的積累，推出有價值的解決方案。 ? 電子政務客戶；軍工、國企；中?。ㄙI不起，信息化水平低） – 商業(yè)智能（ BI）類：數據倉庫 /集市，商業(yè)智能。這類項目重點在忽悠用“智能”來挖掘商機， ETL是小頭。我們不熟悉這些技術的實施細節(jié)，缺乏積累，更缺乏人才，提不出更有競爭力的 ETL產品特性和解決方案。 ? 金融，電信，電力 等 國企（信息化發(fā)達） ? 外企、合資企業(yè)（以盈利為目的，挖掘商業(yè)機會） ? 物聯網應用（強調智能的部分需要 ETL和 BI） 當前重點應放在第一類。 若推動第二類：“專業(yè)團隊 know why， know how”，增加產品價值 TIETL銷售模式 ? 直銷 – 可充分利用品牌，應用集成市場案例優(yōu)勢 – 該 類產品，更貼近用戶實際業(yè)務需求，需要針對客戶問題的咨詢及其提出解決方案能力 – 用戶不特別提起，可以回避開源問題 ? 渠道 – 有 ETL需求的廠商，大都使用過 Kettle，交流時 被 集成商 直接 點出跟 kettle一樣 – 最大困惑是我們采用了開源 kettle，成功推薦的關鍵，是看我們在 Kettle上提供了多少價值 – 首先區(qū)分集成商類型。不做 BI可以大膽推。 – 針對熟悉 kettle的，易推廣綜合的解決方案 +專業(yè)支持 雖然用開源，采用 TIETL和 Kettle有什么不同？ TIETL比 Kettle更穩(wěn)健、更有保障 ? 我們對開源產品 Kettle進行 了產品化工作 – 漢化，完善產品手冊 — 中文 – 嚴格的產品測試和 缺陷修正 ? 篩選常用 74組件，進行來 2輪專業(yè)功能測試 ，發(fā)現修改了 1000個 BUGS – 功能 增加和增強 ? 新增 8個組件，如觸發(fā)器增量抽取， CDC， TLQ， JMS， 雙向同步（ Oracle） ? 原有 組件增強，如統(tǒng)一日志輸出，任務自啟動等 – 專業(yè)技術支持，持續(xù)的維護和 升級 ? 開 源產品的跟蹤、錯誤修訂與反饋（需要找專人）、使用模式、調優(yōu) ? 客戶使用 TIETL的本土技術支持與服務的保障 ? 使用開源產品的客戶需要升級，以避免潛在問題和性能問題出現，我們提供這樣的服務 TIDXP銷售建議 ? ，從而更直觀地展示 DXP更貼近用戶實際業(yè)務，具備交換系統(tǒng)全方位的可管理性，推動 DXP、 DX、 TongLINK/Q產品的銷售 ? DXP項目幾乎 都需要 改造實施 ，建議由 SI拿這塊利益。如我們實施，需要按照項目方式收取實施服務費用。 – 因為 不同行業(yè)不同用戶的業(yè)務需求差異很大 ， DXP在 有的地方適用，在另一個地方就可能不適用。 – 有了界面可以非常方便地給用戶展示效果，但界面更貼近業(yè)務操作，需求差異會更多，改造需求也會更多 。 ? DXP 銷售 ≈ 銷售“ DXP+DX+TLQ” +“實施方案” – 實施方案：最好是我們提供，集成商做 制定銷售策略時需考慮的實施成本 類別 工作說明 所需人員層次 報價 需求分析 方案 設計 原型驗證 業(yè)務調查與需求分析 數據交換 方案設計 基本功能模型與驗證 高級 單獨報價 二次開發(fā) 新功能實現 監(jiān)控管理 API 界面開發(fā) 中高級 單獨報價 現場實施 數據交換配置操作： 系統(tǒng)安裝 交換任務配置 數據適配 、 映射和轉換 產品工程師 單獨報價 測試聯調 與 集成商和其他 廠商進行 聯調 產品工程師 單獨報價 系統(tǒng)運維 現場運維支持工作 需求變更造成 的開發(fā)實施 工作 （ 需要 在合同中 約束 ） 產品工程師 或中高人員 單獨報價 以上內容，最合理方式，交給集成 商 。 需要 我們做，就需要報實施 成本 。 TI DX 提供 2種形式的產品與標準服務報價 ?TongIntegrator Data eXchange 交換節(jié)點 ? XXX萬 /CPU ? 1年標準服務（ 15%） XX萬 ? 交換節(jié)點： ?TI DX Adapter適配器 ? XX萬 /CPU ? 1年標準服務（ 15%） XX萬 ? 完成 TIDX前端系統(tǒng)的數據抽取任務的配置和 運行 ? 如用戶預算確實有限，可在前端推薦 TIAdapter for DX ? TICDC增量 數據捕捉 組件，有需要單獨銷售 ? XX萬 /CPU ? 1年標準服務（ 15%） XX萬 ? 需 單獨銷售 TongLINK/Q產品 TI DXP 交換節(jié)點報價 TI DXP 提供 1種形式的產品與標準服務報價 ?TongIntegrator DataExchange Platform 管理節(jié)點 ? XXX萬 /CPU ? 1年標準服務（ 15%） XX萬 ? 管理節(jié)點 ： ? 完成本節(jié)點數據交換任務的配置、 運行、 ? 完成 本節(jié)點及其下屬多個節(jié)點的監(jiān)控、管理 工作 ? 賣一套