【文章內(nèi)容簡介】 70+組件， 無需編碼， 方便地定制各種數(shù)據(jù)處理流程，減少手工代碼的錯誤 ? 提供數(shù)據(jù)集成運(yùn)行過程的“調(diào)試預(yù)覽” ? 可以在開發(fā)階段，及時(shí)發(fā)現(xiàn)潛在錯誤，提升集成質(zhì)量 ? 提供統(tǒng)一的資源庫 ? 可對開發(fā)和部署成果統(tǒng)一管理，保持對元數(shù)據(jù)管理和變化追蹤 ? 實(shí)時(shí) 監(jiān)控 ETL流程的 運(yùn)轉(zhuǎn) 情況 ? 掌握 流程 的 每個(gè)步驟 、每個(gè)組件 的 運(yùn)行狀態(tài)、執(zhí)行 結(jié)果 ? 支持多種數(shù)據(jù)抽取和同步模式 ? 增量捕獲（ CDC changed data capture觸發(fā)器 或 非侵入方式） ? 全量同步、雙向同步（ Oracle） ? 基于 Java，具備平臺獨(dú)立性（ Win， Linux， Unix），基于插件的架構(gòu)，具備良好擴(kuò)展性，支持任務(wù)組件和轉(zhuǎn)換組件開發(fā) 例 證 ：國家統(tǒng)計(jì)局網(wǎng)絡(luò)直報(bào)系統(tǒng) 萬風(fēng)數(shù)據(jù)庫 同方數(shù)據(jù)庫 TI 按同方表映射 按萬風(fēng)表映射 省統(tǒng)計(jì)局 省統(tǒng)計(jì)局 省統(tǒng)計(jì)局 省統(tǒng)計(jì)局 省統(tǒng)計(jì)局 省統(tǒng)計(jì)局 萬風(fēng)統(tǒng)計(jì)應(yīng)用 同方統(tǒng)計(jì)應(yīng)用 萬風(fēng) 數(shù)據(jù)庫 萬風(fēng) 數(shù)據(jù)庫 萬風(fēng) 數(shù)據(jù)庫 萬風(fēng) 數(shù)據(jù)庫 同方 數(shù)據(jù)庫 同方 數(shù)據(jù)庫 國家統(tǒng)計(jì)局 兩庫不一致 需要全國各省數(shù)據(jù) 需要全國各省數(shù)據(jù) 解決方案： 1， 2， TIETL 案例：復(fù)雜的對應(yīng)關(guān)系 同方的某一張數(shù)據(jù)表 轉(zhuǎn)到萬風(fēng)的數(shù)據(jù)庫的 流程圖 注意： 我們的工作量： 分析工作量 配置工作量 變更工作量 異構(gòu)程度： 表數(shù)量、表結(jié)構(gòu)完全不同， 行列變換 ，統(tǒng)計(jì)合并，主從抽??； TIETL解決方案的優(yōu)勢 ? 采用 （工作量大） – 沒有充足的轉(zhuǎn)換組件（ Transformation）和更專業(yè)的圖形化轉(zhuǎn)換流程編排功能，許多情況下，必須采用編碼方式，增加了實(shí)施工作量，同時(shí)現(xiàn)場編碼的質(zhì)量難以保證，今后變更更加困難 ? 采用 TIETL方案（工作量?。? ? 利用 TIETL集成工具和豐富 的 ETL組件，采用鼠標(biāo)拖拽和參數(shù)配置的方式，將復(fù)雜的數(shù)據(jù)轉(zhuǎn)換過程圖形化的表示出來，無需 編碼 ，操作直觀，使用便捷，管理變更也非常方便 ? 可以利用集成工具的 “調(diào)試預(yù)覽”功能，在數(shù)據(jù)轉(zhuǎn)換的配置、調(diào)試階段，實(shí)時(shí)監(jiān)控?cái)?shù)據(jù)轉(zhuǎn)換過程中出現(xiàn)的問題和異常情況，提高了開發(fā)人員查找錯誤、解決問題的效率，提升了數(shù)據(jù)集成的質(zhì)量 ? 提供了“雙向同步”支持，保證 了雙方數(shù)據(jù)及時(shí) 交換 ? 可視化的實(shí)時(shí)監(jiān)控，運(yùn)行狀況一目了然 數(shù)據(jù)集成系列 銷售建議 數(shù)據(jù)集成篇 什么時(shí)候賣 TIETL和 TIDXP ? TIETL – 適于處理大量的、異構(gòu)的數(shù)據(jù)轉(zhuǎn)換 ? 數(shù)據(jù)大集中，數(shù)據(jù)量非常大，異構(gòu)轉(zhuǎn)換復(fù)雜 ? 數(shù)據(jù)倉庫類應(yīng)用，數(shù)據(jù)量非常大，異構(gòu)轉(zhuǎn)換復(fù)雜 ? TIDX P – 適于做系統(tǒng)間數(shù)據(jù)結(jié)構(gòu)比較相似的數(shù)據(jù)搬運(yùn) ? 上下級同類應(yīng)用數(shù)據(jù)的同步，數(shù)據(jù)往往同構(gòu)或相似 ? 部門間數(shù)據(jù)交換，往往有前置機(jī)（橋接系統(tǒng)），把業(yè)務(wù)系統(tǒng)數(shù)據(jù)發(fā)布到前置數(shù)據(jù)庫中再進(jìn)行數(shù)據(jù)交換，對異構(gòu)數(shù)據(jù)的轉(zhuǎn)換要求不高。 判別關(guān)鍵：是否需要復(fù)雜的數(shù)據(jù)轉(zhuǎn)換 如何判斷數(shù)據(jù)轉(zhuǎn)換的復(fù)雜度 ? 規(guī)模問題 – 參加交換的數(shù)據(jù)集成應(yīng)用系統(tǒng)規(guī)模有多大 ? 數(shù)據(jù)轉(zhuǎn)換問題 – 參加數(shù)據(jù)集成的應(yīng)用系統(tǒng)，是由 1家廠商開發(fā)的，還是由多家不同廠商開發(fā)的？ – 這些應(yīng)用系統(tǒng)是同一類應(yīng)用系統(tǒng)（名稱、用途、功能、用戶相近），還是不同類應(yīng)用系統(tǒng)？ – 這些應(yīng)用系統(tǒng)是否有數(shù)據(jù)規(guī)范約束，還是沒有數(shù)據(jù)規(guī)范？ – 簡單 ? 如果回答是前者， 這些 應(yīng)用系統(tǒng)的數(shù)據(jù)庫的表結(jié)構(gòu)相似程度一般比較高 – 復(fù)雜 ? 如果回答是后者，很可能在數(shù)據(jù)庫類型、表結(jié)構(gòu)等方面存在較大差異 1家廠商 開發(fā)的？ 這些 應(yīng)用系統(tǒng) 名稱相似嗎 ？ 這些 應(yīng)用 系統(tǒng) 有數(shù)據(jù) 規(guī)范嗎 ？ 系統(tǒng)間數(shù)據(jù)關(guān)系簡單 系統(tǒng)間數(shù)據(jù)關(guān)系復(fù)雜 系統(tǒng)規(guī)模小 （ 210） 參加集成系統(tǒng)的規(guī)模大小 系統(tǒng)規(guī)模中（ 20） 或者 TI +TLQ 項(xiàng)目實(shí)施成本 系統(tǒng)間數(shù)據(jù)關(guān)系簡單 系統(tǒng)規(guī)模小 （ 210） TIDXP 項(xiàng)目實(shí)施成本 系統(tǒng)間數(shù)據(jù)關(guān)系簡單 系統(tǒng)規(guī)模大（ 20） TIDXP TIETL橋接 項(xiàng)目實(shí)施成本 系統(tǒng)間數(shù)據(jù) 關(guān)系復(fù)雜 系統(tǒng)規(guī)模大（ 20） 項(xiàng)目實(shí)施成本 系統(tǒng)間數(shù)據(jù)關(guān)系復(fù)雜 系統(tǒng)規(guī)模小 （ 210） 規(guī)模問題 轉(zhuǎn)換問題 推薦重點(diǎn) 數(shù)據(jù)集成場景與推薦方案的總結(jié) N N N Y Y Y 案例：浙江省統(tǒng)計(jì)局企業(yè)直報(bào)系統(tǒng) ? 浙江省 企業(yè) 數(shù)據(jù) 國家 一套表 系統(tǒng)數(shù)據(jù)同步 – 浙江省 使用的系統(tǒng)與國家一套表系統(tǒng)不 一致 – 浙江 省 內(nèi)各市之間使用系統(tǒng)也 不完全 相同 ? 整個(gè) 數(shù)據(jù) 同步過程 涉及復(fù)雜的數(shù)據(jù)轉(zhuǎn)換。 萬峰系統(tǒng) 中科系統(tǒng) 中科系統(tǒng) 溫州系統(tǒng) 和利時(shí) 系統(tǒng) 杭州系統(tǒng) 國家 第一次方案 國 家省 ( 中 科 )T I E T L溫 州 杭 州 臺 州T I E T L _ T L QT I E T L _ T L Q T I E T L _ T L Q? ? ?? ? ?根據(jù)分析對需求特點(diǎn)分析，整個(gè)項(xiàng)目采用 TIETL+tlq的方式完成整個(gè)數(shù)據(jù)同步。引入 TIETL主要考慮到異構(gòu)系統(tǒng)之間轉(zhuǎn)換的復(fù)雜性， tlq主要提供省和地市之間網(wǎng)絡(luò)傳輸?shù)姆€(wěn)定性。 好處： TIETL很好地完成了大批量、不同數(shù)據(jù)格式和內(nèi)容的轉(zhuǎn)換 問題： 1）這是 TIETL第一個(gè)應(yīng)用，自身穩(wěn)定性還存在問題； 2） TIETL在 跨 地域網(wǎng)絡(luò)不穩(wěn)定情況下，難以難保事務(wù)完整性，有時(shí)丟數(shù)據(jù)。 改進(jìn)后的方案 dxp主要將分步節(jié)點(diǎn)中的數(shù)據(jù)進(jìn)行匯集 。 解決事務(wù)完整性問題。 匯集 以后的數(shù)據(jù)由 etl做集中轉(zhuǎn)換與同步 。解決數(shù)據(jù)轉(zhuǎn)換問題。 形象解釋：家具送貨安裝需要做 2類工作 送家具：零件打包、裝車、送達(dá)、卸貨、查驗(yàn)；（搬運(yùn)工作 TIDX 或者 TIDXP ） 裝家具：拆包，實(shí)地測量，組裝，歸位，調(diào)整；（加工工作 —TIETL） 如果實(shí)地簡單，組裝簡單（如茶幾），這 2類活可以 1類人做（如 TIDXP） 如果實(shí)地復(fù)雜，組裝復(fù)雜（如櫥柜，水電氣暖多方協(xié)作），就需要 2類人做。 政府部門 有數(shù)據(jù)集中的共享 交換 解決方案 前置 前置 前置 前置 工商 數(shù)據(jù)庫 前置 法人 基礎(chǔ)庫 質(zhì)監(jiān) 數(shù)據(jù)庫 編辦 數(shù)據(jù)庫 數(shù)據(jù)交換平臺中心 安監(jiān) 數(shù)據(jù)庫 消防 數(shù)據(jù)庫 前置 應(yīng)急 數(shù)據(jù)庫 人口 基礎(chǔ)庫 GIS 基礎(chǔ)庫 委辦局區(qū)縣 資源 目錄 宏觀經(jīng)濟(jì) 信息資源管理部門 DX DX DX DX DX DX DXP +DX ETL 需求： 1）委辦局之間要數(shù)據(jù)交換 2）委辦局?jǐn)?shù)據(jù)匯到 X中心 解決方案： 1）數(shù)據(jù) 交換平臺 DX負(fù)責(zé)將供方數(shù)據(jù)交換到需方，包擴(kuò)上傳到 X中心，DXP負(fù)責(zé)總體交換體系管理 （可能要與資源目錄配合） 2）數(shù)據(jù)集中 中心用 ETL將各委辦局?jǐn)?shù)據(jù)，進(jìn)行對比、清洗、轉(zhuǎn)換后，進(jìn)入 基礎(chǔ) 庫，作為政府部門分析決策的基礎(chǔ) TIETL目標(biāo)客戶群體 ? 目標(biāo)客戶 – 數(shù)據(jù)大集中類： 數(shù)據(jù)中心 ，數(shù)據(jù)集中，主題庫 /基礎(chǔ)庫。往往 并不要求 BI級別，如 ODS，我們可以發(fā)揮在電子政務(wù)領(lǐng)域的積累，推出有價(jià)值的解決方案。 ? 電子政務(wù)客戶；軍工、國企；中?。ㄙI不起，信息化水平低） – 商業(yè)智能（ BI）類：數(shù)據(jù)倉庫 /集市，商業(yè)智能。這類項(xiàng)目重點(diǎn)在忽悠用“智能”來挖掘商機(jī)， ETL是小頭。我們不熟悉這些技術(shù)的實(shí)施細(xì)節(jié)，缺乏積累，更缺乏人才，提不出更有競爭力的 ETL產(chǎn)品特性和解決方案。 ? 金融，電信，電力 等 國企（信息化發(fā)達(dá)） ? 外企、合資企業(yè)（以盈利為目的，挖掘商業(yè)機(jī)會） ? 物聯(lián)網(wǎng)應(yīng)用（強(qiáng)調(diào)智能的部分需要 ETL和 BI） 當(dāng)前重點(diǎn)應(yīng)放在第一類。 若推動第二類：“專業(yè)團(tuán)隊(duì) know why， know how”，增加產(chǎn)品價(jià)值 TIETL銷售模式 ? 直銷 – 可充分利用品牌，應(yīng)用集成市場案例優(yōu)勢 – 該 類產(chǎn)品，更貼近用戶實(shí)際業(yè)務(wù)需求，需要針對客戶問題的咨詢及其提出解決方案能力 – 用戶不特別提起，可以回避開源問題 ? 渠道 – 有 ETL需求的廠商，大都使用過 Kettle，交流時(shí) 被 集成商 直接 點(diǎn)出跟 kettle一樣 – 最大困惑是我們采用了開源 kettle，成功推薦的關(guān)鍵，是看我們在 Kettle上提供了多少價(jià)值 – 首先區(qū)分集成商類型。不做 BI可以大膽推。 – 針對熟悉 kettle的，易推廣綜合的解決方案 +專業(yè)支持 雖然用開源，采用 TIETL和 Kettle有什么不同？ TIETL比 Kettle更穩(wěn)健、更有保障 ? 我們對開源產(chǎn)品 Kettle進(jìn)行 了產(chǎn)品化工作 – 漢化，完善產(chǎn)品手冊 — 中文 – 嚴(yán)格的產(chǎn)品測試和 缺陷修正 ? 篩選常用 74組件，進(jìn)行來 2輪專業(yè)功能測試 ，發(fā)現(xiàn)修改了 1000個(gè) BUGS – 功能 增加和增強(qiáng) ? 新增 8個(gè)組件，如觸發(fā)器增量抽取， CDC， TLQ， JMS， 雙向同步（ Oracle） ? 原有 組件增強(qiáng)，如統(tǒng)一日志輸出，任務(wù)自啟動等 – 專業(yè)技術(shù)支持，持續(xù)的維護(hù)和 升級 ? 開 源產(chǎn)品的跟蹤、錯誤修訂與反饋（需要找專人）、使用模式、調(diào)優(yōu) ? 客戶使用 TIETL的本土技術(shù)支持與服務(wù)的保障 ? 使用開源產(chǎn)品的客戶需要升級，以避免潛在問題和性能問題出現(xiàn)，我們提供這樣的服務(wù) TIDXP銷售建議 ? ，從而更直觀地展示 DXP更貼近用戶實(shí)際業(yè)務(wù)，具備交換系統(tǒng)全方位的可管理性，推動 DXP、 DX、 TongLINK/Q產(chǎn)品的銷售 ? DXP項(xiàng)目幾乎 都需要 改造實(shí)施 ，建議由 SI拿這塊利益。如我們實(shí)施，需要按照項(xiàng)目方式收取實(shí)施服務(wù)費(fèi)用。 – 因?yàn)?不同行業(yè)不同用戶的業(yè)務(wù)需求差異很大 ， DXP在 有的地方適用，在另一個(gè)地方就可能不適用。 – 有了界面可以非常方便地給用戶展示效果，但界面更貼近業(yè)務(wù)操作，需求差異會更多，改造需求也會更多 。 ? DXP 銷售 ≈ 銷售“ DXP+DX+TLQ” +“實(shí)施方案” – 實(shí)施方案：最好是我們提供，集成商做 制定銷售策略時(shí)需考慮的實(shí)施成本 類別 工作說明 所需人員層次 報(bào)價(jià) 需求分析 方案 設(shè)計(jì) 原型驗(yàn)證 業(yè)務(wù)調(diào)查與需求分析 數(shù)據(jù)交換 方案設(shè)計(jì) 基本功能模型與驗(yàn)證 高級 單獨(dú)報(bào)價(jià) 二次開發(fā) 新功能實(shí)現(xiàn) 監(jiān)控管理 API 界面開發(fā) 中高級 單獨(dú)報(bào)價(jià) 現(xiàn)場實(shí)施 數(shù)據(jù)交換配置操作： 系統(tǒng)安裝 交換任務(wù)配置 數(shù)據(jù)適配 、 映射和轉(zhuǎn)換 產(chǎn)品工程師 單獨(dú)報(bào)價(jià) 測試聯(lián)調(diào) 與 集成商和其他 廠商進(jìn)行 聯(lián)調(diào) 產(chǎn)品工程師 單獨(dú)報(bào)價(jià) 系統(tǒng)運(yùn)維 現(xiàn)場運(yùn)維支持工作 需求變更造成 的開發(fā)實(shí)施 工作 （ 需要 在合同中 約束 ） 產(chǎn)品工程師 或中高人員 單獨(dú)報(bào)價(jià) 以上內(nèi)容，最合理方式，交給集成 商 。 需要 我們做，就需要報(bào)實(shí)施 成本 。 TI DX 提供 2種形式的產(chǎn)品與標(biāo)準(zhǔn)服務(wù)報(bào)價(jià) ?TongIntegrator Data eXchange 交換節(jié)點(diǎn) ? XXX萬 /CPU ? 1年標(biāo)準(zhǔn)服務(wù)（ 15%） XX萬 ? 交換節(jié)點(diǎn)： ?TI DX Adapter適配器 ? XX萬 /CPU ? 1年標(biāo)準(zhǔn)服務(wù)（ 15%） XX萬 ? 完成 TIDX前端系統(tǒng)的數(shù)據(jù)抽取任務(wù)的配置和 運(yùn)行 ? 如用戶預(yù)算確實(shí)有限，可在前端推薦 TIAdapter for DX ? TICDC增量 數(shù)據(jù)捕捉 組件，有需要單獨(dú)銷售 ? XX萬 /CPU ? 1年標(biāo)準(zhǔn)服務(wù)（ 15%） XX萬 ? 需 單獨(dú)銷售 TongLINK/Q產(chǎn)品 TI DXP 交換節(jié)點(diǎn)報(bào)價(jià) TI DXP 提供 1種形式的產(chǎn)品與標(biāo)準(zhǔn)服務(wù)報(bào)價(jià) ?TongIntegrator DataExchange Platform 管理節(jié)點(diǎn) ? XXX萬 /CPU ? 1年標(biāo)準(zhǔn)服務(wù)（ 15%） XX萬 ? 管理節(jié)點(diǎn) ： ? 完成本節(jié)點(diǎn)數(shù)據(jù)交換任務(wù)的配置、 運(yùn)行、 ? 完成 本節(jié)點(diǎn)及其下屬多個(gè)節(jié)點(diǎn)的監(jiān)控、管理 工作 ? 賣一套