【正文】 s. Greenplum Query Performance Comparison Group Number ParAccel Greenplum PA times better DB1 1 132 5 220 4 110 Count distinct queries on highly distinct column 9 63 correlated sub queries 3 290 Outer join queries 8 102 12 Joins in a query with 2 large tables 11 19 66 12 10 GEOMEAN AVERAGE COMPOSITE 客 戶 PoC 使用 ParAccel MPP 的好 處 ：對(duì) 比 現(xiàn) 有的 Teradata 64 Confidential 169。 總體規(guī)劃分步實(shí)施 (怎樣快速部署大數(shù)據(jù)分析系統(tǒng)） 怎樣部署 web數(shù)據(jù)的抽取監(jiān)控 非結(jié)構(gòu)化動(dòng)態(tài)數(shù)據(jù)的抽取整合和聯(lián)網(wǎng)數(shù)據(jù) 怎樣部署適合您的融合三類數(shù)據(jù)的數(shù)據(jù)庫(kù) 怎樣部署高速政務(wù)情報(bào)與輿情分析展現(xiàn) 怎樣把靜態(tài)歷史交易數(shù)據(jù)與 實(shí)時(shí)動(dòng)態(tài)數(shù)據(jù)融合 實(shí)時(shí)動(dòng)態(tài)數(shù)據(jù)、感應(yīng)器、機(jī)器 監(jiān)控、攝像頭、交易、位置 通信通話、短信、交通 實(shí)時(shí)動(dòng)態(tài) 數(shù)據(jù) WEB 數(shù)據(jù) WEB數(shù)據(jù)、微博微信、 電子郵件 Cookies、點(diǎn)擊行為、情感情緒 發(fā)帖投訴、動(dòng)態(tài)的 IP 轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù) 與政府企業(yè) 相關(guān)的 網(wǎng)站 微博 媒體 輿情 評(píng)論 投訴 申訴 其他 歷 史靜 態(tài) 交易狀 態(tài) 數(shù)據(jù) 地理氣象、環(huán)保衛(wèi)生、交通通信 社會(huì)數(shù)據(jù)、國(guó)家數(shù)據(jù)、商業(yè)數(shù)據(jù) 提供分析服務(wù)（云服務(wù)） 分類 文件 分類 報(bào)道 分類 情報(bào) 分類 推送 報(bào)表 OLAP Ad hoc 分析 Dash board 預(yù)警 監(jiān)控 融合交互互動(dòng) 各類內(nèi)部外部數(shù)據(jù)抽取整合 Syncsort’s DMXh in the Big Data Ecosystem 41 Syncsort Confidential and Proprietary do not copy or distribute 抽取整合內(nèi)部和 外部 的各種數(shù)據(jù) Syncsort 42 Syncsort Confidential and Proprietary do not copy or distribute PROCESS Sort Join Aggregate Copy Merge DISTRIBUTE COLLECT E Extract T Transform L Load The Economics of Data 43 Syncsort Confidential and Proprietary do not copy or distribute Cost of managing 1TB of data Mainframe EDW Hadoop $20,000 – $100,000 $15,000 – $80,000 $250 – $2,000 Scalability Performance Reliability Agility Aging workforce But there’s more? Big Data Testing with Cognizant at Leading Financial Organization 44 Syncsort Confidential and Proprietary do not copy or distribute CDC Benchmark. No Coding, No Scripting, Just Faster! 0255075Throughput (MB/Sec/Node) 3x Faster Pig + Java 0 50 100 150 200 250 300 350 400 450Combined Lines of Code Pig + Java Zero 423 0 4 8 12 16Development Effort (Weeks) DMXh 4 Man weeks HiveQL 12 Man weeks 總體規(guī)劃分步實(shí)施 (怎樣快速部署大數(shù)據(jù)分析系統(tǒng)） 怎樣部署 web數(shù)據(jù)的抽取監(jiān)控 非結(jié)構(gòu)化動(dòng)態(tài)數(shù)據(jù)的抽取整合和聯(lián)網(wǎng)數(shù) 怎樣部署適合您的融合三類數(shù)據(jù)的數(shù)據(jù)庫(kù) 怎樣部署高速政務(wù)情報(bào)與輿情分析展現(xiàn) 怎樣處理復(fù)雜的數(shù)據(jù)關(guān)系 （ 把你 100代的家譜 30秒可以呈現(xiàn)出來(lái)） 林則徐 左宗棠 女婿 曾國(guó)藩 連襟 曾紀(jì)鴻 兒子 梁?jiǎn)⒊? 女婿 梁思成 兒子 林徽因 老婆 徐志摩 單戀 宰相陳寶箴 女兒 陳寅恪 孫子 曾孫女 葉劍英 兒子 兒子 江青 藍(lán)平 舅舅 干女兒 丈夫 改名 曾祖父 梁?jiǎn)⒊瑢O女 俞明震 娶了曾紀(jì)澤的女兒，是魯迅的老師 葉劍英的老婆是曾憲植， 曾國(guó)藩的曾孫女，曾憲植的表兄的 女兒的兒子叫蔣經(jīng)國(guó)，他爸叫蔣中正。 信息關(guān)聯(lián)及多軌研判 信息關(guān)聯(lián)及多軌研判 通過(guò)對(duì) “人、車、電、網(wǎng)、像、案 ” 各類信息往復(fù)式核查，不斷深入，相互碰撞，逐步將單一平臺(tái)軌跡管控方式向網(wǎng)格化、多層級(jí)的管控方式拓展。 全網(wǎng)實(shí)時(shí)動(dòng)態(tài)監(jiān)控防范系統(tǒng) 38 （ 4）移動(dòng)電信位置軌跡 —以技偵部門信息為基礎(chǔ)，案件及所處電信基站的串并分析（同類型案件的不同基站內(nèi)進(jìn)入的號(hào)碼分析）； （技偵提供） （ 5）網(wǎng)絡(luò)軌跡 —結(jié)合上網(wǎng)場(chǎng)所信息（包含網(wǎng)吧或旅館的地理位置信息、單位信息）、網(wǎng)絡(luò)活動(dòng)信息。 多軌排查 （ 1）是案件軌跡 —案件的串并分析（多庫(kù)聯(lián)偵的案到案的硬串、軟串；案到人；人到案），從高危到案、從前科人員到案。 包括： 構(gòu)建多個(gè)面向基礎(chǔ)分析的專題數(shù)據(jù)庫(kù)： （ 1）市級(jí)重點(diǎn)人員庫(kù) （ 2）高危地域庫(kù) （ 3）保安等專門人員信息庫(kù) （ 4）排查結(jié)果數(shù)據(jù)庫(kù)等 。 d、發(fā)現(xiàn)洞察：及時(shí)發(fā)現(xiàn)并解決問(wèn)題，大大有利于決策的制定和維護(hù)社會(huì)穩(wěn)定和促進(jìn)和諧。 六、 負(fù)面輿情及時(shí)預(yù)警 敏感事件、違法亂紀(jì)行為、民生問(wèn)題、社會(huì)分配、突發(fā)性事件等輿情信息， 通過(guò)對(duì) Connotate抽取的數(shù)據(jù)進(jìn)行語(yǔ)義分析，自動(dòng)判斷信息的正負(fù)面，在此基礎(chǔ)上分析負(fù)面信息中出現(xiàn)的熱點(diǎn)信息， 當(dāng)其熱度達(dá)到一定的預(yù)警值，則自動(dòng)推薦為預(yù)警信息，自動(dòng)彈窗、郵件通知、短信通知。全面監(jiān)測(cè)，及時(shí)發(fā)現(xiàn)問(wèn)題，做出應(yīng)對(duì)措施。 十二、成本 a、 人工成本，配備專業(yè)的技術(shù)人員進(jìn)行編寫代碼的成本要低。 八、 定時(shí)報(bào)告 系統(tǒng)按照指定的時(shí)間報(bào)告最新監(jiān)控結(jié)果，上報(bào)內(nèi)容包括：媒介、地址、內(nèi)容、發(fā)生時(shí)間、原始信息等九、 監(jiān)控結(jié)果分析 系統(tǒng)可以隨時(shí)對(duì)監(jiān)控結(jié)果進(jìn)行各種統(tǒng)計(jì)分析和總結(jié)報(bào)告，以為后續(xù)的監(jiān)控提供指導(dǎo)。 四、潛在負(fù)面輿情媒介和輿情發(fā)送人群收集 在系統(tǒng)交付前和運(yùn)行期間，系統(tǒng)能夠不斷自動(dòng)收集潛在的負(fù)面發(fā)生媒介和發(fā)送人群，作為后續(xù)的重點(diǎn)監(jiān)控源。 b、微博（新浪、騰訊） c、海外媒體 d、 各種少數(shù)民族的文字信息 四、監(jiān)控要求： 一、全面性 a、所有監(jiān)控范圍都要監(jiān)控到，不留死角。對(duì)政府造成影響重大的負(fù)面事件，需要專業(yè)技術(shù)輿情分析師給予建議， 為其分析整個(gè)事件起因，傳播度，媒體關(guān)注度，影響力，后期危機(jī)公關(guān)效果評(píng)估，提供針對(duì)“事件性 ”深度分析報(bào)告。 b、實(shí)現(xiàn)海量數(shù)據(jù)清晰分類，按照不同條件或多維度要求整理歸類。 c、提取的信息精準(zhǔn)度不高，手工的方式往往會(huì)出錯(cuò)卻難以發(fā)現(xiàn)。 但是，這種方法不能保證數(shù)據(jù) 的準(zhǔn)確度、速度和時(shí)效性。車內(nèi)乘客不到３人且使用這一專用車道行駛的車輛將被處以１００美元以上的罰款。這種車道只允許車內(nèi)乘坐人數(shù)為３人或３人以上的車子行駛。每一個(gè)乳頭里擠出的奶都需要查驗(yàn) 顏色、脂肪、蛋白質(zhì)含量、溫度、傳導(dǎo)率（用于判斷 是否存在感染的指標(biāo)） 每頭牛身上收集數(shù)據(jù)匯總，檢測(cè)結(jié)果直接發(fā)給奶農(nóng)的手機(jī)上， 以判斷分析牛奶質(zhì)量；預(yù)測(cè)發(fā)情、疾病 總體數(shù)據(jù) 樣本數(shù)據(jù) 不再擔(dān)心喝的是三聚氫胺了 模式的改變： 傳統(tǒng)：奶農(nóng) 送樣板 檢測(cè) 動(dòng)態(tài)的車位收費(fèi)價(jià)格 被逼迫的大數(shù)據(jù)決策 定性分析 — 定量分析（經(jīng)驗(yàn)決策 — 數(shù)據(jù)決策） （世界是由數(shù)據(jù)組成的，你我都在被大數(shù)據(jù)化） 大數(shù)據(jù)改變著人們的生活工作和思維方式 老公呀 !市中心停車好貴喲，我下午去吧？ 我趕時(shí)間，我不得不走快車收費(fèi)道！ HOV（高使用率車輛）專用車道，鼓勵(lì)拼車，只允許乘坐人數(shù)為 3人或 3人以上的車子行駛，否則將被處以 100美元以上罰款 按市場(chǎng)規(guī)則，停車場(chǎng)高額收費(fèi) ，路邊收費(fèi)便宜 1美元 1小時(shí)，咪表限定 15分鐘 2個(gè)小時(shí)，不得不來(lái)回投硬幣 開始征收 8美元，不征收擁堵費(fèi)： 造成對(duì)非市中心居民不公平， 只改善 5%， 3，居民已經(jīng)繳納了道路城建費(fèi) 抗擁塞項(xiàng)目：收費(fèi)快速通道，動(dòng)態(tài)定價(jià)政府通過(guò)大數(shù)據(jù)引導(dǎo)駕駛?cè)藛T在該通道上行駛，保證交通暢通車道用于高占用率的車輛 紐約市政府還設(shè)立了ＨＯＶ（高使用率車輛）專用車道，鼓勵(lì)私家車主上下班拼車。這種車道只允許車內(nèi)乘坐人數(shù)為３人或３人以上的車子行駛。 ? 根據(jù)您的要求輸出結(jié)構(gòu)化數(shù)據(jù)集（通常是 CSV格式或則是 XML格式 DB） 21 22 實(shí)施和運(yùn)行 23 效果 傳統(tǒng)數(shù)據(jù)抽取方式 （人工方式 or爬蟲軟件） Web數(shù)據(jù)自動(dòng)抽取神器： Connotate 監(jiān)測(cè)范圍 100個(gè)網(wǎng)站 500,000 時(shí)效間隔 一天 6 mins 信息有效率 35% 90% 輔助研判 人工研判 通過(guò)機(jī)器學(xué)習(xí)后的 agent自動(dòng)化進(jìn)行 工作時(shí)間 28h 7*24 工作方式 網(wǎng)站訪問(wèn) → 人工篩選 → 報(bào)告 機(jī)器學(xué)習(xí) → 研判結(jié)果 → 報(bào)告 為什么要用 WEB抽取工具 WEB抽取與其他方式的比較 Core Product Featur