【正文】 勝人者有力，自勝者強。 。 2023年 3月 18日星期六 1時 45分 4秒 01:45:0418 March 2023 ? 1做前，能夠環(huán)視四周；做時，你只能或者最好沿著以腳為起點的射線向前。 , March 18, 2023 ? 雨中黃葉樹，燈下白頭人。 俞正聲的二舅舅叫范文瀾， 范文瀾的兩學(xué)生，一個叫郭沫若， 一個叫汪兆銘，汪兆銘的老婆是陳璧君， 陳寅恪的外甥女，兆銘兄腦子和別人 不一樣，總想填海，后改名為汪精衛(wèi) 梁啟超孫女俞明震賀子珍 妻子 侄子 毛主席 丈夫 賀國強 愈正聲 兒子 姚依林 外甥 王岐山 女婿 孟學(xué)農(nóng) 梁啟超孫女俞明震黃 敬 傳統(tǒng)關(guān)系型數(shù)據(jù)庫 簡單 慢 小型 快 復(fù)雜 大型 應(yīng)用復(fù)雜度 單獨數(shù)據(jù)價值 集合數(shù)據(jù)價值 數(shù)據(jù)價值 什么樣的數(shù)據(jù)庫適合我？ 互動式 實時分析 記錄查詢 歷史分析 探索分析 事務(wù)性 分析性 速度 (―New‖ OLTP) 聯(lián)盟合作的 NOSQL 列式數(shù)據(jù)庫 文件數(shù)據(jù)庫 Keyvalue數(shù)據(jù)庫 圖形數(shù)據(jù)庫 解決復(fù)雜的數(shù)據(jù)關(guān)系問題 — 部署公共服務(wù)應(yīng)用、用數(shù)據(jù)決策 1個人認識 6個人就可以找出全球 60億人的關(guān)系 系統(tǒng)監(jiān)控與管理 應(yīng)用 Cache 專業(yè)化硬件 負載平衡器 信息隊列 Neo4j 群集 終端用戶 圖形可視化 其它數(shù)據(jù)庫 EAI 索引提供者 ETL 大量數(shù)據(jù)分析基礎(chǔ)架構(gòu) (. Graph Compute Engine) ETL 報表 復(fù)雜數(shù)據(jù)關(guān)系的處理分析 （ Neo4j or MongoDB or Paraccel） +（ Pentaho or Datameer）構(gòu)建高速大數(shù)據(jù)分析平臺 利用 Neo4j有效管理社會成員關(guān)系 深圳市織網(wǎng)工程 深圳一千五百萬人，平均每個人有價值的社會關(guān)系有數(shù)十個 累計可以產(chǎn)生社會關(guān)系超過十億 深圳市織網(wǎng)工程 復(fù)雜的社會關(guān)系 深圳市織網(wǎng)工程 如果您需要處理高頻讀寫 高速大量 I/O吞吐的數(shù)據(jù)存儲分析 對高頻讀寫高速大量 I/O吞吐的數(shù)據(jù)存儲分析 互動式 實時分析 記錄查詢 歷史數(shù)據(jù)分析 探索性數(shù)據(jù)分析 微秒 百分之幾秒 幾秒 幾分鐘 幾小時 ? 交易 Place trade ? 投入廣告Serve ad ? 豐富數(shù)據(jù)流stream ? 檢驗數(shù)據(jù)包 ? 核準交易 ? 計算風(fēng)險 ? 排行榜 ? 集合整合 ? 計算 ? 檢索點擊數(shù)據(jù)流Retrieve click stream ? 顯示訂單 ? 翻背試驗算法 ? BI商業(yè)智能 ? 每日報表 ? 算法挖掘 ? 日志分析 ? 欺詐方式匹配 單獨數(shù)據(jù)價值 數(shù)據(jù)價值 整合數(shù)據(jù)價值 數(shù)據(jù)時代 實時動態(tài)數(shù)據(jù)分析 ? 計算 – 大規(guī)模計算非常困難 – VoltDB 為擅長計算而設(shè)計 ? 排名 – 通過規(guī)模、價值或者幅度排名 – VoltDB 優(yōu)化了實體化的表現(xiàn)可視圖 ? 集合 – 集合收集大量數(shù)據(jù) – 在快速變換的數(shù)據(jù)基礎(chǔ)上，查看實時的切片圖 閉環(huán)大數(shù)據(jù) Closed Loop Big Data Interactive Realtime Analytics Record Lookup Historical Analytics Exploratory Analytics Transactional Analytic VoltDB logins sensors impressions orders authorizations clicks trades Ingest Events Decisioning Realtime Analytics Data Sciences Exploratory Reports Long term trending Analysis Raw Events Preprocessed Data Knowledge Make the most informed decision every time there is an interaction VoltDB的一個典型架構(gòu) ERP CRM HR Orders Cart Remendation User Mgt. Click Stream Inv Personalization Data warehouse Hadoop Traditional OLTP Velocity OLTP logins sensors impressions orders authorizations clicks trades Interactive Realtime Analytics Historical Analytics Exploratory Analytics Analytic results enrich decision making 總體規(guī)劃分步實施 (怎樣快速部署大數(shù)據(jù)分析系統(tǒng)） 怎樣部署 web數(shù)據(jù)的抽取監(jiān)控 非結(jié)構(gòu)化動態(tài)數(shù)據(jù)的抽取整合和聯(lián)網(wǎng)數(shù)據(jù) 怎樣部署適合您的融合三類數(shù)據(jù)的數(shù)據(jù)庫 怎樣部署高速政務(wù)情報與輿情分析展現(xiàn) 高速的大數(shù)據(jù)分析平臺 怎樣 解決分析速度慢的問題 —把傳統(tǒng)的數(shù)據(jù)中心升級為 大數(shù)據(jù)分析平臺 連 接 分析 展示 云端或者地面部署的 任意形式 的數(shù)據(jù) 快 跨整個數(shù)據(jù)生 態(tài) 系統(tǒng) 、跨用 戶 和跨 應(yīng) 用的 無 約 束式 分析 快 真正的 實時 展示， 為 行 動提供決策 快 1 2 3 把大數(shù)據(jù) 轉(zhuǎn)換 成真正的商 業(yè) 價 值 50TB以下 —SMP，50TBPB級 MPP 無約束高速分析的 Paraccel 61 Confidential 169。實現(xiàn)由網(wǎng)絡(luò)信息到人、 由網(wǎng)絡(luò)信息到案件、由網(wǎng)絡(luò)信息到電信信息的多軌偵查。 交通、環(huán)保、氣象、衛(wèi)生、教育等部門情報收集分析預(yù)警監(jiān)控 某手機價格監(jiān)控定價策略 PoC 36 依托大數(shù)據(jù)分析決策，開展“網(wǎng)上作戰(zhàn)”， 通過網(wǎng)上查證、排摸、串并、控嫌、控贓、緝捕和預(yù)警等措施， 發(fā)現(xiàn)案件和嫌疑人線索，實現(xiàn)以情報研判引領(lǐng)實戰(zhàn)、主導(dǎo)偵查 一、建立基本數(shù)據(jù)庫 在“大平臺”的 基本信息（公安信息和社會面信息） 和 車輛視頻監(jiān)控信息 （“ 320‖工程、道路交通、收費站及卡口的車輛視頻）、 手機、基站等通信信息、 GPS信息、網(wǎng)絡(luò)監(jiān)控信息和公安、社會面圖像監(jiān)控信息等 7大類的基礎(chǔ)上 ， 結(jié)合利用部、省信息系統(tǒng)平臺，調(diào)整完善市級重點人員庫、高危地域庫等專題庫，通過各類數(shù)據(jù)資源庫、集約各警種技術(shù)手段，實現(xiàn)多庫軌跡的聯(lián)查聯(lián)偵，逐步將單一平臺軌跡管控方式向網(wǎng)格化、多層級的管控方式拓展。 五、輿情傳播路徑、趨勢分析 對抽取的信息進行媒介分析、關(guān)鍵字分析、傳播度分析及輿情信息傳播趨勢分析， 預(yù)判所收集到輿情信息的未來走勢。 b、當(dāng)網(wǎng)站格式發(fā)生變化時，很多傳統(tǒng)的爬蟲軟件都會罷工！因此需要一種適用性更好的數(shù)據(jù)挖掘工具。 影響重大的輿情信息要求更高，從輿情信息出現(xiàn)起到系統(tǒng)預(yù)警處理完畢，中間需要經(jīng)過及時發(fā)現(xiàn)、 分析確認、上報、預(yù)警通知等許多過程，需要能夠盡早發(fā)現(xiàn)、及時發(fā)現(xiàn)，高效準確的分析判斷處理 三、準確性 需要系統(tǒng)能夠提供盡可能準確地定位和判斷，能夠提供準確的輿情信息源、源地址、信息內(nèi)容、 事件發(fā)生時間、事件證據(jù)等。 c、針對 突發(fā)事件，負面事件。 b、效率低，信息需要時間長，導(dǎo)致信息滯后，對戰(zhàn)略決策毫無意義。這種車道只允許車內(nèi)乘坐人數(shù)為３人或３人以上的車子行駛。這種車道只允許車內(nèi)乘坐人數(shù)為３人或３人以上的車子行駛。 但是，這種方法不能保證數(shù)據(jù) 的準確度、速度和時效性。 b、實現(xiàn)海量數(shù)據(jù)清晰分類，按照不同條件或多維度要求整理歸類。 b、微博（新浪、騰訊） c、海外媒體 d、 各種少數(shù)民族的文字信息 四、監(jiān)控要求： 一、全面性 a、所有監(jiān)控范圍都要監(jiān)控到，不留死角。 八、 定時報告 系統(tǒng)按照指定的時間報告最新監(jiān)控結(jié)果，上報內(nèi)容包括：媒介、地址、內(nèi)容、發(fā)生時間、原始信息等九、 監(jiān)控結(jié)果分析 系統(tǒng)可以隨時對監(jiān)控結(jié)果進行各種統(tǒng)計分析和總結(jié)報告，以為后續(xù)的監(jiān)控提供指導(dǎo)。全面監(jiān)測，及時發(fā)現(xiàn)問題，做出應(yīng)對措施。 d、發(fā)現(xiàn)洞察：及時發(fā)現(xiàn)并解決問題，大大有利于決策的制定和維護社會穩(wěn)定和促進和諧。 多軌排查 （ 1）是案件軌跡 —案件的串并分析（多庫聯(lián)偵的案到案的硬串、軟串；案到人；人到案），從高危到案、從前科人員到案。 信息關(guān)聯(lián)及多軌研判 信息關(guān)聯(lián)及多軌研判 通過對 “人、車、電、網(wǎng)、像、案 ” 各類信息往復(fù)式核查，不斷深入，相互碰撞，逐步將單一平臺軌跡管控方式向網(wǎng)格化、多層級的管控方式拓展。 2023 Actian Corporation 1 2 3 4 5 6 7 8 9 10Ratio of PADB Advantage Over Greenplum Query Tests Simple Highly Complexity ParAccel PADB vs. Greenplum Query Performance Comparison Group Number ParAccel Greenplum PA times better DB1 1 132 5 220 4 110 Count distinct queries on highly distinct column 9 63 correlated sub queries 3 290 Outer join queries 8 102 12 Joins in a query with 2 large tables 11 19 66