【正文】 數(shù)據(jù)的相關(guān)性 因果關(guān)系 實(shí)時(shí)動(dòng)態(tài)預(yù)警跟蹤防范、社會(huì)治理成本將會(huì)低 70% 羅湖 寶安 中山 珠海 數(shù)據(jù)的混雜性 精準(zhǔn)性 抵御犯罪，保衛(wèi)和平《少 年 派報(bào)告》 “預(yù)警人” 現(xiàn)在：裝配一個(gè)數(shù)采設(shè)備，通過網(wǎng)絡(luò)連接到中央處理中心牛產(chǎn)的奶中收集數(shù)據(jù)。每一個(gè)乳頭里擠出的奶都需要查驗(yàn) 顏色、脂肪、蛋白質(zhì)含量、溫度、傳導(dǎo)率（用于判斷 是否存在感染的指標(biāo)） 每頭牛身上收集數(shù)據(jù)匯總，檢測(cè)結(jié)果直接發(fā)給奶農(nóng)的手機(jī)上， 以判斷分析牛奶質(zhì)量；預(yù)測(cè)發(fā)情、疾病 總體數(shù)據(jù) 樣本數(shù)據(jù) 不再擔(dān)心喝的是三聚氫胺了 模式的改變： 傳統(tǒng)：奶農(nóng) 送樣板 檢測(cè) 動(dòng)態(tài)的車位收費(fèi)價(jià)格 被逼迫的大數(shù)據(jù)決策 定性分析 — 定量分析（經(jīng)驗(yàn)決策 — 數(shù)據(jù)決策） （世界是由數(shù)據(jù)組成的，你我都在被大數(shù)據(jù)化） 大數(shù)據(jù)改變著人們的生活工作和思維方式 老公呀 !市中心停車好貴喲，我下午去吧？ 我趕時(shí)間，我不得不走快車收費(fèi)道！ HOV（高使用率車輛）專用車道，鼓勵(lì)拼車，只允許乘坐人數(shù)為 3人或 3人以上的車子行駛，否則將被處以 100美元以上罰款 按市場(chǎng)規(guī)則，停車場(chǎng)高額收費(fèi) ，路邊收費(fèi)便宜 1美元 1小時(shí)，咪表限定 15分鐘 2個(gè)小時(shí)，不得不來回投硬幣 開始征收 8美元，不征收擁堵費(fèi)： 造成對(duì)非市中心居民不公平， 只改善 5%， 3，居民已經(jīng)繳納了道路城建費(fèi) 抗擁塞項(xiàng)目：收費(fèi)快速通道，動(dòng)態(tài)定價(jià)政府通過大數(shù)據(jù)引導(dǎo)駕駛?cè)藛T在該通道上行駛，保證交通暢通車道用于高占用率的車輛 紐約市政府還設(shè)立了ＨＯＶ（高使用率車輛）專用車道，鼓勵(lì)私家車主上下班拼車。車內(nèi)乘客不到３人且使用這一專用車道行駛的車輛將被處以１００美元以上的罰款。這種車道只允許車內(nèi)乘坐人數(shù)為３人或３人以上的車子行駛。紐約市政 市場(chǎng)規(guī)則限制私家車 動(dòng)態(tài)高占用率通道 數(shù)據(jù)公開、信息對(duì)稱、數(shù)據(jù)決策 人類社會(huì)從“全景監(jiān)獄”到“共景監(jiān)獄” 社會(huì)的變革都是因?yàn)橘Y源擁有的不對(duì)稱 而對(duì)資源的爭(zhēng)奪（煤炭 石油 黃金 數(shù)據(jù) —信息） 現(xiàn)在是收集情報(bào)數(shù)據(jù)的 黃金時(shí)代 因?yàn)樗腥硕荚谧杂X自愿地表達(dá)他們是誰 現(xiàn)在是收集情報(bào)數(shù)據(jù)的黃金時(shí)代因?yàn)樗腥硕荚谧杂X自愿地表達(dá)他們是誰 數(shù)據(jù)的實(shí)時(shí)動(dòng)態(tài)交互和互動(dòng)性 依據(jù)數(shù)據(jù)決策、分析的核心是預(yù)測(cè) 上帝從此不用擲骰子 “人類行為 的 93%是可以預(yù)測(cè)的” 靜 態(tài)歷 史交易數(shù)據(jù) 地理氣象、環(huán)保衛(wèi)生、交通通信 社會(huì)數(shù)據(jù)、國(guó)家數(shù)據(jù)、商業(yè)數(shù)據(jù) WEB數(shù)據(jù)、微博微信、 電子郵件 Cookies、點(diǎn)擊行為、情感情緒 發(fā)帖投訴、動(dòng)態(tài)的 IP 實(shí)時(shí)動(dòng)態(tài)數(shù)據(jù)、感應(yīng)器、機(jī)器 監(jiān)控、攝像頭、交易、位置 通信通話、短信、交通 實(shí)時(shí)動(dòng)態(tài) 數(shù)據(jù) WEB數(shù)據(jù) 三類數(shù)據(jù)的融合和互動(dòng) 第一步：重建新式 數(shù)據(jù)庫(kù) ： 2023年 奧巴馬的團(tuán)隊(duì)拋棄了眾多分散的孤島式數(shù)據(jù)庫(kù) 第二步：增加了大量來自 Web追蹤和社交媒體網(wǎng)站的新數(shù)據(jù) 第三步：整合各類 實(shí)時(shí)動(dòng)態(tài)數(shù)據(jù)和 WEB數(shù)據(jù) 第四步：建立數(shù)據(jù) 分類分析 募捐大數(shù)據(jù)分析 演講拉選票大數(shù)據(jù)分析 當(dāng)“大數(shù)據(jù)”遇到“小數(shù)據(jù)”，大數(shù)據(jù)每次都會(huì)贏。 ? 根據(jù)您的要求輸出結(jié)構(gòu)化數(shù)據(jù)集（通常是 CSV格式或則是 XML格式 DB） 21 22 實(shí)施和運(yùn)行 23 效果 傳統(tǒng)數(shù)據(jù)抽取方式 （人工方式 or爬蟲軟件） Web數(shù)據(jù)自動(dòng)抽取神器： Connotate 監(jiān)測(cè)范圍 100個(gè)網(wǎng)站 500,000 時(shí)效間隔 一天 6 mins 信息有效率 35% 90% 輔助研判 人工研判 通過機(jī)器學(xué)習(xí)后的 agent自動(dòng)化進(jìn)行 工作時(shí)間 28h 7*24 工作方式 網(wǎng)站訪問 → 人工篩選 → 報(bào)告 機(jī)器學(xué)習(xí) → 研判結(jié)果 → 報(bào)告 為什么要用 WEB抽取工具 WEB抽取與其他方式的比較 Core Product Features OnPremise Hosted WebHarvest開源 爬蟲(WebSpider) 偵查監(jiān)控網(wǎng)站的變化 用亮色突出變化部分 過濾 精準(zhǔn)的作業(yè)安排 常態(tài)化 智能導(dǎo)航、機(jī)器學(xué)習(xí) 深度挖掘、全文搜索 通過下拉菜單和搜索框進(jìn)行輸入、查詢和登錄 工作流模版 數(shù)據(jù)庫(kù) agents（ SQL/MYSQL/ORACLE） 抽取 PDF內(nèi)容 Web 服務(wù)應(yīng)用程序界面 點(diǎn)擊型圖形用戶見面 全天候運(yùn)作 模塊增加 Partners Partners 26 采用自動(dòng)化 web數(shù)據(jù)抽取監(jiān)控軟件： 該政府部門的 IT團(tuán)隊(duì)采用了新技術(shù)，其中包括 Connotate用于 精準(zhǔn)的 Web數(shù)據(jù)抽取 ， 在八周的時(shí)間里， Connotate監(jiān)控了 1000多個(gè)網(wǎng)站并根據(jù)需求每天地為該部門抽取數(shù)據(jù) Connotate為該部門推送符合其格式要求的數(shù)據(jù)，并傳送到預(yù)設(shè)好的網(wǎng)站上 該部門還把 Connotate抽取的數(shù)據(jù)導(dǎo)入數(shù)據(jù)倉(cāng)庫(kù)， 用其他應(yīng)用程序進(jìn)行分析 某政府監(jiān)控 1000多個(gè)網(wǎng)站，進(jìn)行政府管理的大數(shù)據(jù)決策 手工下載： 政府部門開展公共資源數(shù)據(jù)抽取，在選擇自動(dòng)化抽取之前， 組織部門內(nèi)部大量的研究調(diào)查人員，從成千上網(wǎng)個(gè)公共資源網(wǎng)站上 手動(dòng)的下載公共數(shù)據(jù)，并手動(dòng)地進(jìn)行統(tǒng)計(jì)，然后為短期計(jì)劃和長(zhǎng)期計(jì)劃做準(zhǔn)備。 爬蟲軟件搜索： 接著，該政府部門的 IT團(tuán)隊(duì)選擇了 Web爬蟲軟件進(jìn)行數(shù)據(jù)抽取，但是隨著項(xiàng)目的不斷進(jìn)行，Web爬蟲 的維護(hù)費(fèi)用也不斷增加，而且不穩(wěn)定，經(jīng)常 會(huì)由于 Web數(shù)據(jù)源的改變而癱瘓 政府 公共事業(yè)智慧城市方面的應(yīng)用 政務(wù) WEB數(shù)據(jù)抽取監(jiān)控發(fā)布分析舉例 一、日常管理決策中遇到的問題： a、 傳統(tǒng)方式收集信息情報(bào)信息內(nèi)容少、內(nèi)容陳舊，更新不及時(shí)，更多的是已經(jīng)發(fā)生的 事件 數(shù)據(jù)和信息。 b、效率低，信息需要時(shí)間長(zhǎng)，導(dǎo)致信息滯后，對(duì)戰(zhàn)略決策毫無意義。 e、人工成本太高，如需要聘請(qǐng)專業(yè)的技術(shù)人員去編纂歷史數(shù)據(jù)并進(jìn)行季度報(bào)表。 a、解決及時(shí)預(yù)警如：網(wǎng)站，論壇、微博等迅速擴(kuò)大的關(guān)于政府信息第一時(shí)間反饋，實(shí)現(xiàn) 重大負(fù)面系統(tǒng)自動(dòng)預(yù)警 ?？砂凑蛰浨榈男再|(zhì)，及重要程度等進(jìn)行分類。 c、針對(duì) 突發(fā)事件，負(fù)面事件。 d、解決區(qū)轄范圍重點(diǎn)企業(yè)相關(guān)信息監(jiān)測(cè)，投資環(huán)境、人文環(huán)境、治安環(huán)境等信息監(jiān)測(cè)； 信息傳播的速度和廣度，成就了“意見領(lǐng)袖” 巨大的輿論能量。 三、監(jiān)控范圍： a、 網(wǎng)絡(luò)媒體：各新聞網(wǎng)站、門戶網(wǎng)站、搜索引擎、論壇、 SNS、地方性站點(diǎn)等。 b、在系統(tǒng)交付運(yùn)行后，系統(tǒng)需要 7*24小時(shí)不間斷的進(jìn)行監(jiān)控，不遺漏任何一個(gè)時(shí)間點(diǎn)。 影響重大的輿情信息要求更高，從輿情信息出現(xiàn)起到系統(tǒng)預(yù)警處理完畢，中間需要經(jīng)過及時(shí)發(fā)現(xiàn)、 分析確認(rèn)、上報(bào)、預(yù)警通知等許多過程，需要能夠盡早發(fā)現(xiàn)、及時(shí)發(fā)現(xiàn)，高效準(zhǔn)確的分析判斷處理 三、準(zhǔn)確性 需要系統(tǒng)能夠提供盡可能準(zhǔn)確地定位和判斷，能夠提供準(zhǔn)確的輿情信息源、源地址、信息內(nèi)容、 事件發(fā)生時(shí)間、事件證據(jù)等。 五、去重 同一負(fù)面輿情信息只需要監(jiān)控和報(bào)告一次，避免重復(fù)報(bào)告，過濾廣告。 七、實(shí)時(shí)預(yù)警 對(duì)于影響重大 的負(fù)面輿情信息等，一旦發(fā)現(xiàn)，系統(tǒng)需要立即發(fā)出預(yù)警，以便監(jiān)控人員能夠及時(shí)采取措施 。 a、傳播媒體分析 b、傳播趨勢(shì)分析 c、傳播路徑分析 d、傳播影響力分析 e、傳播人群分析 十、數(shù)據(jù)格式轉(zhuǎn)換 系統(tǒng)收集的數(shù)據(jù)往往是非結(jié)構(gòu)化數(shù)據(jù)，如辦公文檔、文本、圖片、 XML、 HTML、各類報(bào)表、圖像和音頻 /視頻信息等，而要把這些數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)加以分析是非常關(guān)鍵的。 b、當(dāng)網(wǎng)站格式發(fā)生變化時(shí)，很多傳統(tǒng)的爬蟲軟件都會(huì)罷工！因此需要一種適用性更好的數(shù)據(jù)挖掘工具。 b、 物理成本，不需要高昂的硬件設(shè)備支持，訂閱新聞信息服務(wù)和后期維護(hù)成本。 二、及時(shí)監(jiān)測(cè)政府部門相關(guān)輿情信息 通過 Connotate的自動(dòng)化 Web數(shù)據(jù)抽取工具，自動(dòng)化抽取數(shù)據(jù)和監(jiān)控?cái)?shù)據(jù)， 實(shí)現(xiàn)對(duì)政府相關(guān)領(lǐng)導(dǎo)和相關(guān)部門對(duì)目標(biāo)數(shù)據(jù)的精準(zhǔn)抽取。 三、準(zhǔn)確正負(fù)面判斷呈現(xiàn)政府關(guān)注的負(fù)面輿情信息 政府可以第一時(shí)間了解到最新輿情信息。 五、輿情傳播路徑、趨勢(shì)分析 對(duì)抽取的信息進(jìn)行媒介分析、關(guān)鍵字分析、傳播度分析及輿情信息傳播趨勢(shì)分析， 預(yù)判所收集到輿情信息的未來走勢(shì)。 七、自動(dòng)生成輿情報(bào)告 根據(jù)之前設(shè)定的關(guān)鍵字眼和敏感話題，自動(dòng)生成政府預(yù)設(shè)模板的輿情報(bào)告，并定期發(fā)送。 c、低成本：無需專業(yè)的技術(shù)人員，普通職員也可以進(jìn)行操作，減少了人工成本。 e、毫無保留地導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù)中，把關(guān)注的網(wǎng)絡(luò)數(shù)據(jù)轉(zhuǎn)換為自己私有的數(shù)據(jù)庫(kù) 為政府部門維穩(wěn)促和發(fā)揮至關(guān)重要的作用。 交通、環(huán)保、氣象、衛(wèi)生、教育等部門情報(bào)收集分析預(yù)警監(jiān)控 某手機(jī)價(jià)格監(jiān)控定價(jià)策略 PoC 36 依托大數(shù)據(jù)分析決策，開展“網(wǎng)上作戰(zhàn)”， 通過網(wǎng)上查證、排摸、串并、控嫌、控贓、緝捕和預(yù)警等措施， 發(fā)現(xiàn)案件和嫌疑人線索，實(shí)現(xiàn)以情報(bào)研判引領(lǐng)實(shí)戰(zhàn)、主導(dǎo)偵查 一、建立基本數(shù)據(jù)庫(kù) 在“大平臺(tái)”的 基本信息（公安信息和社會(huì)面信息） 和 車輛視頻監(jiān)控信息 （“ 320‖工程、道路交通、收費(fèi)站及卡口的車輛視頻）、 手機(jī)、基站等通信信息、 GPS信息、網(wǎng)絡(luò)監(jiān)控信息和公安、社會(huì)面圖像監(jiān)控信息等 7大類的基礎(chǔ)上 ， 結(jié)合利用部、省信息系統(tǒng)平臺(tái)，調(diào)整完善市級(jí)重點(diǎn)人員庫(kù)、高危地域庫(kù)等專題庫(kù)，通過各類數(shù)據(jù)資源庫(kù)、集約各警種技術(shù)手段，實(shí)現(xiàn)多庫(kù)軌跡的聯(lián)查聯(lián)偵，逐步將單一平臺(tái)軌跡管控方式向網(wǎng)格化、多層級(jí)的管控方式拓展。 達(dá)到 多軌排查、信息關(guān)聯(lián)、伴隨分析、軌跡比對(duì)、多軌研判等 功能。 （ 2）是人員軌跡 —人員軌跡包括旅館住宿信息、暫住人員信息、網(wǎng)吧上網(wǎng)信息、涉警信息、空港信息、公路鐵路乘車信息、銀行交易信息等社會(huì)信息。 車輛軌跡的查詢搜索， 從車到車主、違章違法記錄、到關(guān)系人、到嫌疑人、到團(tuán)伙。實(shí)現(xiàn)由網(wǎng)絡(luò)信息到人、 由網(wǎng)絡(luò)信息到案件、由網(wǎng)絡(luò)信息到電信信息的多軌偵查。（圖偵提供） 同行伴隨分析模型 重點(diǎn)分析涉案嫌疑人的案件同案、暫住同地、住宿同行、車輛同行、手機(jī)同行、民航同行、動(dòng)車同行等。 對(duì)“人”的聯(lián)查聯(lián)控，是對(duì)各類數(shù)據(jù)信息進(jìn)行篩選，關(guān)聯(lián)出相關(guān)的車輛信息、 SIM卡信息、網(wǎng)絡(luò)軌跡等信息；對(duì)