【文章內容簡介】 2） Huge Storage （ 滿足對海量數(shù)據的高效率存儲和訪問的需求 ） （ 3） High Scalability High Availability （ 滿足對數(shù)據庫的高可擴展性和高可用性的需求 ） 。 NoSQL數(shù)據庫能夠滿足物聯(lián)網應用的大數(shù)據的需求 ， 將會隨著物聯(lián)網應用的發(fā)展展現(xiàn)新的應用和發(fā)展空間 。 物聯(lián)網應用技術導論 第 4章 物聯(lián)網服務與管理技術 物聯(lián)網智能信息處理技術 數(shù)據融合與數(shù)據挖掘 數(shù)據融合及目標 數(shù)據融合是一種數(shù)據處理技術，指將多種數(shù)據或信息進行處理得出高效且符合用戶需求的數(shù)據的過程。 它是利用計算機對按時序獲得的若干觀測信息，在一定準則下加以自動分析、綜合，以完成所需的決策和評估任務而進行的一種信息處理技術。 數(shù)據融合類似人類和其他動物對復雜問題的綜合處理，比如在辨別一個事物的時候，通常會綜合各種感官信息，包括視覺、觸覺、嗅覺和聽覺等。單獨依賴一個感官獲得的信息往往不足以對事物做出準確的判斷，而綜合各種感官數(shù)據，對事物的描述會更準確。 數(shù)據融合也是一個多級、多層面的數(shù)據處理過程，能完成對來自多個信息源的數(shù)據的自動檢測、關聯(lián)、估計及組合等的處理，并基于多信息源數(shù)據進行綜合、分析、判斷和決策。 物聯(lián)網應用技術導論 第 4章 物聯(lián)網服務與管理技術 物聯(lián)網智能信息處理技術 數(shù)據融合與數(shù)據挖掘 數(shù)據融合一般有數(shù)據級融合、特征級融合、決策級融合等層次的融合。 （ 1）數(shù)據級融合 ：直接在采集到的原始數(shù)據上進行融合，是最低層次的融合，它直接融合現(xiàn)場數(shù)據，失真度小，提供的信息比較全面。 （ 2）特征級融合： 先對來自傳感器的原始信息進行特征提取，然后對特征信息進行綜合分析和處理，這一級的融合可實現(xiàn)信息壓縮，有利于實時處理，屬于中間層次的融合。 （ 3）決策級融合： 在高層次上進行，根據一定的準則和決策的可信度做最優(yōu)決策，以達到良好的實時性和容錯性。 物聯(lián)網應用技術導論 第 4章 物聯(lián)網服務與管理技術 物聯(lián)網智能信息處理技術 數(shù)據融合與數(shù)據挖掘 數(shù)據挖掘概念、過程和任務 （ 1）基本概念 數(shù)據挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據中提取潛在的、事先未知的、有用的、能被人理解的有用的信息和知識的數(shù)據處理過程。 與數(shù)據挖掘相近的同義詞有數(shù)據融合、數(shù)據分析和決策支持等。 數(shù)據挖掘的數(shù)據源必須是真實的、大量的、含噪聲的；發(fā)現(xiàn)的是用戶感興趣的知識；發(fā)現(xiàn)的知識要可接受、可理解、可運用。被挖掘的數(shù)據可以是結構化的關系數(shù)據庫中的數(shù)據，半結構化的文本、圖形和圖像數(shù)據，或者是分布式的異構數(shù)據。 數(shù)據挖掘是決策支持和過程控制的重要技術支撐手段之一。 物聯(lián)網應用技術導論 第 4章 物聯(lián)網服務與管理技術 物聯(lián)網智能信息處理技術 數(shù)據融合與數(shù)據挖掘 （ 2）數(shù)據挖掘過程 數(shù)據挖掘過程一個反復迭代的人機交互和處理過程，主要包括數(shù)據預處理、數(shù)據挖掘和對數(shù)據挖掘結果的評估與表示。 ① 數(shù)據預處理階段 數(shù)據準備：了解領域特點，確定用戶需求。 數(shù)據選取：從原始數(shù)據庫中選取相關數(shù)據或樣本。 數(shù)據預處理：檢查數(shù)據的完整性及一致性，消除噪聲等。 數(shù)據變換：通過投影或利用其他操作減少數(shù)據量。 ② 數(shù)據挖掘階段 確定挖掘目標：確定要發(fā)現(xiàn)的知識類型。 選擇算法：根據確定的目標選擇合適的數(shù)據挖掘算法。 數(shù)據挖掘：運用所選算法，提取相關知識并以一定的方式表示。 ③ 知識評估與表示階段 模式評估：對在數(shù)據挖掘步驟中發(fā)現(xiàn)的模式（知識 )進行評估。 知識表示：使用可視化和知識表示相關技術，呈現(xiàn)所挖掘的知識。 物聯(lián)網應用技術導論 第 4章 物聯(lián)網服務與管理技術 物聯(lián)網智能信息處理技術 數(shù)據融合與數(shù)據挖掘 （ 3）數(shù)據挖掘的主要任務 數(shù)據挖掘的任務有關聯(lián)分析、聚類分析、分類、預測、時序模式和偏差分析等，以下分別進行介紹。 ① 關聯(lián)分析 (association analysis) 兩個或兩個以上變量的取值之間存在某種規(guī)律性，稱為關聯(lián)。數(shù)據關聯(lián)是數(shù)據庫中存在的一類重要的、可被發(fā)現(xiàn)的知識。關聯(lián)分為簡單關聯(lián)、時序關聯(lián)和因果關聯(lián)。關聯(lián)分析的目的是找出數(shù)據庫中隱藏的關聯(lián)網。一般用支持度和可信度兩個閥值來度量關聯(lián)規(guī)則的相關性，還可引入興趣度、相關性等參數(shù)，使得所挖掘的規(guī)則更符合需求。 ② 聚類分析 (clustering) 聚類是把數(shù)據按照相似性歸納成若干類別，同一類中的數(shù)據彼此相似，不同類中的數(shù)據相異。聚類分析可以建立宏觀的概念，發(fā)現(xiàn)數(shù)據的分布模式，以及可能的數(shù)據屬性之間的相互關系。 物聯(lián)網應用技術導論 第 4章 物聯(lián)網服務與管理技術 物聯(lián)網智能信息處理技術 數(shù)據融合與數(shù)據挖掘 ③ 分類 (classification) 分類是找出一個類別的概念描述，它代表了這類數(shù)據的整體信息，即該類的內涵描述，用這種描述構造模型，一般用規(guī)則或決策樹模式表示。分類是利用訓練數(shù)據集通過一定的算法而求得分類規(guī)則。分類可被用于規(guī)則描述和預測。 ④ 預測 (predication) 預測是利用歷史數(shù)據找出變化規(guī)律，建立模型，并由此模型對未來數(shù)據的種類及特征進行預測。預測關心的是精度和不確定性，通常用預測方差來度量。 ⑤ 時序模式 (timeseries pattern) 時序模式是指通過時間序列搜索出的重復發(fā)生概率較高的模式。與回歸一樣，它也是用己知的數(shù)據預測未來的值，但這些數(shù)據的區(qū)別是變量所處時間的不同。 ⑥ 偏差分析 (deviation) 在偏差中包括很多有用的知識，數(shù)據庫中的數(shù)據存在很多異常情況，發(fā)現(xiàn)數(shù)據庫中數(shù)據存在的異常情況是非常重要的。偏差檢驗的基本方法就是尋找觀察結果與參照之間的差別。 物聯(lián)網應用技術導論 第 4章 物聯(lián)網服務與管理技術 物聯(lián)網智能信息處理技術 數(shù)據融合與數(shù)據挖掘 物聯(lián)網的數(shù)據挖掘 數(shù)據挖掘時決策支持和過程控制的重要技術手段，是物聯(lián)網中重要的一環(huán)。 針對物聯(lián)網具有行業(yè)應用的特征，對各行各業(yè)的、數(shù)據格式各不相同的海量數(shù)據進行整合、管理、存儲，并在整個物聯(lián)網中提供數(shù)據挖掘服務，實現(xiàn)預測、決策，進而反向控制這些傳感網絡，達到控制物聯(lián)網中客觀事物運動和發(fā)展進程的目的。 在物聯(lián)網中進行數(shù)據挖掘已經從傳統(tǒng)意義上的數(shù)據統(tǒng)計分析、潛在模式發(fā)現(xiàn)與挖掘，轉向成為物聯(lián)網中不可缺少的工具和環(huán)節(jié)。 物聯(lián)網應用技術導論 第 4章 物聯(lián)網服務與管理技術 物聯(lián)網智能信息處理技術 數(shù)據融合與數(shù)據挖掘 （ 1）物聯(lián)網的計算模式 物聯(lián)網一般有兩種基本計算模式，即物計算模式和云計算模式。 物計算模式基于嵌入式系統(tǒng)，強調實時控制，對終端設備的性能要求較高，系統(tǒng)的智能主要表現(xiàn)在終端設備上。物計算模式建立在對智能信息結果的利用上，對集中處理能力和系統(tǒng)帶寬要求較低。 云計算以互聯(lián)網為基礎，目的是實現(xiàn)資源共享和資源整合，其計算資源是動態(tài)、可伸縮、虛擬化的。云計算模式通過分布式的構架采集物聯(lián)網中的數(shù)據，系統(tǒng)的智能主要體現(xiàn)在數(shù)據挖掘和處理上，需要較強的集中計算能力和高帶寬，但終端設備比較簡單。 物聯(lián)網應用技術導論 第 4章 物聯(lián)網服務與管理技術 物聯(lián)網智能信息處理技術 數(shù)據融合與數(shù)據挖掘 （ 2）兩種模式的選擇 物聯(lián)網數(shù)據挖掘的結果主要用于決策控制，挖掘出的模 式、 規(guī)則、特征指標用于預測、決策和控制。在不同的情況下，可以選用不同的計算模式。 物計算模式： 對于要求實時高效的數(shù)據挖掘，物聯(lián)網任何一個控制端均需要對瞬息萬變的環(huán)境實時分析、反應和處理，需要物計算模式和利用數(shù)據挖掘結果。 基于云計算模式： 以海量數(shù)據挖掘為特征的應用要處理海量的數(shù)據 ，需要進行數(shù)據質量控制，如多源、多模態(tài)、多媒體、多格式數(shù)據的存儲與管理保證數(shù)據質量。此外，物聯(lián)網計算設備和數(shù)據具有天然分布的特征。 物聯(lián)網應用技術導論 第 4章 物聯(lián)網服務與管理技術 物聯(lián)網智能信息處理技術 數(shù)據融合與數(shù)據挖掘 （ 3）數(shù)據挖掘算法的選擇 一般而言，數(shù)據挖掘算法可以分為分布式數(shù)據挖掘算法和并行數(shù)據挖掘算法等。 分布式數(shù)據挖掘算法適合數(shù)據垂直劃分的算法、重視數(shù)據挖掘多任務調度算法。 而并行數(shù)據挖掘算法適合數(shù)據水平劃分、基于任務內并行的挖掘算法。 云計算技術可以認為是物聯(lián)網應用的一塊基石，能夠保證分布式并行數(shù)據挖掘，高效實時挖掘，云服務模式是數(shù)據挖掘的普適模式，可以保證挖掘技術的共享，降低數(shù)據挖掘的應用門檻，滿足海量挖掘的要求。 物聯(lián)網應用技術導論 第 4章 物聯(lián)網服務與管理技術 物聯(lián)網智能信息處理技術 數(shù)據融合與數(shù)據挖掘 （ 4）數(shù)據挖掘的應用 物聯(lián)網數(shù)據挖掘分析應用通常都可以歸納為預測和尋證分析兩大類。 預測（ Forecasting） ：主要用在（完全或部分）了解現(xiàn)狀的情況下，推測系統(tǒng)在近期或者中遠期的狀態(tài)。 例如： ① 在智能電網中，預測近期擾動的可能性和發(fā)生的地點； ② 在智能交通系統(tǒng)中，預測擁阻和事故在特定時間和地點可能發(fā)生的概率； ③ 在環(huán)保體系中，根據不同地點的廢物排放，預測將來發(fā)生生物化學反應產生污染的可能性。 物聯(lián)網應用技術導論 第 4章 物聯(lián)網服務與管理技術 物聯(lián)網智能信息處理技術 數(shù)據融合與數(shù)據挖掘 尋證分析（ Provenance Analysis）： 當系統(tǒng)出現(xiàn)問題或者達不到預期效果時， 分析它在運行過程中哪個環(huán)節(jié)出現(xiàn)了問題。 例如： （ 1）在食品安全應用中，一旦發(fā)生質量問題，需要在食品供應鏈中尋找相應證據，明確原因和責任； （ 2）在環(huán)境監(jiān)控中，當污染物水平超標時，需要在記錄中尋找分析原因。 物聯(lián)網應用技術導論 第 4章 物聯(lián)網服務與管理技術 物聯(lián)網智能信息處理技術 數(shù)據融合與數(shù)據挖掘 數(shù)據挖掘在精準農業(yè)中的應用示例： 通過植入土壤或暴露在空氣中的傳感器監(jiān)控土壤性狀和環(huán)境狀況；數(shù)據通過物聯(lián)網傳輸?shù)竭h程控制中心，可及時查詢當前農作物的生長環(huán)境現(xiàn)狀和變化趨勢，確定農作物的生產目標；通過數(shù)據挖掘的方法還可以知道環(huán)境溫度濕度和土壤各項參數(shù)等因素是如何影響農作物產量的，如何調節(jié)它們才能夠最大限度地提高農作物產量等。 物聯(lián)網應用技術導論 第 4章 物聯(lián)網服務與管理技術 物聯(lián)網智能信息處理技術 物聯(lián)網的其它智能化技術 針對物聯(lián)網數(shù)據的智能處理，需要研究以下內容： （ 1）以融合和決策為目的海量數(shù)據的實時挖掘 基于物聯(lián)網服務的需求，物聯(lián)網中的數(shù)據挖掘應分為兩個方面：輔助常規(guī)決策的數(shù)據挖掘和輔助數(shù)據融合的數(shù)據挖掘。 （ 2）以情境感知為目的的不確定性建模和推理 針對數(shù)據本身的不確定性； 針對語義映射的不確定性 ； 針對查詢分析的不確定性 。 物聯(lián)網應用技術導論 第 4章 物聯(lián)網服務與管理技術 物聯(lián)網智能信息處理技術 物聯(lián)網的其它智能化技術 物聯(lián)網的智能化技術 物聯(lián)網的智能化技術是將智能技術的研究成果應用到物聯(lián)網中，實現(xiàn)物聯(lián)網的智能化。 比如物聯(lián)網可以結合智能化技術如人工智能等，應用到物聯(lián)網中。 物聯(lián)網的目標是實現(xiàn)一個智慧化的世界，它不僅僅感知世界，關鍵在于影響世界，智能化的控制世界。物聯(lián)網根據具體應用結合人工智能，可以實現(xiàn)智能控制和決策。 物聯(lián)網應用技術導論 第 4章 物聯(lián)網服務與管理技術 物聯(lián)網智能信息處理技術 物聯(lián)網的其它智能化技術 人工智能一般有兩種不同的方式： 一種采用傳統(tǒng)的編程技術 ， 使系統(tǒng)呈現(xiàn)智能的效果 ， 而不考慮所用方法是否與人或動物機體所用的方法相同 ， 這種方法叫工程學方法 （ Engineering approach） 。 另一種是模擬法 （ Modeling approach） ， 不僅要看效果 ，還要求實現(xiàn)方法也和人類或生物機體所用的方法相同或相類似 。 物聯(lián)網應用技術導論 第 4章 物聯(lián)網服務與管理技術 物聯(lián)網智能信息處理技術 物聯(lián)網的其它智能化技術 采用工程學方法，需要人工詳細規(guī)定程序邏輯，在已有的實踐中被多次采用。從不同的數(shù)據源（就包含物聯(lián)網的感知信息）收集的數(shù)據中提取有用的數(shù)據，對數(shù)據進行濾除以保證數(shù)據的質量，將數(shù)據經轉換、重構后存入數(shù)據倉庫或數(shù)據集市，然后尋找合適的查詢、報告