【文章內(nèi)容簡介】 2） Huge Storage （ 滿足對海量數(shù)據(jù)的高效率存儲和訪問的需求 ） （ 3） High Scalability High Availability （ 滿足對數(shù)據(jù)庫的高可擴展性和高可用性的需求 ） 。 NoSQL數(shù)據(jù)庫能夠滿足物聯(lián)網(wǎng)應(yīng)用的大數(shù)據(jù)的需求 ， 將會隨著物聯(lián)網(wǎng)應(yīng)用的發(fā)展展現(xiàn)新的應(yīng)用和發(fā)展空間 。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 數(shù)據(jù)融合及目標 數(shù)據(jù)融合是一種數(shù)據(jù)處理技術(shù)，指將多種數(shù)據(jù)或信息進行處理得出高效且符合用戶需求的數(shù)據(jù)的過程。 它是利用計算機對按時序獲得的若干觀測信息，在一定準則下加以自動分析、綜合，以完成所需的決策和評估任務(wù)而進行的一種信息處理技術(shù)。 數(shù)據(jù)融合類似人類和其他動物對復雜問題的綜合處理，比如在辨別一個事物的時候，通常會綜合各種感官信息，包括視覺、觸覺、嗅覺和聽覺等。單獨依賴一個感官獲得的信息往往不足以對事物做出準確的判斷，而綜合各種感官數(shù)據(jù)，對事物的描述會更準確。 數(shù)據(jù)融合也是一個多級、多層面的數(shù)據(jù)處理過程，能完成對來自多個信息源的數(shù)據(jù)的自動檢測、關(guān)聯(lián)、估計及組合等的處理，并基于多信息源數(shù)據(jù)進行綜合、分析、判斷和決策。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 數(shù)據(jù)融合一般有數(shù)據(jù)級融合、特征級融合、決策級融合等層次的融合。 （ 1）數(shù)據(jù)級融合 ：直接在采集到的原始數(shù)據(jù)上進行融合，是最低層次的融合，它直接融合現(xiàn)場數(shù)據(jù)，失真度小，提供的信息比較全面。 （ 2）特征級融合： 先對來自傳感器的原始信息進行特征提取，然后對特征信息進行綜合分析和處理，這一級的融合可實現(xiàn)信息壓縮，有利于實時處理，屬于中間層次的融合。 （ 3）決策級融合： 在高層次上進行，根據(jù)一定的準則和決策的可信度做最優(yōu)決策，以達到良好的實時性和容錯性。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 數(shù)據(jù)挖掘概念、過程和任務(wù) （ 1）基本概念 數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機的數(shù)據(jù)中提取潛在的、事先未知的、有用的、能被人理解的有用的信息和知識的數(shù)據(jù)處理過程。 與數(shù)據(jù)挖掘相近的同義詞有數(shù)據(jù)融合、數(shù)據(jù)分析和決策支持等。 數(shù)據(jù)挖掘的數(shù)據(jù)源必須是真實的、大量的、含噪聲的；發(fā)現(xiàn)的是用戶感興趣的知識；發(fā)現(xiàn)的知識要可接受、可理解、可運用。被挖掘的數(shù)據(jù)可以是結(jié)構(gòu)化的關(guān)系數(shù)據(jù)庫中的數(shù)據(jù)，半結(jié)構(gòu)化的文本、圖形和圖像數(shù)據(jù)，或者是分布式的異構(gòu)數(shù)據(jù)。 數(shù)據(jù)挖掘是決策支持和過程控制的重要技術(shù)支撐手段之一。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 （ 2）數(shù)據(jù)挖掘過程 數(shù)據(jù)挖掘過程一個反復迭代的人機交互和處理過程，主要包括數(shù)據(jù)預處理、數(shù)據(jù)挖掘和對數(shù)據(jù)挖掘結(jié)果的評估與表示。 ① 數(shù)據(jù)預處理階段 數(shù)據(jù)準備：了解領(lǐng)域特點，確定用戶需求。 數(shù)據(jù)選取：從原始數(shù)據(jù)庫中選取相關(guān)數(shù)據(jù)或樣本。 數(shù)據(jù)預處理：檢查數(shù)據(jù)的完整性及一致性，消除噪聲等。 數(shù)據(jù)變換：通過投影或利用其他操作減少數(shù)據(jù)量。 ② 數(shù)據(jù)挖掘階段 確定挖掘目標：確定要發(fā)現(xiàn)的知識類型。 選擇算法：根據(jù)確定的目標選擇合適的數(shù)據(jù)挖掘算法。 數(shù)據(jù)挖掘：運用所選算法，提取相關(guān)知識并以一定的方式表示。 ③ 知識評估與表示階段 模式評估：對在數(shù)據(jù)挖掘步驟中發(fā)現(xiàn)的模式（知識 )進行評估。 知識表示：使用可視化和知識表示相關(guān)技術(shù)，呈現(xiàn)所挖掘的知識。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 （ 3）數(shù)據(jù)挖掘的主要任務(wù) 數(shù)據(jù)挖掘的任務(wù)有關(guān)聯(lián)分析、聚類分析、分類、預測、時序模式和偏差分析等，以下分別進行介紹。 ① 關(guān)聯(lián)分析 (association analysis) 兩個或兩個以上變量的取值之間存在某種規(guī)律性，稱為關(guān)聯(lián)。數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫中存在的一類重要的、可被發(fā)現(xiàn)的知識。關(guān)聯(lián)分為簡單關(guān)聯(lián)、時序關(guān)聯(lián)和因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫中隱藏的關(guān)聯(lián)網(wǎng)。一般用支持度和可信度兩個閥值來度量關(guān)聯(lián)規(guī)則的相關(guān)性，還可引入興趣度、相關(guān)性等參數(shù)，使得所挖掘的規(guī)則更符合需求。 ② 聚類分析 (clustering) 聚類是把數(shù)據(jù)按照相似性歸納成若干類別，同一類中的數(shù)據(jù)彼此相似，不同類中的數(shù)據(jù)相異。聚類分析可以建立宏觀的概念，發(fā)現(xiàn)數(shù)據(jù)的分布模式，以及可能的數(shù)據(jù)屬性之間的相互關(guān)系。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 ③ 分類 (classification) 分類是找出一個類別的概念描述，它代表了這類數(shù)據(jù)的整體信息，即該類的內(nèi)涵描述，用這種描述構(gòu)造模型，一般用規(guī)則或決策樹模式表示。分類是利用訓練數(shù)據(jù)集通過一定的算法而求得分類規(guī)則。分類可被用于規(guī)則描述和預測。 ④ 預測 (predication) 預測是利用歷史數(shù)據(jù)找出變化規(guī)律，建立模型，并由此模型對未來數(shù)據(jù)的種類及特征進行預測。預測關(guān)心的是精度和不確定性，通常用預測方差來度量。 ⑤ 時序模式 (timeseries pattern) 時序模式是指通過時間序列搜索出的重復發(fā)生概率較高的模式。與回歸一樣，它也是用己知的數(shù)據(jù)預測未來的值，但這些數(shù)據(jù)的區(qū)別是變量所處時間的不同。 ⑥ 偏差分析 (deviation) 在偏差中包括很多有用的知識，數(shù)據(jù)庫中的數(shù)據(jù)存在很多異常情況，發(fā)現(xiàn)數(shù)據(jù)庫中數(shù)據(jù)存在的異常情況是非常重要的。偏差檢驗的基本方法就是尋找觀察結(jié)果與參照之間的差別。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 物聯(lián)網(wǎng)的數(shù)據(jù)挖掘 數(shù)據(jù)挖掘時決策支持和過程控制的重要技術(shù)手段，是物聯(lián)網(wǎng)中重要的一環(huán)。 針對物聯(lián)網(wǎng)具有行業(yè)應(yīng)用的特征，對各行各業(yè)的、數(shù)據(jù)格式各不相同的海量數(shù)據(jù)進行整合、管理、存儲，并在整個物聯(lián)網(wǎng)中提供數(shù)據(jù)挖掘服務(wù)，實現(xiàn)預測、決策，進而反向控制這些傳感網(wǎng)絡(luò)，達到控制物聯(lián)網(wǎng)中客觀事物運動和發(fā)展進程的目的。 在物聯(lián)網(wǎng)中進行數(shù)據(jù)挖掘已經(jīng)從傳統(tǒng)意義上的數(shù)據(jù)統(tǒng)計分析、潛在模式發(fā)現(xiàn)與挖掘，轉(zhuǎn)向成為物聯(lián)網(wǎng)中不可缺少的工具和環(huán)節(jié)。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 （ 1）物聯(lián)網(wǎng)的計算模式 物聯(lián)網(wǎng)一般有兩種基本計算模式，即物計算模式和云計算模式。 物計算模式基于嵌入式系統(tǒng)，強調(diào)實時控制，對終端設(shè)備的性能要求較高，系統(tǒng)的智能主要表現(xiàn)在終端設(shè)備上。物計算模式建立在對智能信息結(jié)果的利用上，對集中處理能力和系統(tǒng)帶寬要求較低。 云計算以互聯(lián)網(wǎng)為基礎(chǔ)，目的是實現(xiàn)資源共享和資源整合，其計算資源是動態(tài)、可伸縮、虛擬化的。云計算模式通過分布式的構(gòu)架采集物聯(lián)網(wǎng)中的數(shù)據(jù)，系統(tǒng)的智能主要體現(xiàn)在數(shù)據(jù)挖掘和處理上，需要較強的集中計算能力和高帶寬，但終端設(shè)備比較簡單。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 （ 2）兩種模式的選擇 物聯(lián)網(wǎng)數(shù)據(jù)挖掘的結(jié)果主要用于決策控制，挖掘出的模 式、 規(guī)則、特征指標用于預測、決策和控制。在不同的情況下，可以選用不同的計算模式。 物計算模式： 對于要求實時高效的數(shù)據(jù)挖掘，物聯(lián)網(wǎng)任何一個控制端均需要對瞬息萬變的環(huán)境實時分析、反應(yīng)和處理，需要物計算模式和利用數(shù)據(jù)挖掘結(jié)果。 基于云計算模式： 以海量數(shù)據(jù)挖掘為特征的應(yīng)用要處理海量的數(shù)據(jù) ，需要進行數(shù)據(jù)質(zhì)量控制，如多源、多模態(tài)、多媒體、多格式數(shù)據(jù)的存儲與管理保證數(shù)據(jù)質(zhì)量。此外，物聯(lián)網(wǎng)計算設(shè)備和數(shù)據(jù)具有天然分布的特征。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 （ 3）數(shù)據(jù)挖掘算法的選擇 一般而言，數(shù)據(jù)挖掘算法可以分為分布式數(shù)據(jù)挖掘算法和并行數(shù)據(jù)挖掘算法等。 分布式數(shù)據(jù)挖掘算法適合數(shù)據(jù)垂直劃分的算法、重視數(shù)據(jù)挖掘多任務(wù)調(diào)度算法。 而并行數(shù)據(jù)挖掘算法適合數(shù)據(jù)水平劃分、基于任務(wù)內(nèi)并行的挖掘算法。 云計算技術(shù)可以認為是物聯(lián)網(wǎng)應(yīng)用的一塊基石，能夠保證分布式并行數(shù)據(jù)挖掘，高效實時挖掘，云服務(wù)模式是數(shù)據(jù)挖掘的普適模式，可以保證挖掘技術(shù)的共享，降低數(shù)據(jù)挖掘的應(yīng)用門檻，滿足海量挖掘的要求。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 （ 4）數(shù)據(jù)挖掘的應(yīng)用 物聯(lián)網(wǎng)數(shù)據(jù)挖掘分析應(yīng)用通常都可以歸納為預測和尋證分析兩大類。 預測（ Forecasting） ：主要用在（完全或部分）了解現(xiàn)狀的情況下，推測系統(tǒng)在近期或者中遠期的狀態(tài)。 例如： ① 在智能電網(wǎng)中，預測近期擾動的可能性和發(fā)生的地點； ② 在智能交通系統(tǒng)中，預測擁阻和事故在特定時間和地點可能發(fā)生的概率； ③ 在環(huán)保體系中，根據(jù)不同地點的廢物排放，預測將來發(fā)生生物化學反應(yīng)產(chǎn)生污染的可能性。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 尋證分析（ Provenance Analysis）： 當系統(tǒng)出現(xiàn)問題或者達不到預期效果時， 分析它在運行過程中哪個環(huán)節(jié)出現(xiàn)了問題。 例如： （ 1）在食品安全應(yīng)用中，一旦發(fā)生質(zhì)量問題，需要在食品供應(yīng)鏈中尋找相應(yīng)證據(jù)，明確原因和責任； （ 2）在環(huán)境監(jiān)控中，當污染物水平超標時，需要在記錄中尋找分析原因。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 數(shù)據(jù)挖掘在精準農(nóng)業(yè)中的應(yīng)用示例： 通過植入土壤或暴露在空氣中的傳感器監(jiān)控土壤性狀和環(huán)境狀況；數(shù)據(jù)通過物聯(lián)網(wǎng)傳輸?shù)竭h程控制中心，可及時查詢當前農(nóng)作物的生長環(huán)境現(xiàn)狀和變化趨勢，確定農(nóng)作物的生產(chǎn)目標；通過數(shù)據(jù)挖掘的方法還可以知道環(huán)境溫度濕度和土壤各項參數(shù)等因素是如何影響農(nóng)作物產(chǎn)量的，如何調(diào)節(jié)它們才能夠最大限度地提高農(nóng)作物產(chǎn)量等。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 物聯(lián)網(wǎng)的其它智能化技術(shù) 針對物聯(lián)網(wǎng)數(shù)據(jù)的智能處理，需要研究以下內(nèi)容： （ 1）以融合和決策為目的海量數(shù)據(jù)的實時挖掘 基于物聯(lián)網(wǎng)服務(wù)的需求，物聯(lián)網(wǎng)中的數(shù)據(jù)挖掘應(yīng)分為兩個方面：輔助常規(guī)決策的數(shù)據(jù)挖掘和輔助數(shù)據(jù)融合的數(shù)據(jù)挖掘。 （ 2）以情境感知為目的的不確定性建模和推理 針對數(shù)據(jù)本身的不確定性； 針對語義映射的不確定性 ； 針對查詢分析的不確定性 。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 物聯(lián)網(wǎng)的其它智能化技術(shù) 物聯(lián)網(wǎng)的智能化技術(shù) 物聯(lián)網(wǎng)的智能化技術(shù)是將智能技術(shù)的研究成果應(yīng)用到物聯(lián)網(wǎng)中，實現(xiàn)物聯(lián)網(wǎng)的智能化。 比如物聯(lián)網(wǎng)可以結(jié)合智能化技術(shù)如人工智能等，應(yīng)用到物聯(lián)網(wǎng)中。 物聯(lián)網(wǎng)的目標是實現(xiàn)一個智慧化的世界，它不僅僅感知世界，關(guān)鍵在于影響世界，智能化的控制世界。物聯(lián)網(wǎng)根據(jù)具體應(yīng)用結(jié)合人工智能，可以實現(xiàn)智能控制和決策。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 物聯(lián)網(wǎng)的其它智能化技術(shù) 人工智能一般有兩種不同的方式： 一種采用傳統(tǒng)的編程技術(shù) ， 使系統(tǒng)呈現(xiàn)智能的效果 ， 而不考慮所用方法是否與人或動物機體所用的方法相同 ， 這種方法叫工程學方法 （ Engineering approach） 。 另一種是模擬法 （ Modeling approach） ， 不僅要看效果 ，還要求實現(xiàn)方法也和人類或生物機體所用的方法相同或相類似 。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 物聯(lián)網(wǎng)的其它智能化技術(shù) 采用工程學方法，需要人工詳細規(guī)定程序邏輯，在已有的實踐中被多次采用。從不同的數(shù)據(jù)源（就包含物聯(lián)網(wǎng)的感知信息）收集的數(shù)據(jù)中提取有用的數(shù)據(jù)，對數(shù)據(jù)進行濾除以保證數(shù)據(jù)的質(zhì)量，將數(shù)據(jù)經(jīng)轉(zhuǎn)換、重構(gòu)后存入數(shù)據(jù)倉庫或數(shù)據(jù)集市，然后尋找合適的查詢、報告