【文章內(nèi)容簡(jiǎn)介】 2） Huge Storage （ 滿足對(duì)海量數(shù)據(jù)的高效率存儲(chǔ)和訪問(wèn)的需求 ） （ 3） High Scalability High Availability （ 滿足對(duì)數(shù)據(jù)庫(kù)的高可擴(kuò)展性和高可用性的需求 ） 。 NoSQL數(shù)據(jù)庫(kù)能夠滿足物聯(lián)網(wǎng)應(yīng)用的大數(shù)據(jù)的需求 ， 將會(huì)隨著物聯(lián)網(wǎng)應(yīng)用的發(fā)展展現(xiàn)新的應(yīng)用和發(fā)展空間 。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導(dǎo)論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 數(shù)據(jù)融合及目標(biāo) 數(shù)據(jù)融合是一種數(shù)據(jù)處理技術(shù)，指將多種數(shù)據(jù)或信息進(jìn)行處理得出高效且符合用戶需求的數(shù)據(jù)的過(guò)程。 它是利用計(jì)算機(jī)對(duì)按時(shí)序獲得的若干觀測(cè)信息，在一定準(zhǔn)則下加以自動(dòng)分析、綜合，以完成所需的決策和評(píng)估任務(wù)而進(jìn)行的一種信息處理技術(shù)。 數(shù)據(jù)融合類似人類和其他動(dòng)物對(duì)復(fù)雜問(wèn)題的綜合處理，比如在辨別一個(gè)事物的時(shí)候，通常會(huì)綜合各種感官信息，包括視覺(jué)、觸覺(jué)、嗅覺(jué)和聽覺(jué)等。單獨(dú)依賴一個(gè)感官獲得的信息往往不足以對(duì)事物做出準(zhǔn)確的判斷，而綜合各種感官數(shù)據(jù)，對(duì)事物的描述會(huì)更準(zhǔn)確。 數(shù)據(jù)融合也是一個(gè)多級(jí)、多層面的數(shù)據(jù)處理過(guò)程，能完成對(duì)來(lái)自多個(gè)信息源的數(shù)據(jù)的自動(dòng)檢測(cè)、關(guān)聯(lián)、估計(jì)及組合等的處理，并基于多信息源數(shù)據(jù)進(jìn)行綜合、分析、判斷和決策。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導(dǎo)論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 數(shù)據(jù)融合一般有數(shù)據(jù)級(jí)融合、特征級(jí)融合、決策級(jí)融合等層次的融合。 （ 1）數(shù)據(jù)級(jí)融合 ：直接在采集到的原始數(shù)據(jù)上進(jìn)行融合，是最低層次的融合，它直接融合現(xiàn)場(chǎng)數(shù)據(jù)，失真度小，提供的信息比較全面。 （ 2）特征級(jí)融合： 先對(duì)來(lái)自傳感器的原始信息進(jìn)行特征提取，然后對(duì)特征信息進(jìn)行綜合分析和處理，這一級(jí)的融合可實(shí)現(xiàn)信息壓縮，有利于實(shí)時(shí)處理，屬于中間層次的融合。 （ 3）決策級(jí)融合： 在高層次上進(jìn)行，根據(jù)一定的準(zhǔn)則和決策的可信度做最優(yōu)決策，以達(dá)到良好的實(shí)時(shí)性和容錯(cuò)性。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導(dǎo)論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 數(shù)據(jù)挖掘概念、過(guò)程和任務(wù) （ 1）基本概念 數(shù)據(jù)挖掘是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中提取潛在的、事先未知的、有用的、能被人理解的有用的信息和知識(shí)的數(shù)據(jù)處理過(guò)程。 與數(shù)據(jù)挖掘相近的同義詞有數(shù)據(jù)融合、數(shù)據(jù)分析和決策支持等。 數(shù)據(jù)挖掘的數(shù)據(jù)源必須是真實(shí)的、大量的、含噪聲的；發(fā)現(xiàn)的是用戶感興趣的知識(shí)；發(fā)現(xiàn)的知識(shí)要可接受、可理解、可運(yùn)用。被挖掘的數(shù)據(jù)可以是結(jié)構(gòu)化的關(guān)系數(shù)據(jù)庫(kù)中的數(shù)據(jù)，半結(jié)構(gòu)化的文本、圖形和圖像數(shù)據(jù)，或者是分布式的異構(gòu)數(shù)據(jù)。 數(shù)據(jù)挖掘是決策支持和過(guò)程控制的重要技術(shù)支撐手段之一。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導(dǎo)論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 （ 2）數(shù)據(jù)挖掘過(guò)程 數(shù)據(jù)挖掘過(guò)程一個(gè)反復(fù)迭代的人機(jī)交互和處理過(guò)程，主要包括數(shù)據(jù)預(yù)處理、數(shù)據(jù)挖掘和對(duì)數(shù)據(jù)挖掘結(jié)果的評(píng)估與表示。 ① 數(shù)據(jù)預(yù)處理階段 數(shù)據(jù)準(zhǔn)備：了解領(lǐng)域特點(diǎn)，確定用戶需求。 數(shù)據(jù)選?。簭脑紨?shù)據(jù)庫(kù)中選取相關(guān)數(shù)據(jù)或樣本。 數(shù)據(jù)預(yù)處理：檢查數(shù)據(jù)的完整性及一致性，消除噪聲等。 數(shù)據(jù)變換：通過(guò)投影或利用其他操作減少數(shù)據(jù)量。 ② 數(shù)據(jù)挖掘階段 確定挖掘目標(biāo)：確定要發(fā)現(xiàn)的知識(shí)類型。 選擇算法：根據(jù)確定的目標(biāo)選擇合適的數(shù)據(jù)挖掘算法。 數(shù)據(jù)挖掘：運(yùn)用所選算法，提取相關(guān)知識(shí)并以一定的方式表示。 ③ 知識(shí)評(píng)估與表示階段 模式評(píng)估：對(duì)在數(shù)據(jù)挖掘步驟中發(fā)現(xiàn)的模式（知識(shí) )進(jìn)行評(píng)估。 知識(shí)表示：使用可視化和知識(shí)表示相關(guān)技術(shù)，呈現(xiàn)所挖掘的知識(shí)。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導(dǎo)論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 （ 3）數(shù)據(jù)挖掘的主要任務(wù) 數(shù)據(jù)挖掘的任務(wù)有關(guān)聯(lián)分析、聚類分析、分類、預(yù)測(cè)、時(shí)序模式和偏差分析等，以下分別進(jìn)行介紹。 ① 關(guān)聯(lián)分析 (association analysis) 兩個(gè)或兩個(gè)以上變量的取值之間存在某種規(guī)律性，稱為關(guān)聯(lián)。數(shù)據(jù)關(guān)聯(lián)是數(shù)據(jù)庫(kù)中存在的一類重要的、可被發(fā)現(xiàn)的知識(shí)。關(guān)聯(lián)分為簡(jiǎn)單關(guān)聯(lián)、時(shí)序關(guān)聯(lián)和因果關(guān)聯(lián)。關(guān)聯(lián)分析的目的是找出數(shù)據(jù)庫(kù)中隱藏的關(guān)聯(lián)網(wǎng)。一般用支持度和可信度兩個(gè)閥值來(lái)度量關(guān)聯(lián)規(guī)則的相關(guān)性，還可引入興趣度、相關(guān)性等參數(shù)，使得所挖掘的規(guī)則更符合需求。 ② 聚類分析 (clustering) 聚類是把數(shù)據(jù)按照相似性歸納成若干類別，同一類中的數(shù)據(jù)彼此相似，不同類中的數(shù)據(jù)相異。聚類分析可以建立宏觀的概念，發(fā)現(xiàn)數(shù)據(jù)的分布模式，以及可能的數(shù)據(jù)屬性之間的相互關(guān)系。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導(dǎo)論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 ③ 分類 (classification) 分類是找出一個(gè)類別的概念描述，它代表了這類數(shù)據(jù)的整體信息，即該類的內(nèi)涵描述，用這種描述構(gòu)造模型，一般用規(guī)則或決策樹模式表示。分類是利用訓(xùn)練數(shù)據(jù)集通過(guò)一定的算法而求得分類規(guī)則。分類可被用于規(guī)則描述和預(yù)測(cè)。 ④ 預(yù)測(cè) (predication) 預(yù)測(cè)是利用歷史數(shù)據(jù)找出變化規(guī)律，建立模型，并由此模型對(duì)未來(lái)數(shù)據(jù)的種類及特征進(jìn)行預(yù)測(cè)。預(yù)測(cè)關(guān)心的是精度和不確定性，通常用預(yù)測(cè)方差來(lái)度量。 ⑤ 時(shí)序模式 (timeseries pattern) 時(shí)序模式是指通過(guò)時(shí)間序列搜索出的重復(fù)發(fā)生概率較高的模式。與回歸一樣，它也是用己知的數(shù)據(jù)預(yù)測(cè)未來(lái)的值，但這些數(shù)據(jù)的區(qū)別是變量所處時(shí)間的不同。 ⑥ 偏差分析 (deviation) 在偏差中包括很多有用的知識(shí)，數(shù)據(jù)庫(kù)中的數(shù)據(jù)存在很多異常情況，發(fā)現(xiàn)數(shù)據(jù)庫(kù)中數(shù)據(jù)存在的異常情況是非常重要的。偏差檢驗(yàn)的基本方法就是尋找觀察結(jié)果與參照之間的差別。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導(dǎo)論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 物聯(lián)網(wǎng)的數(shù)據(jù)挖掘 數(shù)據(jù)挖掘時(shí)決策支持和過(guò)程控制的重要技術(shù)手段，是物聯(lián)網(wǎng)中重要的一環(huán)。 針對(duì)物聯(lián)網(wǎng)具有行業(yè)應(yīng)用的特征，對(duì)各行各業(yè)的、數(shù)據(jù)格式各不相同的海量數(shù)據(jù)進(jìn)行整合、管理、存儲(chǔ)，并在整個(gè)物聯(lián)網(wǎng)中提供數(shù)據(jù)挖掘服務(wù)，實(shí)現(xiàn)預(yù)測(cè)、決策，進(jìn)而反向控制這些傳感網(wǎng)絡(luò)，達(dá)到控制物聯(lián)網(wǎng)中客觀事物運(yùn)動(dòng)和發(fā)展進(jìn)程的目的。 在物聯(lián)網(wǎng)中進(jìn)行數(shù)據(jù)挖掘已經(jīng)從傳統(tǒng)意義上的數(shù)據(jù)統(tǒng)計(jì)分析、潛在模式發(fā)現(xiàn)與挖掘，轉(zhuǎn)向成為物聯(lián)網(wǎng)中不可缺少的工具和環(huán)節(jié)。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導(dǎo)論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 （ 1）物聯(lián)網(wǎng)的計(jì)算模式 物聯(lián)網(wǎng)一般有兩種基本計(jì)算模式，即物計(jì)算模式和云計(jì)算模式。 物計(jì)算模式基于嵌入式系統(tǒng)，強(qiáng)調(diào)實(shí)時(shí)控制，對(duì)終端設(shè)備的性能要求較高，系統(tǒng)的智能主要表現(xiàn)在終端設(shè)備上。物計(jì)算模式建立在對(duì)智能信息結(jié)果的利用上，對(duì)集中處理能力和系統(tǒng)帶寬要求較低。 云計(jì)算以互聯(lián)網(wǎng)為基礎(chǔ)，目的是實(shí)現(xiàn)資源共享和資源整合，其計(jì)算資源是動(dòng)態(tài)、可伸縮、虛擬化的。云計(jì)算模式通過(guò)分布式的構(gòu)架采集物聯(lián)網(wǎng)中的數(shù)據(jù)，系統(tǒng)的智能主要體現(xiàn)在數(shù)據(jù)挖掘和處理上，需要較強(qiáng)的集中計(jì)算能力和高帶寬，但終端設(shè)備比較簡(jiǎn)單。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導(dǎo)論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 （ 2）兩種模式的選擇 物聯(lián)網(wǎng)數(shù)據(jù)挖掘的結(jié)果主要用于決策控制，挖掘出的模 式、 規(guī)則、特征指標(biāo)用于預(yù)測(cè)、決策和控制。在不同的情況下，可以選用不同的計(jì)算模式。 物計(jì)算模式： 對(duì)于要求實(shí)時(shí)高效的數(shù)據(jù)挖掘，物聯(lián)網(wǎng)任何一個(gè)控制端均需要對(duì)瞬息萬(wàn)變的環(huán)境實(shí)時(shí)分析、反應(yīng)和處理，需要物計(jì)算模式和利用數(shù)據(jù)挖掘結(jié)果。 基于云計(jì)算模式： 以海量數(shù)據(jù)挖掘?yàn)樘卣鞯膽?yīng)用要處理海量的數(shù)據(jù) ，需要進(jìn)行數(shù)據(jù)質(zhì)量控制，如多源、多模態(tài)、多媒體、多格式數(shù)據(jù)的存儲(chǔ)與管理保證數(shù)據(jù)質(zhì)量。此外，物聯(lián)網(wǎng)計(jì)算設(shè)備和數(shù)據(jù)具有天然分布的特征。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導(dǎo)論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 （ 3）數(shù)據(jù)挖掘算法的選擇 一般而言，數(shù)據(jù)挖掘算法可以分為分布式數(shù)據(jù)挖掘算法和并行數(shù)據(jù)挖掘算法等。 分布式數(shù)據(jù)挖掘算法適合數(shù)據(jù)垂直劃分的算法、重視數(shù)據(jù)挖掘多任務(wù)調(diào)度算法。 而并行數(shù)據(jù)挖掘算法適合數(shù)據(jù)水平劃分、基于任務(wù)內(nèi)并行的挖掘算法。 云計(jì)算技術(shù)可以認(rèn)為是物聯(lián)網(wǎng)應(yīng)用的一塊基石，能夠保證分布式并行數(shù)據(jù)挖掘，高效實(shí)時(shí)挖掘，云服務(wù)模式是數(shù)據(jù)挖掘的普適模式，可以保證挖掘技術(shù)的共享，降低數(shù)據(jù)挖掘的應(yīng)用門檻，滿足海量挖掘的要求。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導(dǎo)論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 （ 4）數(shù)據(jù)挖掘的應(yīng)用 物聯(lián)網(wǎng)數(shù)據(jù)挖掘分析應(yīng)用通常都可以歸納為預(yù)測(cè)和尋證分析兩大類。 預(yù)測(cè)（ Forecasting） ：主要用在（完全或部分）了解現(xiàn)狀的情況下，推測(cè)系統(tǒng)在近期或者中遠(yuǎn)期的狀態(tài)。 例如： ① 在智能電網(wǎng)中，預(yù)測(cè)近期擾動(dòng)的可能性和發(fā)生的地點(diǎn)； ② 在智能交通系統(tǒng)中，預(yù)測(cè)擁阻和事故在特定時(shí)間和地點(diǎn)可能發(fā)生的概率； ③ 在環(huán)保體系中，根據(jù)不同地點(diǎn)的廢物排放，預(yù)測(cè)將來(lái)發(fā)生生物化學(xué)反應(yīng)產(chǎn)生污染的可能性。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導(dǎo)論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 尋證分析（ Provenance Analysis）： 當(dāng)系統(tǒng)出現(xiàn)問(wèn)題或者達(dá)不到預(yù)期效果時(shí)， 分析它在運(yùn)行過(guò)程中哪個(gè)環(huán)節(jié)出現(xiàn)了問(wèn)題。 例如： （ 1）在食品安全應(yīng)用中，一旦發(fā)生質(zhì)量問(wèn)題，需要在食品供應(yīng)鏈中尋找相應(yīng)證據(jù)，明確原因和責(zé)任； （ 2）在環(huán)境監(jiān)控中，當(dāng)污染物水平超標(biāo)時(shí)，需要在記錄中尋找分析原因。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導(dǎo)論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 數(shù)據(jù)融合與數(shù)據(jù)挖掘 數(shù)據(jù)挖掘在精準(zhǔn)農(nóng)業(yè)中的應(yīng)用示例： 通過(guò)植入土壤或暴露在空氣中的傳感器監(jiān)控土壤性狀和環(huán)境狀況；數(shù)據(jù)通過(guò)物聯(lián)網(wǎng)傳輸?shù)竭h(yuǎn)程控制中心，可及時(shí)查詢當(dāng)前農(nóng)作物的生長(zhǎng)環(huán)境現(xiàn)狀和變化趨勢(shì)，確定農(nóng)作物的生產(chǎn)目標(biāo)；通過(guò)數(shù)據(jù)挖掘的方法還可以知道環(huán)境溫度濕度和土壤各項(xiàng)參數(shù)等因素是如何影響農(nóng)作物產(chǎn)量的，如何調(diào)節(jié)它們才能夠最大限度地提高農(nóng)作物產(chǎn)量等。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導(dǎo)論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 物聯(lián)網(wǎng)的其它智能化技術(shù) 針對(duì)物聯(lián)網(wǎng)數(shù)據(jù)的智能處理，需要研究以下內(nèi)容： （ 1）以融合和決策為目的海量數(shù)據(jù)的實(shí)時(shí)挖掘 基于物聯(lián)網(wǎng)服務(wù)的需求，物聯(lián)網(wǎng)中的數(shù)據(jù)挖掘應(yīng)分為兩個(gè)方面：輔助常規(guī)決策的數(shù)據(jù)挖掘和輔助數(shù)據(jù)融合的數(shù)據(jù)挖掘。 （ 2）以情境感知為目的的不確定性建模和推理 針對(duì)數(shù)據(jù)本身的不確定性； 針對(duì)語(yǔ)義映射的不確定性 ； 針對(duì)查詢分析的不確定性 。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導(dǎo)論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 物聯(lián)網(wǎng)的其它智能化技術(shù) 物聯(lián)網(wǎng)的智能化技術(shù) 物聯(lián)網(wǎng)的智能化技術(shù)是將智能技術(shù)的研究成果應(yīng)用到物聯(lián)網(wǎng)中，實(shí)現(xiàn)物聯(lián)網(wǎng)的智能化。 比如物聯(lián)網(wǎng)可以結(jié)合智能化技術(shù)如人工智能等，應(yīng)用到物聯(lián)網(wǎng)中。 物聯(lián)網(wǎng)的目標(biāo)是實(shí)現(xiàn)一個(gè)智慧化的世界，它不僅僅感知世界，關(guān)鍵在于影響世界，智能化的控制世界。物聯(lián)網(wǎng)根據(jù)具體應(yīng)用結(jié)合人工智能，可以實(shí)現(xiàn)智能控制和決策。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導(dǎo)論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 物聯(lián)網(wǎng)的其它智能化技術(shù) 人工智能一般有兩種不同的方式： 一種采用傳統(tǒng)的編程技術(shù) ， 使系統(tǒng)呈現(xiàn)智能的效果 ， 而不考慮所用方法是否與人或動(dòng)物機(jī)體所用的方法相同 ， 這種方法叫工程學(xué)方法 （ Engineering approach） 。 另一種是模擬法 （ Modeling approach） ， 不僅要看效果 ，還要求實(shí)現(xiàn)方法也和人類或生物機(jī)體所用的方法相同或相類似 。 物聯(lián)網(wǎng)應(yīng)用技術(shù)導(dǎo)論 第 4章 物聯(lián)網(wǎng)服務(wù)與管理技術(shù) 物聯(lián)網(wǎng)智能信息處理技術(shù) 物聯(lián)網(wǎng)的其它智能化技術(shù) 采用工程學(xué)方法，需要人工詳細(xì)規(guī)定程序邏輯，在已有的實(shí)踐中被多次采用。從不同的數(shù)據(jù)源（就包含物聯(lián)網(wǎng)的感知信息）收集的數(shù)據(jù)中提取有用的數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行濾除以保證數(shù)據(jù)的質(zhì)量，將數(shù)據(jù)經(jīng)轉(zhuǎn)換、重構(gòu)后存入數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)集市，然后尋找合適的查詢、報(bào)告