物聯(lián)網(wǎng)關(guān)鍵技術(shù)-應(yīng)用服務(wù)技術(shù)(已修改)
2025-01-29 13:06 本頁面
【正文】 第四章 物聯(lián)網(wǎng)關(guān)鍵技術(shù) —— 應(yīng)用服務(wù)技術(shù) 學(xué)習(xí)任務(wù) Click to add title in here ① 感知技術(shù) ② 標(biāo)識技術(shù) ③ 通信技術(shù) ④ 網(wǎng)絡(luò)技術(shù) ⑤ 網(wǎng)絡(luò)定位技術(shù) ⑥ 應(yīng)用服務(wù)技術(shù) ⑦ 安全與隱私技術(shù) ⑧ 硬件技術(shù) ⑨ 電源和能量存儲技術(shù) 應(yīng)用服務(wù)技術(shù) 物聯(lián)網(wǎng)海量數(shù)據(jù)存儲與查詢 1 2 3 環(huán)境感知型中間件 物聯(lián)網(wǎng)數(shù)據(jù)融合 4 5 嵌入式軟件 云計算技術(shù) 物聯(lián)網(wǎng)海量數(shù)據(jù)存儲與查詢 ? 計算機網(wǎng)絡(luò)的飛速發(fā)展導(dǎo)致全球信息總量迅猛增長，據(jù)統(tǒng)計 2022年全球產(chǎn)生的達到 （ 12 億TB），世界進入 ZB 時代。 ? IDC 預(yù)測全球數(shù)據(jù)量從 2022 年到 2022 年 5 年將增長 10 倍。 ? 而物聯(lián)網(wǎng)中對象的數(shù)量將龐大到以百億為單位。 物聯(lián)網(wǎng)海量數(shù)據(jù)存儲與查詢 ? 由于物聯(lián)網(wǎng)中的對象積極參與業(yè)務(wù)流程的需求、高強度計算需求和數(shù)據(jù)的持續(xù)在線可獲取的特性，導(dǎo)致了 網(wǎng)絡(luò)化存儲和大型數(shù)據(jù)中心 的誕生。 ? 物聯(lián)網(wǎng)對 海量信息存儲 的需求促進了物聯(lián)網(wǎng) 網(wǎng)絡(luò)存儲技術(shù)、海量數(shù)據(jù)查詢技術(shù) 以及 面向物聯(lián)網(wǎng)的關(guān)系型數(shù)據(jù)庫技術(shù) 的發(fā)展。 海量數(shù)據(jù)存儲及查詢 ? 現(xiàn)在的網(wǎng)絡(luò)世界是海量數(shù)據(jù)的時代，物聯(lián)網(wǎng)數(shù)據(jù)存儲將使用數(shù)據(jù)中心的模式。 ? 數(shù)據(jù)中心是一整套復(fù)雜的設(shè)施。它不僅僅包括 計算機系統(tǒng)和其它與之配套的設(shè)備 （例如通信和存儲系統(tǒng)），還包含 冗余的數(shù)據(jù)通信連接、環(huán)境控制設(shè)備、監(jiān)控設(shè)備以及各種安全裝置 。 ? 以一個典型數(shù)據(jù)中心（ Google 數(shù)據(jù)中心）加以說明。 案例： Google 數(shù)據(jù)中心 （ 1） GFS（ Google File System）：一個可擴展的分布式文件系統(tǒng) （ 2） MapReduce：一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運算 （ 3） BigTable：一個大型的分布式數(shù)據(jù)存儲系統(tǒng) （ 1） GFS（ Google File System） ? 一個分布式文件系統(tǒng)，用于大型的、分布式的、對大量數(shù)據(jù)進行訪問的應(yīng)用。它運行于廉價的普通硬件上，并提供容錯功能。 ? 一個 GFS系統(tǒng)包括一個主服務(wù)器（ master）和多個塊服務(wù)器（ server），這樣一個 GFS可以同時為多個客戶端應(yīng)用程序提供文件服務(wù)。 ? 文件被分為固定的塊，由主服務(wù)器存放到塊服務(wù)器的本地硬盤上。 案例： Google 數(shù)據(jù)中心 ? 一個 GFS集群由一個主服務(wù)器（ master）和大量的塊服務(wù)器(chunkserver)構(gòu)成，并被許多客戶（ Client）訪問。 ? 主服務(wù)器存儲文件系統(tǒng)所有的元數(shù)據(jù)，包括名字空間、訪問控制信息、從文件到塊的映射以及塊的當(dāng)前位置。 ? GFS中的文件被切分為 64MB的塊并以冗余存儲，每份數(shù)據(jù)在系統(tǒng)中保存 3個以上備份。 ? 它運行于廉價的普通硬件上，但可以提供容錯功能。它可以給大量的用戶提供總體性能較高的服務(wù)。 案例： Google 數(shù)據(jù)中心 Google 數(shù)據(jù)中心 谷歌文件系統(tǒng)（ Google File System， GFS ） GFS的設(shè)計架構(gòu) Google 數(shù)據(jù)中心 （ 2） MapReduce（映射、歸約） 大多數(shù)分布式運算可以抽象為 MapReduce操作。 Map是把輸入 Input分解成中間的 Key/Value對， Reduce把 Key/Value合成最終輸出 Output。 這兩個函數(shù)由程序員提供給系統(tǒng)，下層設(shè)施把Map和 Reduce操作分布在集群上運行，并把結(jié)果存儲在 GFS上。 ?MapReduce模式的思想是將要執(zhí)行的問題分解成Map(映射 )和 Reduce(化簡 )的方式 ?先通過 Map程序?qū)?shù)據(jù)切割成不相關(guān)的區(qū)塊，分配（調(diào)度）給大量計算機處理，達到分布式運算的效果 ?再通過 Reduce程序?qū)⒔Y(jié)果匯整輸出。 Google 數(shù)據(jù)中心 Google 數(shù)據(jù)中心 MapReduce 編程模型系統(tǒng) MapReduce程序的執(zhí)行過程 Google 數(shù)據(jù)中心 （ 3） BigTable ? 一種非關(guān)系型數(shù)據(jù)庫，是一個稀疏的、分布的、持久化存儲的多維度排序 Map。 ? 目的是快速可靠地處理 PB級別的數(shù)據(jù)，并且能夠部署到上千臺機器上。 ? 適用性強、可擴展、高性能、高可用性。 Google 數(shù)據(jù)中心 BigTable 分布式存儲系統(tǒng) BigTable 分布式存儲系統(tǒng) 物聯(lián)網(wǎng)數(shù)據(jù)融合 ? 數(shù)據(jù)融合一詞最早出現(xiàn)在 20 世紀 70 年代，它是人類 模仿自身信息處理能力 的結(jié)果，類似人類和其它動物對復(fù)雜問題的綜合處理。 ? 數(shù)據(jù)融合技術(shù)最早用于 軍事 ，目前，工業(yè)控制、機器人、空中交通管制、海洋監(jiān)視和管理等領(lǐng)域也向著 多傳感器數(shù)據(jù)融合 方向發(fā)展。 數(shù)據(jù)融合的基本概念 ? 數(shù)據(jù)融合技術(shù)是指利用計算機對按時序獲得的若干觀測信息，在一定準則下加以自動分析、綜合，以完成所需的決策和評估任務(wù)而進行的信息處理技術(shù)。 數(shù)據(jù)融合的基本概念 ? 1）數(shù)據(jù)對準 。 ? 2）數(shù)據(jù)相關(guān) 。 ? 3）數(shù)據(jù)識別，即估計目標(biāo)的類別和類型 。 ? 4）感知數(shù)據(jù)的不確定性 。 ? 5）不完整、不一致和虛假數(shù)據(jù) 。 ? 6）數(shù)據(jù)庫 。 ? 7）性能評估。 3. 數(shù)據(jù)融合技術(shù)的產(chǎn)生背景 數(shù)據(jù)融合技術(shù)的產(chǎn)生背景來自于數(shù)據(jù)融合的幾個重要作用 : ? （ 1）節(jié)省能量 ? （ 2）獲取更準確的信息 ? （ 3）提高數(shù)據(jù)收集效率 數(shù)據(jù)融合的基本概念 數(shù)據(jù)融合的基本概念 ? 描述數(shù)據(jù)融合的體系結(jié)構(gòu)的 數(shù)據(jù)融合一般模型 如下圖。 物聯(lián)網(wǎng)中數(shù)據(jù)融合的關(guān)鍵問題 ? ① 數(shù)據(jù)融合節(jié)點的選擇。 ? ② 數(shù)據(jù)融合時機。 ? ③ 數(shù)據(jù)融合算法。 ? ① 穩(wěn)定性 。 ② 數(shù)據(jù)關(guān)聯(lián) 。 ? ③ 能量約束 。 ④ 協(xié)議的可擴展性。 物聯(lián)網(wǎng)數(shù)據(jù)融合的基本原理 ? 通過對 多感知節(jié)點 信息的 協(xié)調(diào)優(yōu)化 ，數(shù)據(jù)融合技術(shù)可以有效地 減少整個網(wǎng)絡(luò)中不必要的通信開銷 ，提高數(shù)據(jù)的準確度和收集效率。 ? 因此，傳送已融合的數(shù)據(jù)要比未經(jīng)處理的數(shù)據(jù)節(jié)省能量，延長網(wǎng)絡(luò)的生存周期。 物聯(lián)網(wǎng)數(shù)據(jù)融合示意圖 物聯(lián)網(wǎng)數(shù)據(jù)融合的基本原理 數(shù)據(jù)融合主要關(guān)注一下五點 : ? 1） 多個不同類型的源節(jié)點 (如有源或無源的傳感器） 采集觀測目標(biāo)的數(shù)據(jù)； ? 2） 對源節(jié)點的輸出數(shù)據(jù) （離散的或連續(xù)的時間函數(shù)數(shù)據(jù)、輸出矢量、成像數(shù)據(jù)或一個直接的屬性說明） 進行特征提取，提取代表觀測數(shù)據(jù)的特征矢量； 物聯(lián)網(wǎng)數(shù)據(jù)融合的基本原理 ? 3） 對特征矢量進行模
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1