物聯(lián)網(wǎng)關(guān)鍵技術(shù)-應(yīng)用服務(wù)技術(shù)(已修改)
2025-01-29 13:06 本頁(yè)面
【正文】 第四章 物聯(lián)網(wǎng)關(guān)鍵技術(shù) —— 應(yīng)用服務(wù)技術(shù) 學(xué)習(xí)任務(wù) Click to add title in here ① 感知技術(shù) ② 標(biāo)識(shí)技術(shù) ③ 通信技術(shù) ④ 網(wǎng)絡(luò)技術(shù) ⑤ 網(wǎng)絡(luò)定位技術(shù) ⑥ 應(yīng)用服務(wù)技術(shù) ⑦ 安全與隱私技術(shù) ⑧ 硬件技術(shù) ⑨ 電源和能量存儲(chǔ)技術(shù) 應(yīng)用服務(wù)技術(shù) 物聯(lián)網(wǎng)海量數(shù)據(jù)存儲(chǔ)與查詢 1 2 3 環(huán)境感知型中間件 物聯(lián)網(wǎng)數(shù)據(jù)融合 4 5 嵌入式軟件 云計(jì)算技術(shù) 物聯(lián)網(wǎng)海量數(shù)據(jù)存儲(chǔ)與查詢 ? 計(jì)算機(jī)網(wǎng)絡(luò)的飛速發(fā)展導(dǎo)致全球信息總量迅猛增長(zhǎng)，據(jù)統(tǒng)計(jì) 2022年全球產(chǎn)生的達(dá)到 （ 12 億TB），世界進(jìn)入 ZB 時(shí)代。 ? IDC 預(yù)測(cè)全球數(shù)據(jù)量從 2022 年到 2022 年 5 年將增長(zhǎng) 10 倍。 ? 而物聯(lián)網(wǎng)中對(duì)象的數(shù)量將龐大到以百億為單位。 物聯(lián)網(wǎng)海量數(shù)據(jù)存儲(chǔ)與查詢 ? 由于物聯(lián)網(wǎng)中的對(duì)象積極參與業(yè)務(wù)流程的需求、高強(qiáng)度計(jì)算需求和數(shù)據(jù)的持續(xù)在線可獲取的特性，導(dǎo)致了 網(wǎng)絡(luò)化存儲(chǔ)和大型數(shù)據(jù)中心 的誕生。 ? 物聯(lián)網(wǎng)對(duì) 海量信息存儲(chǔ) 的需求促進(jìn)了物聯(lián)網(wǎng) 網(wǎng)絡(luò)存儲(chǔ)技術(shù)、海量數(shù)據(jù)查詢技術(shù) 以及 面向物聯(lián)網(wǎng)的關(guān)系型數(shù)據(jù)庫(kù)技術(shù) 的發(fā)展。 海量數(shù)據(jù)存儲(chǔ)及查詢 ? 現(xiàn)在的網(wǎng)絡(luò)世界是海量數(shù)據(jù)的時(shí)代，物聯(lián)網(wǎng)數(shù)據(jù)存儲(chǔ)將使用數(shù)據(jù)中心的模式。 ? 數(shù)據(jù)中心是一整套復(fù)雜的設(shè)施。它不僅僅包括 計(jì)算機(jī)系統(tǒng)和其它與之配套的設(shè)備 （例如通信和存儲(chǔ)系統(tǒng)），還包含 冗余的數(shù)據(jù)通信連接、環(huán)境控制設(shè)備、監(jiān)控設(shè)備以及各種安全裝置 。 ? 以一個(gè)典型數(shù)據(jù)中心（ Google 數(shù)據(jù)中心）加以說(shuō)明。 案例： Google 數(shù)據(jù)中心 （ 1） GFS（ Google File System）：一個(gè)可擴(kuò)展的分布式文件系統(tǒng) （ 2） MapReduce：一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行運(yùn)算 （ 3） BigTable：一個(gè)大型的分布式數(shù)據(jù)存儲(chǔ)系統(tǒng) （ 1） GFS（ Google File System） ? 一個(gè)分布式文件系統(tǒng)，用于大型的、分布式的、對(duì)大量數(shù)據(jù)進(jìn)行訪問(wèn)的應(yīng)用。它運(yùn)行于廉價(jià)的普通硬件上，并提供容錯(cuò)功能。 ? 一個(gè) GFS系統(tǒng)包括一個(gè)主服務(wù)器（ master）和多個(gè)塊服務(wù)器（ server），這樣一個(gè) GFS可以同時(shí)為多個(gè)客戶端應(yīng)用程序提供文件服務(wù)。 ? 文件被分為固定的塊，由主服務(wù)器存放到塊服務(wù)器的本地硬盤上。 案例： Google 數(shù)據(jù)中心 ? 一個(gè) GFS集群由一個(gè)主服務(wù)器（ master）和大量的塊服務(wù)器(chunkserver)構(gòu)成，并被許多客戶（ Client）訪問(wèn)。 ? 主服務(wù)器存儲(chǔ)文件系統(tǒng)所有的元數(shù)據(jù)，包括名字空間、訪問(wèn)控制信息、從文件到塊的映射以及塊的當(dāng)前位置。 ? GFS中的文件被切分為 64MB的塊并以冗余存儲(chǔ)，每份數(shù)據(jù)在系統(tǒng)中保存 3個(gè)以上備份。 ? 它運(yùn)行于廉價(jià)的普通硬件上，但可以提供容錯(cuò)功能。它可以給大量的用戶提供總體性能較高的服務(wù)。 案例： Google 數(shù)據(jù)中心 Google 數(shù)據(jù)中心 谷歌文件系統(tǒng)（ Google File System， GFS ） GFS的設(shè)計(jì)架構(gòu) Google 數(shù)據(jù)中心 （ 2） MapReduce（映射、歸約） 大多數(shù)分布式運(yùn)算可以抽象為 MapReduce操作。 Map是把輸入 Input分解成中間的 Key/Value對(duì)， Reduce把 Key/Value合成最終輸出 Output。 這兩個(gè)函數(shù)由程序員提供給系統(tǒng)，下層設(shè)施把Map和 Reduce操作分布在集群上運(yùn)行，并把結(jié)果存儲(chǔ)在 GFS上。 ?MapReduce模式的思想是將要執(zhí)行的問(wèn)題分解成Map(映射 )和 Reduce(化簡(jiǎn) )的方式 ?先通過(guò) Map程序?qū)?shù)據(jù)切割成不相關(guān)的區(qū)塊，分配（調(diào)度）給大量計(jì)算機(jī)處理，達(dá)到分布式運(yùn)算的效果 ?再通過(guò) Reduce程序?qū)⒔Y(jié)果匯整輸出。 Google 數(shù)據(jù)中心 Google 數(shù)據(jù)中心 MapReduce 編程模型系統(tǒng) MapReduce程序的執(zhí)行過(guò)程 Google 數(shù)據(jù)中心 （ 3） BigTable ? 一種非關(guān)系型數(shù)據(jù)庫(kù)，是一個(gè)稀疏的、分布的、持久化存儲(chǔ)的多維度排序 Map。 ? 目的是快速可靠地處理 PB級(jí)別的數(shù)據(jù)，并且能夠部署到上千臺(tái)機(jī)器上。 ? 適用性強(qiáng)、可擴(kuò)展、高性能、高可用性。 Google 數(shù)據(jù)中心 BigTable 分布式存儲(chǔ)系統(tǒng) BigTable 分布式存儲(chǔ)系統(tǒng) 物聯(lián)網(wǎng)數(shù)據(jù)融合 ? 數(shù)據(jù)融合一詞最早出現(xiàn)在 20 世紀(jì) 70 年代，它是人類 模仿自身信息處理能力 的結(jié)果，類似人類和其它動(dòng)物對(duì)復(fù)雜問(wèn)題的綜合處理。 ? 數(shù)據(jù)融合技術(shù)最早用于 軍事 ，目前，工業(yè)控制、機(jī)器人、空中交通管制、海洋監(jiān)視和管理等領(lǐng)域也向著 多傳感器數(shù)據(jù)融合 方向發(fā)展。 數(shù)據(jù)融合的基本概念 ? 數(shù)據(jù)融合技術(shù)是指利用計(jì)算機(jī)對(duì)按時(shí)序獲得的若干觀測(cè)信息，在一定準(zhǔn)則下加以自動(dòng)分析、綜合，以完成所需的決策和評(píng)估任務(wù)而進(jìn)行的信息處理技術(shù)。 數(shù)據(jù)融合的基本概念 ? 1）數(shù)據(jù)對(duì)準(zhǔn) 。 ? 2）數(shù)據(jù)相關(guān) 。 ? 3）數(shù)據(jù)識(shí)別，即估計(jì)目標(biāo)的類別和類型 。 ? 4）感知數(shù)據(jù)的不確定性 。 ? 5）不完整、不一致和虛假數(shù)據(jù) 。 ? 6）數(shù)據(jù)庫(kù) 。 ? 7）性能評(píng)估。 3. 數(shù)據(jù)融合技術(shù)的產(chǎn)生背景 數(shù)據(jù)融合技術(shù)的產(chǎn)生背景來(lái)自于數(shù)據(jù)融合的幾個(gè)重要作用 : ? （ 1）節(jié)省能量 ? （ 2）獲取更準(zhǔn)確的信息 ? （ 3）提高數(shù)據(jù)收集效率 數(shù)據(jù)融合的基本概念 數(shù)據(jù)融合的基本概念 ? 描述數(shù)據(jù)融合的體系結(jié)構(gòu)的 數(shù)據(jù)融合一般模型 如下圖。 物聯(lián)網(wǎng)中數(shù)據(jù)融合的關(guān)鍵問(wèn)題 ? ① 數(shù)據(jù)融合節(jié)點(diǎn)的選擇。 ? ② 數(shù)據(jù)融合時(shí)機(jī)。 ? ③ 數(shù)據(jù)融合算法。 ? ① 穩(wěn)定性 。 ② 數(shù)據(jù)關(guān)聯(lián) 。 ? ③ 能量約束 。 ④ 協(xié)議的可擴(kuò)展性。 物聯(lián)網(wǎng)數(shù)據(jù)融合的基本原理 ? 通過(guò)對(duì) 多感知節(jié)點(diǎn) 信息的 協(xié)調(diào)優(yōu)化 ，數(shù)據(jù)融合技術(shù)可以有效地 減少整個(gè)網(wǎng)絡(luò)中不必要的通信開銷 ，提高數(shù)據(jù)的準(zhǔn)確度和收集效率。 ? 因此，傳送已融合的數(shù)據(jù)要比未經(jīng)處理的數(shù)據(jù)節(jié)省能量，延長(zhǎng)網(wǎng)絡(luò)的生存周期。 物聯(lián)網(wǎng)數(shù)據(jù)融合示意圖 物聯(lián)網(wǎng)數(shù)據(jù)融合的基本原理 數(shù)據(jù)融合主要關(guān)注一下五點(diǎn) : ? 1） 多個(gè)不同類型的源節(jié)點(diǎn) (如有源或無(wú)源的傳感器） 采集觀測(cè)目標(biāo)的數(shù)據(jù)； ? 2） 對(duì)源節(jié)點(diǎn)的輸出數(shù)據(jù) （離散的或連續(xù)的時(shí)間函數(shù)數(shù)據(jù)、輸出矢量、成像數(shù)據(jù)或一個(gè)直接的屬性說(shuō)明） 進(jìn)行特征提取，提取代表觀測(cè)數(shù)據(jù)的特征矢量； 物聯(lián)網(wǎng)數(shù)據(jù)融合的基本原理 ? 3） 對(duì)特征矢量進(jìn)行模
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號(hào)-1