20xx大數(shù)據(jù)處理算法研究與實(shí)現(xiàn)-資料下載頁(yè)
2025-01-16 22:45本頁(yè)面
【正文】 的備檢和數(shù)據(jù)存儲(chǔ)的反向過(guò)程。在非備檢網(wǎng)絡(luò)數(shù)據(jù)時(shí)代能夠從動(dòng)態(tài)虛擬化的資源池中向用戶(hù)或者各種應(yīng)用系統(tǒng)按需提供計(jì)算能力中，空間三維立體上的查詢(xún)必須橫穿所有空間三維立體上的網(wǎng)絡(luò)化時(shí)代記錄，以匹配相應(yīng)查詢(xún)結(jié)果。對(duì)于大規(guī)?？臻g三維立體上的數(shù)據(jù)，咨詢(xún)效率非常低。因此，如圖4 6所示，該章在第三章中結(jié)合分布式備檢框架，將空間三維立體上的并行查詢(xún)分割成三個(gè)階段，即全局濾波階段、本地濾波階段和精密級(jí)別。
(1)全局過(guò)濾階段 在全局備檢中存儲(chǔ)的內(nèi)容是HDFS中的空間三維立體上的數(shù)據(jù)集D的所有一組或幾組按順序連續(xù)排列在一起的記錄的基本網(wǎng)絡(luò)化時(shí)代，例如一組或幾組按順序連續(xù)排列在一起的記錄ID、包長(zhǎng)方形MBR、一組或幾組按順序連續(xù)排列在一起的記錄名稱(chēng)。由于數(shù)據(jù)相對(duì)較少，所以全局濾波級(jí)在主組成電流路徑的各種裝置和電源中連接三個(gè)或三個(gè)以上支路的點(diǎn)上運(yùn)行，并且不參與并行運(yùn)算。所有查詢(xún)操作必須首先通過(guò)全局過(guò)濾階段，全局前導(dǎo)文件通常存在于主組成電流路徑的各種裝置和電源中連接三個(gè)或三個(gè)以上支路的點(diǎn)的電子計(jì)算機(jī)中用來(lái)存儲(chǔ)信息中。
全局濾波階段的主要功能是選擇與輸入空間三維立體上的范圍交叉的一組或幾組按順序連續(xù)排列在一起的記錄，其中相應(yīng)的空間三維立體上的關(guān)系包括交叉點(diǎn)。如果它是十字路口的話，就進(jìn)入本地過(guò)濾階段。
（2）本地過(guò)濾級(jí) 在步驟1中，可以獲得與查詢(xún)范圍相交的全部一組或幾組按順序連續(xù)排列在一起的記錄。接著，本地濾波級(jí)主要對(duì)安全打一組或幾組按順序連續(xù)排列在一起的記錄集合內(nèi)的各一組或幾組按順序連續(xù)排列在一起的記錄進(jìn)行本地備檢濾波，為了該一組或幾組按順序連續(xù)排列在一起的記錄集合，從這個(gè)階段開(kāi)始并行查詢(xún)動(dòng)作。本地備檢文件是主 要存儲(chǔ)在一組或幾組按順序連續(xù)排列在一起的記錄標(biāo)題文件中的分布式R樹(shù)葉組成電流路徑的各種裝置和電源中連接三個(gè)或三個(gè)以上支路的點(diǎn)。這些內(nèi)容包括葉節(jié)、字節(jié)大小和偏移備檢網(wǎng)絡(luò)化時(shí)代的封裝長(zhǎng)方形的MBR。
本地濾波階段的主要功能是選擇與輸入空間三維立體上的范圍交叉的葉組成電流路徑的各種裝置和電源中連接三個(gè)或三個(gè)以上支路的點(diǎn)，其中相應(yīng)的空間三維立體上的關(guān)系包括交叉點(diǎn)和交叉點(diǎn)。如果它是十字路口，它將進(jìn)入精練階段；如果它包含，它將直接在結(jié)果文件上在全葉組成電流路徑的各種裝置和電源中連接三個(gè)或三個(gè)以上支路的點(diǎn)下寫(xiě)所有空間三維立體上的對(duì)象。
（3）精制階段 通過(guò)步驟2，您可以獲得與當(dāng)前一組或幾組按順序連續(xù)排列在一起的記錄中的查詢(xún)范圍相交的所有葉組成電流路徑的各種裝置和電源中連接三個(gè)或三個(gè)以上支路的點(diǎn)網(wǎng)絡(luò)化時(shí)代。在精致化階段，主要與候選集合內(nèi)的各空間三維立體上的幾何對(duì)象一致。如果與空間三維立體上的查詢(xún)范圍交叉或包含，則寫(xiě)入查詢(xún)結(jié)果文件。否則，不執(zhí)行操作。精細(xì)化步驟的主要功能是通過(guò)逐個(gè)確定查詢(xún)條件與候選集的元件之間的幾何關(guān)系來(lái)獲得最終數(shù)據(jù)查詢(xún)結(jié)果。
最后一節(jié)集中于分布式環(huán)境空間三維立體上的數(shù)據(jù)的并行提問(wèn)操作?？臻g三維立體上的詢(xún)問(wèn)操作的并列性分為任務(wù)間并列性和任務(wù)內(nèi)并列性。前者指批量查詢(xún)，后者指向查詢(xún)內(nèi)的任務(wù)分解。在此章節(jié)中，將焦點(diǎn)放在查詢(xún)算法內(nèi)部并行計(jì)算上。
如圖4～圖7所示，在電子計(jì)算機(jī)中用來(lái)存儲(chǔ)信息中計(jì)算與HDFS上的查詢(xún)條件相關(guān)的所有一組或幾組按順序連續(xù)排列在一起的記錄。而且，那個(gè)不執(zhí)行并行計(jì)算。在空間三維立體上的并行查詢(xún)操作的過(guò)程中，將各一組或幾組按順序連續(xù)排列在一起的記錄的處理設(shè)為獨(dú)立的子任務(wù)，實(shí)現(xiàn)一組或幾組按順序連續(xù)排列在一起的記錄處理之間的并行性。從區(qū)域的內(nèi)容來(lái)看，一組或幾組按順序連續(xù)排列在一起的記錄的處理包括兩個(gè)方面：本地過(guò)濾和精煉。一組或幾組按順序連續(xù)排列在一起的記錄處理操作類(lèi)似于用于備檢化數(shù)據(jù)集合的常規(guī)單組成電流路徑的各種裝置和電源中連接三個(gè)或三個(gè)以上支路的點(diǎn)空間三維立體上的查詢(xún)操作，但是由于不同的數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)，特定操作又不同。為了分布 式rtree備檢的空間三維立體上的并行查詢(xún)，并行過(guò)程分為兩個(gè)階段。第一部分是一組或幾組按順序連續(xù)排列在一起的記錄的查詢(xún)階段，第二部分是查詢(xún)結(jié)果的合并階段。
第5章結(jié)論與展望 適應(yīng)不同具有共同性質(zhì)、特點(diǎn)的事物所形成的類(lèi)別、不同發(fā)展階段企業(yè)或者個(gè)人的上網(wǎng)要求，當(dāng)然，那個(gè)成為了為了大的數(shù)據(jù)的自然的「試驗(yàn)場(chǎng)」。面對(duì)大有方向性的數(shù)據(jù)，數(shù)據(jù)處理、分析、可視化等局面?zhèn)鹘y(tǒng)大數(shù)據(jù)網(wǎng)絡(luò)時(shí)代產(chǎn)業(yè)的能力幾乎受到限制。這也是空間三維立體上的數(shù)據(jù)管理經(jīng)驗(yàn)和知識(shí)的重要開(kāi)發(fā)動(dòng)向。它具有重要理論研究的重要性和應(yīng)用價(jià)值。
有方向性的數(shù)據(jù)云模型的研究是為引導(dǎo)數(shù)據(jù)存儲(chǔ)和并行處理的跟進(jìn)研究提供支持的基礎(chǔ)。分布式R 分布式R 木備檢的空間三維立體上的數(shù)據(jù)的分割和并行構(gòu)筑是高性能空間三維立體上的數(shù)據(jù)計(jì)算的強(qiáng)有力的保證空間三維立體上的數(shù)據(jù)轉(zhuǎn)換、咨詢(xún)、瓷磚金字塔等arallel處理法也是大規(guī)?？臻g三維立體上的數(shù)據(jù)處理。硬件需求也是中國(guó)耕地質(zhì)量數(shù)據(jù)管理應(yīng)用的緊急必要性。本研究的目的是構(gòu)筑在能夠從動(dòng)態(tài)虛擬化的資源池中向用戶(hù)或者各種應(yīng)用系統(tǒng)按需提供計(jì)算能力 下大量丟失的數(shù)據(jù)的有效組織化、積蓄、備檢、處理、可視化等更完整的空間三維立體上的數(shù)據(jù)管理解決方案。同時(shí)，還結(jié)合土地網(wǎng)絡(luò)化時(shí)代系統(tǒng)產(chǎn)業(yè)進(jìn)行了事例研究。
參考文獻(xiàn) [1]孫科林. 基于多核DSP的實(shí)時(shí)圖像處理平臺(tái)研究[D].電子科技大學(xué),2020. [2]羅耀華. 高性能計(jì)算在高光譜遙感數(shù)據(jù)處理中的應(yīng)用研究[D].成都理工大學(xué),2020. [3]韓海雯. MapReduce計(jì)算任務(wù)調(diào)度的資源配置優(yōu)化研究[D].華南理工大學(xué),2020. [4]樓巍. 面向大數(shù)據(jù)的高維數(shù)據(jù)挖掘經(jīng)驗(yàn)和知識(shí)研究[D].上海大學(xué),2020. [5]張常淳. 基于MapReduce的大數(shù)據(jù)連接算法的設(shè)計(jì)與優(yōu)化[D].中國(guó)科學(xué)經(jīng)驗(yàn)和知識(shí)大學(xué),2020. [6]張?zhí)m廷. 大數(shù)據(jù)的社會(huì)價(jià)值與戰(zhàn)略選擇[D].中共中央黨校,2020. [7]周經(jīng)緯. 矢量大數(shù)據(jù)高性能計(jì)算模型及關(guān)鍵經(jīng)驗(yàn)和知識(shí)研究[D].浙江大學(xué),2020. [8]宋亞奇. 云平臺(tái)下電力設(shè)備監(jiān)測(cè)大數(shù)據(jù)存儲(chǔ)優(yōu)化與并行處理經(jīng)驗(yàn)和知識(shí)研究[D].華北電力大學(xué)(北京),2020. [9]姚曉闖. 矢量大數(shù)據(jù)管理關(guān)鍵經(jīng)驗(yàn)和知識(shí)研究[D].中國(guó)農(nóng)業(yè)大學(xué),2020. [10]宋杰,孫宗哲,毛克明,鮑玉斌,于戈. MapReduce大數(shù)據(jù)處理平臺(tái)與算法研究進(jìn)展[J]. 軟件學(xué)報(bào),2020,28(03):514543. [11]樊變霞. 面向大數(shù)據(jù)的加密方法研究[D].湖北師范大學(xué),2020. [12]唐云. 基于Spark的大規(guī)模分布式矩陣運(yùn)算算法研究與實(shí)現(xiàn)[D].南京大學(xué),2020. [13]魏姁妲. 基于大數(shù)據(jù)處理經(jīng)驗(yàn)和知識(shí)的“專(zhuān)家機(jī)器人”研究[D].長(zhǎng)春工業(yè)大學(xué),2020. [14]王婷. 基于網(wǎng)絡(luò)數(shù)據(jù)時(shí)代平臺(tái)的電信企業(yè)客戶(hù)應(yīng)用數(shù)據(jù)分析系統(tǒng)的研究與實(shí)現(xiàn)[D].北京郵電大學(xué),2020.此資料由網(wǎng)絡(luò)收集而來(lái)，如有侵權(quán)請(qǐng)告知上傳者立即刪除。資料共分享，我們負(fù)責(zé)傳遞知識(shí)。
范文總結(jié)相關(guān)推薦
鄂ICP備17016276號(hào)-1