面向海量數(shù)據(jù)的高效天文交叉證認的研究(編輯修改稿)
2025-10-07 00:33 本頁面
【文章內(nèi)容簡介】 據(jù)集上的實驗 SDSS DR6星表（約 1億條數(shù)據(jù)）、 2MASS星表（約 ） 原始方法與改進方法的對比： 7412?8412?9412?計算塊分塊數(shù)量 SDSS數(shù)據(jù)庫查詢 2MASS數(shù)據(jù)庫 查詢 （中心塊） 2MASS數(shù)據(jù)庫查詢 (邊界塊 ) 距離計算 其他 總用時 307s 59s 335s 580s 40s 1321s 317s 40s 639s 151s 44s 1191s 427s 54s 1177s 51s 72s 1781s 7412?8412?9412?10412?計算塊分塊數(shù)量 SDSS數(shù)據(jù)庫查詢 2MASS數(shù)據(jù)庫查詢 距離計算 其他 總用時 120s 78s 2489s 48s 2735s 127s 79s 690s 58s 954s 191s 102s 199s 57s 549s 374s 239s 58s 67s 738s – 實驗二：非稀疏數(shù)據(jù)集上的實驗 數(shù)據(jù)集： SDSS： 47949212條記錄、 2MASS： 35476377條記錄 原始方法與改進方法的對比： 7412?8412?9412?計算塊分塊數(shù) SDSS數(shù)據(jù)庫查詢 2MASS數(shù)據(jù)庫查詢 （中心塊） 2MASS數(shù)據(jù)庫查詢(邊界塊 ) 距離計算 其他 總用時 33s 17s 124s 96s 16s 286s 33s 19s 191s 24s 16s 283s 43s 28s 403s 11s 22s 507s 7412?8412?9412?10412?計算塊分塊數(shù) SDSS數(shù)據(jù)庫查詢 2MASS數(shù)據(jù)庫查詢 距離計算 其他 總用時 32s 19s 421s 27s 499s 36s 20s 130s 27s 213s 46s 27s 39s 31s 143s 107s 60s 11s 32s 210s 面向 HTM索引的可行性分析 ? 優(yōu)化邊界問題的解決方法 ? 限制生長模型 星 表 A星 表 B兩 兩 距 離 計 算星 表 A兩 兩 距 離 計 算環(huán) 0 : 由 1 個計 算 塊 組 成環(huán) 1 0環(huán) 0 ： 由 4 個計 算 塊 組 成環(huán) 4生 長生 長生 長生 長生 長生 長基于 MapReduce分布式模型的交叉證認 ? 意義： –數(shù)據(jù)急速增長，長期考慮，多核單機環(huán)境并不現(xiàn)實 –突破關(guān)系數(shù)據(jù)庫在處理海量數(shù)據(jù)時的瓶頸 –利用大規(guī)模集群獲得更強大的計算能力，進一步提高效率，為實現(xiàn)在線實時交叉證認和聯(lián)合查詢打下基礎(chǔ) MapReduce模型 ? 概念： – MapReduce是 Google在 2020年提出的一個編程模型，并已于 2020年年初正式申請獲批該項技術(shù)的專利。它主要用以進行大規(guī)模數(shù)據(jù)集上的并行運算，其主要概念“ Map（映射）”和“ Reduce（規(guī)約）”最初借鑒于函數(shù)式編程語言。 ? 優(yōu)點： – 適合處理海量數(shù)據(jù)，尤其適合于數(shù)據(jù)間存在較強獨立性的應(yīng)用； – 成本低廉，使原本必須借助于非常高昂的超級計算機才能獲得的計算能力可以在大量廉價機器上同樣實現(xiàn)； – 易于編程，將任務(wù)分發(fā)、任務(wù)調(diào)度、數(shù)據(jù)分布、容錯處理、負載平衡等并行計算中不可避免的復(fù)雜控制細節(jié)隱藏于系統(tǒng)的運行時后臺處理中 Step1:數(shù)據(jù)分布式存放（ Map+Reduce） 輸入星表數(shù)據(jù) Map Map Map Map Map Map Reduce Reduce Shuffle/Sort Chop/replicate （塊號 +來源，屬性） （塊號 +來源，屬性） （塊號 +來源，屬性） （塊號 +來源，屬性） （塊號 +來源，屬性） （塊號 +來源，屬性） （塊號 +來源，屬性） （塊號 +來源，屬性） （塊號 +來源，屬性） （塊號 +來源，屬性） （塊號 +來源，屬性） （塊號 +來源，屬性） （塊號 +來源，屬性） （塊號 +來源，屬性） （塊號 +來源，屬性） Reduce 數(shù)據(jù)塊頭部 星表 A記錄組 星表 B記錄組 數(shù)據(jù)塊頭部 星表 A記錄組 星表 B
教學(xué)課件相關(guān)推薦
鄂ICP備17016276號-1