dm針對(duì)大數(shù)據(jù)量環(huán)境下分析型應(yīng)用的支持方案(編輯修改稿)
2025-05-30 02:05 本頁面
【文章內(nèi)容簡介】 PROJECT(ID , name )SELECT(ID = 10)BASE _TABLE (T)關(guān)系樹查詢優(yōu)化：關(guān)系變換的關(guān)鍵DTCC2011 消除子查詢，“平坦”的關(guān)系樹 子查詢一律轉(zhuǎn)化為半連接（SEMI JOIN）例：select from T1 where in (select ID from T2)PROJECTSEMIJOINT1T2查詢優(yōu)化：待選關(guān)系樹的生成DTCC2011 考慮三個(gè)因素 采用臨時(shí)結(jié)果減少重復(fù)計(jì)算 代價(jià)模型基本覆蓋所有情況 對(duì)連接表的個(gè)數(shù)非常多的情況,特殊處理查詢優(yōu)化：統(tǒng)計(jì)信息DTCC2011 記錄數(shù)據(jù)分布情況，用于精確行數(shù)估計(jì)，特別是數(shù)據(jù)分布不規(guī)則的情況，對(duì)基數(shù)及代價(jià)計(jì)算有重大影響 頻率直方圖：不同值較少500450400350300250400200238432300200150100500124167w_id = 0w_id = 1w_id = 2w_id = 3w_id = 4w_id = 5w_id = 6 等高直方圖：不同值較多4050400040023990403239803950390038503800395039603888DTCC2011 列存儲(chǔ):– 數(shù)據(jù)按列存儲(chǔ)– 結(jié)合自適應(yīng)壓縮技術(shù)– 與批量計(jì)算技術(shù)緊密結(jié)合 列存儲(chǔ)優(yōu)缺點(diǎn)– 大幅提升掃描性能– 適合批量裝載與刪除–不適合頻繁的插入、刪除和更新 融合列存儲(chǔ)和行存儲(chǔ)– 提供按列存儲(chǔ)選項(xiàng)–結(jié)合分區(qū)技術(shù)– 同時(shí)適應(yīng)OLAP和OLTP應(yīng)用需求I/O效率融合列存儲(chǔ)和行存儲(chǔ)I/O效率 行存儲(chǔ)優(yōu)化–簡化物理記錄格式–字段物理次序與邏輯次序分離 多buffer類型–常駐內(nèi)存和常規(guī)方式淘汰–用戶可以指定 批量讀：預(yù)處理 支持垂直分區(qū)和水平分區(qū)DTCC2011提高并發(fā)度 支持并行插入的物理數(shù)據(jù)存儲(chǔ) 并行備份和恢復(fù) 分區(qū)技術(shù)及相應(yīng)的并行查詢操作符號(hào)DTCC2011典型場景一：大結(jié)果集DTCC2011 場景描述– 某表T，31個(gè)字段，48億條記錄– 隨機(jī)基于某字段篩選：SELECT * FROM T WHEREFLD1=753– 查詢符合條件的結(jié)果集達(dá)到千萬條記錄 分析––––SQL語句非常簡單，沒有更優(yōu)的等效語句結(jié)果集篩選條件不確定，無法使用索引服務(wù)器內(nèi)存為32G，在掃描的過程中必然出現(xiàn)頁面淘汰由于基礎(chǔ)數(shù)據(jù)量大，因此即使命中率不高（%），也會(huì)生成960萬條記錄的結(jié)果集典型場景一：大結(jié)果集DTCC2011從3個(gè)方向入手，提升全表掃描的IO效率 批量技術(shù) 降低結(jié)果集處理的時(shí)間消耗 調(diào)整數(shù)據(jù)頁讀取策略典型場景一：大結(jié)果集DTCC2011 返回結(jié)果集策略改進(jìn)– 優(yōu)化前 根據(jù)通信塊大小決定結(jié)果集分批次返回的數(shù)量 第一批結(jié)果集返回后，自動(dòng)完成后續(xù)結(jié)果集獲取和返回– 優(yōu)化后 由應(yīng)用設(shè)定第一批結(jié)果集的大小和返回的時(shí)機(jī) 當(dāng)返回第一批結(jié)果集后，工作線程暫停SQL查詢請(qǐng)求，直到下一批結(jié)果集請(qǐng)求到來或開始新事務(wù)– 效果 快速返回部分結(jié)果集，提高用戶體驗(yàn) 避免自動(dòng)返回所有結(jié)果集，降低服務(wù)器資源消耗典型場景一：大結(jié)果集DTCC2011 調(diào)整數(shù)據(jù)讀取策略– 數(shù)據(jù)頁（page）是數(shù)據(jù)讀寫的單位– 優(yōu)化前的全表掃描：按頁讀取，每次IO只掃描一個(gè)頁– 優(yōu)化后：一次掃描多個(gè)頁，減少IO數(shù)量– 測試：經(jīng)過優(yōu)化后，磁盤的吞吐量提升1倍典型場景二：大表連接DTCC2011 場景描述– 表T1，31個(gè)字段，5000W條記錄，數(shù)據(jù)類型包括int、varchar、datetime、Dec；表T2,15個(gè)字段，500W條記錄，數(shù)據(jù)類型包括varchar、datetime、Dec；– SELECT , FROM T1, T2 WHERE = AND = 39。M39。– 連接查詢字段由最終用戶臨時(shí)指定，表上未建索引– 結(jié)果集不大，但查
公司管理相關(guān)推薦
鄂ICP備17016276號(hào)-1