【正文】 構常用于共享虛擬存儲 SVM(Shared Virtual Memory)系統(tǒng)中 P1P2Pn???x x x互聯(lián)網(wǎng)絡拷貝 屬主 拷貝處理器高速緩存保證一致性的共享內(nèi)存高速緩存控制器PCA L16 Wu Spring 04 169。USTC 共享虛擬存儲 SVM結構 176。 SVM(Shared Virtual Memory)系統(tǒng) ， 又稱為軟件 DSM系統(tǒng) ， ? SVM系統(tǒng)在基于消息傳遞的 MPP或機群系統(tǒng)中 ， 用軟件把分布于各節(jié)點的多個獨立編址的存儲器組織成一個統(tǒng)一編址的共享存儲空間 。 ? 優(yōu)點是在消息傳遞的系統(tǒng)上實現(xiàn)共享存儲的編程界面 ， 但主要問題是難以獲得滿意的性能 與硬件共享存儲系統(tǒng)相比 ， SVM系統(tǒng)中較大的通信和共享粒度 (通常是存儲頁 )會導致假共享及額外的通信； 在基于機群的 SVM系統(tǒng)中 ， 通信開銷很大 。 基于 SVM系統(tǒng)的并行程序通信量通常比基于消息傳遞的并行程序的通信量大 。 176。 SVM系統(tǒng)的實現(xiàn) ? 在操作系統(tǒng)上改進 ， 如 Ivy、 Mermaid、 Mirage和 Clouds等； ? 由 運 行 系 統(tǒng) 來 支 撐 ， 如 CMU Midway 、 Rice Munin 、 Rice TreadMarks、 Utah Quarks、 DIKU CarlOS、 Maryland CVM和JIAJIA等； ? 從語言級來實現(xiàn) ， 如 MIT CRL、 Linda和 Orca等 。 ? 混合實現(xiàn)的分布式共享存儲系統(tǒng) ， 其基本思想是結合軟硬件實現(xiàn)的分布式共享存儲系統(tǒng)的優(yōu)點 。 PCA L16 Wu Spring 04 169。USTC Overview 176。 關于論文答辯與考試 176。 Review of Lec14 176。 基于目錄高速緩存一致性協(xié)議 176。 放松的存儲一致性模型 PCA L16 Wu Spring 04 169。USTC 高速緩存一致性問題的解決 176。 硬件不支持高速緩存一致性 (NCCNUMA結構 ) ? 為了避免一致性問題，共享數(shù)據(jù)被標識為不可高速緩存的，只有私有數(shù)據(jù)才能被高速緩存 ? 好處在于僅需要很少的硬件支持就足夠 ? 缺點在于： ①支持透明的軟件高速緩存一致性的編譯機制非常有限，基于編譯支持的軟件高速緩存一致性是不太現(xiàn)實的。 ②如果沒有高速緩存一致性，那么在與訪問遠地單字所需的同等開銷下系統(tǒng)將失去獲取并使用一個高速緩存行中多個字的優(yōu)點。當每次訪問遠地主存只能獲得一個單字時，共享存儲所具有的空間局部性的優(yōu)點就蕩然無存了。 ③如果可以同時處理多個字（如一個高速緩存行）時，則諸如預取等延遲容忍技術效果才能更好。 PCA L16 Wu Spring 04 169。USTC Context for Scalable Cache Coherence ? ? ? ? ?S c a l a b l e n e t w o r kC AP$S w i t c hMS w i t c h S w i t c hRealizing Pgm Models through transaction protocols efficient nodeto interface interprets transactions Caches naturally replicate data coherence through bus snooping protocols consistency Scalable Networks many simultaneous transactions Scalable distributed memory Need cache coherence protocols that scale! no broadcast or single point of order PCA L16 Wu Spring 04 169。USTC 解決方法 : 目錄協(xié)議 176。 顯式地包含狀態(tài)向量 ? 與存儲塊狀態(tài)相聯(lián)系 ? 記錄每個存儲塊的狀態(tài) 176。 未命中，與目錄通信 ? 決定高速緩存拷貝的地址 ? 決定將要進行的操作 ? 確定協(xié)議以保持同步 P1C a c heM e m or yS c a l a bl e I nt e r c onn e c t i on N e t w or kC om m .A s s i s tP1C a c heC om mA s s i s tD i r e c t or y M e m or yD i r e c t or yPCA L16 Wu Spring 04 169。USTC 一個高速緩存一致性系統(tǒng)必須 : 176。 提供狀態(tài)集 , 狀態(tài)轉(zhuǎn)移圖 , 以及動作 176。 管理一致性協(xié)議 ? (0) 決定何時調(diào)用一致性協(xié)議 ? (a) 找出其他高速緩存上的存儲模塊的信息以決定將要進行的操作 是否需要同其他高速緩存拷貝進行通信 ? (b) 確定其他拷貝的地址 ? (c) 與這些拷貝通信 (使無效 /更新 ) 176。 在所有的系統(tǒng)中都使用同樣的方法進行 (0) ? 存儲塊的狀態(tài)保存在高速緩存中 ? 若未命中則調(diào)用協(xié)議 176。 不同的方法通過 (a)到 (c)區(qū)分開來 PCA L16 Wu Spring 04 169。USTC 基于總線的一致性 176。 (a), (b), (c) 都是通總線廣播實現(xiàn) ? 訪存失敗的處理器發(fā)出一個“尋找”信號 ? 其他的對該信號做出響應并采取必要的動作 176。 在規(guī)模不同的網(wǎng)絡上都可實現(xiàn) ? 向所有處理器廣播 , 并使它們做出響應 176。 Conceptually simple, but broadcast doesn’t scale with p ? on bus, bus bandwidth doesn’t scale ? on scalable work, every fault leads to at least p work transactions 176。 Scalable coherence: ? can have same cache states and state transition diagram ? different mechanisms to manage protocol PCA L16 Wu Spring 04 169。USTC One Approach: Hierarchical Snooping 176。 Extend snooping approach: hierarchy of broadcast media ? tree of buses or rings (KSR1) ? processors are in the bus or ringbased multiprocessors at the leaves ? parents and children connected by twoway snoopy interfaces snoop both buses and propagate relevant transactions ? main memory may be centralized at root or distributed among leaves 176。 Issues (a) (c) handled similarly to bus, but not full broadcast ? faulting processor sends out “search” bus transaction on its bus ? propagates up and down hiearchy based on snoop results 176。 Problems: ? high latency: multiple levels, and snoop/lookup at every level ? bandwidth bottleneck at root 176。 Not popular today PCA L16 Wu Spring 04 169。USTC Scalable Approach: Directories 176。 Every memory block has associated directory information ? keeps track of copies of cached blocks and their states ? on a miss, find directory entry, look it up, and municate only with the nodes that have copies if necessary ? in scalable works, munication with directory and copies is through work transactions 176。 Many alternatives for anizing directory information PCA L16 Wu Spring 04 169。USTC Basic Directory Transactions PAM / DCPAM / DCPAM / DCR e a d r e q u e s tt o d i r e c t o r yR e p l y w it ho w n e r i d e n t it yR e a d r e q .t o o w n e rD a t aR e p l yRe v i s io n m e s s a g et o d i r e c t o r y1.2.3.4 a .4b .PAM / DCPAM / DCPAM / DCR