第二部分端節(jié)點算法學(xué)-文庫吧
2025-07-17 13:07 本頁面
【正文】 放鎖的開銷。 ? 刷新 TLB： ? 當(dāng)新的地址映射寫入頁表時，相關(guān)的 TLB表項要清除或修正。 ? 在目標(biāo)域中分配虛擬內(nèi)存： ? 系統(tǒng)要在目標(biāo)進(jìn)程中找到一個空閑的頁表表項。 ? 鎖住物理頁： ? 為防止頁被換出，必須鎖住物理頁。 Fbufs（ fast buffers） ? 基本觀察： ? 如果一個應(yīng)用正在通過內(nèi)核向網(wǎng)絡(luò)發(fā)送大量的數(shù)據(jù)包，那么一個包緩沖區(qū)可能會被重用多次。 ? 方法一： ? 提前分配好需要的包緩沖區(qū)，并計算好所有的頁面映射信息（ P2a），重復(fù)使用這些包緩沖區(qū)。 ? 方法二： ? 數(shù)據(jù)傳輸開始時分配包緩沖區(qū)并計算頁面映射，然后將其緩存起來（ P11a），消除后續(xù)包的頁面映射開銷。 ? 基本思想：一次映射，重復(fù)使用 實現(xiàn)原理 ? 為避免內(nèi)核空間和用戶空間之間的拷貝，將一組物理頁 PP …… 、 Pk 同時映射給內(nèi)核和應(yīng)用。 ? 為隔離不同的應(yīng)用，將一個 有序的安全域序列 定義為一條路徑，為每一條路徑預(yù)留不同的一組物理頁。 提前解復(fù)用（ early demultiplexing） ? 當(dāng)數(shù)據(jù)包到達(dá)時，底層驅(qū)動通過檢查數(shù)據(jù)包的所有頭部確定一條完整的路徑（ 提前解復(fù)用 ）。 ? 對于每條路徑，適配器有一個空閑緩沖區(qū)鏈表： ? 適配器把數(shù)據(jù)包寫入一個空閑緩沖區(qū)，將緩沖區(qū)描述符傳給接收路徑上的下一個進(jìn)程。 ? 最后一個進(jìn)程將用完的緩沖區(qū)交還給第一個進(jìn)程，緩沖區(qū)重新回到空閑緩沖區(qū)鏈表。 單向路徑的實現(xiàn) ? 有序的安全域序列是一條單向路徑： ? 路徑上的第一個進(jìn)程是 writer，其余進(jìn)程是reader ? 為什么實現(xiàn)為單向路徑？ ? 可以提供一定的保護(hù)級別 ? 如何實現(xiàn)單向路徑？ ? 給第一個進(jìn)程的頁表表項設(shè)置寫允許位，給其它進(jìn)程的頁表表項設(shè)置只讀位。 避免不必要的一般性（ P7） ? 在將物理頁映射給路徑上的進(jìn)程時，同一個物理頁映射到同一個虛擬頁上。 ? 將所有進(jìn)程的虛擬內(nèi)存中一定數(shù)量的起始頁預(yù)留為 fbuf 頁。 如何添加包頭？ ? 在發(fā)送路徑上，每一個安全域都要給數(shù)據(jù)包加上一個包頭。 ? 然而， 為了實現(xiàn)保護(hù)，每條路徑只允許一個 writer，其余為 reader。 ? 問題：怎 么允許其它 安全域 添加包頭呢？ 定義數(shù)據(jù)包為聚合數(shù)據(jù)結(jié)構(gòu) ? 將數(shù)據(jù)包定義為一個帶有指針的聚合數(shù)據(jù)結(jié)構(gòu)，每個指針指向一個 fbuf。 ? 給數(shù)據(jù)包添加包頭，就是將一個 fbuf添加到聚合數(shù)據(jù)結(jié)構(gòu)中。 Fbufs總結(jié) ? Fbufs運用 了 虛擬內(nèi)存映射的思想，但通過在大量數(shù)據(jù)包之間 分?jǐn)傢撁嬗成溟_銷而做得更高效 ： ? 包緩沖區(qū)映射一次，重復(fù)使用很多次 ? 消除了一般情形中的頁表更新 ? 有人擴(kuò)展了 Fbufs思想，并實現(xiàn)在 Sun Solaris操作系統(tǒng)中 ? DPDK也運用了“一次映射，重復(fù)使用”的思想 應(yīng)用如何使用 Fbufs？ ? 大量已有的應(yīng)用軟件是 根據(jù) 拷貝語義的 API書寫的 ? 然而采用 fbufs后， 在包緩沖區(qū)被其它進(jìn)程使用完之前，應(yīng)用不允許寫或釋放包緩沖區(qū) 修改應(yīng)用 API ? 大量已有的應(yīng)用軟件是 根據(jù) 拷貝語義的 API書寫的 ? 然而采用 fbufs后， 在包緩沖區(qū)被其它進(jìn)程使用完之前，應(yīng)用不允許寫或釋放包緩沖區(qū) ? 解決方案： API 不再保持拷貝語義， 應(yīng)用在寫緩沖區(qū)之前必須進(jìn)行判斷 ? 安全的實現(xiàn)方法： ? 當(dāng)一個 fbuf從應(yīng)用傳遞到內(nèi)核后，內(nèi)核翻轉(zhuǎn)寫允許比特，歸還 fbuf時再重新設(shè)置該位。 已有的網(wǎng)絡(luò)應(yīng)用軟件必須重寫吒？ ? 方法一： ? 給已有的 API增加新的系統(tǒng)調(diào)用，要求高性能的應(yīng)用使用新的系統(tǒng)調(diào)用進(jìn)行重寫。 ? 方法二： ? 用新的擴(kuò)展實現(xiàn)一個公共的 I/O庫，鏈接到該庫的應(yīng)用不需要修改，就可以得到性能提升。 ? 實踐表明， 將應(yīng)用移植到類 fbuf的 API，對應(yīng)用所做的修改不大，且是局部的。 使用 RDMA避免拷貝 ? 通過以太網(wǎng)在兩個工作站之間傳輸 1MB的文件 ： ? 發(fā)送端： CPU將文件劃分 成一系列數(shù)據(jù)塊， 逐層 封裝 后交給網(wǎng)絡(luò)適配器發(fā)送 。 ? 接收端 ： CPU處理每一個 到來的 幀，進(jìn)行 協(xié)議 處理，將數(shù)據(jù)拷貝（可能通過像 fbufs的零拷貝接口）到應(yīng)用緩沖區(qū)。 ? 使用 DMA在磁盤和內(nèi)存之間傳輸 1MB數(shù)據(jù) ： ? CPU設(shè)置 DMA，告 知磁盤 數(shù)據(jù)的寫入地址 ； ? 數(shù)據(jù)傳輸結(jié)束后，磁盤通過中斷通知 CPU。 什么是 RDMA ? RDMA的愿景： ? 數(shù)據(jù)在兩臺計算機(jī)的主存之間直接傳輸，而不需要兩 端 CPU對數(shù)據(jù)包進(jìn)行逐個處理。 ? 兩個網(wǎng)絡(luò)適配器協(xié)作 地 從一個主存讀數(shù)據(jù)，然后寫入另一個主存。 ? RDMA需要解決兩個問題： ? 接收端適配器如何知道應(yīng)將數(shù)據(jù)放在哪兒？ ? 如何保證安全 ？ VAX集群 的 RDMA ? RDMA在 VAX集群中已經(jīng)被使用， VAX集群 為可伸縮應(yīng)用（如數(shù)據(jù)庫應(yīng)用）提供計算平臺 ： ? 系統(tǒng)核心是一個 140Mb/s的網(wǎng)絡(luò) （稱 Computer Interconnect， CL）， 使用一個以太網(wǎng)風(fēng)格的協(xié)議 ? 用戶可以將許多 VAX
職業(yè)教育相關(guān)推薦
鄂ICP備17016276號-1