第二部分端節(jié)點算法學(編輯修改稿)
2024-08-28 13:07 本頁面
【文章內(nèi)容簡介】 計算機和網(wǎng)絡硬盤連接到 CL ? RDMA的需求背景： ? 在遠 程硬盤和 VAX機 的 內(nèi)存之間 有效 傳輸大量數(shù)據(jù) ? 要求 包含文件數(shù)據(jù)的包在進入目的適配器之后 ， 直接到達它的存放位置 傳統(tǒng)網(wǎng)絡的接收端 ? 接收端應用將 一些 頁 （如頁 3） 放 入一個隊列交給適配器，用于接收應用到來的包。 ? 假設 數(shù)據(jù)包的到達順序為包 包 包 2，則這些包被依次放入頁 3。 ? 數(shù)據(jù)包接收完后， CPU做一個重映射 （若文件很大，重映射的開銷很大） 。 VAX 的 RDMA 解決方案 ? 接收端 應用 鎖住一些物理頁 ， 用作文件傳輸?shù)哪康拇鎯^(qū)域 （但 呈現(xiàn)出來的邏輯視圖是由一些地址連續(xù)的虛擬頁組成的一個緩沖區(qū) ），然后 將 緩沖區(qū)名字傳送到發(fā)送 端 應用 。 ? 發(fā)送 端 應用 將緩沖區(qū)名字及包存放的偏移量 隨 同數(shù)據(jù)包一起發(fā)送 。 （ P10， 在包頭中傳遞線索 ） ? 接收端適配器 根據(jù)緩沖區(qū)名字和偏移量，將數(shù)據(jù)存放到指定的緩沖區(qū)（ 不需要頁重映射 ） 。 ? 為實現(xiàn) RDMA，網(wǎng)絡 適配器必須實現(xiàn)傳輸層協(xié)議 。 如何保證安全？ ? 允許將一個攜帶緩沖區(qū) ID的網(wǎng)絡包直接寫入內(nèi)存，是一個明顯的安全隱患。 ? 為降低安全風險， ? 緩沖區(qū) ID中包含一個難以猜測的隨機串 ? VAX集群 只在本集群 內(nèi)部 可信 的計算機 之間使用RDMA傳遞數(shù)據(jù) RDMA在 SAN中的應用 ? 存儲區(qū)域網(wǎng)（ Storage Area Network， SAN） ： ? 一種后端網(wǎng)絡， 用于 將大量的計算機和網(wǎng)絡硬盤連接在一起。 ? 目前有好幾種這樣的技術： ? Fiber Channel（ FC） ? Infiniband ? Inter Small Computer System Interface（ iSCSI） 把避免拷貝技術擴展到文件系統(tǒng) 考慮消除 copy 2 共享內(nèi)存方法 ? 類 UNIX操作系統(tǒng)提供一個系統(tǒng)調(diào)用 mmap()， 允許應用（如 web服務器）將一個文件映射到 自己 的虛擬地址空間 。 ? 概念上，當一個文件被映射到一個應用的地址空間，這個應用就好像在 自己 的內(nèi)存中緩存了這份文件。 當然，這個緩存的文件只是一組映射。 ? 如果 Web程序 將文件映射到自己的地址空間，則它和文件 cache訪問的是同一組物理頁（免除了拷貝） 。 Flash Web服務器 ? Web應用程序 將經(jīng)常用到的文件映射到 自己的 內(nèi)存空間，以 避免 copy 1和 copy 2。 ? 受到可分配給文件頁的物理頁數(shù)量及頁表映射的限制， Flash Web服務器只能 緩存和映射最近常用的文件 。 ? 由于同樣的限制， Flash Web服務器 只是 緩存了一些文件分片 （通常是文件的頭幾個分片） ，并使用 LRU策略將一段時間未用的文件 unmap。 尚未解決的問題 ? Flash Web 不能避免 web服務器與 CGI進程之間的拷貝 ： ? CGI程序生成 的 動態(tài)內(nèi)容通過 UNIX管道傳給 web服務器 ； ? 典型地， 管道 要在 兩個地址空間之間拷貝內(nèi)容。 ? 一個被訪問多次的文件，不能緩存 檢查和 ： ? 傳統(tǒng) 的 緩存方案 需要從 數(shù)據(jù)包內(nèi)容 （ a） 映射到檢查和 （ f(a)），這很低效！ 問題 ? fbufs可以消除 copy 3， mmap()可以 消除copy 2， 把 fbufs 和 mmap() 起來 能不能消除 copy2 和 copy3 呢？ 可以結合 fbufs 和 mmap 吒？ ? 在 mmap中， 應用 選擇緩沖區(qū)的地址和格式 。 ? 在 fbufs中， 內(nèi)核 選擇緩沖區(qū)的地址和格式。 可以結合 fbufs 和 mmap 吒？ ? 在 mmap中， 應用 選擇緩沖區(qū)的地址和格式 。 ? 在 fbufs中， 內(nèi)核 選擇緩沖區(qū)的地址和格式。 ? 如果應用 將文件映射到 其虛擬地址空間的一個緩沖區(qū)，這個緩沖區(qū)不能用 fbuf（內(nèi)核地址空間）發(fā)送，必須要有一次物理拷貝 ！ 可以結合 fbufs 和 mmap 吒？ ? 在 mmap中， 應用 選擇緩沖區(qū)的地址和格式 。 ? 在 fbufs中， 內(nèi)核 選擇緩沖區(qū)的地址和格式。 ? 如果應用 將文件映射到 其虛擬地址空間的一個緩沖區(qū)，這個緩沖區(qū)不能用 fbuf（內(nèi)核地址空間）發(fā)送，必須要有一次物理拷貝 ！ ? 當消除 copy 2時， copy 3不能避免 ！ IOLite ? IOLite推廣 fbufs 至包含文件系統(tǒng)， 從而 不必使用 mmap。 ? IOLite可以一攬子解決前面所有的問題： ? 消除 copy 2和 copy 3 ? 消除 CGI程序和 web服務器之間的拷貝 ? 緩存?zhèn)魉瓦^的數(shù)據(jù)包的檢查和 IOLite 的主要思想 ? IOLite 借用了 fbufs 的主要思想： ? 為同一條路徑上的進程映射相同的物理頁，實現(xiàn) 只讀共享 ? 推遲創(chuàng)建路徑的緩沖區(qū) ? 使用緩沖區(qū)聚合 以允許添加包頭
職業(yè)教育相關推薦
鄂ICP備17016276號-1