【正文】 定位今天的數(shù)據(jù)中心，除了需要面對(duì)數(shù)據(jù)量的急劇增長以及存儲(chǔ)基礎(chǔ)架構(gòu)的復(fù)雜性之外，如何在統(tǒng)一存儲(chǔ)架構(gòu)中支持多種數(shù)據(jù)（塊數(shù)據(jù)、文件數(shù)據(jù)、對(duì)象數(shù)據(jù)）的綜合存儲(chǔ)需求也是目前大部分企業(yè)普遍面臨的問題，企業(yè)需要在滿足傳統(tǒng)的高可用性、性能、可擴(kuò)展性之外，能夠從容應(yīng)對(duì)管理、運(yùn)維以及 SLO 要求。Hitachi Data Systems 非常了解企業(yè)面臨的這些挑戰(zhàn)，因此開發(fā)了服務(wù)導(dǎo)向型存儲(chǔ)方法，使應(yīng)用和業(yè)務(wù)要求能夠與存儲(chǔ)屬性協(xié)調(diào)一致。Hitachi Unified Storage (HUS)100 產(chǎn)品家族是 HDS 中端產(chǎn)品線新一代產(chǎn)品，作為廣受歡迎的 AMS2022 系列的繼任者，HUS 產(chǎn)品線繼承了 HDS 產(chǎn)品一貫的可靠性、高性能以及無瓶頸的整體優(yōu)化設(shè)計(jì)。HUS 作為 HDS 整體存儲(chǔ)解決方案中重要部分，能夠讓用戶從一個(gè)圖形界面管理所有的存儲(chǔ)基礎(chǔ)架構(gòu)從而極大地提升運(yùn)維效率。HDS 拓展了統(tǒng)一存儲(chǔ)定義，通過統(tǒng)一平臺(tái)存儲(chǔ)塊、文件和對(duì)象數(shù)據(jù)，幫助客戶有效應(yīng)對(duì)復(fù)雜、快速的數(shù)據(jù)增長需求，所有數(shù)據(jù)通過存儲(chǔ)池提供統(tǒng)一的供應(yīng)、管理以及生命周期管理。 （系統(tǒng)內(nèi)數(shù)據(jù)快照和克?。?? Hitachi CopyonWrite 快照支持對(duì)單一卷 1024 個(gè)快照，單一系統(tǒng)支持100,000 個(gè)快照? 通過 Hitachi TrueCopy174。 Extended Distance 實(shí)現(xiàn)同步、異步的存儲(chǔ)高可用以及復(fù)制管理? 重新設(shè)計(jì)的緩存管理技術(shù)，從而使系統(tǒng)軟件消耗更少的系統(tǒng)緩存，從而為用戶數(shù)據(jù)提供更多的可用緩存進(jìn)行讀寫加速；? 通過閃存芯片為緩存提供掉電保護(hù)，在提供無限時(shí)的數(shù)據(jù)保護(hù)之外，避免了傳統(tǒng)方式中大量的電池配置。后端采用高性能 6GB SAS 架構(gòu)，并支持多種密度和型號(hào)的磁盤驅(qū)動(dòng)器以及磁盤擴(kuò)展柜選擇。 遠(yuǎn)程監(jiān)控支持性能 ? 基于硬件的雙控制器負(fù)載均衡技術(shù)，無性能瓶頸的整體設(shè)計(jì) ? 點(diǎn)對(duì)點(diǎn) SAS 背板連接，高達(dá) 192 Gbps 的背板帶寬，無仲裁設(shè)計(jì) ? 全雙工 6Gbps SAS 驅(qū)動(dòng)器接口設(shè)計(jì)，保證在同一鏈接上能夠同時(shí)收發(fā)指令和數(shù)據(jù)信息? 支持 2/4/8 Gbit/sec 主機(jī)光纖接口? 支持 1 Gbit/sec 或 10 Gbit/sec iSCSI 接口。? 在 FIND/SVP 調(diào)查中被評(píng)為總體服務(wù)、支持與技術(shù)性能連續(xù) 4 年排名第一”? 通過日立數(shù)據(jù)系統(tǒng)公司全球解決方案服務(wù)可獲得全面專業(yè)的規(guī)劃和 Enablement服務(wù)。然而，這樣的建設(shè)思路造成了新的存儲(chǔ)孤島以及低下的資源利用率。對(duì)于統(tǒng)一存儲(chǔ)的定義，Evaluator Group 在 2022 年 3 月的報(bào)告中給出了一個(gè)定義：Unified Storage is a storage system that provides both file and block 5 / 72access simultaneously. Theblock access is acplished through use of an interface such as Fibre Channel, SAS, or iSCSI over Ether. The file‐based access is to a file system on the storage system using either CIFS or NFS over Ether.統(tǒng)一存儲(chǔ)即能夠同時(shí)提供文件和塊訪問的存儲(chǔ)系統(tǒng)，塊訪問通過 FC、 SAS、 iSCSI協(xié)議，文件訪問通過以太網(wǎng)的 CIFS 或 NFS 協(xié)議 HDS 在對(duì)客戶統(tǒng)一存儲(chǔ)需求的充分調(diào)研基礎(chǔ)之上，提出了以下的 HDS 統(tǒng)一存儲(chǔ)框架結(jié)構(gòu)。依靠 HDS 高端 VSP 平臺(tái)，能夠?yàn)榭蛻舸罱ò悩?gòu)陣列的綜合存儲(chǔ)平臺(tái)，而在此之上對(duì)外提供 SAN、NAS、CAS、VTL 等多種存儲(chǔ)服務(wù)。而今天的 HUS 統(tǒng)一存儲(chǔ)是將 HDS 在 VSP 統(tǒng)一存儲(chǔ)平臺(tái)的技術(shù)和經(jīng)驗(yàn)濃縮為一個(gè)統(tǒng)一的存儲(chǔ)產(chǎn)品，幫助更多的客戶實(shí)現(xiàn)“單一平臺(tái)承載所有數(shù)據(jù)”的理念。 獨(dú) 特 的 動(dòng) 態(tài) 虛 擬 控 制 器 和 自 動(dòng) 負(fù) 載 均 衡HUS100 存 儲(chǔ) 系 統(tǒng) 的 動(dòng) 態(tài) 虛 擬 控 制 器 （ Dynamic Virtual Controller） 技 術(shù) 延 續(xù)了 在 最 早 在 AMS2022 存 儲(chǔ) 系 統(tǒng) 上 引 入 的 對(duì) 稱 雙 活 控 制 器 技 術(shù) 。 這 一 方面 難 以 做 到 真 正 的 負(fù) 載 均 衡 ， 另 一 方 面 在 主 控 制 器 故 障 切 換 到 備 份 控 制 器 時(shí)有 訪 問 的 中 斷 ， 至 少 幾 秒 到 幾 十 秒 ， 很 可 能 導(dǎo) 致 數(shù) 據(jù) 庫 和 系 統(tǒng) 的 宕 機(jī) ；? 由 于 所 有 的 LU 都 已 經(jīng) 手 工 分 配 給 各 自 的 主 控 制 器 ， 當(dāng) 大 數(shù) 據(jù) 量 訪 問 到 來 時(shí) ，每 個(gè) 控 制 器 只 能 “各 自 為 戰(zhàn) ”的 處 理 各 自 管 理 的 LU， 而 手 工 分 配 很 難 做 到真 正 的 均 衡 ， 總 會(huì) 造 成 “忙 的 忙 死 ， 閑 的 閑 死 ”無 法 調(diào) 度 的 局 面 ， 這 才 是 中8 / 72端 存 儲(chǔ) 區(qū) 別 于 高 端 存 儲(chǔ) 技 術(shù) 的 最 大 問 題 ；? 由 于 控 制 器 的 割 裂 ， 造 成 主 機(jī) 端 雙 HBA 的 割 裂 ， 實(shí) 際 每 個(gè) HBA 卡 只 能 訪 問 一個(gè) 控 制 器 ， 無 法 真 正 發(fā) 揮 服 務(wù) 器 多 路 經(jīng) 負(fù) 載 均 衡 軟 件 的 作 用 ；? 同 時(shí) ， 由 于 雙 控 制 器 上 割 裂 式 的 訪 問 ， 無 法 實(shí) 現(xiàn) 在 線 控 制 器 微 碼 升 級(jí) 。 中 端 存 儲(chǔ) 的 LU 處 理 再 也 無 須 人 為 干預(yù) 、 手 工 分 配 了 。后 端 的 自 均 衡 LUN 調(diào) 整 在 前 后 端 實(shí) 現(xiàn) 了 Any to Any 的 訪 問 同 時(shí) ， HUS 還 進(jìn) 行 了 更 深 層 次 的 后 端處 理 自 均 衡 設(shè) 計(jì) ： 在 原 有 的 控 制 器 管 理 LU 的 格 局 下 ， 系 統(tǒng) 可 以 自 動(dòng) 調(diào) 節(jié) 控 制 器 所 管 理 的 資源 ， 即 當(dāng) 控 制 器 的 CPU 壓 力 不 均 衡 時(shí) ， 可 進(jìn) 行 LUN 一 級(jí) 的 自 動(dòng) 調(diào) 整 來 保 證 性 能 的 優(yōu)化 ， 某 一 個(gè) 控 制 器 非 常 繁 忙 時(shí) ， HUS 系 統(tǒng) 會(huì) 將 其 處 理 的 一 些 LU 調(diào) 整 到 另 一 個(gè) 空 閑 的控 制 器 處 理 ， 從 而 達(dá) 到 二 個(gè) 控 制 器 負(fù) 載 的 最 佳 平 衡 。HUS 的 增 強(qiáng) 組 件 包 括 ：? 后 端 處 理 能 力 的 提 升? 新 一 代 專 用 控 制 芯 片? 通 用 處 理 器 的 升 級(jí)高 速 SAS 后 端 技 術(shù)2022 年 發(fā) 布 的 AMS2022 系 列 最 先 在 中 端 磁 盤 機(jī) 種 引 入 了 SAS 后 端 技 術(shù) ， 時(shí) 至 今日 ， SAS 已 經(jīng) 發(fā) 展 成 為 主 流 的 磁 盤 機(jī) 后 端 技 術(shù) 。HUS100 系 列 的 后 端 采 用 模 塊 化 架 構(gòu) ， 每 個(gè) 模 塊 包 括 1 個(gè) SAS I/O Controller Processor， 控 制 2 個(gè) 6Gbps SAS 的 四 路 寬 端 口 ， 后 端 控 制 模 塊 的 示 意 圖 如 下 ：11 / 72后 端 控 制 模 塊SAS I/O Controller Processor8x 6Gbps SAS linksSMX6GbpsSAS四 路 寬 端 口 6GbpsSAS四 路 寬 端 口SMX專 用 DMA控 制 引 擎磁 盤 擴(kuò) 展 柜? HUS110 每 個(gè) 控 制 器 配 置 1 個(gè) 模 塊 ， 支 持 8 個(gè) 6Gbps SAS 通 道? HUS130 每 個(gè) 控 制 器 配 置 1 個(gè) 模 塊 ， 支 持 16 個(gè) 6Gbps SAS 通 道? HUS150 每 個(gè) 控 制 器 配 置 2 個(gè) 模 塊 ， 支 持 32 個(gè) 6Gbps SAS 通 道新 一 代 專 用 I/O 處 理 器HUS100 系 列 采 用 了 Hitachi 最 新 的 第 九 代 專 用 DCTL I/O 處 理 器 ， 其 功 能 包 括 ：? 緩 存 空 間 的 管 理? 硬 件 RAID 加 速? 前 后 端 數(shù) 據(jù) 交 換 的 DMA 引 擎 ， 實(shí) 現(xiàn) 磁 盤 機(jī) 前 后 端 高 速 數(shù) 據(jù) 交 換? 意 外 掉 電 情 況 下 緩 存 數(shù) 據(jù) 的 保 護(hù)相 比 于 AMS2022 系 列 ， HUS100 系 列 的 專 用 I/O 處 理 器 由 以 下 的 增 強(qiáng) ：? 采 用 DDR3 緩 存 ， 緩 存 性 能 大 大 提 升? DMA 通 道 增 加 了 一 倍 ， 內(nèi) 部 數(shù) 據(jù) 吞 吐 量 明 顯 增 強(qiáng)? RAID 加 速 DRR 芯 片 增 加 了 一 倍 ， 可 以 改 善 RAID 運(yùn) 算 性 能? 緩 存 保 護(hù) 方 面 增 加 了 Flash 卡 ， 用 于 意 外 掉 電 時(shí) 緩 存 的 數(shù) 據(jù) 保 護(hù)12 / 72全 新 的 通 用 處 理 器 和 內(nèi) 部 總 線HUS110 系 列 采 用 了 Intel Core i Xeon “Jasper Forest” 處 理 器 和 最 新 的 芯片 組 技 術(shù) ， 采 用 PCIe 總 線 實(shí) 現(xiàn) 組 件 互 聯(lián) ， 帶 寬 比 AMS2022 系 列 提 升 1 倍 。每 顆 “Jasper Forest”處 理 器 都 配 有 本 地 內(nèi) 存 ， 而 無 須 占 用 寶 貴 的 用 戶 緩 存 空間 。MML 的 示 意 圖 如 下 ：User Data Others COW/TCE SI/TC/MVMMemory Management LayerQF TCE COW TC SI/MVMRG DP Pool DMLUUser Area System AreaCache Memory13 / 72MML 的 原 理 是 利 用 部 分 磁 盤 空 間 實(shí) 現(xiàn) 了 對(duì) 緩 存 中 控 制 信 息 的 虛 擬 內(nèi) 存 管 理 ， 這 就消 除 了 緩 存 空 間 容 量 有 限 帶 來 的 對(duì) 軟 件 功 能 的 限 制 ， 同 時(shí) 對(duì) 軟 件 的 性 能 完 全 沒 有 影 響 。14 / 72Cache Partition Manager——高 速 緩 存 分 區(qū) 功 能Cache Partition Manager（高速緩存分區(qū)功能）是 AMS 和 WMS 存儲(chǔ)系統(tǒng)產(chǎn)品線的一個(gè)關(guān)鍵改變，可確保應(yīng)用的服務(wù)質(zhì)量。Cache Partition Manager 通過以下機(jī)制發(fā)揮作用：分區(qū)技術(shù)的使用? 將 Cache 分 為 最 多 32 個(gè) 分 區(qū) 。? 根 據(jù) 應(yīng) 用 的 I/O 特 性 不 同 ， 可 以 用 多 種 不 同 的 方 法 優(yōu) 化 每 個(gè) 分 區(qū) 的 分 段 大 小 。 可 調(diào) 的 分 段 尺 寸 將大 大 提 高 緩 存 訪 問 的 命 中 率 。 高 安 全 性 247 運(yùn) 行 保 障與 HDS VSP 系列相似，HDS HUS 100 也采用了全冗余結(jié)構(gòu)設(shè)計(jì)，保證業(yè)務(wù)的連續(xù)性。采 用 虛 擬 端 口 技 術(shù) 簡(jiǎn) 化 了 主 機(jī) 連 接 ， 保 障 了 系 統(tǒng) 的 安 全 性在沒有主機(jī)存儲(chǔ)域技術(shù)的時(shí)候，異構(gòu)主機(jī)平臺(tái)實(shí)施數(shù)據(jù)集中時(shí)，用戶需要為存儲(chǔ)端口的配置花費(fèi)很多精力；這因?yàn)椴煌闹鳈C(jī)與存儲(chǔ)系統(tǒng)間的 SCSI 指令是有區(qū)別、互相排斥的，這樣在一個(gè)混合的環(huán)境中有些主機(jī)平臺(tái)是不能夠與其他平臺(tái)共享一個(gè)物理連接；即使是使用交換機(jī)的分區(qū)管理也會(huì)造成系統(tǒng)的嚴(yán)重隱患。HSD（HOST STORAGE DOMAIN）如下圖：每個(gè)物理端口可以有 128 個(gè)主機(jī)存儲(chǔ)域，每個(gè)邏輯端口都可以有自己獨(dú)立的連接參數(shù)設(shè)定和 LUN 映射，每個(gè)邏輯端口可以有 256 個(gè) LUN映射。通過 HSD 技術(shù)還可以方便用戶在 SAN 環(huán)境中的 Performance OnDemand 系統(tǒng)實(shí)施；通過劃分邏輯端口，可以方便的將異構(gòu)服務(wù)器同時(shí)連接到一個(gè)物理端口上，這樣可以將對(duì)系統(tǒng)要求不高的服務(wù)器共享連接到一個(gè)物理端口。 使 用 動(dòng) 態(tài) 備 盤 技 術(shù) 在 RAID 組 中 有 1 個(gè) 磁 盤 損 壞 的 情 況下 可 以 對(duì) 系 統(tǒng) 性 能 影 響 比 較 小 的 情 況 下 恢 復(fù) 損 壞 磁 盤 上 的 數(shù) 據(jù) 。因此整個(gè)RAID 5 磁盤組的性能影響降低到最低。當(dāng)錯(cuò)誤磁盤不能夠進(jìn)行讀寫操作時(shí)，HDS HUS 的系統(tǒng)微碼不能進(jìn)行動(dòng)態(tài)備盤操作，此時(shí)系統(tǒng)會(huì)通過Correction Copy 的方法進(jìn)行數(shù)據(jù)恢復(fù)，如下圖Correction Copy 操作可以看到，雖然在進(jìn)行 Correction Copy 時(shí)服務(wù)器依然可以進(jìn)行正常大 I/O 操作，但是由于 RAID 5 組中的所有磁盤都要參與 XOR 計(jì)算因此性能會(huì)非常差。通過 HDS HUS 系列的圖形化管理軟件可以看到系統(tǒng)在出廠時(shí)定義的磁盤錯(cuò)誤檢測(cè)的 Threshold 并且可以實(shí)時(shí)報(bào)告任何一個(gè)磁盤的錯(cuò)誤計(jì)數(shù)，通過Threshold 定義，當(dāng)磁盤可恢復(fù)錯(cuò)誤或不可恢復(fù)錯(cuò)誤數(shù)累計(jì)超過定義的數(shù)字 HDS HUS 系統(tǒng)微碼就會(huì)啟動(dòng)動(dòng)態(tài)備盤操作。18 / 72圖 形 化 管 理 的 I/O 通 道 管 理 軟 件 保 證 主 機(jī) I/O 操 作 的 連 續(xù) 性HD0000LM（Hitachi Dynamic Link Manager）是 HD