【正文】 軟件定義存儲SDS摘要：軟件定義存儲, Software Defined Storage。出現(xiàn)背景：應(yīng)對數(shù)據(jù)暴增, 成本降低到普通機架式服務(wù)器硬盤的價位, 兼容各種硬件的開放性, 可在線橫向擴展。 哪些新的技術(shù)顯著地改變了存儲架構(gòu): SSD, SDS, CPU多核技術(shù), 高速網(wǎng)絡(luò), 大容量服務(wù)器和磁盤, 多副本存儲方式。最近兩、三年，在IT圈里，除了云計算、大數(shù)據(jù)、人工智能之外，最火的就屬“軟件定義”了，先是有軟件定義網(wǎng)絡(luò) (SDN,Software Defined Networking)，繼而有軟件定義數(shù)據(jù)中心(SDDC, SoftwareDefined Data Center)和軟件定義存儲(SDS, Software Defined Storage)。轉(zhuǎn)載自百度百家或微信公眾號 樂生活與愛IT。1. 為何出現(xiàn)軟件定義存儲？？人類各項發(fā)明、創(chuàng)新，大多都是為了更加的高效、方便、靈活，并且節(jié)省成本。例如，從種植業(yè)、畜牧業(yè)的出現(xiàn)，到蒸汽機的發(fā)明，到自來水、集中供電的出現(xiàn)，再到互聯(lián)網(wǎng)的出現(xiàn)（信息傳遞更快更高效，更省成本），無一不是如此。IT也不例外，以企業(yè)級存儲為例，近10年來逐漸出現(xiàn)的自動分級、去重、壓縮也是為了更高效地使用存儲資源，更節(jié)省成本。而最近兩三年，軟件定義存儲的出現(xiàn)，依然是為了這個需求。伴隨著需求，還有兩大背景：一是，隨著個性化、物聯(lián)網(wǎng)、萬聯(lián)網(wǎng)的發(fā)展，數(shù)據(jù)以前所未有的速度迅猛增長，數(shù)據(jù)的存放、管理、優(yōu)化、利用成為難題，用戶面臨著如下挑戰(zhàn)：存儲利用率低，數(shù)據(jù)僵化在某些硬件組件里，難以提供隨需動態(tài)變化的服務(wù)等級，缺乏精確的控制，部署和調(diào)整存儲資源需要經(jīng)過復(fù)雜的流程（例如需要應(yīng)用管理員與存儲管理員等進(jìn)行協(xié)調(diào)），自動化程度低，對請求的響應(yīng)慢，……。二是，虛擬化、云計算和硬件技術(shù)的發(fā)展，使得軟件定義成為可能；在此之前，存儲用戶也希望更加高效、簡單、靈活，且成本較低，但十年前，SSD和高速網(wǎng)絡(luò)尚未出現(xiàn)或發(fā)展不夠，分布式存儲難以堪當(dāng)重任；彼時虛擬化云計算還未出現(xiàn)或者尚未成熟，從存儲中調(diào)用控制信息給前端應(yīng)用或OS使用，去實現(xiàn)靈活敏捷的存儲資源的部署，在那時還不是那么迫切。隨著虛擬化和云計算的普及，用戶的思維方式也發(fā)生了轉(zhuǎn)變，逐漸意識到，快速、敏捷、靈活地獲取計算資源已經(jīng)成為可能，并且逐漸要求能按需使用，按需付費。因此，做為虛擬化和云計算里重要的組成部分，存儲也應(yīng)適應(yīng)新的需求而不斷完善。下面圍繞這這兩大背景展開闡述：我們先來看一下，在物聯(lián)網(wǎng)、萬聯(lián)網(wǎng)（IoT， Internet of Things）的伴隨下，未來數(shù)字宇宙的驚人變化。我們知道：KB= 210 x Byte ；MB=210 x KB ；GB=210 x MB ；TB=210 x GB ；PB=210 x TB ；EB=210 x PB ；ZB=210 x EB ；IDC在2012年預(yù)計，到2020年數(shù)字宇宙規(guī)模將超出其在2011年的預(yù)期，達(dá)到40 ZB， 40 ZB到底有多大呢？假設(shè)地球人口按照73億計算，40ZB相當(dāng)于地球上人均5600 GB以上的數(shù)據(jù)。2014年4月，IDC發(fā)現(xiàn)數(shù)據(jù)的增長超過其在2012年的預(yù)期，預(yù)計2020年將達(dá)44ZB的數(shù)據(jù)量，比2012年的預(yù)估增加了10%。有趣的是，在整個全球的數(shù)字宇宙中，2017年新興市場(Emerging Markets)的數(shù)據(jù)所占全球數(shù)據(jù)的百分比，將首次超過成熟市場(Mature Markets，也即指發(fā)達(dá)國家和地區(qū))。預(yù)計，2014～2020的6年里。平均每個IT人員管理的數(shù)據(jù)量從230GB增加到1231GB，5倍多！過去十多年甚至二十多年里，數(shù)據(jù)的增長速度在很多時候超越了摩爾定律（半導(dǎo)體芯片上集成的晶體管將每一兩年翻一番）。從硬盤廠商希捷的一份報告可以發(fā)現(xiàn)：在企業(yè)級SSD普及以前，存放數(shù)據(jù)的盤，無論性能還是容量，與CPU、內(nèi)存比較，都發(fā)展得異常緩慢。以19872004年為例，17年間，CPU和內(nèi)存的性能提升了200萬倍！ 而磁盤僅僅提升了11倍！，為何出現(xiàn)軟件定義存儲？簡而言之，隨著用戶需求的變化（因為數(shù)據(jù)激增），技術(shù)的變革，軟件定義存儲能夠提供給用戶更快的性能，更高的靈活性和開放性，更強的擴展性，更簡單的管理（后面的篇章會提到），更少的投入。以Server SAN為例：從投入成本看：由于省卻了外置磁盤陣列的存儲控制器，存儲光纖交換機，服務(wù)器HBA光纖卡，僅硬件的投入，即可降低到普通機架式服務(wù)器硬盤的價位。它將傳統(tǒng)存儲的專用硬件，轉(zhuǎn)變成通用硬件，通過融合計算，存儲達(dá)到降低成本的目的；從開放性看：只要通過兼容性驗證，它支持業(yè)界標(biāo)準(zhǔn)的硬件，如服務(wù)器、SSD、磁盤、IO控制器，并且能在最快時間采納新的硬件，靈活性極高；從擴展性看：分布式的存儲，都能支持在線的橫向擴展，能自動地在一個資源池里線性地、同時地增加計算資源和存儲資源，使用戶獲得可預(yù)測的性能和容量；2. 什么是軟件定義存儲？ 什么是軟件定義存儲在IT基礎(chǔ)架構(gòu)領(lǐng)域的軟件定義，最早出現(xiàn)的是：軟件定義網(wǎng)絡(luò)(SDN)。SDN起源于2006年斯坦福大學(xué)的Clean Slate研究課題。2009年，Mckeown教授正式提出了SDN概念。通過將網(wǎng)絡(luò)設(shè)備的控制平面與數(shù)據(jù)平面分離開來，并實現(xiàn)可編程化控制，實現(xiàn)了網(wǎng)絡(luò)流量的靈活控制，為核心網(wǎng)絡(luò)及應(yīng)用的創(chuàng)新提供了良好的平臺。2012年，VMware在其VMworld大會上首次提出軟件定義數(shù)據(jù)中心(SDDC)的概念。作為VMware軟件定義數(shù)據(jù)中心五大組成部分(計算、存儲、網(wǎng)絡(luò)、管理和安全)之一，軟件定義存儲(SDS)的概念也首次被提出。EMC公司在當(dāng)年的EMC World發(fā)布大會上也發(fā)布了SDS戰(zhàn)略，引發(fā)了業(yè)界對SDS的大討論，SDS迅速成為存儲業(yè)界的研究熱點。不過，時至今日，SDS的定義并沒有統(tǒng)一的標(biāo)準(zhǔn)，各家權(quán)威咨詢機構(gòu)，各大廠商等，都對這一概念有著不同的解釋或描述。下面我們列出主要的機構(gòu)和廠商對SDS的描述，看看有何共性和差異。 IDCIDC通過對SDS市場的深入了解和研究，對SDS定義如下：SDS將數(shù)據(jù)中心或者跨數(shù)據(jù)中心的各種存儲資源抽象化、池化，以服務(wù)的形式提供給應(yīng)用，滿足應(yīng)用按需(如容量、性能、QoS、SLA等)自動化使用存儲的需求。 GartnerGartner副總裁Neil MacDonald在其位于Gartner網(wǎng)站的博客上撰寫道：SDS必備的四個基本特征是：Abstraction (抽象化)、Instrumentation、Automation(自動化)和Orchestration (編排)。另外，2013年10月Gartner發(fā)布2014年十大戰(zhàn)略技術(shù)中，重要的組成部分就有：軟件定義一切。Gartner認(rèn)為：軟件定義一切囊括了在基礎(chǔ)設(shè)施可編程性標(biāo)準(zhǔn)提升下不斷增長的市場勢頭、由云計算內(nèi)在自動化驅(qū)動的數(shù)據(jù)中心互通性、DevOps和快速的基礎(chǔ)設(shè)施提供等。軟件定義一切還包括各種舉措，如OpenStack、OpenFlow、Open Compute Project和Open Rack，共享相同的愿景。開放性將成為供應(yīng)商的目標(biāo)，SDN(網(wǎng)絡(luò))、SDDC(數(shù)據(jù)中心)、SDS(存儲)和SDI(基礎(chǔ)架構(gòu))技術(shù)的供應(yīng)商都力圖成為所在領(lǐng)域的領(lǐng)導(dǎo)，但在恪守開放性和標(biāo)準(zhǔn)方面卻可能各有各的打算。 VMwareVMware做為SDS概念的創(chuàng)造者，對SDS定義如下：軟件定義的存儲產(chǎn)品是一個將硬件抽象化的解決方案，它使你可以輕松地將所有資源池化并通過一個友好的用戶界面(UI)或API來提供給消費者。一個軟件定義的存儲的解決方案使得你可以在不增加任何工作量的情況下進(jìn)行縱向擴展(ScaleUp)或橫向擴展(ScaleOut)。軟件定義存儲是VMware軟件定義數(shù)據(jù)中心的五大組成部分之一。VMware認(rèn)為，軟件定義的數(shù)據(jù)中心，是 IT 演變的下一個階段，是迄今為止最有效、恢復(fù)能力最強和最經(jīng)濟高效的云計算基礎(chǔ)架構(gòu)方法。SDDC方法論將對存儲、網(wǎng)絡(luò)連接、安全和可用性應(yīng)用池化、抽象化和自動化，整個數(shù)據(jù)中心由軟件自動控制。 基礎(chǔ)架構(gòu)提供的服務(wù)將聚合起來，并與基于策略的智能調(diào)配、自動化和監(jiān)控功能結(jié)合在一起使用。應(yīng)用編程接口和其他連接器支持無縫延展到私有云、混合云和公有云平臺。 SNIA (全球網(wǎng)絡(luò)存儲工業(yè)協(xié)會)實際上，最權(quán)威的SDS的定義莫過于SNIA對SDS的定義了，作為一家非盈利的行業(yè)組織，SNIA擁有420多家來自世界各地的公司成員以及7,100多位個人成員，遍及整個存儲行業(yè)。SNIA曾先后定義了DAS, SAN, NAS, 對象存儲及云存儲等標(biāo)準(zhǔn)。SNIA認(rèn)為，SDS需要滿足的是：提供自助的服務(wù)接口，用于分配和管理虛擬存儲空間。SDS應(yīng)該包括如下功能：n 自動化n 標(biāo)準(zhǔn)接口n 虛擬數(shù)據(jù)路徑n 擴展性n 透明性(為了讓大家更好的理解SNIA對SDS的看法，以下引用天璣數(shù)據(jù) – “小編愛翻譯” 曾經(jīng)翻譯的版本 《SNIA軟件定義存儲白皮書2015漢化先行版》，其中的部分內(nèi)容，來對比一下傳統(tǒng)存儲與軟件定義存儲的區(qū)別)傳統(tǒng)存儲部署往往離不開存儲管理員親自創(chuàng)建各種虛擬存儲設(shè)備(塊存儲邏輯單元，文件系統(tǒng)共享，對象容器)供應(yīng)用使用。在后臺，存儲管理員還得為這些虛擬設(shè)備部署數(shù)據(jù)服務(wù)。通常情況下，單獨數(shù)據(jù)服務(wù)需配備屬于它的單獨管理接口。一旦數(shù)據(jù)部署發(fā)生變更，存儲在虛擬設(shè)備上的所有數(shù)據(jù)均會受到影響。數(shù)據(jù)請求通信經(jīng)常發(fā)生其它存儲接口帶外傳輸。下圖是傳統(tǒng)人工傳達(dá)數(shù)據(jù)的請求方式：如上圖所示，該存儲并不太“軟件定義”，反而“存儲管理員定義”更貼切。這種存儲部署方式存在一個最大的問題，擴容艱難。由于剛性架構(gòu)限制系統(tǒng)資源只能靜態(tài)分配，這就意味著后續(xù)新部署的資源無法歸入原先存儲體系。該傳統(tǒng)存儲部署方式會導(dǎo)致較高的存儲TCO(總體擁有成本)。為實現(xiàn)存儲基礎(chǔ)架構(gòu)的自動化機制，降低人工管理運維成本，數(shù)據(jù)請求需直接傳達(dá)至自動化軟件，且