什么是超融合？超融合基礎(chǔ)架構(gòu)的本質(zhì)是什么？
近年來(lái)各個(gè)行業(yè)對(duì)超融合（Hyperconverged Infrastructure, 簡(jiǎn)稱 HCI）的關(guān)注度越來(lái)越高，但各家廠商的超融合架構(gòu)實(shí)現(xiàn)方法各有不同。我們?cè)谶@里不評(píng)判對(duì)錯(cuò)，也不去探究這些是不是真正的超融合，而是重新追本溯源，思考為什么超融合現(xiàn)在被關(guān)注，什么樣的 IT 架構(gòu)更 “合適” 于當(dāng)今的商業(yè)。
首先，關(guān)于什么是超融合，我們可以參考維基百科中的如下定義：
超融合基礎(chǔ)架構(gòu)（hyper-converged
infrastructure）是一個(gè)軟件定義的 IT 基礎(chǔ)架構(gòu)，它可虛擬化常見(jiàn)“硬件定義”系統(tǒng)的所有元素。HCI
包含的最小集合是：虛擬化計(jì)算（hypervisor），虛擬存儲(chǔ)（SDS）和虛擬網(wǎng)絡(luò)。HCI 通常運(yùn)行在標(biāo)準(zhǔn)商用服務(wù)器之上。
SmartX 選擇超融合架構(gòu)的原因，是傳統(tǒng)存儲(chǔ)解決不了現(xiàn)在企業(yè)數(shù)據(jù)中心的問(wèn)題。據(jù)麥肯錫研究顯示，全球的 IT 數(shù)據(jù)每年在以 40% 的速度增加中。數(shù)據(jù)正在逐步影響商業(yè)，企業(yè)通過(guò)數(shù)據(jù)的分析來(lái)做決策與管理。完成快速的分析決策和管理，就需要借助強(qiáng)大的數(shù)據(jù)中心。下圖為傳統(tǒng) SAN 存儲(chǔ)：
但是，光靠越來(lái)越快、核數(shù)越來(lái)越多的 CPU 是不夠的，瓶頸在于傳統(tǒng)存儲(chǔ)的硬盤(pán)太慢了，CPU 大部分計(jì)算能力都空閑或者說(shuō)在等待存儲(chǔ)數(shù)據(jù)傳輸過(guò)來(lái)。傳統(tǒng)存儲(chǔ)容量和性能不具備和計(jì)算能力匹配的可擴(kuò)展性，不能滿足企業(yè)進(jìn)行數(shù)據(jù)訪問(wèn)的需求。
這個(gè)問(wèn)題并不是現(xiàn)在才有。Google 很早遇到這個(gè)問(wèn)題。那么 Google 是如何做的呢？
作為一個(gè)給全世界互聯(lián)網(wǎng)網(wǎng)民提供數(shù)據(jù)檢索的企業(yè)，Google 考慮過(guò) EMC、IBM，還有當(dāng)年的 SUN 存儲(chǔ)產(chǎn)品，但是都解決不了它的問(wèn)題。無(wú)論是容量還是性能，這些公司的產(chǎn)品都無(wú)法滿足 Google 的規(guī)模需求。于是 Google 只能自己建立一個(gè)適合自己的數(shù)據(jù)搜索的存儲(chǔ)結(jié)構(gòu)了。
Google 優(yōu)秀的計(jì)算機(jī)科學(xué)家們，打破了傳統(tǒng)的存儲(chǔ)思維，利用服務(wù)器的本地硬盤(pán)和軟件構(gòu)建了一個(gè)容量和性能不斷可擴(kuò)展的分布式文件系統(tǒng)，并在其上構(gòu)建了其搜索和分析的計(jì)算引擎。
不用把數(shù)據(jù)從存儲(chǔ)端取出來(lái)，然后通過(guò)網(wǎng)絡(luò)傳輸?shù)接?jì)算端，而是將計(jì)算直接分發(fā)到存儲(chǔ)上運(yùn)行，將 “計(jì)算” 作為傳輸單元進(jìn)行傳輸，這樣大量的存儲(chǔ)數(shù)據(jù)都是本地訪問(wèn)，不需要再跨網(wǎng)絡(luò)上傳輸了，自然訪問(wèn)很快。于是乎，自然而然地，“計(jì)算” 和 “存儲(chǔ)” 運(yùn)行（“融合”）在了一個(gè)服務(wù)器上，這里也看到超融合架構(gòu)的一個(gè)優(yōu)勢(shì)就是，本地訪問(wèn)數(shù)據(jù)，不必跨網(wǎng)絡(luò)。
現(xiàn)代企業(yè)的數(shù)據(jù)量越來(lái)越大，應(yīng)用越來(lái)越多，他們開(kāi)始面臨當(dāng)年 Google 遇到的問(wèn)題，CIO 要考慮怎么更高效的構(gòu)建自己的計(jì)算和存儲(chǔ)的基礎(chǔ)架構(gòu)，來(lái)滿足應(yīng)用的數(shù)據(jù)訪問(wèn)需求。
虛擬化為更容易的管理應(yīng)用而生，它解決了 CPU、內(nèi)存資源閑置的問(wèn)題。但隨著虛擬化的大規(guī)模應(yīng)用，虛擬機(jī)越來(lái)越多，虛擬機(jī)在傳統(tǒng)存儲(chǔ)上運(yùn)行卻越來(lái)越慢了�！奥� 造成 “體驗(yàn)差”，“體驗(yàn)差” 成為了限制虛擬化應(yīng)用的最大的瓶頸。這里面的最重要原因自然是，存儲(chǔ)的 I/O 性能不夠，大量的虛擬機(jī)和容器同時(shí)運(yùn)行，I/O 的混合，使得隨機(jī)讀寫(xiě)急劇增加，傳統(tǒng)存儲(chǔ)的結(jié)構(gòu)無(wú)法承受大量的隨機(jī) I/O。
超融合恰恰是為了解決這個(gè)問(wèn)題，才被帶到了虛擬化和容器領(lǐng)域。同時(shí)，業(yè)內(nèi)也存在不同的解決 I/O 問(wèn)題的方法，我們先嘗試分析下其他的解決方法。
- 解決方法一：在存儲(chǔ)設(shè)備采用 SSD 做 Cache，加速 I/O。這在一定的規(guī)模下可能有效，但是存儲(chǔ)設(shè)備的 SSD Cache 通常比例較小，不足 5% 的容量比的情況下，自然滿足不了用戶的熱數(shù)據(jù)的緩存需求。另外，仍然無(wú)法隨需擴(kuò)展，所有的數(shù)據(jù)仍然要從集中的存儲(chǔ)控制器流出，這個(gè)集中的 “收費(fèi)站” 勢(shì)必堵塞 “高速公路”。
- 解決方法二：使用服務(wù)器側(cè) SSD 做 Cache，加速 I/O。這種類似的解決方案，通常缺乏高可靠性軟件的支撐，服務(wù)器端的 Cache 如果用做寫(xiě) Cache，存在單點(diǎn)失效的問(wèn)題，需要在多個(gè)服務(wù)器的 Cache 設(shè)備上，做副本來(lái)提供可靠性，可以說(shuō)這是一個(gè)閹割版的超融合架構(gòu)，將 Cache 放到服務(wù)器端，仍然使用傳統(tǒng)存儲(chǔ)，當(dāng) Cache 滿，需要被寫(xiě)回傳統(tǒng)存儲(chǔ)的時(shí)候，仍然被傳統(tǒng)存儲(chǔ)的 “控制器” 限制整體性能。
我們看到，上面的兩種方案都是受限于傳統(tǒng)存儲(chǔ)的結(jié)構(gòu)。超融合存儲(chǔ)則不一樣，通過(guò)完全去掉傳統(tǒng)存儲(chǔ)，利用分布式文件系統(tǒng)來(lái)提供 “不可限量” 的性能和容量，在這個(gè)基礎(chǔ)上，再通過(guò) Cache 進(jìn)行加速，甚至全部使用閃存（全閃存產(chǎn)品）來(lái)構(gòu)建都是自然而然，不被限制了。
因此，超融合架構(gòu)不是為了讓單臺(tái)服務(wù)器的存儲(chǔ)飛快，而是為了讓每增加一臺(tái)服務(wù)器，存儲(chǔ)的性能就有線性的提升，這樣的存儲(chǔ)結(jié)構(gòu)才不限制企業(yè)業(yè)務(wù)的運(yùn)行，并保證業(yè)務(wù)的可靠性。
正因?yàn)檫@種擴(kuò)展性很好的共享存儲(chǔ)，使得整個(gè) Google 的業(yè)務(wù)得以順暢地運(yùn)轉(zhuǎn)。SmartX 在做的就是這樣的更好的、更穩(wěn)定的基礎(chǔ)服務(wù)。
另外，超融合近幾年得以快速發(fā)展的原因，這要?dú)w功于硬件設(shè)備。CPU 核數(shù)越來(lái)越多，服務(wù)器的內(nèi)存容量越來(lái)越大，SSD 設(shè)備和網(wǎng)絡(luò)互聯(lián)網(wǎng)設(shè)備越來(lái)越快，這意味著：
- 服務(wù)器的資源除了運(yùn)行業(yè)務(wù)以外，仍然可以預(yù)留出來(lái)足夠的 CPU，內(nèi)存資源來(lái)運(yùn)行存儲(chǔ)軟件。將存儲(chǔ)軟件和業(yè)務(wù)運(yùn)行到一塊，既減少了設(shè)備量，減少了電力使用，本地讀取也提高了 I/O 的存取效率。這在幾年前是做不到的，因?yàn)?CPU 和內(nèi)存太有限了。
- 網(wǎng)絡(luò)互聯(lián)越來(lái)越快，無(wú)論是萬(wàn)兆，40Gb 以太網(wǎng)，還是 Infiniband（無(wú)限寬帶技術(shù)），使得我們的軟件能夠?qū)ⅹ?dú)立的存儲(chǔ)設(shè)備進(jìn)行互連，通過(guò)分布式文件系統(tǒng)形成共享的存儲(chǔ)池，供上層應(yīng)用使用。
- 如果說(shuō) SSD 等硬件廠商讓單個(gè)存儲(chǔ)設(shè)備跑的更快，我們的軟件的意義在于，讓超大量的這些存儲(chǔ)設(shè)備，一起工作，提供無(wú)止境的整體性能和容量。
上面我們闡述了傳統(tǒng)存儲(chǔ)對(duì)現(xiàn)代企業(yè)大量數(shù)據(jù)和隨機(jī) I/O 處理的表現(xiàn)乏力、超融合架構(gòu)因何滿足企業(yè)需求以及超融合架構(gòu)得以快速發(fā)展的原因。
下面將進(jìn)一步解釋在超融合架構(gòu)中，層次存儲(chǔ)為什么是提升數(shù)據(jù)的 I/O 性能的最好選擇。
首先，讓我們追溯到現(xiàn)代計(jì)算機(jī)體系結(jié)構(gòu)中，解決系統(tǒng)性能瓶頸的關(guān)鍵策略：Cache。
現(xiàn)代計(jì)算機(jī)體系結(jié)構(gòu)是基于馮·諾依曼體系結(jié)構(gòu)構(gòu)建的，馮 · 諾依曼體系結(jié)構(gòu)將程序指令當(dāng)做數(shù)據(jù)對(duì)待，程序和數(shù)據(jù)存儲(chǔ)在相同的存儲(chǔ)介質(zhì)（內(nèi)存）中，CPU 通過(guò)系統(tǒng)總線從內(nèi)存中加載程序指令和相應(yīng)的數(shù)據(jù)，進(jìn)行程序的執(zhí)行。
馮 · 諾依曼體系結(jié)構(gòu)解決了計(jì)算機(jī)的可編程性問(wèn)題，但是帶來(lái)了一個(gè)缺點(diǎn)，因?yàn)槌绦蛑噶詈蛿?shù)據(jù)都需要從內(nèi)存中載入，盡管 CPU 的速度很快，卻被系統(tǒng)總線和內(nèi)存速度的限制，不能快速的執(zhí)行。為解決這個(gè)問(wèn)題，Cache 的理念被提出，通過(guò)在 CPU 和內(nèi)存之間加入更快速的訪問(wèn)介質(zhì)（CPU Cache），將 CPU 經(jīng)常訪問(wèn)的指令和數(shù)據(jù)，放置到 CPU Cache 中，系統(tǒng)的整體執(zhí)行速度大幅度提升。
I/O 性能瓶頸問(wèn)題轉(zhuǎn)移到了存儲(chǔ)
如果內(nèi)存的訪問(wèn)速度相對(duì) CPU 太慢，那么磁盤(pán)的 I/O 訪問(wèn)速度相對(duì) CPU 來(lái)說(shuō)就是 “不能忍” 了。下表是不同存儲(chǔ)介質(zhì)的訪問(wèn)延時(shí)，在虛擬化環(huán)境下或云環(huán)境下，由于 I/O 基本都是隨機(jī) I/O，每次訪問(wèn)都需要近 10ms 的尋道延時(shí)，使得 CPU 基本處于 “等待數(shù)據(jù)” 的狀態(tài)，這使得核心業(yè)務(wù)系統(tǒng)運(yùn)轉(zhuǎn)效率和核心應(yīng)用的用戶體驗(yàn)都變得很差，直觀的感受就是業(yè)務(wù)系統(tǒng)和桌面應(yīng)用 “很卡”。
基于 SSD 構(gòu)建平衡系統(tǒng)
和前人解決內(nèi)存訪問(wèn)延時(shí)問(wèn)題的思路類似，現(xiàn)在的主流方法是使用內(nèi)存和 SSD 作為 Cache 來(lái)解決 I/O 性能瓶頸。存儲(chǔ)系統(tǒng)能夠分析出數(shù)據(jù)塊的冷熱程度，將經(jīng)常訪問(wèn)的數(shù)據(jù)塊緩存到內(nèi)存和 SSD 中，從而加速訪問(wèn)。
不論是全閃存存儲(chǔ)，還是混合介質(zhì)存儲(chǔ)，從某種意義上講都是層次存儲(chǔ)，只不過(guò)混合陣列多了一層磁盤(pán)介質(zhì)。
學(xué)過(guò)計(jì)算機(jī)體系結(jié)構(gòu)的人都聽(tīng)說(shuō)過(guò)著名的 Amdahl 定律，這里我們要介紹一個(gè) Amdahl 提出的 “不那么著名” 的經(jīng)驗(yàn)法則：
在一個(gè)平衡的并行計(jì)算環(huán)境中，每 1GHz 的計(jì)算能力需要 1Gbps 的 I/O 速度與之匹配。
假設(shè)一臺(tái)服務(wù)器有 2 顆 E5-4669 v3 的 CPU，每顆 CPU 有 18 個(gè)核，36 個(gè)超線程，主頻是 2.1GHz，那么我們可以計(jì)算一下，這樣的一臺(tái)服務(wù)器需要 151Gbps (即~19GBps）的帶寬。在大規(guī)模的云計(jì)算（虛擬機(jī)算）環(huán)境中，極端情況下，大量的 I/O 并發(fā)使得存儲(chǔ)收到的 I/O 都變成隨機(jī) I/O，在這么一個(gè)并發(fā)環(huán)境中，假設(shè)我們的訪問(wèn)大部分都是 8KB 的讀寫(xiě)，根據(jù)上面的計(jì)算，我們需要為一臺(tái)服務(wù)器配備近 250 萬(wàn)的 IOPS 讀取速度。
在不考慮系統(tǒng)總線的情況下，如果我們用 SAS/SATA 硬盤(pán)來(lái)提供這個(gè) IOPS，即使每個(gè) SAS/SATA 盤(pán)可以提供近 250 的 IOPS（實(shí)際數(shù)值更�。瑑H為構(gòu)建一臺(tái)平衡的服務(wù)器計(jì)算存儲(chǔ)環(huán)境，就需要大概 1 萬(wàn)個(gè) SAS/SATA 硬盤(pán)。在稍大規(guī)模的虛擬化環(huán)境，想要搭出一個(gè)平衡的系統(tǒng)，用傳統(tǒng)的 SAS/SATA 硬盤(pán)幾乎不可能完成任務(wù)。但是如果采用能夠提 10 萬(wàn) “寫(xiě) IOPS” 的 SSD 設(shè)備，25 塊 SSD 就夠了。
層次存儲(chǔ)的優(yōu)勢(shì)
“層次存儲(chǔ)” 是相對(duì) “全閃存” 而言，是指將容量大但是速度較慢的 HDD 和速度快的 SSD 同時(shí)構(gòu)建在系統(tǒng)中，通過(guò)數(shù)據(jù)的訪問(wèn)特性，將經(jīng)常訪問(wèn)的熱數(shù)據(jù)放置在 SSD 中，而冷數(shù)據(jù)放置在 HDD 中。
首先，為構(gòu)建一個(gè)平衡的虛擬化環(huán)境，需要大量的 SSD 設(shè)備來(lái)提供足夠的 IOPS。但是 SSD 也不是完美的。目前的 SSD 擦寫(xiě)次數(shù)有限、價(jià)格高。層次存儲(chǔ)將熱數(shù)據(jù)放置在 SSD 層中，而大量的冷數(shù)據(jù)仍然放置在 SATA 硬盤(pán)上，熱數(shù)據(jù)周期性的同步到 HDD 硬盤(pán)，既為用戶熱數(shù)據(jù)提供了高 IOPS 的保障，也通過(guò) SATA 硬盤(pán)提供了更大的容量和可靠性。
下圖是對(duì) 11 個(gè)開(kāi)發(fā)人員桌面負(fù)載的 I/O 統(tǒng)計(jì)，包含了對(duì) 5.1TB 大小的存儲(chǔ)上的 76 億次 IO 訪問(wèn)和 28TB 的數(shù)據(jù)傳輸。首先值得注意的是，有 3.1TB (62%) 的數(shù)據(jù)，在一年內(nèi)從來(lái)沒(méi)有被訪問(wèn)過(guò)，這意味著這些數(shù)據(jù)無(wú)論是放置在 SSD 上，還是 SATA 上，甚至放到 U 盤(pán)上拔走，對(duì)系統(tǒng)都沒(méi)有影響。
數(shù)據(jù)是有冷熱的，這也是為什么 SmartX 超融合可以為用戶提供高性價(jià)比的層次存儲(chǔ)方案，卻能夠讓用戶得到類似全閃存存儲(chǔ)體驗(yàn)的原因。
文章來(lái)源：@SmartX 超融合，如涉及到版權(quán)問(wèn)題，請(qǐng)聯(lián)系網(wǎng)站管理員刪除！
- 上一篇：深入理解虛擬化 2023/1/1
- 下一篇：網(wǎng)絡(luò)安全100個(gè)小知識(shí) 2023/1/1