分布式存儲是當(dāng)前企業(yè)構(gòu)建高效、彈性數(shù)據(jù)底座的核心選擇，以滿足大規(guī)模數(shù)據(jù)存儲與應(yīng)用需求。作為開源分布式存儲的領(lǐng)軍者，具備高擴展性、多協(xié)議支持和成熟生態(tài)的特點，是國內(nèi)運營商、金融、頭部互聯(lián)網(wǎng)公司等各行業(yè)的首選存儲方案。

憶聯(lián)Ceph分布式存儲方案有如下優(yōu)勢：

?       基于PCIe 5.0 ESSD，數(shù)據(jù)吞吐效率為上一代的2倍。

?       創(chuàng)新的智能多流技術(shù)，精準(zhǔn)適配Ceph數(shù)據(jù)分布特性，性能優(yōu)于同代際主流競品高至3.15%。

?       有效抑制寫放大效應(yīng)(WAF)，優(yōu)于同代際主流競品20%-32%。

方案將SSD預(yù)期壽命延長20%以上，實現(xiàn)性能、耐用性與可靠性三重突破，為云原生環(huán)境提供兼具超低延遲與超高一致性的存儲基礎(chǔ)設(shè)施，滿足企業(yè)級客戶對存儲系統(tǒng)全生命周期穩(wěn)定性的嚴苛需求。

Ceph分布式存儲挑戰(zhàn)

Ceph通過RBD（RADOS Block Device）提供企業(yè)級塊設(shè)備服務(wù)，支持快照、克隆、精簡配置等高級功能。然而，在分布式存儲場景下，多副本數(shù)據(jù)一致性、網(wǎng)絡(luò)延遲及存儲介質(zhì)性能瓶頸等問題，極易導(dǎo)致寫放大效應(yīng)加劇，影響SSD壽命及系統(tǒng)穩(wěn)定性。

傳統(tǒng)SSD在應(yīng)對Ceph讀寫負載時，因冷熱數(shù)據(jù)識別效率低、垃圾回收（GC）策略僵化，導(dǎo)致寫放大系數(shù)居高不下，進而降低SSD壽命并增加時延。憶聯(lián)UH812a/UH832a通過智能多流技術(shù)，實現(xiàn)數(shù)據(jù)冷熱分類與IO路徑優(yōu)化，從硬件層面突破這一瓶頸。

憶聯(lián)Ceph分布式存儲方案驗證

測試環(huán)境配置

測試驗證硬件配置如下：

CPU	Intel Xeon Gold 6430 *2
內(nèi)存	256GB (32GB*8 DDR5)
存儲	系統(tǒng)盤：SATA (480GB*2) 數(shù)據(jù)盤：UH812a NVMe SSD（7.68TB*4）
網(wǎng)卡	2端口100GE以太網(wǎng)卡 每臺服務(wù)節(jié)點配置2張網(wǎng)卡，每臺客戶端配置單張網(wǎng)卡

測試驗證軟件配置如下：

操作系統(tǒng)	CentOS Stream 9
內(nèi)核	5.14.0-229.el9.x86_64
Ceph版本	17.2.7 Quincy
FIO版本	3.27（帶rbd引擎）

圖1：Ceph組網(wǎng)規(guī)劃架構(gòu)圖

測試方法

1. 創(chuàng)建存儲池與RBD卷。

?       創(chuàng)建1個RBD儲存池，配置3副本。

?       創(chuàng)建60個100GB RBD卷，占總?cè)萘?span>21%。

2. 進行性能測試。

?       每個客戶端指定15個RBD，使用FIO工具向4個客戶端同時下發(fā)IO測試，指定rbd測試引擎，綁定CPU核以減少干擾。

?       用不同模型遍歷測試各種隊列深度（QD）時的Ceph性能，通過監(jiān)控工具記錄服務(wù)節(jié)點與客戶端的IO、CPU、網(wǎng)絡(luò)數(shù)據(jù)。

3. 進行單節(jié)點WAF對比測試。

?       選取4塊不同友商的PCIe 5.0 ESSD，預(yù)埋數(shù)據(jù)將RBD空間順序?qū)?span>2遍，4K隨機寫5小時。

?       采用JESD219業(yè)務(wù)模型連續(xù)測試47小時，同步監(jiān)控各SSD的數(shù)據(jù)寫入量，計算WAF（NAND寫入量/主機寫入量）。

驗證結(jié)果與分析

性能表現(xiàn)

（1）隨機讀寫與混合讀寫性能

在3副本下，隨著QD數(shù)量的增加，IOPS迅速增加，時延增長緩慢，平均性能優(yōu)于友商1%。

QD為32時，UH812a隨機讀IOPS突破175.5萬，時延穩(wěn)定在1.1毫秒內(nèi)；隨機寫IOPS突破19萬，時延穩(wěn)定在9.9毫秒內(nèi)。

QD為32時，UH812a混合讀寫IOPS超過50萬，時延約為20毫秒。

圖2：Ceph隨機讀寫性能測試結(jié)果

圖3：Ceph隨機混合讀寫性能測試結(jié)果

（2）順序讀寫性能

隨著QD數(shù)量的增加（QD在64之內(nèi)），帶寬顯著增長，時延增長緩慢。QD為64時，UH812a順序讀帶寬超過56GB/s，時延為8.85毫秒，平均性能與友商持平；順序?qū)憥挸^15.3GB/s，時延為32.88毫秒，平均帶寬超出友商3.15%，平均時延低于友商1.68%。

圖4：Ceph順序讀性能測試結(jié)果

圖5：Ceph順序?qū)懶阅軠y試結(jié)果

智能多流技術(shù)對WAF的優(yōu)化

UH812a通過智能數(shù)據(jù)分類算法，將元數(shù)據(jù)、日志及用戶數(shù)據(jù)分配至獨立流，減少GC過程中的無效數(shù)據(jù)搬移。本次測試顯示：

?       WAF對比：UH812a WAF平均值1.78，低于友商A 25%（2.38）、低于友商B 32%（2.61）、低于友商C 20%（2.22）。

?       壽命提升：WAF降低使UH812a的DWPD有效利用率提升，預(yù)計壽命延長20%以上。

圖6：多友商WAF測試結(jié)果

憶聯(lián)UH812a/UH832a技術(shù)優(yōu)勢總結(jié)

智能多流技術(shù)

UH812a/UH832a系列采用動態(tài)冷熱數(shù)據(jù)分層機制與多流協(xié)同控制技術(shù)，實現(xiàn)1.78超低寫放大系數(shù)（WAF），通過智能化的數(shù)據(jù)生命周期管理，顯著延長SSD使用壽命，對比各友商優(yōu)勢明顯，為高負載企業(yè)級場景提供可靠的存儲保障。

性能一致性

UH812a/UH832a在混合負載及多副本部署場景中，憑借業(yè)界領(lǐng)先的時延控制與帶寬穩(wěn)定性表現(xiàn)，有效保障業(yè)務(wù)SLA達標(biāo)，關(guān)鍵指標(biāo)波動率優(yōu)于行業(yè)標(biāo)準(zhǔn)。

高可靠性

UH812a/UH832a通過融合分布式存儲副本策略與糾刪碼（EC）技術(shù)，并集成SPDK DIF/DIX的端到端數(shù)據(jù)完整性保護能力，構(gòu)建了多層次數(shù)據(jù)防護體系，為業(yè)務(wù)系統(tǒng)提供符合工業(yè)標(biāo)準(zhǔn)的企業(yè)級端到端數(shù)據(jù)保護。

典型客戶價值

在不同領(lǐng)域，UH812a/UH832a可為運營商、互聯(lián)網(wǎng)、金融等行業(yè)客戶解決特定需求與技術(shù)挑戰(zhàn)，例如：

?       為運營商行業(yè)提升存儲效率、降低成本：智能多流技術(shù)使存儲資源的利用更高效，降低運營商存儲成本，而ESSD的使用壽命提升超過20%，進一步減少更換硬件的頻率與開支。

?       保障頭部互聯(lián)網(wǎng)公司業(yè)務(wù)連續(xù)性和用戶體驗：性能一致性確保關(guān)鍵業(yè)務(wù)的時延和帶寬穩(wěn)定性，幫助大型互聯(lián)網(wǎng)公司在高并發(fā)情況下維持優(yōu)質(zhì)的用戶體驗，確保對最終用戶服務(wù)水平協(xié)議（SLA）的達成。

?       強化金融行業(yè)數(shù)據(jù)安全與合規(guī)性：多層次的數(shù)據(jù)防護體系，確保金融數(shù)據(jù)的安全性和完整性，幫助金融機構(gòu)滿足嚴格的合規(guī)要求，降低數(shù)據(jù)泄露和損失的風(fēng)險。

結(jié)論

憶聯(lián)PCIe 5.0 ESSD借智能多流技術(shù)與深度Ceph優(yōu)化，在分布式存儲場景中展現(xiàn)出卓越性能與穩(wěn)定性。WAF指標(biāo)顯著優(yōu)于主流競品，大幅提升企業(yè)存儲效能超過20%，是構(gòu)建新一代高度可擴展的分布式存儲系統(tǒng)的理想選擇。