以云計算為核心技術的云數(shù)據(jù)中心正成為一種具備高技術、高算力、高能效、高安全等特征的新型數(shù)據(jù)中心，可為用戶提供全方位、多元化、便捷的軟硬件服務。隨著AI、5G和物聯(lián)網(wǎng)等新興技術的興起，云數(shù)據(jù)中心業(yè)務逐漸多樣化，其基礎設施建設由以算力為中心向以數(shù)據(jù)為中心轉變，同時對數(shù)據(jù)存儲提出了更高要求。分布式存儲作為云數(shù)據(jù)中心的應用虛擬化技術，可提供塊存儲、文件存儲、對象存儲等服務，但由于其系統(tǒng)在內(nèi)部軟件處理、網(wǎng)絡傳輸?shù)确矫嬉自斐尚阅艿念~外耗費，在IO訪問時延上無法達到本地盤效果，用戶使用體驗較差，故在AI分析、大規(guī)模分布式數(shù)據(jù)庫、高性能應用cache等場景下，本地盤仍然是存儲主力。然而，本地盤仍存在如靈活度低、利用率不高等問題，為填補此部分空白，提出了“SR-IOV+SSD”的方案。
作為虛擬化直通技術的SR-IOV早已在網(wǎng)絡、GPU異構算力等場景得到廣泛采用，隨著SSD容量、盤片性能呈指數(shù)級提升，使得SR-IOV在SSD的應用也成為可能。通過SR-IOV虛擬化技術，可將單個SSD虛擬化成多個SSD硬盤，并直通到虛擬機內(nèi)部使用，通過搭配高精度的QoS能力，虛擬機可以獲得近似本地SSD硬盤性能，節(jié)約了Hypervisor虛擬化層對存儲設備虛擬計算所帶來的算力損耗。結合云平臺，SR-IOV方案可實現(xiàn)高性能存儲資源的動態(tài)調(diào)配等，極大滿足云化環(huán)境下AI、分布式數(shù)據(jù)庫、高性能企業(yè)應用等場景對存儲靈活性的訴求。
SR-IOV是由國際組織PCI-SIG組織定義的PCIe規(guī)范的擴展規(guī)范，旨在消除VMM對虛擬化I/O操作的干預，提高數(shù)據(jù)傳輸性能，為VM（虛擬機）提供獨立的內(nèi)存空間、終端、DMA數(shù)據(jù)流，具備SR-IOV功能的I/O設備基于PCIe規(guī)范，可管理、創(chuàng)建多個VF（virtual function）。PCIe PF（physical function）是PCIe總線上的主要實體，一個PCIe設備具有一個或多個PF，PF設置VF數(shù)量，全局啟動或停止VF，VF可以不通過VMM的干預完成數(shù)據(jù)的訪問和轉移。
SR-IOV功能下，原本是VMM承擔的中斷交由虛擬機直接處理，提升了設備I/O性能，同時虛擬機可以直接與PCIe設備進行交互，大大減輕了物理主機CPU的負擔，使其可承擔更多的虛擬機設備。另外，通過SR-IOV功能，可以減少PCIe設備的需求量，節(jié)省PCIe插槽，使得硬件資源可以更加充分使用。
基于以上優(yōu)勢，多家SSD廠商開始布局SR-IOV，目前憶聯(lián)已領先在UH8系及UH7系產(chǎn)品上成功實現(xiàn)SR-IOV功能應用。
? 服務器：自研服務器TP6520
? CPU：2* Intel(R) Xeon(R) Gold 6336Y CPU @ 2.40GHz 24cores/48threads
? 內(nèi)存：16*32GB 3200MT/S DDR4
? 系統(tǒng)盤：1*960G 12Gbps
? SSD：1*UH8系 3.84T
? HBA卡：1*MegaRAID 9440-8i
? NIC：2* SC332
? 操作系統(tǒng)：CentOS Linux release 8.3.2011
? 內(nèi)核：Linux 4.18.0-240.el8.x86_64
? 測試工具：2.6及以上版本
? QEMU-KVM：2.12
? NVMe開源驅動：1.11.1
? umtool工具：1.0.1.5
本次驗證，在虛擬化分區(qū)方式的場景下，通過SR-IOV技術將一片PCIe 4.0 3.84TB SSD(綁定16個CPU核)配置為2個容量為1.92TB VF(綁定8個CPU)，4個960G VF（綁定4個核），8個480G VF（綁定2個核），如下示意圖。
測試IO基本模型如下：
? 讀寫帶寬（bs=128k,job=1,iodepth=128,read/write）
? 讀IOPS（bs=4k,job=16,iodepth=128,randread）
? 寫IOPS（bs=4k,job=8,iodepth=64,randwrite）
通過對盤進行劃分為2/4/8個VF的場景下，在常規(guī)IO測試模型下進行SR-IOV方案驗證。
本次在SR-IOV功能下的不同VF場景下總性能與整盤的性能對比圖如下（以下數(shù)據(jù)為此次驗證數(shù)據(jù)，僅供參考）。
注：總帶寬/總IOPS=平均性能×VF數(shù)量
圖1：使用SR-IOV前后盤片性能對比圖
從圖1可以看到，在此次SR-IOV方案驗證下，PF性能、VF性能總和與原盤的性能相比波動較低，基本在5%以內(nèi)，實現(xiàn)了對憶聯(lián)UH系列SSD性能充分使用，有效提高了SSD利用率。
為驗證VF性能穩(wěn)定，在劃分2/4/8個VF的場景下，分別進行了測試，結果如下圖。
注：偏差值=（VF均值-VF性能）/VF均值*100%
圖2：SR-IOV功能下各VF與均值偏差圖
數(shù)據(jù)顯示，各VF測試值與VF均值基本偏差小于1%，VF間性能分配較為穩(wěn)定，擴展性較高，可靈活根據(jù)用戶需求進行VF數(shù)量設置及管理。
當將SSD拆分成多個虛擬盤后，為了避免出現(xiàn)在使用SR-IOV進行虛擬化時出現(xiàn)多個虛擬機同時運行，同時對盤上下業(yè)務，出現(xiàn)性能上相互干擾，憶聯(lián)特針對SR-IOV特性做了針對性能隔離的設計——SR-IOV with QoS，可通過SSD芯片對各VF進行流控，做到性能均衡。
圖3：具體業(yè)務場景下VF的性能表現(xiàn)
為驗證QoS功能，設置bs=128,qd=128,Thread=8,Read%=70%場景，對VF的IOPS、帶寬和時延進行了對比。通過圖2可以看到，各VF在IOPS和帶寬上性能相近，時延較低，基本可以做到在日常業(yè)務使用場景下相互之間無影響，確保使用SR-IOV以后，也依然可以保障虛擬SSD盤的高性能、低時延，滿足高效存儲數(shù)據(jù)的需求。
當前憶聯(lián)SR-IOV使用NS對VF進行邏輯上的數(shù)據(jù)隔離，但因為所有VF都使用公共的Nand flash空間，各VF間不可避免會存在性能影響，雖然在QoS功能的調(diào)度下控制到了一定范圍內(nèi)，但在部分更為復雜業(yè)務場景下仍不可避免。為解決這個問題，憶聯(lián)將繼續(xù)深耕SR-IOV在SSD上的應用，進一步優(yōu)化性能隔離算法，實現(xiàn)更好的隔離效果。
虛擬機數(shù)據(jù)安全至關重要，當前代次虛擬機數(shù)據(jù)可以通過trim的方式進行清除，但對于金融、政府等對數(shù)據(jù)安全要求高的客戶仍存在不足，如當SSD離開數(shù)據(jù)中心機柜便存在數(shù)據(jù)被盜取的可能。憶聯(lián)針對虛擬機數(shù)據(jù)安全的研究方向已初具成果，后續(xù)可以做到在虛擬機釋放時，對應到SSD上的物理數(shù)據(jù)同時徹底銷毀，為維護數(shù)據(jù)安全提供保障。
憶聯(lián)當前代次的SR-IOV具備各VF性能統(tǒng)計能力，新一代SSD中支持虛擬機性能智能分析，根據(jù)性能狀態(tài)進行性能配置反饋，支持對虛擬機狀態(tài)進行智能診斷并遠程修復等功能。
本次驗證清晰顯示了憶聯(lián)UH8系及UH7系SSD 的SR-IOV方案可有效提高盤片利用率，減少存儲空間的浪費，實現(xiàn)節(jié)能減排、環(huán)境友好，助力綠色數(shù)據(jù)中心的發(fā)展。同時，憶聯(lián)SR-IOV方案中PF、各VF間性能穩(wěn)定、隔離效果顯著，可隨著場景變化進行VF策略制定，應用靈活，滿足用戶在云化環(huán)境下AI、分布式數(shù)據(jù)庫、高性能企業(yè)應用等，提高資源利用率，降低TCO。對于建設綠色云數(shù)據(jù)中心，憶聯(lián)SR-IOV方案是一個可真正做到降本增效、綠色低碳可持續(xù)的存儲方案。
地址：深圳市南山區(qū)記憶科技后海中心B座19樓
電話：0755-2681 3300
郵箱：support@unionmem.com
