企業(yè)基于云端進行業(yè)務(wù)構(gòu)建時,所面臨的最大負(fù)荷通常都來自系統(tǒng)中頻繁的存儲 I/O ,存儲設(shè)備的性能直接決定用戶是否將其核心業(yè)務(wù)搬到云上以及能否通過云計算開展業(yè)務(wù).

目前,隨著用戶業(yè)務(wù)規(guī)模的不斷擴大和場景的進一步豐富,主流云服務(wù)商所提供的塊存儲服務(wù)在雙 11 電商搶購秒殺、春晚紅包、超大型網(wǎng)絡(luò)游戲不分服數(shù)據(jù)庫應(yīng)用中等對存儲有著超高性能需求的業(yè)務(wù)場景下依舊存在瓶頸.

在這些場景下,短時間內(nèi)大量哀求發(fā)送到業(yè)務(wù)邏輯層,業(yè)務(wù)進行處理對后端存儲并發(fā)大量讀寫,如果此時存儲讀寫能力沒有達到業(yè)務(wù)要求則會發(fā)生讀寫延時增大,可能導(dǎo)致業(yè)務(wù)超時,產(chǎn)生游戲卡頓、訂單狀態(tài)持續(xù)轉(zhuǎn)圈等待甚至失敗等后果.

9月25日,騰訊云推出了隨機 IOPS 高達 20 萬的超高性能 SSD 云盤,能有效滿足大型關(guān)系數(shù)據(jù)庫(如 Oracle、SQL Server)、NoSQL 數(shù)據(jù)庫(如 Hbase、Cassandra)、數(shù)據(jù)檢索場景(如 SAPHana、ElasticSearch)等業(yè)務(wù)場景中對云盤 IO 的性能要求,填補了整個行業(yè)在超高性能云盤方面的空白.

騰訊云超高性能 SSD 云盤如何練就業(yè)界頂級的 IOPS 性能?下面逐一對騰訊云超高性能云盤使用的核心技術(shù)進行揭秘.

1.使用 SPDK 充分發(fā)掘 NVMe SSD的性能

Linux下 IOPS 越高系統(tǒng)的開銷越大,在單機高密度盤場景下很難將所有NVMe SSD 盤的性能發(fā)揮出來.我們突破性地使用 SPDK 來讀寫 NVMe SSD,由于 NVMe 的驅(qū)動程序在用戶空間,因此不必要用中斷來通知 IO 完成,也就無需經(jīng)過厚重的內(nèi)核 IO 棧.相比于使用 Linux內(nèi)核,SPDK 用戶空間 NVMe 驅(qū)動程序在極小化系統(tǒng)開銷的同時,可將 IO 延遲降低 10 倍,單核單盤的性能可達百萬 IOPS.

2.基于 25Gb 的 RDMA 的超高性能網(wǎng)絡(luò)框架

云盤的讀寫離不開網(wǎng)絡(luò)傳輸.使用 TCP socket 傳輸數(shù)據(jù)時,大部分的延遲都是由網(wǎng)絡(luò)協(xié)議棧帶來的,且網(wǎng)絡(luò)協(xié)議棧太復(fù)雜,難于優(yōu)化.相對于傳統(tǒng)的 TCP socket 數(shù)據(jù)傳輸,RDMA 技術(shù)可以將應(yīng)用程序 Buffer 中的數(shù)據(jù)直接拷貝到網(wǎng)卡內(nèi)存并發(fā)送到遠(yuǎn)端,遠(yuǎn)端把數(shù)據(jù) DMA 到應(yīng)用的緩存中,相當(dāng)于在應(yīng)用之間建立了更快速更直接的通道,如圖所示.通過上面的工作原理可以看到,使用 RDMA 做數(shù)據(jù)傳輸有以下幾個優(yōu)勢：

1) zero-copy：數(shù)據(jù)不必要在網(wǎng)絡(luò)協(xié)議棧的各個層之間來回拷貝,這縮短了數(shù)據(jù)流路徑.

2) kernel-bypass：應(yīng)用直接操作設(shè)備接口,不再經(jīng)過系統(tǒng)調(diào)用切換到內(nèi)核態(tài),沒有內(nèi)核切換開銷.

3) none-CPU：數(shù)據(jù)傳輸無須CPU參與,完全由網(wǎng)卡搞定,無需再做發(fā)包收包中斷處理,不耗費CPU資源.

騰訊云專門開發(fā)了針對 RDMA 的超高性能網(wǎng)絡(luò)框架,可以充分發(fā)揮 RDMA的傳輸優(yōu)勢.在 4K-16K小 IO 場景下,相對 TCP 網(wǎng)絡(luò)延遲下降 50%,同時有超過 5 倍的性能提升.25Gb 網(wǎng)絡(luò)讓云盤的理論讀寫帶寬達到 2.5GB/s以上,可以讓一臺云主機的多塊盤同時跑出極限性能.

3.基于 3D Xpoint 的 log 緩存

3D Xpoint 技術(shù)可謂是 NAND Flash 誕生以來存儲界的最大突破.相比DRAM,3D Xpoint 盤有非易失、低功耗、高密度的優(yōu)勢；相比 NAND,其速度更快,壽命更長.由于云盤存儲引擎采用類似 LSM 的模式,因此將高性能、長壽命的 3D Xpoint 盤作為一級 log ,內(nèi)存用作一級 log 的索引緩存非常合適.既通過內(nèi)存的高速度保證了訪問的性能,又通過 3D Xpoint 盤的非易失性保證了數(shù)據(jù)的平安.3D Xpoint 盤同時還用于存儲元數(shù)據(jù),實現(xiàn) metadisk機制,保證需實時存儲的小 IO 元數(shù)據(jù)及時落盤.

4.云盤系統(tǒng)架構(gòu)

云盤接入層和存儲節(jié)點通過 RDMA 傳輸數(shù)據(jù),騰訊云專門開發(fā)了針對RDMA 的超高性能網(wǎng)絡(luò)框架,滿足超高 IOPS 下的數(shù)據(jù)傳輸需求；Dispatch 模塊用來進行多副本的數(shù)據(jù)分發(fā)同步；3D Xpoint 盤和 NVMe SSD 盤分別負(fù)責(zé)日志元數(shù)據(jù)和用戶數(shù)據(jù)的存儲.整個系統(tǒng)從設(shè)計上盡量縮短 IO 的中間路徑,使用 RMDA 和 SPDK 將 IO 從耗時的網(wǎng)絡(luò)內(nèi)核棧和 IO 內(nèi)核棧中解放出來,消除 IO 路徑上的瓶頸點,將后端洶涌澎湃的 IO 能力送達云主機.

此次超高性能 SSD 云盤的推出標(biāo)記了騰訊云積累多年的分布式存儲技術(shù)和順應(yīng)時代新硬件的完美結(jié)合.騰訊云在存儲領(lǐng)域快速應(yīng)用 RDMA、SPDK、3D Xpoint 等新技術(shù),不斷突破性能上限.率先將最新技術(shù)領(lǐng)入到云計算行業(yè)中,普惠眾多游戲、電商、社交應(yīng)用、直播等領(lǐng)域的客戶.