《互聯(lián)網(wǎng)場景下閃存優(yōu)化測試和應用》要點：
本文介紹了互聯(lián)網(wǎng)場景下閃存優(yōu)化測試和應用，希望對您有用。如果有疑問，可以聯(lián)系我們。

【編者的話】閃存在這幾年存儲領域發(fā)展非常快,應用也越來越廣泛,如何能更好的使用閃存,本次分享講一些閃存相關(guān)的優(yōu)化和應用.

閃存應用場景

• 數(shù)據(jù)庫
• NoSQL
• 分布式存儲
• CDN
• 公有云存儲

綜合上面幾種場景看,閃存主要適合有比較高的隨機IO需求和帶寬需求的場景.場景選擇上,也是要發(fā)揮閃存的長處.目前上面業(yè)務中 未來幾年發(fā)展比較快的會是在公有云存儲這一部分.下圖就是某廠商云盤對比,可以看到閃存的價格已經(jīng)很接近機械硬盤了,而單從每IOPS成本看,性價比會更高.

閃存概述

固態(tài)硬盤,不過可以從廣義理解,從2010年開始在互聯(lián)網(wǎng)行業(yè)大規(guī)模應用,性能和穩(wěn)定性已經(jīng)得到大規(guī)模集群線上驗證,應用場景已經(jīng)非常廣泛.當然閃存的IOPS比傳統(tǒng)機械硬盤高幾個數(shù)量級,但是更核心的還是在延遲降低上,優(yōu)勢更大.

上圖就很好的說明了,閃存在訪問延遲上的提升.

提到閃存,不得不提到閃存里非常基礎的組件NAND.NAND分類現(xiàn)在也是非常多.

測試

我們?yōu)槭裁匆鰷y試呢?

• 了解產(chǎn)品
• 了解自己
• 優(yōu)化自己
• 優(yōu)化成本模型

所以說面對如此多的廠商和產(chǎn)品,如何做到更高效的測試 是一個很重要的問題.雖然現(xiàn)在大家都開始轉(zhuǎn)向云服務,直接接觸硬件產(chǎn)品并不多,但是云廠商的測試依然是很重要的一部分.

測試很Low嗎?

• 測試很簡單?
• 沒科技含量?
• 測試很無聊?

上圖是我們需要了解的存儲技術(shù)棧.

測試準則：

• 明確目標
• 高效
• 完備性
• 可量化
• 可對比
• 產(chǎn)出

測試過程:

• 明確測試需求
• 明確測試目標
• 選擇測試工具和測試模型
• 制定測試計劃
• 測試過程跟蹤
• 測試數(shù)據(jù)驗證
• 測試報告

測試工具:

• IO層面：fio,sysbench,iometer,dd等
• OLTP:sysbench,TPC－C
• 輔助工具：tcpcopy,tcprstat,pt-log-player

SysBench：

• 開源的多線程性能測試工具
• 支持CPU IO Mutex OLTP等測試
• 可以lua腳本定制測試用例
• 常用的insert select和oltp三種場景

測試痛點:

• 重復工作很多
• 標準不統(tǒng)一
• 測試周期很長
• 人工成本高
• 測試期間異常處理
• 測試數(shù)據(jù)處理和測試報告

解決痛點首先就是規(guī)范化,主要是以下幾方面：

• 測試目標標準化
• 測試工具標準化
• 測試流程標準化
• 測試報告標準化

自動化測試流程：

• 自動化測試框架
• 基于Python
• 包含整體標準測試流程
• 覆蓋主流測試工具
• 數(shù)據(jù)處處理和生成報表
• 定制測試計劃

下圖是測試流程圖

自動化的好處也是顯而易見的：

• 大大節(jié)省了人力
• 提高測試效率
• 測試的更加完整
• 有精力做更深入的測試優(yōu)化

測試閃存需要注意的幾點：

• 我們需要的性能是steady state
• OP
• NAND
• 全盤寫
• 測試時間不能太短
• 性能抖動
• 監(jiān)控

MySQL測試的一些問題:

• 測試數(shù)據(jù)集大小,至少要過億
• 和內(nèi)存buffer比例,要看在小cache下的性能
• 物理讀
• 事務復雜度
• 多表并發(fā)

系統(tǒng)層面的一些注意點:

• 文件系統(tǒng)：Ext4 xfs
• IO調(diào)度算法
• IO cpu affinity
• Scsi-mq/blk-mq(新內(nèi)核特性)

 

測試優(yōu)化結(jié)合

InnoDB壓縮測試：

• InnoDB內(nèi)置壓縮
• 基于zlib庫
• 理論可以達到50%左右的壓縮比
• 但是性能有損失
• CPU時間換存儲空間
• 對SSD壽命有好處
• 如何用好呢?

基于我們之前的測試過程,我們可以得到結(jié)論,InnoDB壓縮比在50%左右,對寫入性能損失比較大, 損失比例在70%左右.根據(jù)這個結(jié)論,我們就可以針對我們線上業(yè)務選擇是否需要使用InnoDB壓縮.

TokuDB：

• MySQL的一個存儲引擎,支持事務 ACID 特性
• 支持多版本控制(MVCC)
• 基于Fractal Tree Index,非常適合寫入密集場景
• 高壓縮比
• 原生支持Online DDL
• 主流分支都支持
• 收費 轉(zhuǎn)開源

這是我們測試結(jié)果,可以看到TokuDB更好的壓縮比和更好的寫入穩(wěn)定性,當然代價就是更高的CPU消耗.

總結(jié)

• 現(xiàn)在不再是性能為王的時代
• 真正了解自己需求才是更重要的
• 發(fā)掘閃存性能,軟硬件結(jié)合
• 拓展閃存應用空間
• 做真正有價值的事情
• 如何做到更好的軟硬件結(jié)合(其實現(xiàn)在硬件是超前于一些軟件的)

以此圖結(jié)尾,不要只活在當下,要勇敢的接受新技術(shù),勇于試錯,當然試錯成本和收益也要評估和可控的.其實很多技術(shù)理解透徹了,可能并沒有別人說的“邪惡”.

以上內(nèi)容根據(jù)2016年7月5日晚微信群分享內(nèi)容整理.分享人楊尚剛,熊貓TV DBA,前新浪高級數(shù)據(jù)庫工程師,負責新浪微博核心數(shù)據(jù)庫架構(gòu)改造優(yōu)化,以及數(shù)據(jù)庫相關(guān)的服務器存儲選型設計.DockOne每周都會組織定向的技術(shù)分享,歡迎感興趣的同學加微信：liyingjiesz,進群參與,您有想聽的話題或者想分享的話題都可以給我們留言.

文章出處：http://dockone.io/article/1518?utm_source=tuicool&utm_medium=referral

轉(zhuǎn)載請注明本頁網(wǎng)址：
http://www.fzlkiss.com/jiaocheng/4478.html