Database和SSD的实践与探索IT168数据库大会公开.docx

Database和SSD的实践与探索IT168数据库大会公开.docx

《Database和SSD的实践与探索IT168数据库大会公开.docx》由会员分享，可在线阅读，更多相关《Database和SSD的实践与探索IT168数据库大会公开.docx（19页珍藏版）》请在冰豆网上搜索。

Database和SSD的实践与探索IT168数据库大会公开

DTCC2011

1数据库与SSD的实践与探索

张瑞@Alibaba

2SSD技术介绍

DTCC2011

ØSSD技术介绍：

·存储技术：

NAND，NOR

SLC，MLC

·接口类型：

SATA，SAS，FC，PCIe

·生产厂家：

Intel，Fusion-io，STEC，SandForce，HUAWEI

3SSD的性能特点

DTCC2011

ØSSDvs硬盘：

SSD：

·IOPS：

随机读35000，随机写5000

·Throughput：

连续读250M，连续写170M

·Latency：

75us

磁盘：

·IOPS：

随机读160，随机写160

·Throughput：

连续读170M，连续写130M

·Latency：

6ms

ØSSD性能分析：

·巨大的IOPS优势

·IO延时非常低

·吞吐量相比磁盘无明显优势

·SSD需要擦除操作

4SSD的磨损问题

DTCC2011

4.1Ø擦除对性能的影响：

·写入单位page（4K），擦除单位block（512K）

·改写=读取+擦除+写入

·擦除的代价高，延时2ms

·擦除的次数是有限的

·擦除导致写性能下降

4.2ØSSD硬件层的作用：

·FTL：

物理逻辑地址映射

·Reclamation：

回收策略，异步擦除

·Wearleveling：

均衡写磨损，提升寿命

·Sparearea：

减小写入放大，提升写性能

4.3Ø厂商数据：

·擦除次数：

SLC：

10万次，MLC：

1万次

·写入数据量：

随机写2PB，IntelX25-E（64G）

5SSD磨损数据分析

DTCC2011

Ø读取SSD的S.M.A.R.T.信息

·通过RAID控制器读取SSD的信息

·LSIRAID控制器+IntelX25-E64G

·Megacli+Smartmontools

ØSSD的S.M.A.R.T.数据

·MediaWearoutIndicator

·Re-allocatedSectorCount

·HostWritesCount

Ø数据分析与结论

·写入40T数据，磨损率1%

·SLC比MLC更耐磨损

·写入数据量与磨损消耗符合预期

·定期分析，磨损值耗尽前，预防性更换

·磨损可以预测，寿命无法预测

·磨损是否是线性的？

6数据库IO特点分析

DTCC2011

Ø数据库基于磁盘设计

·Sequentiallogging

·In-placeupdate

Ø日志文件顺序写

·同步写入，响应延迟低

·连续位置的随机写IO

Ø数据文件随机写

·异步写入

·大量的随机写IO

Ø瓶颈分析

·IOPS：

小IO，数据文件随机读，随机写，日志文件写

·吞吐量：

大IO，数据文件连续读

7数据库和SSD应用场景分析

DTCC2011

ØSSD作为数据主存储

·

·

简单，依赖硬件优劣

性能好，代价高

ØSSD存放日志文件

·

·

提升日志响应延迟

适合放在传统磁盘

ØSSD存放热点数据

·

·

适用于热点数据明显

性价比高，不灵活

ØFlashcache方案

·

·

应用透明

性价比高

8Flashcache方案简介

DTCC2011

9ØFlashcache简介

·开源混合存储方案

·Devicemapper层插件

·支持WT和WB模式

·应用透明

VFS

FileSystem

/dev/mapper/cachedev

这就是Flashcache：

将两个块设备，虚拟成一个带缓

存的块设备

/dev/sda

/dev/sdb

10Flashcache特性分析

DTCC2011

Ø简单使用：

·创建：

flashcache_create

·加载：

flashcache_load

·移除：

dmsetupremove

ØFlashcache特性：

·脏块阀值：

dirty_thresh_pct=90

·缓存策略：

cache_all=0

·快速删除：

fast_remove=1

·写入合并：

write_merge=1

·回收策略：

reclaim_policy=1

·支持预加载

Ø性能分析：

·WB优于WT

·性能与命中率成正比

11SSD数据库最佳实践

DTCC2011

Ø数据库使用SSD的意义

·CPU与IO性能不均衡

·提升单机性能

·改善用户体验

ØSSD方案

·SSD+硬件RAID卡+RAID5

·写cache很重要（电池保护）

·可靠性高，性能高

ØFlashcache方案

·Fusion-io+SAS磁盘

·容量与性能平衡

·性价比高

12SSD数据库优化实践

DTCC2011

Ø日志文件放在磁盘上

Ø控制数据库刷盘的频率

Ø增加sparearea：

改善写性能

ØIO调度算法：

Deadline，NOOP

ØMySQL：

Percona，Innodbplugin

Ø减小pagesize：

16K->8K

Ø关闭MySQL预读

Ø文件系统：

ext3，xfs

13Oracle使用SSD的方案

DTCC2011

Ø共享存储方案

·使用内置SSD的存储

·SSD存放热点数据

ØOracleflashcache方案

·11gR2+OracleLinux

·数据库内置功能

·仅支持WT模式

Ø无共享存储方案

·单机配置SSD+Dataguard

·高可用如何解决？

ØOracleExadata

·存储节点内置flash存储

·利用flashcache特性提升性能

14Flashcache应用场景分析

DTCC2011

Ø应用场景：

·DELLR510，24Gmemory，12*SAS磁盘（RAID10）

·12节点，单机1T数据，热点数据200G

·单次访问IO量大，用户响应缓慢

·数据库压力低，QPS无法提高

·系统切换后，预热=故障

·MySQL的缺陷：

数据分布离散，Cache命中率低

Ø优化法则：

·减少物理IO数量

·减小IO响应延迟

Ø优化方案：

·fusion-io320G+Flashcache

·降低系统预热的时间

·减小数据库集群规模

·提升用户体验

15未来的发展方向

DTCC2011

ØSSD替代磁盘？

ØMLC替代SLC？

ØFusion-ioorSSD？

ØFlashcache只是过渡方案？

ØSSD+Infiniband+iSER+=廉价的高性能存储？

Ø存储厂商如何应对？

ØSSD-basedDatabase

Ø数据库如何优化？

16Q&A

DTCC2011

联系方式：

Email：

freezr@

Twitter：

hellodba

新浪微博：

hellodba

技术博客：

www.HelloDB.net