存储 IO 性能优化策略、方案与瓶颈分析

2024-08-31 12:04

本文主要是介绍存储 IO 性能优化策略、方案与瓶颈分析,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

33fa78a49aa0b164dca8c2d7cc27153f.jpeg

存储 IO 性能优化策略、方案与瓶颈分析(15张图)

   

存储IO性能优化是难题,因为它通常涉及全局性问题,需要从应用、数据库、主机、网络和存储设备全IO链路栈各层考虑可能出现的性能问题或瓶颈。

一、不同应用数据的 IO 模型特点

下表概述了各种应用场景的IO大小、读写比例、随机和顺序比例,这些数据作为通用参考值。需要注意的是,该表并未涵盖所有应用类型,且在不同生产环境中,数值可能存在较大差异。因此,表1中的数据仅作为一个通用参考。

表1 应用数据的IO模型

31f9fdd888462248f2f29445d5656a79.jpeg

二、存储 IO 性能指标和计算公式

1. 三大存储IO性能指标:

在三大性能指标中,针对大IO应用的吞吐量评估更科学;而对于小IO应用如数据库,需通过IOPS和延时指标评测性能。只有高IOPS与低延时兼得,才能应对高并发且快速的数据库访问需求,如表2所示。

表2 三大存储IO性能指标

1600dcf7d80318b29d76dfb26c68a81a.jpegdf4e2fa1a63151a617e51341035093d9.jpeg

2. 其它重要的存储性能指标(表3):

表3 其它重要的存储性能指标

6cf9620ad6e33f7c757c19e331d0b053.jpeg

3. 各IO性能指标的计算和相互转换公式

IOPS、IO size、带宽和QueueDepth之间的计算转换公式如图1所示。请参考该图以获取详细信息。

20d76046bb899ab07a13a7f019041add.jpeg

图1 IOPS、IO size、带宽、QueueDepth之间的计算转换公式

4. 各性能指标在vdbench基准测试工具中的体现(如图2)

1f13fa7c31bf7535c606f9f0386d744a.jpeg

图2 各性能指标在vdbench基准测试工具中的体现

三、存储 IO 性能优化

1. 优化策略

存储IO性能优化工作需要一定的策略性(如表4):

表4 存储IO性能优化策略

2802657126cf1a14fe49ea30b235f654.jpeg9ed5cf49433eb387a51c52057bb95a84.jpeg

2. 优化方案

存储设备层优化方案(如图3):

5c60c8e13fa6544e9592cc5d923fb55d.jpeg

b93e51841e3e6d099512faf53cbb1ec5.jpeg

图3 存储设备层优化方案

网络层优化方案(图4):

dd55400c9037203abebebfb35165f53a.jpeg

图4 网络层优化方案

存储传输协议方案选择(如图5):

9e3cf042bfc0cbbc6298f2bf60659f8e.jpeg

图5 存储传输协议方案选择

主机层优化方案(如图6):

d51f7094f76e60b8583aa8e96424a08a.jpeg

图6 主机层优化方案

应用层优化方案(如图7):

9ac32033723d07638416b907867e7b6b.jpeg

图7 应用层优化方案

3. 传统关系型数据库的IO性能的瓶颈点分析(如图8)

51691a326d2f8728b4eb6935d752b95d.jpeg

图8 Oracle 数据文件和日志文件读写过程

如表5所示,OLTP系统中单进程LGWR可能成为瓶颈,特别是在无法保证在线日志IO写性能时,容易出现排队等LGWR进程现象。这也是传统关系型数据库相对脆弱之处,容易引发问题。

表5 关系型数据库data和log数据IO读写模型

44cee22a0c26e46dcb3147619a3d704c.jpeg

OLTP数据库存储性能优化思路(如图9):

018344688077bae555a5f7f9eed5574d.jpeg

图9 OLTP数据库存储性能优化思路

4. IO并发队列的考虑

队列深度(Queue-Depths)是衡量主机端单个LUN能同时处理的I/O操作数量的标准。以QD=32为例,这意味着在同一时刻,该LUN可以执行32个并行IO操作。

在SCSI命令层面,每个从发送端(initiator)主机HBA卡端口到接收端(target)存储HBA卡端口的IO请求都会占用一个队列条目。

通常来说,较高的队列深度意味着更好的性能。然而,当存储控制器/节点达到最大队列深度并耗尽资源时,它将拒绝新的传入命令,并通过返回QFULL回应主机,从而导致性能下降。因此,在大量主机访问存储控制器时,务必谨慎规划以避免QFULL条件导致系统性能显著降低甚至出现错误。

有关队列深度(Queue-Depths)计算的深入分析(表6):

表6 队列深度计算的深入分析

4f4a63888d7125a0f50f2ea8c3411839.jpeg

有关队列深度(Queue-Depths)注意事项:

队列深度是一种并发交易模拟机制,它在流水线上的每个不同环节设置缓冲空间,使正常流水线数据传送从紧耦合变成了松耦合。简单来讲,Queue-Depths 传送机制的系统中,整个系统的吞吐量和延迟由性能最差的那个部位决定。

队列深度是一种并发交易模拟机制,它通过在流水线上的每个不同环节设置缓冲空间,使得正常流水线数据传送从紧耦合变成了松耦合。使用Queue-Depths 传送机制的系统中,整个系统的吞吐量和延迟由性能最差的那个部位决定。

-对此,您有什么看法见解?-

-欢迎在评论区留言探讨和分享。-

这篇关于存储 IO 性能优化策略、方案与瓶颈分析的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/1123853

相关文章

SpringBoot基于注解实现数据库字段回填的完整方案

《SpringBoot基于注解实现数据库字段回填的完整方案》这篇文章主要为大家详细介绍了SpringBoot如何基于注解实现数据库字段回填的相关方法,文中的示例代码讲解详细,感兴趣的小伙伴可以了解... 目录数据库表pom.XMLRelationFieldRelationFieldMapping基础的一些代

Nginx分布式部署流程分析

《Nginx分布式部署流程分析》文章介绍Nginx在分布式部署中的反向代理和负载均衡作用,用于分发请求、减轻服务器压力及解决session共享问题,涵盖配置方法、策略及Java项目应用,并提及分布式事... 目录分布式部署NginxJava中的代理代理分为正向代理和反向代理正向代理反向代理Nginx应用场景

Redis中的有序集合zset从使用到原理分析

《Redis中的有序集合zset从使用到原理分析》Redis有序集合(zset)是字符串与分值的有序映射,通过跳跃表和哈希表结合实现高效有序性管理,适用于排行榜、延迟队列等场景,其时间复杂度低,内存占... 目录开篇:排行榜背后的秘密一、zset的基本使用1.1 常用命令1.2 Java客户端示例二、zse

Redis中的AOF原理及分析

《Redis中的AOF原理及分析》Redis的AOF通过记录所有写操作命令实现持久化,支持always/everysec/no三种同步策略,重写机制优化文件体积,与RDB结合可平衡数据安全与恢复效率... 目录开篇:从日记本到AOF一、AOF的基本执行流程1. 命令执行与记录2. AOF重写机制二、AOF的

前端缓存策略的自解方案全解析

《前端缓存策略的自解方案全解析》缓存从来都是前端的一个痛点,很多前端搞不清楚缓存到底是何物,:本文主要介绍前端缓存的自解方案,文中通过代码介绍的非常详细,需要的朋友可以参考下... 目录一、为什么“清缓存”成了技术圈的梗二、先给缓存“把个脉”:浏览器到底缓存了谁?三、设计思路:把“发版”做成“自愈”四、代码

解决docker目录内存不足扩容处理方案

《解决docker目录内存不足扩容处理方案》文章介绍了Docker存储目录迁移方法:因系统盘空间不足,需将Docker数据迁移到更大磁盘(如/home/docker),通过修改daemon.json配... 目录1、查看服务器所有磁盘的使用情况2、查看docker镜像和容器存储目录的空间大小3、停止dock

Spring Gateway动态路由实现方案

《SpringGateway动态路由实现方案》本文主要介绍了SpringGateway动态路由实现方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随... 目录前沿何为路由RouteDefinitionRouteLocator工作流程动态路由实现尾巴前沿S

MyBatis Plus大数据量查询慢原因分析及解决

《MyBatisPlus大数据量查询慢原因分析及解决》大数据量查询慢常因全表扫描、分页不当、索引缺失、内存占用高及ORM开销,优化措施包括分页查询、流式读取、SQL优化、批处理、多数据源、结果集二次... 目录大数据量查询慢的常见原因优化方案高级方案配置调优监控与诊断总结大数据量查询慢的常见原因MyBAT

分析 Java Stream 的 peek使用实践与副作用处理方案

《分析JavaStream的peek使用实践与副作用处理方案》StreamAPI的peek操作是中间操作,用于观察元素但不终止流,其副作用风险包括线程安全、顺序混乱及性能问题,合理使用场景有限... 目录一、peek 操作的本质:有状态的中间操作二、副作用的定义与风险场景1. 并行流下的线程安全问题2. 顺

MyBatis/MyBatis-Plus同事务循环调用存储过程获取主键重复问题分析及解决

《MyBatis/MyBatis-Plus同事务循环调用存储过程获取主键重复问题分析及解决》MyBatis默认开启一级缓存,同一事务中循环调用查询方法时会重复使用缓存数据,导致获取的序列主键值均为1,... 目录问题原因解决办法如果是存储过程总结问题myBATis有如下代码获取序列作为主键IdMappe