51. Python语言 的 MySQL数据库 之 第二十章 MySQL的 基准测试

2023-12-29 08:58

本文主要是介绍51. Python语言 的 MySQL数据库 之 第二十章 MySQL的 基准测试,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

MySQL的 基准测试

  • 本章主题
  • 关键词
  • 什么是基准测试
    • 基准测试特点
    • 压力测试特点
  • 基准测试的目的
  • 如何进行基准测试
    • 对整个系统进行基准测试
      • 优点
      • 缺点
    • 对MySQL进行基准测试
      • 优点
      • 缺点
    • MySQL基准测试的常见指标
  • MySQL基准测试工具
    • MySQL基准测试之mysqlslap
    • 常用参数说明
    • sysbench测试工具:
  • 总结小便条

本章主题

  

关键词

  

什么是基准测试

基准测试是一种测量和评估软件性能指标的活动用于建立某个时刻的性能基准,以便当系统发生软硬件变化时重新进行基准测试以评估变化对性能的影响。

基准测试是针对系统设置的一种压力测试

基准测试特点

直接、简单、易于比较,用于评估服务器的处理能力

可能不关心业务逻辑,所使用的查询和业务的真实性可以和业务环境没关系

压力测试特点

• 对真实的业务数据进行测试,获得真实系统所能承受的压力

• 需要针对不同主题,所使用的数据和查询也是真实用到的

• 基准测试是简化了的压力测试

  

基准测试的目的

• 建立MySQL服务器的性能基准线,确定当前MySQL服务器运行情况,确定优化之后的效果

• 模拟比当前系统更高的负载,已找出系统的扩展瓶颈,可以增加数据库并发,观察QPS(每秒处理的查询数),TPS(每秒处理的事务数)变化,确定并发量与性能最优的关系

• 测试不同的硬件、软件和操作系统配置

• 证明新的硬件设备是否配置正确

  

如何进行基准测试

对整个系统进行基准测试

优点

• 能够测试整个系统的性能,包括web服务器缓存、数据库等

• MySQL并不总是出现性能问题的瓶颈,如果只关注MySQL可能忽略其他问题,能反映出系统中各个组件接口间的性能问题体现真实性能状况

缺点

基准测试最重要的就是简单,可能对不同的方案进行测试,找到最优的方案,基准测试进行的时间一定要短,否则就要花费大量的时间进行基准测试

• 测试设计复杂,消耗时间长

  

对MySQL进行基准测试

优点

• 测试设计简单,所耗费时间短

缺点

• 无法全面了解整个系统的性能基线

  

MySQL基准测试的常见指标

• 单位时间内处理的事务数(TPS)

• 单位时间内处理的查询数(QPS)

  

MySQL基准测试工具

MySQL基准测试之mysqlslap

• 可以模拟服务器负载,并输出相关统计信息

  

常用参数说明

• --auto-generate-sql 由系统自动生成SQL脚本进行测试
• --auto-generate-sql-add-autoincrement 在生成的表中增加自增ID
• --auto-generate-sql-load-type 指定测试中使用的查询类型 读写或者混合,默认是混合
• --auto-generate-sql-write-number 指定初始化数据时生成的数据量
• --concurrency 指定并发线程的数量 1,10,50,200
• --engine 指定要测试表的存储引擎,可以用逗号分割多个存储引擎
• --no-drop 指定不清理测试数据
• --iterations 指定测试运行的次数 指定了这个不能指定no-drop
• --number-of-queries 指定每一个线程执行的查询数量
• --debug-info 指定输出额外的内存及CPU统计信息
• --number-int-cols 指定测试表中包含的INT类型列的数量
• --number-char-cols 指定测试表中包含的varchar类型的数量
• --create-schema 指定了用于执行测试的数据库的名字
• --query 用于指定自定义SQL的脚本
• --only-print 并不运行测试脚本,而是把生成的脚本打印出来

mysqlslap --concurrency=1,50,100,200 --iterations=3 --number-int-cols=5 --number-char-cols=5 --auto-generate-sql --auto-generate-sql-add-autoincrement --engine=myisam,innodb --number-of-queries=10 --create-schema=test

  

sysbench测试工具:

https://www.cnblogs.com/kismetv/archive/2017/09/30/7615738.html

MyISAMInnoDB
存储结构每张表被存放在三个文件:
1. frm-表格定义;
2. MYD(MYData)-数据文件;
3. MYI(MYIndex)-索引文件。
所有的表都保存在同一个数据文件中(也可能是多个文件,或者是独立的表空间文件),InnoDB表的大小只受限于操作系统文件的大小,一般为2GB
存储空间MyISAM可被压缩,存储空间较小InnoDB的表需要更多的内存和存储,它会在主内存中建立其专用的缓冲池用于高速缓冲数据和索引
可移植性、备份及恢复由于MyISAM的数据是以文件的形式存储,所以在跨平台的数据转移中会很方便。在备份和恢复时可单独针对某个表进行操作免费的方案可以是拷贝数据文件、备份 binlog,或者用 mysqldump,在数据量达到几十G的时候就相对痛苦了
事务安全不支持 每次查询具有原子性支持 具有事务(commit)、回滚(rollback)和崩溃修复能力(crash recovery capabilities)的事务安全(transaction-safe (ACID compliant))型表
AUTO_INCREMENTMyISAM表可以和其他字段一起建立联合索引InnoDB中必须包含只有该字段的索引
SELECTMyISAM更优
INSERTInnoDB更优
UPDATEInnoDB更优
DELETEInnoDB更优 它不会重新建立表,而是一行一行的删除
COUNT without WHEREMyISAM更优。因为MyISAM保存了表的具体行数InnoDB没有保存表的具体行数,需要逐行扫描统计,就很慢了
COUNT with WHERE一样一样,InnoDB也会锁表
只支持表锁支持表锁、行锁 行锁大幅度提高了多用户并发操作的新能。但是InnoDB的行锁,只是在WHERE的主键是有效的,非主键的WHERE都会锁全表的
外键不支持支持
FULLTEXT全文索引支持不支持 可以通过使用Sphinx从InnoDB中获得全文索引,会慢一点

  

总结小便条

本篇文章主要讲了以下几点内容:

  

  本章回顾暂时就到这了,如果还有点晕,那就把文章里所有引用的案例代码再敲几遍吧。拜拜~

这篇关于51. Python语言 的 MySQL数据库 之 第二十章 MySQL的 基准测试的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/549006

相关文章

Python按照24个实用大方向精选的上千种工具库汇总整理

《Python按照24个实用大方向精选的上千种工具库汇总整理》本文整理了Python生态中近千个库,涵盖数据处理、图像处理、网络开发、Web框架、人工智能、科学计算、GUI工具、测试框架、环境管理等多... 目录1、数据处理文本处理特殊文本处理html/XML 解析文件处理配置文件处理文档相关日志管理日期和

Python标准库datetime模块日期和时间数据类型解读

《Python标准库datetime模块日期和时间数据类型解读》文章介绍Python中datetime模块的date、time、datetime类,用于处理日期、时间及日期时间结合体,通过属性获取时间... 目录Datetime常用类日期date类型使用时间 time 类型使用日期和时间的结合体–日期时间(

使用Python开发一个Ditto剪贴板数据导出工具

《使用Python开发一个Ditto剪贴板数据导出工具》在日常工作中,我们经常需要处理大量的剪贴板数据,下面将介绍如何使用Python的wxPython库开发一个图形化工具,实现从Ditto数据库中读... 目录前言运行结果项目需求分析技术选型核心功能实现1. Ditto数据库结构分析2. 数据库自动定位3

Python yield与yield from的简单使用方式

《Pythonyield与yieldfrom的简单使用方式》生成器通过yield定义,可在处理I/O时暂停执行并返回部分结果,待其他任务完成后继续,yieldfrom用于将一个生成器的值传递给另一... 目录python yield与yield from的使用代码结构总结Python yield与yield

Go语言使用select监听多个channel的示例详解

《Go语言使用select监听多个channel的示例详解》本文将聚焦Go并发中的一个强力工具,select,这篇文章将通过实际案例学习如何优雅地监听多个Channel,实现多任务处理、超时控制和非阻... 目录一、前言:为什么要使用select二、实战目标三、案例代码:监听两个任务结果和超时四、运行示例五

python使用Akshare与Streamlit实现股票估值分析教程(图文代码)

《python使用Akshare与Streamlit实现股票估值分析教程(图文代码)》入职测试中的一道题,要求:从Akshare下载某一个股票近十年的财务报表包括,资产负债表,利润表,现金流量表,保存... 目录一、前言二、核心知识点梳理1、Akshare数据获取2、Pandas数据处理3、Matplotl

Django开发时如何避免频繁发送短信验证码(python图文代码)

《Django开发时如何避免频繁发送短信验证码(python图文代码)》Django开发时,为防止频繁发送验证码,后端需用Redis限制请求频率,结合管道技术提升效率,通过生产者消费者模式解耦业务逻辑... 目录避免频繁发送 验证码1. www.chinasem.cn避免频繁发送 验证码逻辑分析2. 避免频繁

精选20个好玩又实用的的Python实战项目(有图文代码)

《精选20个好玩又实用的的Python实战项目(有图文代码)》文章介绍了20个实用Python项目,涵盖游戏开发、工具应用、图像处理、机器学习等,使用Tkinter、PIL、OpenCV、Kivy等库... 目录① 猜字游戏② 闹钟③ 骰子模拟器④ 二维码⑤ 语言检测⑥ 加密和解密⑦ URL缩短⑧ 音乐播放

python panda库从基础到高级操作分析

《pythonpanda库从基础到高级操作分析》本文介绍了Pandas库的核心功能,包括处理结构化数据的Series和DataFrame数据结构,数据读取、清洗、分组聚合、合并、时间序列分析及大数据... 目录1. Pandas 概述2. 基本操作:数据读取与查看3. 索引操作:精准定位数据4. Group

Python pandas库自学超详细教程

《Pythonpandas库自学超详细教程》文章介绍了Pandas库的基本功能、安装方法及核心操作,涵盖数据导入(CSV/Excel等)、数据结构(Series、DataFrame)、数据清洗、转换... 目录一、什么是Pandas库(1)、Pandas 应用(2)、Pandas 功能(3)、数据结构二、安