使用unordered_write调优RocksDB写性能

2023-10-18 09:05

本文主要是介绍使用unordered_write调优RocksDB写性能,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在使用rocksdb存储的服务中,我们发现QPS在4w/s就怎么调整都上不去了,写性能受到了某种限制。为什么呢?下图描述了rocksdb写入的流程。我们发现 unordered_write = true可以提高写入吞吐量。

image-20220510132626787.png

  1. rocksdb的数据正常写入流程是,多个线程形成一个queue(也叫write_group),不在这个queue线程的或者后面来的线程就等待,等待上一个queue所有所有数据写入完成了后,后面的线程也会组织成一个新的queue接着写入
  2. 一个queue的写入分二步,写wal和写mem,默认都统一由当时queue的lead 线程来完成,并且这二步是串行的。因为非当前queue的其它写入线程要一直等待当前queue的全部写入完成才开始执行,导致吞吐量上不去。
  3. unordered_write= true 的优化思路是当前queue的leader写入wal完成后,不用接着写mem而是首先通知当前queue的其它线程让它们自行写入mem,然后通知非当前queue的其它线程,这样其它线程会立马形成新的queue继续写入,新的queue就节省了等待上一个queue写mem的时间!这里做的好处当然可以大大提高吞吐量,但坏处是以前数据的一致性试图就无法保证。因为当前queue的返回了,这个时候mem才开始写,并没有写入完成,这个时候来读就可能读到老的数据。 简单地将unordered_write改为true,我们发现很QPS迅速飙升到10w/s+。这给了我们很大的惊喜。

unordered_write改为true为什么有效

我们对比两个参数的堆栈来看看到底有什么魔法:下图是我在相关函数加入跟踪代码,不同参数下的堆栈:

image-20220510140745695.png

我们发现在unordered_write改为true后,write_thread.cc:636 ::ExitAsBatchGroupLeader被及早地调用,此时写memtable是其他线程都可以去写,注意,此时rocksdb的memtable是并发skiplist,在unordered_write改为true后调用的自选CAS版本的skiplist,效果显著。 我们进一步使用pref来看看调用CPU耗损:

unordered_write为false

image-20220510191607750.png

unordered_write为true

image-20220510170629090.png

我们看到基于提早释放,write_thread.cc:636 ::ExitAsBatchGroupLeader的效果:unordered_write = true的CPU耗损,对比下一张图,CPU占比减少了1倍之多,而还获取了4倍的写入性能。

这篇关于使用unordered_write调优RocksDB写性能的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/231592

相关文章

使用Python和OpenCV库实现实时颜色识别系统

《使用Python和OpenCV库实现实时颜色识别系统》:本文主要介绍使用Python和OpenCV库实现的实时颜色识别系统,这个系统能够通过摄像头捕捉视频流,并在视频中指定区域内识别主要颜色(红... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间详解

Windows下C++使用SQLitede的操作过程

《Windows下C++使用SQLitede的操作过程》本文介绍了Windows下C++使用SQLite的安装配置、CppSQLite库封装优势、核心功能(如数据库连接、事务管理)、跨平台支持及性能优... 目录Windows下C++使用SQLite1、安装2、代码示例CppSQLite:C++轻松操作SQ

Python常用命令提示符使用方法详解

《Python常用命令提示符使用方法详解》在学习python的过程中,我们需要用到命令提示符(CMD)进行环境的配置,:本文主要介绍Python常用命令提示符使用方法的相关资料,文中通过代码介绍的... 目录一、python环境基础命令【Windows】1、检查Python是否安装2、 查看Python的安

Python并行处理实战之如何使用ProcessPoolExecutor加速计算

《Python并行处理实战之如何使用ProcessPoolExecutor加速计算》Python提供了多种并行处理的方式,其中concurrent.futures模块的ProcessPoolExecu... 目录简介完整代码示例代码解释1. 导入必要的模块2. 定义处理函数3. 主函数4. 生成数字列表5.

Python中help()和dir()函数的使用

《Python中help()和dir()函数的使用》我们经常需要查看某个对象(如模块、类、函数等)的属性和方法,Python提供了两个内置函数help()和dir(),它们可以帮助我们快速了解代... 目录1. 引言2. help() 函数2.1 作用2.2 使用方法2.3 示例(1) 查看内置函数的帮助(

Linux脚本(shell)的使用方式

《Linux脚本(shell)的使用方式》:本文主要介绍Linux脚本(shell)的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录概述语法详解数学运算表达式Shell变量变量分类环境变量Shell内部变量自定义变量:定义、赋值自定义变量:引用、修改、删

Java使用HttpClient实现图片下载与本地保存功能

《Java使用HttpClient实现图片下载与本地保存功能》在当今数字化时代,网络资源的获取与处理已成为软件开发中的常见需求,其中,图片作为网络上最常见的资源之一,其下载与保存功能在许多应用场景中都... 目录引言一、Apache HttpClient简介二、技术栈与环境准备三、实现图片下载与保存功能1.

Python中使用uv创建环境及原理举例详解

《Python中使用uv创建环境及原理举例详解》uv是Astral团队开发的高性能Python工具,整合包管理、虚拟环境、Python版本控制等功能,:本文主要介绍Python中使用uv创建环境及... 目录一、uv工具简介核心特点:二、安装uv1. 通过pip安装2. 通过脚本安装验证安装:配置镜像源(可

LiteFlow轻量级工作流引擎使用示例详解

《LiteFlow轻量级工作流引擎使用示例详解》:本文主要介绍LiteFlow是一个灵活、简洁且轻量的工作流引擎,适合用于中小型项目和微服务架构中的流程编排,本文给大家介绍LiteFlow轻量级工... 目录1. LiteFlow 主要特点2. 工作流定义方式3. LiteFlow 流程示例4. LiteF

使用Python开发一个现代化屏幕取色器

《使用Python开发一个现代化屏幕取色器》在UI设计、网页开发等场景中,颜色拾取是高频需求,:本文主要介绍如何使用Python开发一个现代化屏幕取色器,有需要的小伙伴可以参考一下... 目录一、项目概述二、核心功能解析2.1 实时颜色追踪2.2 智能颜色显示三、效果展示四、实现步骤详解4.1 环境配置4.