reids的其他功能

2023-12-19 21:32
文章标签 功能 reids

本文主要是介绍reids的其他功能,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 慢查询
    • 生命周期
    • 两个配置
      • slowlog-max-len
      • slowlog-log-slower-than
      • 配置方法
    • 三个命令
    • 运维经验
  • pipeline
    • 什么是流水线
    • 如何使用客户端实现流水线
    • 与原生的操作对比
    • 使用建议
  • 发布订阅
    • 角色
    • 模型
    • API
      • publish
      • subscribe
      • unsubscribe
      • 其他API
    • 消息队列
    • 发布订阅和消息队列的对比
  • Bitmap
    • 位图
    • 相关命令
    • 独立用户统计
  • HyperLogLog
  • GEO

慢查询

生命周期

在这里插入图片描述
说明:

  • 慢查询是发生在第3阶段
  • 客户端超时不一定是慢查询、但慢查询是客户端超时的一个可能因素

两个配置

slowlog-max-len

  • 慢查询是一个先进先出的队列
  • 而且这个队列是一个固定长度的
  • 保存在内存中(当redis重启之后就会消失了)

slowlog-log-slower-than

  • 慢查询阈值(单位:微妙)
  • slowlog-log-slower-than=0 ,记录所有命令
  • slowlog-log-slower-than<0,不记录任何命令

配置方法

  1. 默认值
  • config get slowlog-max-len=128
  • config get slowlog-log-slower-than = 10000
  1. 修改配置文件重启
  2. 动态配置
  • config set slowlog-max-len 1000
  • config set slowlog-log-slower-than 1000

三个命令

  • slowlog get[n] : 获取慢查询队列,n是可选参数,比如n=10条,就是获取10条慢查询
  • slowlog len: 获取慢查询队列的长度
  • slowlog reset: 清空慢查询队列

运维经验

  • slowlog-max-len :不要设置过大,默认10ms,通常设置1ms(根据你的QPS来决定你的阈值的大小)
  • slowlog-log-slower-than: 队列的长度不要设置的过小,通常设置1000左右。
  • 理解命令生命周期
  • 定期持久化慢查询(可以定期的存在如MySQL中,就可以查看慢查询的执行了,这样对于分析问题是非常有帮助的)

pipeline

什么是流水线

1次时间 = 1次网络时间 + 1次命令时间(命令时间往往比较快的,通常是)
1次pipeline(n条命令) = 1次网络时间 + n次命令时间(这就是流水线)
注意:

  • Redis的命令时间是微妙级别的
  • pipeline每次条数要控制(网络)

如何使用客户端实现流水线

首先引入java包:

<!-- https://mvnrepository.com/artifact/redis.clients/jedis -->
<dependency><groupId>redis.clients</groupId><artifactId>jedis</artifactId><version>2.9.0</version><type>jar</type><scope>compile</scope>
</dependency>

与原生的操作对比

  • 没有使用pipeline
    由于它的key值不一样,所以不能简单的使用mset操作,在单纯的使用原生的hset操作情况下,执行10000次命令需要50s
    在这里插入图片描述
  • 使用了pipeline
    如果我们使用了pipeline进行拆分,一次pipeline执行100条命令,可以将我们之前10000次命令降为100次,因此我们只需要100次网络时延,只需要0.7秒。
    在这里插入图片描述
    pipeline与原生M操作对比
    m操作属于原子操作,而pipeline是非原子操作,但是它的返回是按之前顺序的,如下图:
    在这里插入图片描述
    在这里插入图片描述

使用建议

  • pipeline可以提高我们的并发效率,但是并不能无节制的去使用,因此需要注意每次pipeline携带的数据量(数据量大我们可以执行批量操作,例如10000条,我们拆分为每次100条,执行100次)
  • pipeline只能作用于一个redis节点上(pipeline是不允许使用在多个redis节点上的)
  • 需要清楚M操作和pipeline的区别

发布订阅

角色

主要分为三种:

  • 发布者(publisher)
  • 订阅者(subscriber)
  • 频道(channel)

模型

发布订阅模型:
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
注意:
假如一个发布者发布一条消息到频道了,但是我一个新的订阅者去订阅这个频道,它是收不到之前的消息的,这个需要注意一下,无法去做一个消息的堆积。

API

对应的API主要为publish、subscribe、unsubscribe、其他功能

publish

publish channel message
例如:publish sohu:tv “hello world”
(integer) 3 #订阅者数
publish sohu:auto “taxi”
(integer)

subscribe

subscribe [channel] 一个或者多个

unsubscribe

unsubscribe [channel] 一个或多个
unsubscribe sohu:tv

其他API

  • psubscribe [pattern…] 订阅模式
  • punsubscribe [pattern…] 退订指定的模式
  • pubsub channels 列出至少有一个订阅者的模式
  • pubsub numsub [channel…] 列出给定频道的订阅者数量

消息队列

在这里插入图片描述

发布订阅和消息队列的对比

发布订阅特点: 发布消息之后,其他所有的订阅者都能收到信息
消息队列: 它是一个抢的功能,发送一个hello,只有一个消息订阅者可以收到,因为它是一个抢的功能,而且redis也没提供这样的功能,就是说它有一个东西叫做消息队列,它是使用list来实现,它是使用一个阻塞的这样去拉,然后大家去抢这样一个东西。
都收到用发布订阅模式,只有一个收到用消息队列。

Bitmap

bitmap实际上就是我们俗称的位图

位图

redis是可以直接操作位的
在这里插入图片描述

相关命令

setbit

  • setbit key offset vlaue: 给位图指定索引设置值
    在这里插入图片描述
    setbit的偏移量不要设置过大,这样设置会引起一些问题,如下,如果中间全部都是0,偏移量一下子跳到了50,可能会引起一些问题(redis是单线程的)
    在这里插入图片描述
    getbit
  • getbit key offset vlaue: 获取位图指定索引的值
    bitcount
  • bitcount key [start end]: 获取位图指定范围(start到end,单位为字节,如果不指定就是获取全部)位值为1的个数
    bittop
  • bittop op destkey key[key…]:
    做多个Bitmap的and(交集)、or(并集)、not(非)、xor(异或)操作并将结果保存到destkey中
    bitpos
  • bitpos key targetBit[start][end]
    计算位图指定范围(start到end,单位为字节,如果不指定就是获取全部)第一个偏移量对应的值等于targetBit的位置

独立用户统计

问题: 某网站有1亿用户,每天有5千万独立用户去访问,使用set和Bitmap进行对比?

数据类型每个userId占用的空间需要存储的用户量全部内存
set32位(假设userId用的是整形,实际很多网站用的是长整形)50,0000,00032位*50,0000,000=200MB
Bitmap1位100,000,0001位*100,000,000=12.5MB

我们来看一下一年之后的对比:

数据类型一天一个月一年
set200MB6G72G
Bitmap12.5MB375M4.5G

HyperLogLog

GEO

参考: https://github.com/nuptkwz/notes/tree/master/technology/redis

这篇关于reids的其他功能的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/513780

相关文章

Debian 13升级后网络转发等功能异常怎么办? 并非错误而是管理机制变更

《Debian13升级后网络转发等功能异常怎么办?并非错误而是管理机制变更》很多朋友反馈,更新到Debian13后网络转发等功能异常,这并非BUG而是Debian13Trixie调整... 日前 Debian 13 Trixie 发布后已经有众多网友升级到新版本,只不过升级后发现某些功能存在异常,例如网络转

基于Java和FFmpeg实现视频压缩和剪辑功能

《基于Java和FFmpeg实现视频压缩和剪辑功能》在视频处理开发中,压缩和剪辑是常见的需求,本文将介绍如何使用Java结合FFmpeg实现视频压缩和剪辑功能,同时去除数据库操作,仅专注于视频处理,需... 目录引言1. 环境准备1.1 项目依赖1.2 安装 FFmpeg2. 视频压缩功能实现2.1 主要功

使用Python实现无损放大图片功能

《使用Python实现无损放大图片功能》本文介绍了如何使用Python的Pillow库进行无损图片放大,区分了JPEG和PNG格式在放大过程中的特点,并给出了示例代码,JPEG格式可能受压缩影响,需先... 目录一、什么是无损放大?二、实现方法步骤1:读取图片步骤2:无损放大图片步骤3:保存图片三、示php

深度解析Python yfinance的核心功能和高级用法

《深度解析Pythonyfinance的核心功能和高级用法》yfinance是一个功能强大且易于使用的Python库,用于从YahooFinance获取金融数据,本教程将深入探讨yfinance的核... 目录yfinance 深度解析教程 (python)1. 简介与安装1.1 什么是 yfinance?

Python脚本轻松实现检测麦克风功能

《Python脚本轻松实现检测麦克风功能》在进行音频处理或开发需要使用麦克风的应用程序时,确保麦克风功能正常是非常重要的,本文将介绍一个简单的Python脚本,能够帮助我们检测本地麦克风的功能,需要的... 目录轻松检测麦克风功能脚本介绍一、python环境准备二、代码解析三、使用方法四、知识扩展轻松检测麦

Java实现TXT文件导入功能的详细步骤

《Java实现TXT文件导入功能的详细步骤》在实际开发中,很多应用场景需要将用户上传的TXT文件进行解析,并将文件中的数据导入到数据库或其他存储系统中,本文将演示如何用Java实现一个基本的TXT文件... 目录前言1. 项目需求分析2. 示例文件格式3. 实现步骤3.1. 准备数据库(假设使用 mysql

Springboot项目登录校验功能实现

《Springboot项目登录校验功能实现》本文介绍了Web登录校验的重要性,对比了Cookie、Session和JWT三种会话技术,分析其优缺点,并讲解了过滤器与拦截器的统一拦截方案,推荐使用JWT... 目录引言一、登录校验的基本概念二、HTTP协议的无状态性三、会话跟android踪技术1. Cook

基于Spring Boot 的小区人脸识别与出入记录管理系统功能

《基于SpringBoot的小区人脸识别与出入记录管理系统功能》文章介绍基于SpringBoot框架与百度AI人脸识别API的小区出入管理系统,实现自动识别、记录及查询功能,涵盖技术选型、数据模型... 目录系统功能概述技术栈选择核心依赖配置数据模型设计出入记录实体类出入记录查询表单出入记录 VO 类(用于

Qt中实现多线程导出数据功能的四种方式小结

《Qt中实现多线程导出数据功能的四种方式小结》在以往的项目开发中,在很多地方用到了多线程,本文将记录下在Qt开发中用到的多线程技术实现方法,以导出指定范围的数字到txt文件为例,展示多线程不同的实现方... 目录前言导出文件的示例工具类QThreadQObject的moveToThread方法实现多线程QC

Java使用Thumbnailator库实现图片处理与压缩功能

《Java使用Thumbnailator库实现图片处理与压缩功能》Thumbnailator是高性能Java图像处理库,支持缩放、旋转、水印添加、裁剪及格式转换,提供易用API和性能优化,适合Web应... 目录1. 图片处理库Thumbnailator介绍2. 基本和指定大小图片缩放功能2.1 图片缩放的