基于 Redis 的 HyperLogLog 实现了 UV 的统计

2024-08-29 01:04

本文主要是介绍基于 Redis 的 HyperLogLog 实现了 UV 的统计,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

    • 前言
    • HyperLogLog 简介
    • HyperLogLog 的工作原理
    • 例子
    • 总结

前言

在现代网站开发中,用户行为分析是一个非常重要的环节。其中,UV(Unique Visitor,独立访客)PV(Page View,页面浏览量)是衡量网站流量用户活跃度的关键指标。UV 指的是通过互联网访问网站的自然人数量,通常一个用户在一定时间内的多次访问只计作一次;而 PV 则指的是用户访问网站的页面次数,无论是否来自同一用户,每次访问都会计入。

HyperLogLog 简介

HyperLogLog 是一种用于基数估计的概率性数据结构,可以高效地估算集合中唯一元素的数量(基数)。与传统的基数统计方法(如使用哈希集合)相比,HyperLogLog 能在使用极少内存的情况下提供相对高精度的基数估计。它特别适合在大数据和高并发的场景中使用,如网站的 UV(独立访客数)统计。

HyperLogLog 是一种高效的算法,用来估计集合中有多少个不同的元素

局限:

  • 误差:存在约 0.81% 的误差率,对于需要精确统计的场景不适用。
  • 不可取出原始数据:一旦元素被插入 HyperLogLog,就无法检索具体的元素,只能提供基数的估计。

HyperLogLog 的工作原理

哈希映射:HyperLogLog 使用哈希函数将每个输入元素转换成一个长整数(就像把名字转换成一个很长的号码),形成一串伪随机的二进制字符串。这样做的目的是为了确保所有元素被随机分布,而不是集中在某些地方。哈希函数的均匀性保证了每个元素有相同的概率被分配到任何一个位置。

前导零计数:对于每个哈希后的号码,HyperLogLog 会查看它的二进制表示(用 0 和 1 组成的串),并数出从左边开始有多少个连续的 0。前导零越多,说明这个元素在一个大范围内是很独特的。简单来说,前导零的数量间接反映了集合中有多少不同的元素。

分桶和调和平均:为了更准确地估计不同元素的数量,HyperLogLog 把这些哈希值分配到多个桶(想象成多个小盒子)。每个桶会记录它见到的哈希值中最多前导零的数量。然后,HyperLogLog 会用一种叫做“调和平均”的数学方法来综合所有桶的信息,从而估算出不同元素的总数。

误差控制:虽然 HyperLogLog 使用的是一种概率算法(不是完全精确),但它的误差率非常小,大约只有 0.81%。在大多数实际应用中,比如统计网站的独立访客数量(UV),这个误差是可以接受的。同时,相比于传统方法,HyperLogLog 只需要很少的内存,就可以处理非常多的数据。

例子

注解

@TrackPageView 注解可以加在控制器(Controller)的方法上,用于指定需要统计 PV 和 UV 的页面或模块。通过在 Controller 方法上使用这个注解,AOP 切面可以拦截请求,自动进行页面访问的统计。

@Target({ ElementType.PARAMETER, ElementType.METHOD })
@Retention(RetentionPolicy.RUNTIME)
@Documented
public @interface TrackPageView {String pageName() default ""; // 用于指定页面或模块的名称
}

切面类

@Component
@Aspect
public class SysAspect {@Autowiredprivate StatisticsService statisticsService;@Pointcut("@annotation(com.example.hac.annotation.TrackPageView)")private void pointcut() {}@Around("pointcut()")public Object around(ProceedingJoinPoint joinPoint) throws Throwable {// 继续执行原始方法Object result = joinPoint.proceed();// 获取切入点方法的签名MethodSignature signature = (MethodSignature) joinPoint.getSignature();Method method = signature.getMethod();// 从方法中获取 TrackPageView 注解TrackPageView trackPageView = method.getAnnotation(TrackPageView.class);if (trackPageView != null) {String userId = UserContext.getUser();String pageName = trackPageView.pageName(); // 获取注解中的页面名称// 记录 PV 和 UVstatisticsService.recordPageView(userId, pageName);}return result;}
}

redis统计

@Ser**加粗样式**vice
public class StatisticsService {@Autowiredprivate StringRedisTemplate redisTemplate;private static final String UV_KEY_PREFIX = "uv:";private static final String PV_KEY_PREFIX = "pv:";public void recordPageView(String userId, String pageName) {String pvKey = PV_KEY_PREFIX + pageName;String uvKey = UV_KEY_PREFIX + pageName;// 记录 PVredisTemplate.opsForValue().increment(pvKey, 1);// 记录 UV(使用 HyperLogLog 统计唯一用户)redisTemplate.opsForHyperLogLog().add(uvKey, userId);}public long getPageViews(String pageName) {String pvKey = PV_KEY_PREFIX + pageName;String pvCount = redisTemplate.opsForValue().get(pvKey);return pvCount != null ? Long.parseLong(pvCount) : 0;}public long getUniqueVisitors(String pageName) {String uvKey = UV_KEY_PREFIX + pageName;return redisTemplate.opsForHyperLogLog().size(uvKey);}
}

ps: 可以通过修改 Redis 的 key 来按时间单位(例如每天)统计数据。每天的数据可以定时同步到数据库中,以便持久化和后续分析。当需要查看历史统计数据时,可以直接从数据库中查询。

使用:

@RestController
@RequestMapping(value = "/api")
public class TestController {@Autowiredpublic TestService service;@TrackPageView(pageName = "home")@GetMapping(value = "/test")public int test() {return service.test();}
}

结果:
在这里插入图片描述

我登录访问了两次,所以pv为2,同一个用户,所以uv为1
在这里插入图片描述

总结

为了有效地统计网站的访问情况,我们可以使用 Redis 提供的 HyperLogLog 数据结构来统计 UV(独立访客数),并使用 Redis 的 String 类型来统计 PV(页面访问次数)。


这篇关于基于 Redis 的 HyperLogLog 实现了 UV 的统计的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/1116402

相关文章

python生成随机唯一id的几种实现方法

《python生成随机唯一id的几种实现方法》在Python中生成随机唯一ID有多种方法,根据不同的需求场景可以选择最适合的方案,文中通过示例代码介绍的非常详细,需要的朋友们下面随着小编来一起学习学习... 目录方法 1:使用 UUID 模块(推荐)方法 2:使用 Secrets 模块(安全敏感场景)方法

Redis中Stream详解及应用小结

《Redis中Stream详解及应用小结》RedisStreams是Redis5.0引入的新功能,提供了一种类似于传统消息队列的机制,但具有更高的灵活性和可扩展性,本文给大家介绍Redis中Strea... 目录1. Redis Stream 概述2. Redis Stream 的基本操作2.1. XADD

Spring StateMachine实现状态机使用示例详解

《SpringStateMachine实现状态机使用示例详解》本文介绍SpringStateMachine实现状态机的步骤,包括依赖导入、枚举定义、状态转移规则配置、上下文管理及服务调用示例,重点解... 目录什么是状态机使用示例什么是状态机状态机是计算机科学中的​​核心建模工具​​,用于描述对象在其生命

Spring Boot 结合 WxJava 实现文章上传微信公众号草稿箱与群发

《SpringBoot结合WxJava实现文章上传微信公众号草稿箱与群发》本文将详细介绍如何使用SpringBoot框架结合WxJava开发工具包,实现文章上传到微信公众号草稿箱以及群发功能,... 目录一、项目环境准备1.1 开发环境1.2 微信公众号准备二、Spring Boot 项目搭建2.1 创建

IntelliJ IDEA2025创建SpringBoot项目的实现步骤

《IntelliJIDEA2025创建SpringBoot项目的实现步骤》本文主要介绍了IntelliJIDEA2025创建SpringBoot项目的实现步骤,文中通过示例代码介绍的非常详细,对大家... 目录一、创建 Spring Boot 项目1. 新建项目2. 基础配置3. 选择依赖4. 生成项目5.

Linux下删除乱码文件和目录的实现方式

《Linux下删除乱码文件和目录的实现方式》:本文主要介绍Linux下删除乱码文件和目录的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux下删除乱码文件和目录方法1方法2总结Linux下删除乱码文件和目录方法1使用ls -i命令找到文件或目录

SpringBoot+EasyExcel实现自定义复杂样式导入导出

《SpringBoot+EasyExcel实现自定义复杂样式导入导出》这篇文章主要为大家详细介绍了SpringBoot如何结果EasyExcel实现自定义复杂样式导入导出功能,文中的示例代码讲解详细,... 目录安装处理自定义导出复杂场景1、列不固定,动态列2、动态下拉3、自定义锁定行/列,添加密码4、合并

mybatis执行insert返回id实现详解

《mybatis执行insert返回id实现详解》MyBatis插入操作默认返回受影响行数,需通过useGeneratedKeys+keyProperty或selectKey获取主键ID,确保主键为自... 目录 两种方式获取自增 ID:1. ​​useGeneratedKeys+keyProperty(推

Spring Boot集成Druid实现数据源管理与监控的详细步骤

《SpringBoot集成Druid实现数据源管理与监控的详细步骤》本文介绍如何在SpringBoot项目中集成Druid数据库连接池,包括环境搭建、Maven依赖配置、SpringBoot配置文件... 目录1. 引言1.1 环境准备1.2 Druid介绍2. 配置Druid连接池3. 查看Druid监控

Linux在线解压jar包的实现方式

《Linux在线解压jar包的实现方式》:本文主要介绍Linux在线解压jar包的实现方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录linux在线解压jar包解压 jar包的步骤总结Linux在线解压jar包在 Centos 中解压 jar 包可以使用 u