(五)AB测试及两个案例 学习简要笔记 #统计学 #CDA学习打卡

2024-04-24 06:20

本文主要是介绍(五)AB测试及两个案例 学习简要笔记 #统计学 #CDA学习打卡,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

目录

一. AB测试简介

1)假设检验的一般步骤

2)基于假设检验的AB测试步骤

二. 案例1:使用基于均值的假设检验进行AB测试

1)原始数据

2)提出原假设H0和备择假设H1

3)使用均值之差的t检验,计算出t统计量的值和P值

4)进行假设检验

5)AA测试(简单随机抽样)

6)AA测试(分层抽样)

7)AA测试(系统抽样)

8)AB测试

三. 案例2:基于假设检验与A-B测试的支付宝点击率策略提升效果分析

1)原始数据

2)计算3组营销策略的点击率的平均值

3)假设检验进行判断


一. AB测试简介

AB测试(A/B test)是一种常用的实验设计方法,用于比较两个或多个不同的版本(例如产品、网页设计、广告等)在某个指标上的表现差异。而假设检验是AB测试的统计分析方法,用于判断这些差异是否具有统计学意义。

其实AB测试类似于初中生物说的对照试验。对用户分组,每个组使用一个方案(方案应遵从单变量前提),在相同的时间维度上去观察用户的反应(体现在业务数据和用户体验数据上)。需要注意的是各个用户群组的组成成分应当尽量相似,譬如新老用户很有可能表现出较大的偏好差异。最后根据假设检验的结果,判断哪些版本较之原版有统计意义上的差异,并根据效应量选出其中表现最好的版本。

1)假设检验的一般步骤

(a)提出原假设H0和备择假设H1
(b)用均值之差或者比例之差作为检验统计量Z检验或者t检验,并计算统计量及p值
(c)根据p值与显著性水平判断是否拒绝H0

2)基于假设检验的AB测试步骤

(a)H0假设:A组转化率等于B组转化率;H1假设:A组转化率不等于B组转化率
(b)用均值之差t检验或者比例之差z检验,并计算统计量及p值
(c)判断p值是否小于显著性水平0.05,判断是否拒绝H0

二. 案例1:使用基于均值的假设检验进行AB测试

1)原始数据

2)提出原假设H0和备择假设H1

H0:版本A和B在统计上存在显著差异
H2:版本A和B在统计上没有显著差异

3)使用均值之差的t检验,计算出t统计量的值和P值

4)进行假设检验

通常情况下我们在做AB测试前需要做AA测试,也就是从A里面通过不同的抽样方式选定一定样
本AA,再与A进行测试

5)AA测试(简单随机抽样)

6)AA测试(分层抽样)

7)AA测试(系统抽样)

8)AB测试

我们假设有两个版本A和B,通过生成正态分布的样本数据进行比较。然后计算两个样本的均值和标准差,并使用独立样本t检验进行假设检验。根据显著性水平alpha的设定,判断是否拒绝零假设,进而得出结论。

三. 案例2:基于假设检验与A-B测试的支付宝点击率策略提升效果分析

1)原始数据

2)计算3组营销策略的点击率的平均值

根据原始数据计算3营销策略的点击率如下:

我们可以得到:
对照组(dmp id=1)的点击率0.012551,
策略1组(dmp_id=2)的点击率0.015315
策略2组(dmp_id=2)的点击率0.026192

从点击率来看,策略一和策略二在对照组的基础上都有一定的提升。其中策略一提高了0.2个百分点,策略二提高了1.3个百分点,只有策略二满足了我们对点击率提升最小值1个百分点的要求。接下来需要进行假设验证,来看看策略二的点击率提升是否显著。

3)假设检验进行判断

记对照组点击率为p1,策略二点击率为p2,则:

(a)H0假设:p1>=p2策略2组点击率大于等于对照组点击率
    H1假设:p1<p2策略2组点击率小于对照组点击率

(b)计算A组和B组样本的转化率

(c)用转化率之差作为检验统计量z检验

(d)计算p值

(e)判断p值是否小于显著性水平0.05,判断是否拒绝H0

可以看到,p约等于0<0.05。所以拒绝原假设,认为策略2点击率的提升在统计上是显著的。两种营销策略中,策略二对广告点击率有显著提升效果,因而在两组营销策略中应选择第二组进行推广。

Bye!

这篇关于(五)AB测试及两个案例 学习简要笔记 #统计学 #CDA学习打卡的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/930982

相关文章

PostgreSQL的扩展dict_int应用案例解析

《PostgreSQL的扩展dict_int应用案例解析》dict_int扩展为PostgreSQL提供了专业的整数文本处理能力,特别适合需要精确处理数字内容的搜索场景,本文给大家介绍PostgreS... 目录PostgreSQL的扩展dict_int一、扩展概述二、核心功能三、安装与启用四、字典配置方法

C# 比较两个list 之间元素差异的常用方法

《C#比较两个list之间元素差异的常用方法》:本文主要介绍C#比较两个list之间元素差异,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录1. 使用Except方法2. 使用Except的逆操作3. 使用LINQ的Join,GroupJoin

Python中re模块结合正则表达式的实际应用案例

《Python中re模块结合正则表达式的实际应用案例》Python中的re模块是用于处理正则表达式的强大工具,正则表达式是一种用来匹配字符串的模式,它可以在文本中搜索和匹配特定的字符串模式,这篇文章主... 目录前言re模块常用函数一、查看文本中是否包含 A 或 B 字符串二、替换多个关键词为统一格式三、提

Python get()函数用法案例详解

《Pythonget()函数用法案例详解》在Python中,get()是字典(dict)类型的内置方法,用于安全地获取字典中指定键对应的值,它的核心作用是避免因访问不存在的键而引发KeyError错... 目录简介基本语法一、用法二、案例:安全访问未知键三、案例:配置参数默认值简介python是一种高级编

MySQL中的索引结构和分类实战案例详解

《MySQL中的索引结构和分类实战案例详解》本文详解MySQL索引结构与分类,涵盖B树、B+树、哈希及全文索引,分析其原理与优劣势,并结合实战案例探讨创建、管理及优化技巧,助力提升查询性能,感兴趣的朋... 目录一、索引概述1.1 索引的定义与作用1.2 索引的基本原理二、索引结构详解2.1 B树索引2.2

从入门到精通MySQL 数据库索引(实战案例)

《从入门到精通MySQL数据库索引(实战案例)》索引是数据库的目录,提升查询速度,主要类型包括BTree、Hash、全文、空间索引,需根据场景选择,建议用于高频查询、关联字段、排序等,避免重复率高或... 目录一、索引是什么?能干嘛?核心作用:二、索引的 4 种主要类型(附通俗例子)1. BTree 索引(

使用Python进行GRPC和Dubbo协议的高级测试

《使用Python进行GRPC和Dubbo协议的高级测试》GRPC(GoogleRemoteProcedureCall)是一种高性能、开源的远程过程调用(RPC)框架,Dubbo是一种高性能的分布式服... 目录01 GRPC测试安装gRPC编写.proto文件实现服务02 Dubbo测试1. 安装Dubb

HTML中meta标签的常见使用案例(示例详解)

《HTML中meta标签的常见使用案例(示例详解)》HTMLmeta标签用于提供文档元数据,涵盖字符编码、SEO优化、社交媒体集成、移动设备适配、浏览器控制及安全隐私设置,优化页面显示与搜索引擎索引... 目录html中meta标签的常见使用案例一、基础功能二、搜索引擎优化(seo)三、社交媒体集成四、移动

Python的端到端测试框架SeleniumBase使用解读

《Python的端到端测试框架SeleniumBase使用解读》:本文主要介绍Python的端到端测试框架SeleniumBase使用,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全... 目录SeleniumBase详细介绍及用法指南什么是 SeleniumBase?SeleniumBase

六个案例搞懂mysql间隙锁

《六个案例搞懂mysql间隙锁》MySQL中的间隙是指索引中两个索引键之间的空间,间隙锁用于防止范围查询期间的幻读,本文主要介绍了六个案例搞懂mysql间隙锁,具有一定的参考价值,感兴趣的可以了解一下... 目录概念解释间隙锁详解间隙锁触发条件间隙锁加锁规则案例演示案例一:唯一索引等值锁定存在的数据案例二: