三个臭皮匠——集成学习AdaBoost简单代码实现示例

本文主要是介绍三个臭皮匠——集成学习AdaBoost简单代码实现示例,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

转载自[https://zhuanlan.zhihu.com/p/27126737]

三个臭皮匠——AdaBoost简单代码实现示例

    • 转载内容(引子)
    • 第一个学习器
      • 封装函数(python)
      • 第一轮误差
    • 第二个学习器
      • 第二轮误差
    • 第三个学习器
      • 第三轮误差
    • 总结

转载内容(引子)

集成学习概念
例题

第一个学习器

返回顶部

import numpy as np
import pandas as pddata = {'x':[i for i in range(10)], 'y':[1, 1, 1, -1, -1, -1, 1, 1, 1, -1]}
df = pd.DataFrame(data, columns=['x', 'y'])
df['w'] = 0.1
df
xyw
0010.1
1110.1
2210.1
33-10.1
44-10.1
55-10.1
6610.1
7710.1
8810.1
99-10.1

封装函数(python)

返回顶部
正函数(小于分界点为1,大于分界点为-1,reverse = True)
负函数(小于分界点为-1,大于分界点为1,reverse = False)

def find_min(df, reverse=True):# 正函数g_p = lambda x,s:int(x < s) * 2 - 1  # 满足时1 * 2 - 1 = 1;不满足时0 * 2 - 1 = -1# 负函数g_n = lambda x,s:int(x > s) * 2 - 1g = g_p if reverse else g_nx = df['x']e_idx = 1  # 误差权重初值x_idx = 0  # 误差权重初值对应分界点   for i in x:df_temp = df.copy(deep=True)df_temp['e'] = 0     # 将['e']属性先统一赋值0df_temp['G'] = df_temp['x'].apply(lambda x: g(x, i - 0.5))df_temp.loc[df_temp['y'] != df_temp['G'], ['e']] = df_temp['w']  # 当['y']属性与['G']属性不一致时,['e']为其权重e = df_temp['e'].sum()  # 误差(['y']与['G']不一致)权重求和if e < e_idx:           # 找最小误差权重及其对应分界点e_idx, x_idx = e, (i - 0.5)return g, round(e_idx, 3), round(x_idx, 1)
def find_func(df):g_p, e_p, s_p = find_min(df)  # 正函数返回误差及对应分界点g_n, e_n, s_n = find_min(df, reverse = False)  # 负函数返回误差及对应分界点if e_p < e_n:  # 选择误差较小的正函数(或负函数)return g_p, e_p, s_preturn g_n, e_n, s_n
def alpha(df):g, e, split = find_func(df)alpha = round((1.0 / 2) * (np.log(1 - e) - np.log(e)), 4)df['G'] = df['x'].apply(lambda x: g(x, split))df['w'] = round(df['w']* np.exp(-alpha * df['y'] * df['G']), 4)df['w'] = round(df['w'] / (df['w'].sum()), 4)return g, split, alpha

第一个学习器

g1, split1, alpha1 = alpha(df)
alpha1
0.4236
func =lambda x:np.sign(alpha1 * g1(x, split1))
df['G'] = df['x'].apply(lambda x: int(func(x)))
df
xywG
0010.07151
1110.07151
2210.07151
33-10.0715-1
44-10.0715-1
55-10.0715-1
6610.1666-1
7710.1666-1
8810.1666-1
99-10.0715-1

第一轮误差

返回顶部
第一轮误差

df.loc[df['y'] != df['G'], ['x']].count()
x    3
dtype: int64

第二个学习器

返回顶部
第二个学习器

g2, split2, alpha2 = alpha(df)
alpha2
0.6505
func =lambda x:np.sign(alpha1 * g1(x, split1) + alpha2 * g2(x, split2))
df['G'] = df['x'].apply(lambda x: int(func(x)))
df
xywG
0010.04541
1110.04541
2210.04541
33-10.16691
44-10.16691
55-10.16691
6610.10591
7710.10591
8810.10591
99-10.0454-1

第二轮误差

返回顶部
第二轮误差

df.loc[df['y'] != df['G'], ['x']].count()
x    3
dtype: int64

第三个学习器

返回顶部
第三个学习器

g3, split3, alpha3 = alpha(df)
alpha3
0.7514
func =lambda x:np.sign(alpha1 * g1(x, split1) + alpha2 * g2(x, split2) + alpha3 * g3(x, split3))
df['G'] = df['x'].apply(lambda x: int(func(x)))
df
xywG
0010.12481
1110.12481
2210.12481
33-10.1021-1
44-10.1021-1
55-10.1021-1
6610.06491
7710.06491
8810.06491
99-10.1248-1

第三轮误差

返回顶部
第三轮误差

df.loc[df['y'] != df['G'], ['x']].count()
x    0
dtype: int64

总结

“三个臭皮匠抵过一个诸葛亮”,多个弱分类器(准确率大于50%)串起来(协作)能达到很好的准确度。

欢迎关注,敬请点赞!
返回顶部

这篇关于三个臭皮匠——集成学习AdaBoost简单代码实现示例的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/weixin_45221012/article/details/103915927
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/701438

相关文章

Python使用python-can实现合并BLF文件

《Python使用python-can实现合并BLF文件》python-can库是Python生态中专注于CAN总线通信与数据处理的强大工具,本文将使用python-can为BLF文件合并提供高效灵活... 目录一、python-can 库:CAN 数据处理的利器二、BLF 文件合并核心代码解析1. 基础合

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文

golang版本升级如何实现

《golang版本升级如何实现》:本文主要介绍golang版本升级如何实现问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录golanwww.chinasem.cng版本升级linux上golang版本升级删除golang旧版本安装golang最新版本总结gola

SpringBoot中SM2公钥加密、私钥解密的实现示例详解

《SpringBoot中SM2公钥加密、私钥解密的实现示例详解》本文介绍了如何在SpringBoot项目中实现SM2公钥加密和私钥解密的功能,通过使用Hutool库和BouncyCastle依赖,简化... 目录一、前言1、加密信息(示例)2、加密结果(示例)二、实现代码1、yml文件配置2、创建SM2工具

Mysql实现范围分区表(新增、删除、重组、查看)

《Mysql实现范围分区表(新增、删除、重组、查看)》MySQL分区表的四种类型(范围、哈希、列表、键值),主要介绍了范围分区的创建、查询、添加、删除及重组织操作,具有一定的参考价值,感兴趣的可以了解... 目录一、mysql分区表分类二、范围分区(Range Partitioning1、新建分区表:2、分

MySQL 定时新增分区的实现示例

《MySQL定时新增分区的实现示例》本文主要介绍了通过存储过程和定时任务实现MySQL分区的自动创建,解决大数据量下手动维护的繁琐问题,具有一定的参考价值,感兴趣的可以了解一下... mysql创建好分区之后,有时候会需要自动创建分区。比如,一些表数据量非常大,有些数据是热点数据,按照日期分区MululbU

MySQL中查找重复值的实现

《MySQL中查找重复值的实现》查找重复值是一项常见需求,比如在数据清理、数据分析、数据质量检查等场景下,我们常常需要找出表中某列或多列的重复值,具有一定的参考价值,感兴趣的可以了解一下... 目录技术背景实现步骤方法一:使用GROUP BY和HAVING子句方法二:仅返回重复值方法三:返回完整记录方法四:

IDEA中新建/切换Git分支的实现步骤

《IDEA中新建/切换Git分支的实现步骤》本文主要介绍了IDEA中新建/切换Git分支的实现步骤,通过菜单创建新分支并选择是否切换,创建后在Git详情或右键Checkout中切换分支,感兴趣的可以了... 前提:项目已被Git托管1、点击上方栏Git->NewBrancjsh...2、输入新的分支的

Python函数作用域示例详解

《Python函数作用域示例详解》本文介绍了Python中的LEGB作用域规则,详细解析了变量查找的四个层级,通过具体代码示例,展示了各层级的变量访问规则和特性,对python函数作用域相关知识感兴趣... 目录一、LEGB 规则二、作用域实例2.1 局部作用域(Local)2.2 闭包作用域(Enclos

Python实现对阿里云OSS对象存储的操作详解

《Python实现对阿里云OSS对象存储的操作详解》这篇文章主要为大家详细介绍了Python实现对阿里云OSS对象存储的操作相关知识,包括连接,上传,下载,列举等功能,感兴趣的小伙伴可以了解下... 目录一、直接使用代码二、详细使用1. 环境准备2. 初始化配置3. bucket配置创建4. 文件上传到os