逻辑斯蒂回归(Logistic Regression) | 算法实现

2024-02-10 15:08

本文主要是介绍逻辑斯蒂回归(Logistic Regression) | 算法实现,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

01 起

在这篇文章中,我们学习了逻辑斯谛回归模型的算法原理:统计学习方法|logistic回归

今天我们基于算法原理,给出利用随机梯度上升算法求解逻辑斯蒂回归模型参数的过程。

我们先来回顾一下逻辑斯蒂回归模型,

  • logistic回归的目的是寻找一个非线性函数sigmoid函数的最佳拟合参数w, sigmoid(wx)=1/(1+exp(-wx)),找到最佳拟合参数w,使不同类别样本点的特征x输入后,被分到对应的分类中,sigmoid值可以认为是一个概率值,从0~1,当>0.5,分到1类,<=0.5分到0类

好了,开始实操。


02 梯度下降算法

逻辑斯蒂回归模型的求解过程可以由最优化算法完成,最常用的最优化算法是梯度下降/上升算法,又可以简化为随机梯度下降/上升算法。

一般地,梯度下降算法中的梯度是指模型损失函数对输入变量x的梯度,梯度方向是函数上升最快的方向,于是梯度下降算法是朝着梯度反方向更新系数,可以求得局部最小值,而梯度上升算法则每次朝着梯度方向更新系数,可以求得局部最大值。

如果优化目标是损失函数,那么应该使用梯度下降算法求解使损失函数最小的参数w,而本文的优化目标是二分类模型的似然函数L(w),该函数表示某样本属于某个类别的概率,所以似然函数越大越好,因此要使用梯度上升算法求似然函数L(w)的极大值。

随机梯度上升算法相比梯度上升算法,每次只使用一个样本点更新参数w,占用更少的计算资源,且可以在新数据到来时就完成参数更新,是一种在线算法,各种梯度下降算法如下:

  • 批量梯度下降算法(BGD,Batch Gradient Descent)
  • 随机梯度下降算法(SGD,Stochastic Gradient Descent)
  • 小批量梯度下降算法(MBGD,Mini-Batch Gradient Descent)

本文先给出梯度上升算法(BGA),然后给出改进的梯度上升算法——随机梯度上升算法(SGA)


03 梯度上升算法实现

思路:

  1. 初始化回归系数,即置回归系数w=(w1,w2,…,wn)为全1
  2. 将训练集各样本值带入F(X)=sigmoid(w*x)函数计算F(X)值,认为是样本的分类值(二分类01)
  3. 计算各训练样本的分类误差error(样本的真实分类值-样本的F(X))
  4. 认为本次迭代的梯度=dataMat’*error,得到一个(n,1)的矩阵,用于将回归系数向似然函数增大的方向调整
  5. 将回归系数w向似然函数增大的方向调整:w(k+1)=w(k)+a*dataMat’*error
  6. 重复2~5步,直到迭代达到指定次数或error小于某值,停止迭代,得到回归系数w,逻辑斯蒂回归模型训练完毕
#sigmoid函数(类阶跃函数,只是0>1斜率较缓,不是瞬变的)
def sigmoid(z):return 1.0/(1+np.exp(-z)) # z=w*xdef gradAscent(dataMat,labelMat,numIter=150):dataMatrix=np.mat(dataMat) #样本特征矩阵 (m,n)labelMatrix=np.mat(labelMat).transpose() #样本类别矩阵 (1,m)m,n=np.shape(dataMatrix) #m个样本,n个特征alpha=0.001 #梯度上升的步长weights=np.ones((n,1)) #初始化回归系数#开始迭代,梯度上升for i in range(numIter):#将各样本值带入F(X)=sigmoid(w*x)函数计算F(X),认为是样本在当前迭代的分类值Fx=sigmoid(dataMatrix*weights) #shape=(1,m)#计算各训练样本的分类误差error(样本的真实分类值-样本的F(X))#需要将label矩阵浮点数化,与Fx元素数值类型一致,否则报错"""这里可以加一个if判断,用于在error小于设定值时停止迭代"""error=(labelMatrix.astype(float)-Fx) #shape=(1,m) #本次迭代的梯度=dataMat'*error,意思为m个样本的n个特征 分别与 m个样本的误差相乘"""样本误差越大,下一次迭代调整就越多"""grad=dataMatrix.transpose()*error #shape=(n,1),用于将回归系数向似然函数增大的方向调整#将回归系数w向似然函数增大的方向调整:w(k+1)=w(k)+a*dataMat'*errorweights=weights+alpha*grad#直到迭代达到指定次数或error小于某值,停止迭代,得到回归系数w,逻辑斯蒂回归模型训练完毕return weights

我们使用一组二维分类数据集来测试一下算法,得到的分类边界如下图所示,其中蓝点红点分别表示数据集中划分好的不同类别,橙色线条为决策边界,是训练得到的逻辑斯蒂回归模型,


04 随机梯度上升算法实现

以上计算可以看到,梯度上升法计算量较大,即使是简单数据集计算量也很大(100条3维度数据需要进行300次乘法,再算上1000此迭代,计算量就更大了),当面对上万上亿条数据,计算复杂度就太大了。

于是我们给出改进的梯度上升算法——随机梯度上升算法,

  • 一次仅用一个样本点来更新回归系数w
  • 此方法可以在新样本到来时进行增量式的更新,因此随机梯度上升法是一种在线学习算法

随机梯度上升法思路:与梯度上升法类似,不同之处在于:

  1. 随机梯度上升法一次只用一个样本点来更新回归系数w
  2. 需要遍历所有的样本点来更新回归系数w,然后才相当于梯度上升法的一次迭代
  3. 相比于梯度上升法,随机梯度上升法每次迭代只有100次(样本数)乘法,复杂度大大降低,特别对于高维样本
def stocGradAscent(dataMat,labelMat):m,n=np.shape(dataMat) #m个样本,n个维度(特征),dataMat为listdataMatrix=np.mat(dataMat) #list转换为矩阵,便于后续计算alpha=0.01 #步子迈大点weights=np.ones((n,1)) #初始化回归系数,一维数组for i in range(m): #遍历所有样本点#第i个样本点的F(x)值,float内为第i个样本点的w*xFxi=sigmoid(float((dataMatrix[i]*weights)))#第i个样本的真实值与预测值误差,用于回归系数调整error=float(labelMat[i])-Fxi#回归系数调整,只用第i个样本点更新回归系数wweights=weights+alpha*error*dataMatrix[i].transpose()return weights

我们使用相同的数据集测试一下随机梯度上升算法训练的逻辑斯蒂回归模型,如下图,

咦,怎么感觉分类能力更弱了?

不不不,再仔细看看,随机梯度上升算法只迭代了1次,而刚才我们迭代了1000次,这样对比好像不太公平呐!

我们再改进一下,

  1. 加入多次迭代
  2. 每次迭代的步长(alpha)会被调整,越往后迭代,步长越小
    • 可缓解迭代过程中系数的波动,前几次迭代中,步长较大,即,alpha不是严格下降的,便于系数快速收敛
  3. 每次迭代中,遍历样本不是按顺序遍历的,而是随机遍历的,即,随机选取样本来更新回归系数w,每次随机从样本集中选出一个样本,更新系数,然后删除该样本点,进行下一次i迭代
    • 可减少迭代过程中回归系数的周期性波动,因为周期性波动(波形图中的小锯齿)来自于一些不能被正确分类的样本点(数据集并非线性可分),这些样本点每次被用于更新系数时会引起系数的剧烈波动
def stocGradAscentIter(dataMat,labelMat,numIter=150):m,n=np.shape(dataMat) #m个样本,n个维度(特征),dataMat为listdataMatrix=np.mat(dataMat) #list转换为矩阵,便于后续计算weights=np.ones((n,1)) #初始化回归系数,一维数组for j in range(numIter):dataIndex=list(range(m))#样本点索引,用于存储尚未用于更新系数的样本点的索引for i in range(m): #遍历所有样本点"""第j次迭代的第i个小迭代"""alpha=4/(1.0+j+i)+0.01 #每次迭代的步长(alpha)会被调整,越往后迭代,步长越小#随机选取样本点进行系数更新randIndex=np.random.randint(0,len(dataIndex)) #从尚未用于更新系数的样本点中随机选取一个样本Fxi=sigmoid(float((dataMatrix[randIndex]*weights)))error=float(labelMat[randIndex])-Fxiweights=weights+alpha*error*dataMatrix[randIndex].transpose()#删除已经用于更新系数的样本点的索引del(dataIndex[randIndex])return weights

再来看看训练效果,

对比一下使用梯度上升算法迭代1000次后的模型,改进的随机梯度上升算法只迭代了10次就已经展现出较好的分类能力了,溜~~


05 总结

本文给出了随机梯度下降/上升算法的原理和方法,并基于随机梯度上升算法求解逻辑斯蒂回归模型的参数w,完成模型训练,旨在加深对逻辑斯谛回归模型和随机梯度下降算法的进一步理解,希望对你有帮助=.=


06 参考

  1. 《统计学习方法》 李航 Chapter6
  2. 《机器学习实战》 Peter Harrington Chapter5

这篇关于逻辑斯蒂回归(Logistic Regression) | 算法实现的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/697421

相关文章

C#之List集合去重复对象的实现方法

《C#之List集合去重复对象的实现方法》:本文主要介绍C#之List集合去重复对象的实现方法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录C# List集合去重复对象方法1、测试数据2、测试数据3、知识点补充总结C# List集合去重复对象方法1、测试数据

Linux实现线程同步的多种方式汇总

《Linux实现线程同步的多种方式汇总》本文详细介绍了Linux下线程同步的多种方法,包括互斥锁、自旋锁、信号量以及它们的使用示例,通过这些同步机制,可以解决线程安全问题,防止资源竞争导致的错误,示例... 目录什么是线程同步?一、互斥锁(单人洗手间规则)适用场景:特点:二、条件变量(咖啡厅取餐系统)工作流

SpringBoot读取ZooKeeper(ZK)属性的方法实现

《SpringBoot读取ZooKeeper(ZK)属性的方法实现》本文主要介绍了SpringBoot读取ZooKeeper(ZK)属性的方法实现,强调使用@ConfigurationProperti... 目录1. 在配置文件中定义 ZK 属性application.propertiesapplicati

Java Multimap实现类与操作的具体示例

《JavaMultimap实现类与操作的具体示例》Multimap出现在Google的Guava库中,它为Java提供了更加灵活的集合操作,:本文主要介绍JavaMultimap实现类与操作的... 目录一、Multimap 概述Multimap 主要特点:二、Multimap 实现类1. ListMult

C#实现将Office文档(Word/Excel/PDF/PPT)转为Markdown格式

《C#实现将Office文档(Word/Excel/PDF/PPT)转为Markdown格式》Markdown凭借简洁的语法、优良的可读性,以及对版本控制系统的高度兼容性,逐渐成为最受欢迎的文档格式... 目录为什么要将文档转换为 Markdown 格式使用工具将 Word 文档转换为 Markdown(.

Java反射实现多属性去重与分组功能

《Java反射实现多属性去重与分组功能》在Java开发中,​​List是一种非常常用的数据结构,通常我们会遇到这样的问题:如何处理​​List​​​中的相同字段?无论是去重还是分组,合理的操作可以提高... 目录一、开发环境与基础组件准备1.环境配置:2. 代码结构说明:二、基础反射工具:BeanUtils

使用Python实现base64字符串与图片互转的详细步骤

《使用Python实现base64字符串与图片互转的详细步骤》要将一个Base64编码的字符串转换为图片文件并保存下来,可以使用Python的base64模块来实现,这一过程包括解码Base64字符串... 目录1. 图片编码为 Base64 字符串2. Base64 字符串解码为图片文件3. 示例使用注意

使用Python实现获取屏幕像素颜色值

《使用Python实现获取屏幕像素颜色值》这篇文章主要为大家详细介绍了如何使用Python实现获取屏幕像素颜色值,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 一、一个小工具,按住F10键,颜色值会跟着显示。完整代码import tkinter as tkimport pyau

在Java中将XLS转换为XLSX的实现方案

《在Java中将XLS转换为XLSX的实现方案》在本文中,我们将探讨传统ExcelXLS格式与现代XLSX格式的结构差异,并为Java开发者提供转换方案,通过了解底层原理、性能优势及实用工具,您将掌握... 目录为什么升级XLS到XLSX值得投入?实际转换过程解析推荐技术方案对比Apache POI实现编程

IDEA如何实现远程断点调试jar包

《IDEA如何实现远程断点调试jar包》:本文主要介绍IDEA如何实现远程断点调试jar包的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录问题步骤总结问题以jar包的形式运行Spring Boot项目时报错,但是在IDEA开发环境javascript下编译