本文主要是介绍2017.02.24回顾 logistic 1 -1 定义,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!
1、去学习了一下,用1和-1编码的logistic regression的损失函数,gbdt论文中提到的损失函数,是单个样本点的,其次要令y* = 2y - 1把0,1映射到-1,1,定义p的时候多一个2倍,即
p = 1/(1+exp(-2f)),把这两部分带入log似然函数就可以得到-1,1定义下的损失函数,log(1+exp(-2yf)),其实推导过程我是没看懂的,这个y我不知道是怎么拿进去的,感觉就是眼睛看的,观察说,可以把y提进去就写成了一种简单的表达,参考https://www.zhihu.com/question/38777817。另外我还研究了logistic回归当y编码为1,-1时,对于W的值是没影响,可以推导损失函数的梯度获知,影响W值的就是加不加这个2倍,损失函数梯度推导,相当于y只是一个常量,做一个变换带进去,损失函数形式上有变化,但实质不会变的。但有一个问题我不明白,-1,1这种编码如果是写损失函数的时候很简洁优雅(可以把y拿进去,一种加法的写法变成了乘法),那为什么定义p的时候要加个2倍呢?这个我不是很明白
2、期望是总体的,平均值是样本的、实际的
3、下午很多时间是在咨询户口的事情上,最后搞懂了损失函数的定义,开始理解gbdt论文中算法步骤
这篇关于2017.02.24回顾 logistic 1 -1 定义的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!