本文主要是介绍计算特征相关性的方法，特征提取的方法，如何判断特征是否重要，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
计算特征相关性可以用皮尔逊系数
(公式
及含义解释：表示两组数据的线性关系程度，取值为[-1,1])，衡量的是变量之间的线性相关性，简单快速，但是只对线性关系敏感，非线性不适合；计算特征相关性的指标还有互信息MIC和距离相关系数(Python gist包)，取值为[0,1]。
特征工程中包含特征选择和特征提取(区别)，特征选择用的是Lasso，OMP，WOMP(特征排序)算法(流程讲清楚)，特征提取用的是PCA降维；构造每维特征与label之间的相关性，衡量特征和相应变量即label之间的关系，计算预测输出和实际输出的误差值，误差小的说明该特征对于拟合建模贡献较大，即说明特征比较重要，常用的有卡方检验。特征选择的wrapper型更符合现在的主流，例如回归模型，SVM，决策树，随机森林等机器学习模型python方法本身就有对特征打分的机制，模型可输出系数，系数越大代表特征越重要。解决的是特征冗余和多重共线性问题。随机森林RF模型的特征选择方法是平均不纯度减少(mean decrease impurity)和平均准确率减少(mean decrease accuracy)：平均不纯度减少在分类时采用的是基尼不纯度或信息增益，在回归时采用的是方差或最小二乘拟合，存在关联特征的打分不稳定的缺点；平均准确率减少采用的是打乱特征的顺序，看对模型准确率的影响。
稳定性选择是一种基于二次抽样和选择算法相结合的新方法，原理是在不同的数据子集上运行特征选择算法，不断的重复，最终汇总特征选择结果，效果一般比较好；递归特征消除方法RFE的原理是反复地构建模型，然后选出最好的或最差的特征，把选出来的特征存起来，然后在剩余的特征上继续这个步骤，直到遍历完所有的特征。
这篇关于计算特征相关性的方法，特征提取的方法，如何判断特征是否重要的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
