R语言-评分卡模型验证（ROC,KS，AIC,BIC)

# validate
library(pROC)  # roc
modelroc <- roc(test$label,pre)
modelauc<- auc(modelroc) # calculate area under the curve
plot(modelroc, print.auc=TRUE, auc.polygon=TRUE, grid=c(0.1, 0.2),
grid.col=c("green", "red"), max.auc.polygon=TRUE,
auc.polygon.col="skyblue", print.thres=TRUE) # draw roc
Gini <- 2*modelauc-1

基尼系数Gini Index

基尼系数最开始为经济学指标，判断一个群体收入分配的均匀程度，基尼系数越大，说明收入分配越不均匀。国际上通常把0.4作为警戒线，当大于0.4时易出现社会动荡。

在分类模型中，基尼系数衡量的是好坏样本的均匀程度，Gini系数越大越不均匀，也意味着好坏样本分得越开，这是我们想要的。Gini系数与AUC存在如下关系：

Gini=2AUC-1

代码可直接利用pROC包计算的auc值代入公式计算gini系数，见roc代码片断。

myKS <- function(pre,label){true <- sum(label)false <- length(label)-truetpr <- NULLfpr <- NULLo_pre <- pre[order(pre)] # let the threshold in an order from small to largefor (i in o_pre){tp <- sum((pre >= i) & label)tpr <- c(tpr,tp/true)fp <- sum((pre >= i) & (1-label))fpr <- c(fpr,fp/false)}plot(o_pre,tpr,type = "l",col= "green",xlab="threshold",ylab="tpr,fpr")lines(o_pre,fpr,type="l", col = "red")KSvalue <- max(tpr-fpr)sub = paste("KS value =",KSvalue)title(sub=sub)cutpoint <- which(tpr-fpr==KSvalue)thre <- o_pre[cutpoint]lines(c(thre,thre),c(fpr[cutpoint],tpr[cutpoint]),col = "blue")cat("KS-value:",KSvalue)
}