毕设分享 糖尿病视网膜病变数据据分析

0 简介

今天学长向大家介绍一个机器视觉的毕设项目，基于深度学习的人脸识别系统

项目运行效果：

项目获取：

https://gitee.com/sinonfin/algorithm-sharing

1 任务目标

这次任务的数据集是1000的糖网的4个等级的眼底图像，我们需要利用深度学习框架pytorch 来根据眼底图像预测其分类。

2 数据处理

1.数据分析

通过对数据统计可以得到（已经划分的训练集）：

图片种类的分布是有一点不均匀的，同时图片数量也有一点少，所以我们先简单的对图片数据进行一下扩充，这里我们使用最简单的图片反转作为数据增强的方式。我们对一类的图片进行的左右翻转和上下翻转，扩充为原来的三倍。对二类和三类的图片我们做了上下翻转，扩充到原来的二倍。对零类图片不做任何处理。

这是处理后的训练集分布。
我是7：3分割的训练集和验证集

2.模型训练

2.1模型准备

使用的模型是torchvision.model里的经典模型和预训练好的参数。

from torchvision import models as models
# inception_v3,ResNet50
model = models.resnet50(pretrained=True)
#将pretrained置为true，意思是使用已经预训练好的参数。model.fc#打印模型全连接层的输入和输出参数
#Linear(in_features=2048, out_features=1000, bias=True)

因为我们是四分类所以调整模型输出为：

model.fc = torch.nn.Linear(in_features=2048, out_features=4, bias=True)
model.aux_logits = False #这个设置是InceptionV3这个模型需要设置的，
#不知道什么意思，但不设置会报错。

2.2参数设置

device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
model = model.to(device=device)
learning_rate = 1e-4
num_epochs = 10
batch_size = 32
optimizer = torch.optim.Adam(model.parameters(), lr = learning_rate)
loss_criterion = torch.nn.CrossEntropyLoss()

2.3读取数据并转换为tensor类型

这一部分我是定义了一个类mydataset继承父类Dataset来获取可迭代的数据对象，同时对图片的处理和transform转换也在这里面实现。这里就不多说，对dataset不懂得可以看我之前写的dataset类。直接贴代码。

my_transform = transforms.Compose([transforms.Resize((299,299)),transforms.ToTensor(),
#     transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]),
])
#这里进行transform是因为inception_v3模型的输入是(299*299)
#resnet就不需要是（299*299）了
class retinaDataset(Dataset):def __init__(self, imagepath=r"D:\course\junior_2\deep_learning\third\train", csv_path=" ",transform=my_transform):self.df = pd.read_csv(csv_path)# if (total is not None):#     self.df = self.df[:total]self.transform = transformself.imagepath = imagepathdef __len__(self):return len(self.df)def __getitem__(self, index):img_path = os.path.join(self.imagepath, self.df.iloc[index].image +".png")img = Image.open(img_path)if(self.transform):img = self.transform(img)return img, torch.tensor(self.df.iloc[index].Retinopathy_grade)train_dataset = retinaDataset(csv_path=r"D:\course\junior_2\deep_learning\mythird\train.csv")train_dataloader = DataLoader(dataset=train_dataset, 
batch_size=batch_size, shuffle=True)
#这里调用Dataloder函数对数据进行分组并打乱顺序。

2.4开始训练

for epoch in range(num_epochs):for data, target in tqdm(train_dataloader):data = data.to(device=device)target = target.to(device=device)score = model(data)optimizer.zero_grad()loss = loss_criterion(score, target)loss.backward()optimizer.step()print(f"for epoch {epoch}, loss : {loss}")

2.5测试模型准确率

def f_check_accuracy(model_i,model_r, loader):model_i.eval() #模型inception_v3model_r.eval() #模型resnet50num0=0num1=0num2=0num3=0total0=0total1=0total2=0total3=0correct_output = 0total_output = 0with torch.no_grad(): #反向传播时不再自动求导，节省显存。for x, y in tqdm(loader):x = x.to(device=device)y = y.to(device=device)score_i = model_i(x)score_r = model_r(x)_,predictions_i = score_i.max(1)_,predictions_r = score_r.max(1)for i in range (len(y)):if(y[i]==0):total0=total0+1if(predictions_i[i]==0):num0=num0+1elif(y[i]==1):total1=total1+1if(predictions_r[i]==1):num1=num1+1elif(y[i]==2):total2=total2+1if(predictions_r[i]==2):num2=num2+1   elif(y[i]==3):total3=total3+1if(predictions_i[i]==3):num3=num3+1 correct_output =num0+num1+num2+num3total_output =total0+total1+total2+total3# model.train()print("0类准确率",num0/total0,"correct:",num0,"total:",total0)print("1类准确率",num1/total1,"correct:",num1,"total:",total1)print("2类准确率",num2/total2,"correct:",num2,"total:",total2)print("3类准确率",num3/total3,"correct:",num3,"total:",total3)print(f"out of {total_output} , total correct: {correct_output} with an accuracy of {float(correct_output/total_output)*100}")

解释一下我为什么要把inception_v3和resnet50结合到一起。

我们可以看到v3和resnet50再不同种类的准确率不同。所以可以把这两个模型结合在一起来提高准确率。

可以看到准确率提升的效果很好，大约20个点左右。
我们还可以从kaggle中下载一些数据来补充训练集，因为1000图片在划分之后对于四分类的任务来说是不够的。

3 数据分析

数据集描述
1.
下载地址messidor_features.arff
2. 数据集开头有一些描述信息，训练是用不到的，我选择删掉，方便用pd.read_csv()函数读取。

当然不删也是可以的，有专门的函数读取.arff文件

​

from scipy.io import arff
import pandas as pd
df = arff.loadarff('messidor_features.arff') #读取出来是一个元组
dataframe = pd.DataFrame(df[0])

3.数据集messidor_features.arff包含从 Messidor
图像集中提取的特征，用于预测图像是否包含糖尿病视网膜病变的迹象。所有特征都代表检测到的病变、解剖部位的描述特征或图像级描述符。该数据集有20条属性，类标签是最后一条，如图。

4. 对数据集有大概了解后，来简单探索性分析一下它。首先查看data.info(),看看有没有缺失值及数据类型。

​

import pandas as pdpath='E:/Python_file/zuoye/messidor_features.arff'
Cnames = ['x0', 'x1', 'x2', 'x3', 'x4', 'x5', 'x6', 'x7', 'x8', 'x9','x10', 'x11', 'x12', 'x13', 'x14', 'x15', 'x16', 'x17', 'x18', 'y']
#删掉与数据集无关的内容
data=pd.read_csv(path,header=None,names=Cnames)
print('数据集基础信息：')
print(data.info())

可以看到数据里没有缺失值。再统计一下，类标签为‘1’的数据有611条，占比为53.1%；标签为‘0’的数据有540条，占比为46.9%。说明正例数据与负例数据的数量分布是均衡的。
5. 这里推荐使用pandas-profiling库，可以一键生成对数据集的分析报告，非常好用。没有安装的话用pip install
pandas_profiling 命令安装一下。

​

import pandas_profiling
report= pandas_profiling.ProfileReport(data)
report.to_file("output_file.html")

运行后生成一个可交互的.html文件，通常包含对数据的类型检测；计算唯一值、缺失值；分位数统计如最小最大值、四分位数、中位数等；描述统计如平均数、众数、峰度偏度等；变量间相关系数的热力图，等等。
我们来看看该数据集下各属性间用Spearman秩相关系数（ρ）描述的单调相关的度量热力图，ρ的值介于-1和+1之间，-1表示完全负单调相关，0表示没有单调相关，1表示完全正单调相关。

三. 方法介绍
逻辑回归的原理有很多博主写的很好，我就不班门弄斧了，主要说说代码。利用sklearn库提供的LogisticRegression()可以很方便的完成训练和预测。

​

from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import train_test_splitX=data[data.columns[0:19]] #提取特征，不要标签
y=data['y']                #train_size=0.8，80%的训练集占比
x_train,x_test,y_train,y_test=train_test_split(X,y,train_size=0.8,random_state=90)lr=LogisticRegression(max_iter=3000)
clm=lr.fit(x_train,y_train)
print('对测试集的预测结果：')
#输出预测结果、预测结果的结构类型及尺寸
result=clm.predict(x_test)

LogisticRegression()的参数很多，但需要设置的不多。我们的数据集是分布均衡的，参数类别权重 class_weight
不需要设置；关于参数优化算法 solver
用默认的‘liblinear’就好，因为这是二分类问题（只看有没有病变），而且我们是小数据集，也用不到面向大数据集的‘sag’和‘saga’；而
max_iter 是设置迭代次数，如果小了，可能模型没收敛就运行结束了，这里我设置为3000次。

四. 结果和模型评价及可视化
1.测试集的检测结果如图，1代表有病变，0代表没有。要注意的是划分训练集和测试集时，random_state等于不同的值，会得到不同的测试集，我这里是random_state=90，改成其他数，预测结果就和我不同，但对模型评价没有影响。

2.
模型评价的指标有很多，比如召回率、精度、准确率、F统计量、决定系数R²、ROC曲线的包络面积AUC等。可以用classification_report()一键生成评估报告。

​

from sklearn.metrics import classification_report
print('性能报告;')
print(classification_report(y_test,result))
confusion = metrics.confusion_matrix(y_test, result)

3. 以FPR为横轴，TPR为纵轴，绘制ROC曲线，并由曲线计算得AUC=0.77。

​

from sklearn.metrics import roc_curve,auc
from matplotlib import pyplot as pltfpr, tpr, thr = roc_curve(y_test, result, drop_intermediate=False)
fpr, tpr = [0] + list(fpr), [0] + list(tpr)
plt.plot(fpr, tpr)
plt.title('ROC curve for diabetes classifier')
plt.xlabel('False Positive Rate (1 - Specificity)')
plt.ylabel('True Positive Rate (Sensitivity)')
plt.grid(True)
plt.show()
print('AUC:'+ str(auc(fpr,tpr)))

该模型的检测能力还是可以的。
4. 从逻辑回归模型中导出各个变量的回归系数，由此作出重要程度的条形图。

​

print('逻辑回归各变量系数：')
print(clm.coef_)
coef_lr = pd.DataFrame({'var' : x_test.columns,'coef' : clm.coef_.flatten()})index_sort =  np.abs(coef_lr['coef']).sort_values().index
coef_lr_sort = coef_lr.loc[index_sort,:]# 水平柱形图绘图
fig,ax=plt.subplots()
x, y = coef_lr_sort['var'], coef_lr_sort['coef']
rects = plt.barh(x, y, color='dodgerblue')
plt.grid(linestyle="-.", axis='y', alpha=0.4)
plt.tight_layout()
#添加数据标签
for rect in rects:w = rect.get_width()ax.text(w, rect.get_y()+rect.get_height()/2,'%.2f' %w,ha='left',va='center')

逻辑回归就是把线性回归的结果输入到了sigmoid函数，所以各变量的系数还是有的。

可以看到对视网膜病变检测结果影响最大的五个变量分别是x14,x1,x2,x0,x15，它们的含义参照上文。可以确定这五个变量是导致糖尿病视网膜病变的主要因素。

项目运行效果：

项目获取：

https://gitee.com/sinonfin/algorithm-sharing