基于机器学习的糖尿病数据分析与风险评估系统

2024-08-24 18:20
文章标签 系统 学习 机器 评估 风险 数据分析 糖尿病

本文主要是介绍基于机器学习的糖尿病数据分析与风险评估系统，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

B站视频及代码下载：基于机器学习的糖尿病数据分析与风险评估系统_哔哩哔哩_bilibili

1. 项目简介

        糖尿病，作为一种在全球范围内广泛流行的慢性疾病，已经影响了数以百万计的人们的生活，给全球公共健康带来了严重的挑战。因此，糖尿病的预防和控制成为了全球公共卫生领域的一项重要任务。准确预测糖尿病的发病风险对于早期干预和预防至关重要。

        本项目通过可视化分析对数据进行初步探索，再通过斯皮尔曼相关性检验探究患糖尿病的影响因素，通过建立Xgboost模型对是否患有糖尿病就行建模和训练，在不知道临床测量结果的前提下，去预测某人是否会患有糖尿病，测试集预测 AUC 达到 94.2%。通过机器学习模型分析影响糖尿病的主要因素，可以帮助医疗从业者更好地了解病因和风险因素，从而制定有效的预防和治疗策略。

基于机器学习的糖尿病数据分析与风险评估系统

2. 糖尿病数据探索式可视化分析

2.1 数据集读取与预处理

        数据集包含了患者的各项健康指标及其是否患有糖尿病的标签。数据集的主要目标是通过机器学习模型预测糖尿病的发病风险，并分析影响糖尿病的主要健康因素。该数据集包含1879名患者的全面健康数据，唯一标识的ID范围为6000至7878。这些数据包括人口统计细节、生活方式因素、病史、临床测量、药物使用、症状、生活质量评分、环境暴露和健康行为。每位患者都有一名负责的保密医生，确保隐私和保密性。该数据集非常适合研究人员和数据科学家探索与糖尿病相关的因素、开发预测模型和进行统计分析。

data = pd.read_csv('diabetes_data.csv')
data.shape# 删除患者ID列和主管医生列
data.drop(['PatientID','DoctorInCharge'],axis=1,inplace=True)# 查看数据信息
data.info()# 查看重复值
data.duplicated().sum()

 2.2 患者基本信息统计分布

  • 年龄：共有1879条记录，年龄从20岁到90岁不等，平均年龄约为55.04岁。
  • 性别：共有2个不同的性别分类，其中男性（0）和女性（1）均有记录，男性占52.51%，女性占47.49%。
  • 种族：共有4个不同的种族分类，其中最常见的种族是白种人（0），有1175人。
  • 社会经济地位：共有3个不同的社会经济地位分类，社会经济地位中等（1）最常见，有751人。
  • 教育水平分布：共有4个不同的教育水平分类，学士学位（2）最常见，有1116人。
  • BMI：体质指数范围从15.03到39.99，平均值约为27.69。

2.3 吸烟饮酒等生活习惯统计分布 

  • 吸烟：共有2个分类，吸烟者（1）和非吸烟者（0），非吸烟者占71.85%。
  • 饮酒量：饮酒量从0.000928到19.996231不等，平均饮酒量约为10.10。
  • 每周体育活动时间：每周体育活动时间从0.004089小时到9.993893小时不等，平均每周体育活动时间为5.20小时。
  • 饮食质量：饮食质量评分从0.000885到9.998677，平均值约为4.90。
  • 睡眠质量：数据缺乏具体描述，但睡眠质量评分预计为正态分布。
  • 生活质量：生活质量评分从0.00239到99.7885，平均值约为48.51。    
# Compute the correlation matrix
corr = data.corr()# Generate a mask for the upper triangle
mask = np.triu(np.ones_like(corr, dtype=bool))# Set up the matplotlib figure
f, ax = plt.subplots(figsize=(11, 9))# Generate a custom diverging colormap
cmap = sns.diverging_palette(230, 20, as_cmap=True)# Draw the heatmap with the mask and correct aspect ratio
sns.heatmap(corr, mask=mask, cmap=cmap, vmax=.3, center=0,square=True, linewidths=.5, cbar_kws={"shrink": .5})plt.show()

        类似维度的统计分析，还包括其他疾病患病情况、临床检查结果、药物使用情况、症状情况、生活及工作环境、健康状况等维度，此处篇幅限制暂省略，具体可参考演示视频和源代码。

3. 糖尿病发病风险的影响因素分析

        通过计算特征与预测目标之间的斯皮尔曼相关性，并绘制相关性热力分布图。

# Compute the correlation matrix
corr = data.corr()# Generate a mask for the upper triangle
mask = np.triu(np.ones_like(corr, dtype=bool))# Set up the matplotlib figure
f, ax = plt.subplots(figsize=(11, 9))# Generate a custom diverging colormap
cmap = sns.diverging_palette(230, 20, as_cmap=True)# Draw the heatmap with the mask and correct aspect ratio
sns.heatmap(corr, mask=mask, cmap=cmap, vmax=.3, center=0,square=True, linewidths=.5, cbar_kws={"shrink": .5})plt.show()

        个人统计信息与患糖尿病之间的相关性分析：

        类似维度的统计分析，还包括其他疾病患病情况、临床检查结果、药物使用情况、症状情况、生活及工作环境、健康状况等维度，此处篇幅限制暂省略，具体可参考演示视频和源代码。 

4. 机器学习建模预测糖尿患病情况

4.1 数据集切分

import xgboost as xgb
from sklearn.model_selection import train_test_split
from sklearn.metrics import auc, roc_curve
from sklearn.metrics import accuracy_score, precision_score, recall_scorey_train_all = data['Diagnosis']
X_train_all = data.drop(columns=['Diagnosis'])X_train, X_valid, y_train, y_valid = train_test_split(X_train_all, y_train_all, test_size=0.1, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X_train, y_train, test_size=0.1, random_state=42)print('train: {}, valid: {}, test: {}'.format(X_train.shape[0], X_valid.shape[0], X_test.shape[0]))

4.2 梯度提升决策树 Xgboost 模型 

df_columns = X_train.columns.values
print('===> feature count: {}'.format(len(df_columns)))xgb_params = {'eta': 0.05,'min_child_weight': 8,'colsample_bytree': 0.5,'max_depth': 4,'subsample': 0.9,'lambda': 2.0,'eval_metric': 'auc','objective': 'binary:logistic','nthread': -1,'silent': 1,'booster': 'gbtree'
}dtrain = xgb.DMatrix(X_train, y_train, feature_names=df_columns)
dvalid = xgb.DMatrix(X_valid, y_valid, feature_names=df_columns)watchlist = [(dtrain, 'train'), (dvalid, 'valid')]

4.3 模型训练

model = xgb.train(dict(xgb_params),dtrain,evals=watchlist,verbose_eval=10,early_stopping_rounds=100,num_boost_round=4000)

        训练日志：

[0]	train-auc:0.64543	valid-auc:0.54761
[10]	train-auc:0.97141	valid-auc:0.95499
[20]	train-auc:0.97530	valid-auc:0.95752
[30]	train-auc:0.97728	valid-auc:0.95941
[40]	train-auc:0.97865	valid-auc:0.95917
[50]	train-auc:0.98003	valid-auc:0.96248
[60]	train-auc:0.98180	valid-auc:0.96389
[70]	train-auc:0.98345	valid-auc:0.96614
[80]	train-auc:0.98446	valid-auc:0.96791
[90]	train-auc:0.98518	valid-auc:0.96684
[100]	train-auc:0.98612	valid-auc:0.96625
[110]	train-auc:0.98665	valid-auc:0.96743
[120]	train-auc:0.98709	valid-auc:0.96743
[130]	train-auc:0.98756	valid-auc:0.96791
[140]	train-auc:0.98839	valid-auc:0.96661
[150]	train-auc:0.98915	valid-auc:0.96637
[160]	train-auc:0.98975	valid-auc:0.96649
[170]	train-auc:0.99045	valid-auc:0.96661
[178]	train-auc:0.99088	valid-auc:0.96625

4.4 特征重要程度分布

        可以看出，HbA1c 糖化血红蛋白 的特征对于预测是否患病的重要程度最高，进一步的，分析该特征对于是否患有糖尿病的分布区别：

plt.figure(figsize=(15, 10))# 定期体检频率
plt.subplot(2, 2, 1)
sns.distplot(data[data['Diagnosis'] == 1]['HbA1c'], bins=50, label='患糖尿病')
sns.distplot(data[data['Diagnosis'] == 0]['HbA1c'], bins=50, label='未患糖尿病')
plt.title('糖化血红蛋白分布')
plt.xlabel('定期体检频率')
plt.legend()
plt.ylabel('频数')
plt.show()

        可以看出，该特征的确具有非常明显的区分效果。 

4.5 模型性能评估

4.5.1 AUC 指标评估

        使用已经训练好的模型对训练集、验证集和测试集进行预测，并计算每个数据集的预测结果的AUC（Area Under the Curve）得分

# predict train
predict_train = model.predict(dtrain)
train_auc = evaluate_score(predict_train, y_train)# predict validate
predict_valid = model.predict(dvalid)
valid_auc = evaluate_score(predict_valid, y_valid)# predict test
dtest = xgb.DMatrix(X_test, feature_names=df_columns)
predict_test = model.predict(dtest)
test_auc = evaluate_score(predict_test, y_test)print('训练集 auc = {:.7f} , 验证集 auc = {:.7f} , 测试集 auc = {:.7f}\n'.format(train_auc, valid_auc, test_auc))
训练集 auc = 0.9908796 , 验证集 auc = 0.9662537 , 测试集 auc = 0.9422857

4.5.2 测试集预测 ROC 曲线

fpr, tpr, _ = roc_curve(y_test, predict_test)
roc_auc = auc(fpr, tpr)plt.figure(figsize=(8,8))
plt.plot(fpr, tpr, color='darkorange',lw=2, label='ROC curve (area = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlim([-0.02, 1.0])
plt.ylim([0.0, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC curve')
plt.legend(loc="lower right")
plt.show()

4.5.3 测试集预测结果混淆矩阵计算 

5. 基于机器学习的糖尿病数据分析与风险评估系统

5.1 系统首页

5.2 糖尿病风险评估实时预测

        在Flask 应用程序中的路由处理函数 submit_and_predict，它负责接收通过 HTTP POST 方法提交的测试文件，并使用预训练好的模型来预测糖尿病的发生概率。

@app.route('/submit_and_predict', methods=['POST'])
def submit_and_predict():"""糖尿病在线预测"""test_file = request.files['file']filename = test_file.filename# 保存上传的文件test_file_path = './static/predict_test/{}'.format(filename)test_file.save(test_file_path)test_data = pd.read_csv(test_file_path)......dtest = xgb.DMatrix(test_data, feature_names=df_columns)preds = model.predict(dtest)pred_labels = (preds > 0.5).astype(int)......return jsonify({'success': True,'header': header,'rows': rows})

6. 结论

        本项目通过可视化分析对数据进行初步探索，再通过斯皮尔曼相关性检验探究患糖尿病的影响因素，通过建立Xgboost模型对是否患有糖尿病就行建模和训练，在不知道临床测量结果的前提下，去预测某人是否会患有糖尿病，测试集预测 AUC 达到 94.2%。通过机器学习模型分析影响糖尿病的主要因素，可以帮助医疗从业者更好地了解病因和风险因素，从而制定有效的预防和治疗策略。 

 B站视频及代码下载：基于机器学习的糖尿病数据分析与风险评估系统_哔哩哔哩_bilibili

欢迎大家点赞、收藏、关注、评论啦 ，由于篇幅有限，只展示了部分核心代码。技术交流、源码获取认准下方 CSDN 官方提供的学长 QQ 名片 :)

精彩专栏推荐订阅：

1. Python数据挖掘精品实战案例

2. 计算机视觉 CV 精品实战案例

3. 自然语言处理 NLP 精品实战案例

​

这篇关于基于机器学习的糖尿病数据分析与风险评估系统的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/1103244。

相关文章

linux系统中java的cacerts的优先级详解

linux系统中java的cacerts的优先级详解

《linux系统中java的cacerts的优先级详解》文章讲解了Java信任库（cacerts）的优先级与管理方式,指出JDK自带的cacerts默认优先级更高,系统级cacerts需手动同步或显式... 目录Java 默认使用哪个？如何检查当前使用的信任库？简要了解Java的信任库总结了解 Java 信
阅读更多...
Oracle数据库在windows系统上重启步骤

Oracle数据库在windows系统上重启步骤

《Oracle数据库在windows系统上重启步骤》有时候在服务中重启了oracle之后,数据库并不能正常访问,下面：本文主要介绍Oracle数据库在windows系统上重启的相关资料,文中通过代... oracle数据库在Windows上重启的方法我这里是使用oracle自带的sqlplus工具实现的方
阅读更多...
MySQL8 密码强度评估与配置详解

MySQL8 密码强度评估与配置详解

《MySQL8密码强度评估与配置详解》MySQL8默认启用密码强度插件,实施MEDIUM策略（长度8、含数字/字母/特殊字符）,支持动态调整与配置文件设置,推荐使用STRONG策略并定期更新密码以提... 目录一、mysql 8 密码强度评估机制1.核心插件：validate_password2.密码策略级
阅读更多...
JWT + 拦截器实现无状态登录系统

JWT + 拦截器实现无状态登录系统

《JWT+拦截器实现无状态登录系统》JWT（JSONWebToken）提供了一种无状态的解决方案：用户登录后,服务器返回一个Token,后续请求携带该Token即可完成身份验证,无需服务器存储会话... 目录✅ 引言 一、JWT 是什么？ 二、技术选型 三、项目结构 四、核心代码实现4.1 添加依赖（pom
阅读更多...
基于Python实现自动化邮件发送系统的完整指南

基于Python实现自动化邮件发送系统的完整指南

《基于Python实现自动化邮件发送系统的完整指南》在现代软件开发和自动化流程中,邮件通知是一个常见且实用的功能,无论是用于发送报告、告警信息还是用户提醒,通过Python实现自动化的邮件发送功能都能... 目录一、前言：二、项目概述三、配置文件 `.env` 解析四、代码结构解析1. 导入模块2. 加载环
阅读更多...
linux系统上安装JDK8全过程

linux系统上安装JDK8全过程

《linux系统上安装JDK8全过程》文章介绍安装JDK的必要性及Linux下JDK8的安装步骤,包括卸载旧版本、下载解压、配置环境变量等,强调开发需JDK,运行可选JRE,现JDK已集成JRE... 目录为什么要安装jdk？1.查看linux系统是否有自带的jdk：2.下载jdk压缩包2.解压3.配置环境
阅读更多...
Unity新手入门学习殿堂级知识详细讲解（图文）

Unity新手入门学习殿堂级知识详细讲解（图文）

《Unity新手入门学习殿堂级知识详细讲解（图文）》Unity是一款跨平台游戏引擎,支持2D/3D及VR/AR开发,核心功能模块包括图形、音频、物理等,通过可视化编辑器与脚本扩展实现开发,项目结构含A... 目录入门概述什么是 UnityUnity引擎基础认知编辑器核心操作Unity 编辑器项目模式分类工程
阅读更多...
Python学习笔记之getattr和hasattr用法示例详解

Python学习笔记之getattr和hasattr用法示例详解

《Python学习笔记之getattr和hasattr用法示例详解》在Python中,hasattr()、getattr()和setattr()是一组内置函数,用于对对象的属性进行操作和查询,这篇文章... 目录1.getattr用法详解1.1 基本作用1.2 示例1.3 原理2.hasattr用法详解2.
阅读更多...
Linux查询服务器系统版本号的多种方法

Linux查询服务器系统版本号的多种方法

《Linux查询服务器系统版本号的多种方法》在Linux系统管理和维护工作中,了解当前操作系统的版本信息是最基础也是最重要的操作之一,系统版本不仅关系到软件兼容性、安全更新策略,还直接影响到故障排查和... 目录一、引言：系统版本查询的重要性二、基础命令解析：cat /etc/Centos-release详
阅读更多...
更改linux系统的默认Python版本方式

更改linux系统的默认Python版本方式

《更改linux系统的默认Python版本方式》通过删除原Python软链接并创建指向python3.6的新链接,可切换系统默认Python版本,需注意版本冲突、环境混乱及维护问题,建议使用pyenv... 目录更改系统的默认python版本软链接软链接的特点创建软链接的命令使用场景注意事项总结更改系统的默
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2