Python 全栈体系【四阶】(三十)

2024-04-12 22:28

本文主要是介绍Python 全栈体系【四阶】(三十),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

第五章 深度学习

四、Tensorflow

请添加图片描述

8. 模型保存与加载

8.1 什么是模型保存与加载

模型训练可能是一个很长的过程,如果每次执行预测之前都重新训练,会非常耗时,所以几乎所有人工智能框架都提供了模型保存与加载功能,使得模型训练完成后,可以保存到文件中,供其它程序使用或继续训练。

8.2 模型保存与加载 API

模型保存与加载通过 tf.train.Saver 对象完成,实例化对象:

  • saver = tf.train.Saver(var_list=None, max_to_keep=5) - var_list: 要保存和还原的变量,可以是一个 dict 或一个列表 - max_to_keep: 要保留的最近检查点文件的最大数量。创建新文件时,会删除较旧的文件
    (如 max_to_keep=5 表示保留 5 个检查点文件)

保存:saver.save(sess, ‘/tmp/ckpt/model’)

加载:saver.restore(sess, ‘/tmp/ckpt/model’)

8.3 案例 1:模型保存/加载

在这里插入图片描述

从执行结果可以看出,如果模型之前经过训练,直接从之前的参数值开始执行迭代,而不是从第一次给的初始值开始。

在这里插入图片描述

9. 数据读取

请添加图片描述

9.1 文件读取机制

TensorFlow 文件读取分为三个步骤:

  • 第一步:将要读取的文件放入文件名队列
  • 第二步:读取文件内容,并实行解码
  • 第三步:批处理,按照指定笔数构建成一个批次取出

在这里插入图片描述

9.2 文件读取 API
9.2.1 文件队列构造

生成一个先入先出的队列, 文件阅读器会需要它来读取数据

  • tf.train.string_input_producer(string_tensor, shuffle=True)
    • string_tensor: 含有文件名的一阶张量
    • shuffle: 是否打乱文件顺序
  • 返回:文件队列
9.2.2 文件读取
  • 文本文件读取:tf.TextLineReader
    • 读取 CSV 文件,默认按行读取
  • 二进制文件读取:tf.FixedLengthRecordReader(record_bytes)
    • 读取每个记录是固定字节的二进制文件
    • record_bytes: 每次读取的字节数
  • 通用读取方法:read(file_queue)
    • 从队列中读取指定数量(行,字节)的内容
    • 返回值:一个 tensor 元组,(文件名, value)
9.2.3 文件内容解码

解码文本文件:tf.decode_csv(records, record_defaults)

  • 将 CSV 文件内容转换为张量,与 tf.TextLineReader 搭配使用
  • 参数:
    • records: 字符串,对应文件中的一行
    • record_defaults: 类型
  • 返回:tensor 对象列表

解码二进制文件:tf.decode_raw(input_bytes, out_type)

  • 将字节转换为由数字表示的张量,与 tf.FixedLengthRecordReader 搭配使用
  • 参数:
    • input_bytes - 待转换字节
    • out_type - 输出类型
  • 返回:转换结果
9.3 案例 2:CSV 文件读取

在这里插入图片描述
在这里插入图片描述

9.4 图片文件读取 API

图像读取器:tf.WholeFileReader

  • 功能:将文件的全部内容作为值输出的 reader
  • read 方法:读取文件内容,返回文件名和文件内容

图像解码器:

  • tf.image.decode_jpeg(constants) : 解码 jpeg 格式
  • tf.image.decode_png(constants) : 解码 png 格式
  • 返回值:3-D 张量,[height, width, channels]

修改图像大小:tf.image.resize(images, size)

  • images:图片数据,3-D 或 4-D 张量
    • 3-D:[长,宽,通道]
    • 4-D:[数量, 长,宽,通道]
  • size:1-D int32 张量,[长、宽] (不需要传通道数)
9.5 案例 3:图片文件读取

在这里插入图片描述
在这里插入图片描述

10. 手写体识别

请添加图片描述

10.1 MNIST 数据集

手写数字的数据集,来自美国国家标准与技术研究所(National Institute of Standards and Technology,NIST),发布于 1998 年。

样本来自 250 个不同人的手写数字,50%高中学生,50%是人口普查局的工作人员。

数字从 0 ~ 9,图片大小是 28×28 像素,训练数据集包含 60000 个样本,测试数据集包含 10000 个样本。数据集的标签是长度为 10 的一维数组,数组中每个元素索引号表示对应数字出现的概率。

下载地址:http://yann.lecun.com/exdb/mnist/

在这里插入图片描述

10.2 任务目标

根据训练集样本进行模型训练

保存模型

加载模型,用于新的手写体数字识别

10.3 网络结构

请添加图片描述

10.4 相关 API

tf.matmul():执行矩阵乘法计算

tf.nn.softmax():softmax 激活函数

tf.reduce_sum():指定维度上求张量和

tf.train.GradientDescentOptimizer():优化器,执行梯度下降

tf.argmax():返回张量最大元素的索引值

10.5 关键代码

定义数据

在这里插入图片描述
模型搭建

在这里插入图片描述
执行训练

在这里插入图片描述
模型评估

在这里插入图片描述
模型测试
在这里插入图片描述

10.6 执行结果

在这里插入图片描述

11. 服饰识别

11.1 数据集介绍

是来自 Zalando 文章的数据集,是时尚版的 MNIST。包括 60,000 个训练集数据,10,000 个测试集数据,每个数据为 28x28 灰度图像,一共有 10 类:

0T-shirt/topT 恤
1Trouser裤子
2Pullover套衫
3Dress衣服
4Coat外套
5Sandal凉鞋
6Shirt衬衫
7Sneaker运动鞋
8Bag
9Ankle boot短靴

在这里插入图片描述

11.2 任务目标

搭建卷积神经网络模型

根据训练集样本进行模型训练

用于新的服饰图片识别

11.3 网络结构

请添加图片描述

11.4 关键代码

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

11.5 执行结果

在这里插入图片描述

这篇关于Python 全栈体系【四阶】(三十)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/898409

相关文章

python panda库从基础到高级操作分析

《pythonpanda库从基础到高级操作分析》本文介绍了Pandas库的核心功能,包括处理结构化数据的Series和DataFrame数据结构,数据读取、清洗、分组聚合、合并、时间序列分析及大数据... 目录1. Pandas 概述2. 基本操作:数据读取与查看3. 索引操作:精准定位数据4. Group

Python pandas库自学超详细教程

《Pythonpandas库自学超详细教程》文章介绍了Pandas库的基本功能、安装方法及核心操作,涵盖数据导入(CSV/Excel等)、数据结构(Series、DataFrame)、数据清洗、转换... 目录一、什么是Pandas库(1)、Pandas 应用(2)、Pandas 功能(3)、数据结构二、安

Python使用Tenacity一行代码实现自动重试详解

《Python使用Tenacity一行代码实现自动重试详解》tenacity是一个专为Python设计的通用重试库,它的核心理念就是用简单、清晰的方式,为任何可能失败的操作添加重试能力,下面我们就来看... 目录一切始于一个简单的 API 调用Tenacity 入门:一行代码实现优雅重试精细控制:让重试按我

Python安装Pandas库的两种方法

《Python安装Pandas库的两种方法》本文介绍了三种安装PythonPandas库的方法,通过cmd命令行安装并解决版本冲突,手动下载whl文件安装,更换国内镜像源加速下载,最后建议用pipli... 目录方法一:cmd命令行执行pip install pandas方法二:找到pandas下载库,然后

Python实现网格交易策略的过程

《Python实现网格交易策略的过程》本文讲解Python网格交易策略,利用ccxt获取加密货币数据及backtrader回测,通过设定网格节点,低买高卖获利,适合震荡行情,下面跟我一起看看我们的第一... 网格交易是一种经典的量化交易策略,其核心思想是在价格上下预设多个“网格”,当价格触发特定网格时执行买

Python标准库之数据压缩和存档的应用详解

《Python标准库之数据压缩和存档的应用详解》在数据处理与存储领域,压缩和存档是提升效率的关键技术,Python标准库提供了一套完整的工具链,下面小编就来和大家简单介绍一下吧... 目录一、核心模块架构与设计哲学二、关键模块深度解析1.tarfile:专业级归档工具2.zipfile:跨平台归档首选3.

使用Python构建智能BAT文件生成器的完美解决方案

《使用Python构建智能BAT文件生成器的完美解决方案》这篇文章主要为大家详细介绍了如何使用wxPython构建一个智能的BAT文件生成器,它不仅能够为Python脚本生成启动脚本,还提供了完整的文... 目录引言运行效果图项目背景与需求分析核心需求技术选型核心功能实现1. 数据库设计2. 界面布局设计3

Python进行JSON和Excel文件转换处理指南

《Python进行JSON和Excel文件转换处理指南》在数据交换与系统集成中,JSON与Excel是两种极为常见的数据格式,本文将介绍如何使用Python实现将JSON转换为格式化的Excel文件,... 目录将 jsON 导入为格式化 Excel将 Excel 导出为结构化 JSON处理嵌套 JSON:

Python操作PDF文档的主流库使用指南

《Python操作PDF文档的主流库使用指南》PDF因其跨平台、格式固定的特性成为文档交换的标准,然而,由于其复杂的内部结构,程序化操作PDF一直是个挑战,本文主要为大家整理了Python操作PD... 目录一、 基础操作1.PyPDF2 (及其继任者 pypdf)2.PyMuPDF / fitz3.Fre

python设置环境变量路径实现过程

《python设置环境变量路径实现过程》本文介绍设置Python路径的多种方法:临时设置(Windows用`set`,Linux/macOS用`export`)、永久设置(系统属性或shell配置文件... 目录设置python路径的方法临时设置环境变量(适用于当前会话)永久设置环境变量(Windows系统