【炼丹神器】wandb实践之sweep超参扫描工具

2024-01-09 18:36

本文主要是介绍【炼丹神器】wandb实践之sweep超参扫描工具,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在这里插入图片描述

文章目录

  • 一、四步上手wandb
  • 二、四步玩转sweep

参考官方文档:https://docs.wandb.ai/guides/sweeps/define-sweep-configuration

一、四步上手wandb

首先,wandb其实类似tensorboard,mindinsight,都是观察训练时的学习率,训练loss、验证loss等指标以了解训练进程的工具。使用wandb的功能还是要先学会在训练代码中嵌入wandb,这个官网其实跟详细,可以参考:https://docs.wandb.ai/quickstart

总结一下就是:

  1. 先注册账号,去往以下链接注册:https://wandb.ai/home
  2. 安装wandb: pip install wandb
  3. 设置环境变量:export WANDB_API_KEY=注册的时候会给你
  4. 将wandb嵌入代码中,可以根据quickstart看下如何嵌入代码中记录准确率等训练参数。

在这里插入图片描述

二、四步玩转sweep

接下来就可以上手sweep了,sweep工具具备搜索超参的功能,对于预设的参数,搜索的方法,指定训练次数以及评判的指标,一段时间后训练出如此图,可以快速的分析哪些参数的组合效果最佳。
在这里插入图片描述

使用sweep有两种方式,一种是嵌入代码的方式,一种是用yaml文件的方式,这边用了yaml文件的方式。

  1. 代码中把sweep的参数赋值给代码中使用的变量,如args:
    [图片]
    这里要注意,参数赋值必须在使用这些参数之前,最好在刚进入函数的地方赋值。

  2. 创建config.yaml
    这里要注意分为几大部分,如果有自己的参数放在command里面,上面sweep官方链接其实讲的算清楚了,这里直接举例。
    [图片]

  3. 一条命令行启动sweep,并获得sweep id

wandb sweep --project TResnetM config.yaml

[图片]

  1. 再一条命令行启动训练
wandb agent --count 5 thomascai/TResnetM/XXXX

然后打开https://wandb.ai/登入你的账号即可查看。

Enjoy~

∼ O n e p e r s o n g o f a s t e r , a g r o u p o f p e o p l e c a n g o f u r t h e r ∼ \sim_{One\ person\ go\ faster,\ a\ group\ of\ people\ can\ go\ further}\sim One person go faster, a group of people can go further

这篇关于【炼丹神器】wandb实践之sweep超参扫描工具的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/588050

相关文章

在Java中使用OpenCV实践

《在Java中使用OpenCV实践》用户分享了在Java项目中集成OpenCV4.10.0的实践经验,涵盖库简介、Windows安装、依赖配置及灰度图测试,强调其在图像处理领域的多功能性,并计划后续探... 目录前言一 、OpenCV1.简介2.下载与安装3.目录说明二、在Java项目中使用三 、测试1.测

MyBatis-Plus 自动赋值实体字段最佳实践指南

《MyBatis-Plus自动赋值实体字段最佳实践指南》MyBatis-Plus通过@TableField注解与填充策略,实现时间戳、用户信息、逻辑删除等字段的自动填充,减少手动赋值,提升开发效率与... 目录1. MyBATis-Plus 自动赋值概述1.1 适用场景1.2 自动填充的原理1.3 填充策略

Olingo分析和实践之EDM 辅助序列化器详解(最佳实践)

《Olingo分析和实践之EDM辅助序列化器详解(最佳实践)》EDM辅助序列化器是ApacheOlingoOData框架中无需完整EDM模型的智能序列化工具,通过运行时类型推断实现灵活数据转换,适用... 目录概念与定义什么是 EDM 辅助序列化器?核心概念设计目标核心特点1. EDM 信息可选2. 智能类

Olingo分析和实践之OData框架核心组件初始化(关键步骤)

《Olingo分析和实践之OData框架核心组件初始化(关键步骤)》ODataSpringBootService通过初始化OData实例和服务元数据,构建框架核心能力与数据模型结构,实现序列化、URI... 目录概述第一步:OData实例创建1.1 OData.newInstance() 详细分析1.1.1

Olingo分析和实践之ODataImpl详细分析(重要方法详解)

《Olingo分析和实践之ODataImpl详细分析(重要方法详解)》ODataImpl.java是ApacheOlingoOData框架的核心工厂类,负责创建序列化器、反序列化器和处理器等组件,... 目录概述主要职责类结构与继承关系核心功能分析1. 序列化器管理2. 反序列化器管理3. 处理器管理重要方

基于Python实现简易视频剪辑工具

《基于Python实现简易视频剪辑工具》这篇文章主要为大家详细介绍了如何用Python打造一个功能完备的简易视频剪辑工具,包括视频文件导入与格式转换,基础剪辑操作,音频处理等功能,感兴趣的小伙伴可以了... 目录一、技术选型与环境搭建二、核心功能模块实现1. 视频基础操作2. 音频处理3. 特效与转场三、高

基于Python开发一个图像水印批量添加工具

《基于Python开发一个图像水印批量添加工具》在当今数字化内容爆炸式增长的时代,图像版权保护已成为创作者和企业的核心需求,本方案将详细介绍一个基于PythonPIL库的工业级图像水印解决方案,有需要... 目录一、系统架构设计1.1 整体处理流程1.2 类结构设计(扩展版本)二、核心算法深入解析2.1 自

虚拟机Centos7安装MySQL数据库实践

《虚拟机Centos7安装MySQL数据库实践》用户分享在虚拟机安装MySQL的全过程及常见问题解决方案,包括处理GPG密钥、修改密码策略、配置远程访问权限及防火墙设置,最终通过关闭防火墙和停止Net... 目录安装mysql数据库下载wget命令下载MySQL安装包安装MySQL安装MySQL服务安装完成

SpringBoot整合(ES)ElasticSearch7.8实践

《SpringBoot整合(ES)ElasticSearch7.8实践》本文详细介绍了SpringBoot整合ElasticSearch7.8的教程,涵盖依赖添加、客户端初始化、索引创建与获取、批量插... 目录SpringBoot整合ElasticSearch7.8添加依赖初始化创建SpringBoot项

Zabbix在MySQL性能监控方面的运用及最佳实践记录

《Zabbix在MySQL性能监控方面的运用及最佳实践记录》Zabbix通过自定义脚本和内置模板监控MySQL核心指标(连接、查询、资源、复制),支持自动发现多实例及告警通知,结合可视化仪表盘,可有效... 目录一、核心监控指标及配置1. 关键监控指标示例2. 配置方法二、自动发现与多实例管理1. 实践步骤