【结构化机器学习项目】Lesson 1--机器学习策略1

2023-12-24 23:48

本文主要是介绍【结构化机器学习项目】Lesson 1--机器学习策略1,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

课程来源:吴恩达 深度学习课程 《结构化机器学习项目》
笔记整理:王小草
时间:2018年6月1日


为什么我们需要使用机器学习策略?因为机器学习策略可以帮助我们在正确的方向上优化模型。

本文主要分成4部分,
第一部分介绍一下什么是正交化;
第二部分介绍监督模型的评价指标;
第三部分介绍训练集/开发集/测试集的划分;
第四部分比较模型与人的表现。

这些都是一些机器学习模型训练过程中的细节注意点,能帮助你有效地进行模型的训练与优化,从而事半功倍。

1.orthogonalization(正交化)

牛逼的机器学习大神们需要具备的基本特点是,他们清晰地知道,为了实现某个效果,需要去调整什么东东。这个步骤称之为正交化(orthogonalization)。

一个表现好的有监督系统需要在以下4个维度上确保:
(1)至少要在training set上表现优秀
否则应采取措施:增加训练集/更换更好的算法

(2)也要在dev set上表现优秀
否则应采取措施:增大训练集/正则化

(3)也要在test set上表现优秀
否则应采取措施:改变开发集或成本函数

(4)在真实世界的数据上表现优秀

  • 表现优秀不优秀需要事先确定一个评估模型的指标。
  • 不建议采用early stoping来防止过拟合,这样会影响训练集的拟合

2.evaluation metric(评估指标)

2.1 single number evaluation metric(单一数字评估指标)

为了评估模型的表现,需要确定一个评估指标,来快速地告诉你,当前模型到底还是比你上一个模型更好了还是更差了。

2.1.1 常用指标

在分类模型中,常用的指标如下:
(1)recall
真实正例有多少比例被模型也预测为正例了。

(2)precision
预测的正例中有多少比例是真实的正例。

(3)F1 score
recall与precision是需要权衡,在recall上表现好,可能在precision上表现就差了,为了可以统一评估这两个指标,可以使用F1 score.
计算公式如下:

F1_score = 2 / (1/precision + 1/recall)
2.1.2 如何评估

使用训练集训练好模型之后,用模型预测dev set的样本,并计算以上指标在sev set上的表现来评估模型。

这篇关于【结构化机器学习项目】Lesson 1--机器学习策略1的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/533552

相关文章

springboot项目中整合高德地图的实践

《springboot项目中整合高德地图的实践》:本文主要介绍springboot项目中整合高德地图的实践,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一:高德开放平台的使用二:创建数据库(我是用的是mysql)三:Springboot所需的依赖(根据你的需求再

一文详解如何在idea中快速搭建一个Spring Boot项目

《一文详解如何在idea中快速搭建一个SpringBoot项目》IntelliJIDEA作为Java开发者的‌首选IDE‌,深度集成SpringBoot支持,可一键生成项目骨架、智能配置依赖,这篇文... 目录前言1、创建项目名称2、勾选需要的依赖3、在setting中检查maven4、编写数据源5、开启热

SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志

《SpringBoot项目配置logback-spring.xml屏蔽特定路径的日志》在SpringBoot项目中,使用logback-spring.xml配置屏蔽特定路径的日志有两种常用方式,文中的... 目录方案一:基础配置(直接关闭目标路径日志)方案二:结合 Spring Profile 按环境屏蔽关

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和

MySQL版本问题导致项目无法启动问题的解决方案

《MySQL版本问题导致项目无法启动问题的解决方案》本文记录了一次因MySQL版本不一致导致项目启动失败的经历,详细解析了连接错误的原因,并提供了两种解决方案:调整连接字符串禁用SSL或统一MySQL... 目录本地项目启动报错报错原因:解决方案第一个:第二种:容器启动mysql的坑两种修改时区的方法:本地

springboot项目中使用JOSN解析库的方法

《springboot项目中使用JOSN解析库的方法》JSON,全程是JavaScriptObjectNotation,是一种轻量级的数据交换格式,本文给大家介绍springboot项目中使用JOSN... 目录一、jsON解析简介二、Spring Boot项目中使用JSON解析1、pom.XML文件引入依

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio

使用vscode搭建pywebview集成vue项目实践

《使用vscode搭建pywebview集成vue项目实践》:本文主要介绍使用vscode搭建pywebview集成vue项目实践,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地... 目录环境准备项目源码下载项目说明调试与生成可执行文件核心代码说明总结本节我们使用pythonpywebv

Maven项目中集成数据库文档生成工具的操作步骤

《Maven项目中集成数据库文档生成工具的操作步骤》在Maven项目中,可以通过集成数据库文档生成工具来自动生成数据库文档,本文为大家整理了使用screw-maven-plugin(推荐)的完... 目录1. 添加插件配置到 pom.XML2. 配置数据库信息3. 执行生成命令4. 高级配置选项5. 注意事

eclipse如何运行springboot项目

《eclipse如何运行springboot项目》:本文主要介绍eclipse如何运行springboot项目问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目js录当在eclipse启动spring boot项目时出现问题解决办法1.通过cmd命令行2.在ecl