CSDN-AutoML技术实践与应用

2024-04-20 23:38
文章标签 技术 实践 应用 csdn automl

本文主要是介绍CSDN-AutoML技术实践与应用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

  • 第四范式
  • 腾讯云

第四范式

树模型对于高维离散特征效果不好

在这里插入图片描述在这里插入图片描述逐域网络 Field-wise network
跨域网络 Across field
补充:FM
融合网络

在这里插入图片描述
逐域网络数量多(1000个域有1000个DNN),但比较轻量

拼起来丢进去算,连续的做一次,离散的做一次

在这里插入图片描述聚类:tSNE
域内相似度更搞,域与域距离更大

在这里插入图片描述LR 线性组合
FM 两两内积
Attention 有选择性地学习

用什么没有定论,需要大量实验

把好的operator放进来,用不用当做超参数,用数据驱动的方式选择operator。

在这里插入图片描述
上面的数据是千万级的

下面的数据是百万级的

在这里插入图片描述堆叠了这么多层会不会使效果更差?是的

采用逐层监督的方式

对于label而言,中间层也有区分度

借鉴了谷歌的网络

针对每层设置不同的权重,下面的权重低一点,上面的权重高

随着训练decay下面的weight

实际预测删除Aux Loss

在这里插入图片描述

在这里插入图片描述

前3个是公开数据集,后3个是他们客户的数据

在这里插入图片描述
NFM倾向于做推荐系统,而不是CTR

在这里插入图片描述
把模型拿到客户现成试了下

在这里插入图片描述

不用关心与模型相关的超参数,只用关系与计算资源相关的超参数

在这里插入图片描述

SH问题:给资源该怎么分配

HP:把给资源的方式枚举一遍

过于agressive

重要性采样

HP是在内部对于,跨band对比

在这里插入图片描述

数据越大降低的代价越多

在这里插入图片描述

腾讯云

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

spark跑在k8s上

每个worker手动装Python依赖

把依赖打到镜像,算法部署很便利

从spark2.2尝试开始用k8s的方式

官方正式更新后用官方代码

在这里插入图片描述

借用AutoKeras

衡量距离时用到了编辑距离

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

这篇关于CSDN-AutoML技术实践与应用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/921634

相关文章

防止Linux rm命令误操作的多场景防护方案与实践

《防止Linuxrm命令误操作的多场景防护方案与实践》在Linux系统中,rm命令是删除文件和目录的高效工具,但一旦误操作,如执行rm-rf/或rm-rf/*,极易导致系统数据灾难,本文针对不同场景... 目录引言理解 rm 命令及误操作风险rm 命令基础常见误操作案例防护方案使用 rm编程 别名及安全删除

C++统计函数执行时间的最佳实践

《C++统计函数执行时间的最佳实践》在软件开发过程中,性能分析是优化程序的重要环节,了解函数的执行时间分布对于识别性能瓶颈至关重要,本文将分享一个C++函数执行时间统计工具,希望对大家有所帮助... 目录前言工具特性核心设计1. 数据结构设计2. 单例模式管理器3. RAII自动计时使用方法基本用法高级用法

PHP应用中处理限流和API节流的最佳实践

《PHP应用中处理限流和API节流的最佳实践》限流和API节流对于确保Web应用程序的可靠性、安全性和可扩展性至关重要,本文将详细介绍PHP应用中处理限流和API节流的最佳实践,下面就来和小编一起学习... 目录限流的重要性在 php 中实施限流的最佳实践使用集中式存储进行状态管理(如 Redis)采用滑动

ShardingProxy读写分离之原理、配置与实践过程

《ShardingProxy读写分离之原理、配置与实践过程》ShardingProxy是ApacheShardingSphere的数据库中间件,通过三层架构实现读写分离,解决高并发场景下数据库性能瓶... 目录一、ShardingProxy技术定位与读写分离核心价值1.1 技术定位1.2 读写分离核心价值二

深入浅出Spring中的@Autowired自动注入的工作原理及实践应用

《深入浅出Spring中的@Autowired自动注入的工作原理及实践应用》在Spring框架的学习旅程中,@Autowired无疑是一个高频出现却又让初学者头疼的注解,它看似简单,却蕴含着Sprin... 目录深入浅出Spring中的@Autowired:自动注入的奥秘什么是依赖注入?@Autowired

MySQL分库分表的实践示例

《MySQL分库分表的实践示例》MySQL分库分表适用于数据量大或并发压力高的场景,核心技术包括水平/垂直分片和分库,需应对分布式事务、跨库查询等挑战,通过中间件和解决方案实现,最佳实践为合理策略、备... 目录一、分库分表的触发条件1.1 数据量阈值1.2 并发压力二、分库分表的核心技术模块2.1 水平分

SpringBoot通过main方法启动web项目实践

《SpringBoot通过main方法启动web项目实践》SpringBoot通过SpringApplication.run()启动Web项目,自动推断应用类型,加载初始化器与监听器,配置Spring... 目录1. 启动入口:SpringApplication.run()2. SpringApplicat

PostgreSQL简介及实战应用

《PostgreSQL简介及实战应用》PostgreSQL是一种功能强大的开源关系型数据库管理系统,以其稳定性、高性能、扩展性和复杂查询能力在众多项目中得到广泛应用,本文将从基础概念讲起,逐步深入到高... 目录前言1. PostgreSQL基础1.1 PostgreSQL简介1.2 基础语法1.3 数据库

Python中的filter() 函数的工作原理及应用技巧

《Python中的filter()函数的工作原理及应用技巧》Python的filter()函数用于筛选序列元素,返回迭代器,适合函数式编程,相比列表推导式,内存更优,尤其适用于大数据集,结合lamb... 目录前言一、基本概念基本语法二、使用方式1. 使用 lambda 函数2. 使用普通函数3. 使用 N

Python中yield的用法和实际应用示例

《Python中yield的用法和实际应用示例》在Python中,yield关键字主要用于生成器函数(generatorfunctions)中,其目的是使函数能够像迭代器一样工作,即可以被遍历,但不会... 目录python中yield的用法详解一、引言二、yield的基本用法1、yield与生成器2、yi