无需编码的深度学习平台 automated machine learning (AutoML)

2023-10-22 00:10

本文主要是介绍无需编码的深度学习平台 automated machine learning (AutoML),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

阿里云PAI

https://www.aliyun.com/product/bigdata/product/learn?spm=5176.12825654.eofdhaal5.174.e9392c4aaIUsfi

 

PAI起初是服务于阿里巴巴集团内部(例如淘宝、支付宝和高德)的机器学习平台,致力于让公司内部开发者更高效、简洁、标准地使用人工智能AI(Artificial Intelligence)技术。随着PAI的不断发展,2018年PAI平台正式商业化,目前已经积累了数万的企业客户和个人开发者,是国内领先的云端机器学习平台之一。

PAI底层支持多种计算框架:

  • 流式计算框架Flink。
  • 基于开源版本深度优化的深度学习框架TensorFlow。
  • 千亿特征样本的大规模并行计算框架Parameter Server。
  • Spark、PySpark、MapReduce等业内主流开源框架。

PAI提供的服务:

  • 可视化建模和分布式训练PAI-Studio。
  • Notebook交互式AI研发PAI-DSW(Data Science Workshop)。
  • 自动化建模PAI-AutoLearning。
  • 在线预测PAI-EAS(Elastic Algorithm Service)。

PAI的优势:

  • 服务支持单独或组合使用。支持一站式机器学习,您只要准备好训练数据(存放到OSS或MaxCompute中),所有建模工作(包括数据上传、数据预处理、特征工程、模型训练、模型评估和模型发布至离线或在线环境)都可以通过PAI实现。
  • 对接DataWorks,支持SQL、UDF、UDAF、MR等多种数据处理方式,灵活性高。
  • 生成训练模型的实验流程支持DataWorks周期性调度,且调度任务区分生产环境和开发环境,进而实现数据安全隔离。

 

腾讯I-ONE

 

机器学习建模时算法工程师有两种选择:

一种是自建,使用框架建模,如Caffee、PyTorch、TensorFlow等。

另一种是直接使用机器学习平台,比如智能钛TI-ONE。

我们可以看下这两者的区别:

框架角度

对于自建,每种框架都需要安装、部署在机器上,并进行相应的维护。同时每种框架都有不同的版本,兼顾维护各个框架版本的依赖环境就是一笔时间开销。

对于智能钛TI-ONE,我们已经将框架集成到平台,并且调试好了,提供的是平台级的算法建模服务,“开箱即用”。

算法角度

对于自建框架的用户来说,需要不断从开源社区去找一些算法拿来使用,也会涉及到对算法bug的一些修改工作。

对于智能钛TI-ONE,我们已经将用得比较多的算法调试好,部署在平台上,用户可以直接托拉拽、notebook或通过SDK的方式使用。一些些工程性的建模支持服务,平台已经为算法工程师准备好,工程师可将注意力完全集中在模型搭建上。

TI-ONE产品架构

资源层

数据存储上,支持多种存储方式,如分布式文件系统HDFS、CEPH,对象存储COS、文件存储CFS。计算资源上,具备大量云上计算资源,同时支持本地算力。

调度层

云上建模有大量用户,有大量计算集群,不同的训练任务需要有分布式调度工具。分布式资源调度套件,采用的是腾讯自研的资源调度平台,能够支持大型的云集任务。

框架层

支持Spark、TensorFlow、Angel、PyCaffee、Pyspark、Pytorch等主流机器学习框架。

算法层

支持上百种机器学习算法,包括传统机器学习算法、图算法、深度学习算法,且在不断丰富中。

交互层

三种不同的交互方式,满足不同的用户群体。

可视化建模

托拉拽方式搭建工作流,简单易上手,适合AI小白。

Notebook

交互式的数据探索和建模过程,适合有一定算法基础的人群,提供更大的灵活性。

SDK

更适合建模专家使用,提供更大的粘合度。

 

百度BML

https://cloud.baidu.com/doc/BML/index.html

BML包括三个核心模块:

  • 模型训练:提供两种模型训练方式,您可以根据需要选择合适的模型开发方式。

    • Notebook:内置了完全托管的交互式编程环境Jupyter Lab,实现数据处理和代码调试。
    • 作业建模:支持多种深度/机器学习框架,一键发起大规模训练作业,最大化提升训练效率及效果。包括四种类型的作业:深度学习作业、机器学习作业、AutoDL作业、AutoML作业。
  • 模型仓库:将训练好的模型按照不同模型类别、性质、分类、版本有序进行存储和管理。
  • 预测服务:快速将训练好的模型部署为高可用的在线服务,灵活选用多种计算部件加速预测执行,并可以通过A/B Test、灰度升级、服务监控等完成模型试验迭代和服务运维管理。

机器学习是连续的周期过程,模型开发 - 模型管理 - 发布预测服务进行生产部署,然后,您可以结合更多业务数据,根据实际使用情况,重新训练模型来提高预测准确性。

 

BML提供了内置TensorFlow、Keras、PyTorch、Caffe、Mxnet、Chainer、CNTK和PaddlePaddle等算法框架的交互式代码编辑及运行环境Jupyter Lab。

 

 

微软azure

https://azure.microsoft.com/en-us/services/machine-learning/#features


初学者教程

  • 尝试使用Python的Jupyter笔记本
  • 拖放实验
  • 使用自动化的ML UI
  • 配置您的开发环境

高级教程

  • 通过自动ML预测出租车票价
  • 使用scikit-learn对图像进行分类
  • 使用Azure ML管道进行批处理评分

精选视频

  • Azure机器学习入门
  • 使用自动化机器学习来构建模型
  • 使用Azure机器学习设计器构建零代码模型
  • 用于管理端到端生命周期的MLOps
  • 将ONNX Runtime集成到模型中
  • 模型的可解释性和透明度
  • 使用R建立模型

 

Azure Machine Learning studio.

https://docs.microsoft.com/en-us/machine-learning-server/operationalize/python/quickstart-deploy-python-web-service

https://docs.microsoft.com/en-us/azure/machine-learning/how-to-run-jupyter-notebooks

即将关闭

https://notebooks.azure.com/

https://docs.microsoft.com/en-us/azure/notebooks/quickstart-export-jupyter-notebook-project#use-github

 

https://docs.microsoft.com/en-us/azure/notebooks/quickstart-export-jupyter-notebook-project#use-notebooks-in-visual-studio-code

https://docs.microsoft.com/en-us/azure/notebooks/quickstart-export-jupyter-notebook-project#use-notebooks-with-azure-machine-learning

 

 

 

goolge palyground

https://playground.tensorflow.org/#activation=tanh&batchSize=10&dataset=circle&regDataset=reg-plane&learningRate=0.03&regularizationRate=0&noise=0&networkShape=4,2&seed=0.90608&showTestData=false&discretize=false&percTrainData=50&x=true&y=true&xTimesY=false&xSquared=false&ySquared=false&cosX=false&sinX=false&cosY=false&sinY=false&collectStats=false&problem=classification&initZero=false&hideText=false

 

https://developers.google.com/machine-learning/crash-course/introduction-to-neural-networks/playground-exercises

 

 

google Cloud AutoML

https://cloud.google.com/automl

https://cloud.google.com/automl/docs

https://cloud.google.com/vision/overview/docs#automl-vision

 

这篇关于无需编码的深度学习平台 automated machine learning (AutoML)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/257828

相关文章

深度解析Nginx日志分析与499状态码问题解决

《深度解析Nginx日志分析与499状态码问题解决》在Web服务器运维和性能优化过程中,Nginx日志是排查问题的重要依据,本文将围绕Nginx日志分析、499状态码的成因、排查方法及解决方案展开讨论... 目录前言1. Nginx日志基础1.1 Nginx日志存放位置1.2 Nginx日志格式2. 499

Linux之platform平台设备驱动详解

《Linux之platform平台设备驱动详解》Linux设备驱动模型中,Platform总线作为虚拟总线统一管理无物理总线依赖的嵌入式设备,通过platform_driver和platform_de... 目录platform驱动注册platform设备注册设备树Platform驱动和设备的关系总结在 l

深度解析Java DTO(最新推荐)

《深度解析JavaDTO(最新推荐)》DTO(DataTransferObject)是一种用于在不同层(如Controller层、Service层)之间传输数据的对象设计模式,其核心目的是封装数据,... 目录一、什么是DTO?DTO的核心特点:二、为什么需要DTO?(对比Entity)三、实际应用场景解析

深度解析Java项目中包和包之间的联系

《深度解析Java项目中包和包之间的联系》文章浏览阅读850次,点赞13次,收藏8次。本文详细介绍了Java分层架构中的几个关键包:DTO、Controller、Service和Mapper。_jav... 目录前言一、各大包1.DTO1.1、DTO的核心用途1.2. DTO与实体类(Entity)的区别1

深度解析Python装饰器常见用法与进阶技巧

《深度解析Python装饰器常见用法与进阶技巧》Python装饰器(Decorator)是提升代码可读性与复用性的强大工具,本文将深入解析Python装饰器的原理,常见用法,进阶技巧与最佳实践,希望可... 目录装饰器的基本原理函数装饰器的常见用法带参数的装饰器类装饰器与方法装饰器装饰器的嵌套与组合进阶技巧

深度解析Spring Boot拦截器Interceptor与过滤器Filter的区别与实战指南

《深度解析SpringBoot拦截器Interceptor与过滤器Filter的区别与实战指南》本文深度解析SpringBoot中拦截器与过滤器的区别,涵盖执行顺序、依赖关系、异常处理等核心差异,并... 目录Spring Boot拦截器(Interceptor)与过滤器(Filter)深度解析:区别、实现

深度解析Spring AOP @Aspect 原理、实战与最佳实践教程

《深度解析SpringAOP@Aspect原理、实战与最佳实践教程》文章系统讲解了SpringAOP核心概念、实现方式及原理,涵盖横切关注点分离、代理机制(JDK/CGLIB)、切入点类型、性能... 目录1. @ASPect 核心概念1.1 AOP 编程范式1.2 @Aspect 关键特性2. 完整代码实

SpringBoot开发中十大常见陷阱深度解析与避坑指南

《SpringBoot开发中十大常见陷阱深度解析与避坑指南》在SpringBoot的开发过程中,即使是经验丰富的开发者也难免会遇到各种棘手的问题,本文将针对SpringBoot开发中十大常见的“坑... 目录引言一、配置总出错?是不是同时用了.properties和.yml?二、换个位置配置就失效?搞清楚加

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和

Python中文件读取操作漏洞深度解析与防护指南

《Python中文件读取操作漏洞深度解析与防护指南》在Web应用开发中,文件操作是最基础也最危险的功能之一,这篇文章将全面剖析Python环境中常见的文件读取漏洞类型,成因及防护方案,感兴趣的小伙伴可... 目录引言一、静态资源处理中的路径穿越漏洞1.1 典型漏洞场景1.2 os.path.join()的陷