无需编码的深度学习平台 automated machine learning (AutoML)

2023-10-22 00:10

本文主要是介绍无需编码的深度学习平台 automated machine learning (AutoML),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

阿里云PAI

https://www.aliyun.com/product/bigdata/product/learn?spm=5176.12825654.eofdhaal5.174.e9392c4aaIUsfi

 

PAI起初是服务于阿里巴巴集团内部(例如淘宝、支付宝和高德)的机器学习平台,致力于让公司内部开发者更高效、简洁、标准地使用人工智能AI(Artificial Intelligence)技术。随着PAI的不断发展,2018年PAI平台正式商业化,目前已经积累了数万的企业客户和个人开发者,是国内领先的云端机器学习平台之一。

PAI底层支持多种计算框架:

  • 流式计算框架Flink。
  • 基于开源版本深度优化的深度学习框架TensorFlow。
  • 千亿特征样本的大规模并行计算框架Parameter Server。
  • Spark、PySpark、MapReduce等业内主流开源框架。

PAI提供的服务:

  • 可视化建模和分布式训练PAI-Studio。
  • Notebook交互式AI研发PAI-DSW(Data Science Workshop)。
  • 自动化建模PAI-AutoLearning。
  • 在线预测PAI-EAS(Elastic Algorithm Service)。

PAI的优势:

  • 服务支持单独或组合使用。支持一站式机器学习,您只要准备好训练数据(存放到OSS或MaxCompute中),所有建模工作(包括数据上传、数据预处理、特征工程、模型训练、模型评估和模型发布至离线或在线环境)都可以通过PAI实现。
  • 对接DataWorks,支持SQL、UDF、UDAF、MR等多种数据处理方式,灵活性高。
  • 生成训练模型的实验流程支持DataWorks周期性调度,且调度任务区分生产环境和开发环境,进而实现数据安全隔离。

 

腾讯I-ONE

 

机器学习建模时算法工程师有两种选择:

一种是自建,使用框架建模,如Caffee、PyTorch、TensorFlow等。

另一种是直接使用机器学习平台,比如智能钛TI-ONE。

我们可以看下这两者的区别:

框架角度

对于自建,每种框架都需要安装、部署在机器上,并进行相应的维护。同时每种框架都有不同的版本,兼顾维护各个框架版本的依赖环境就是一笔时间开销。

对于智能钛TI-ONE,我们已经将框架集成到平台,并且调试好了,提供的是平台级的算法建模服务,“开箱即用”。

算法角度

对于自建框架的用户来说,需要不断从开源社区去找一些算法拿来使用,也会涉及到对算法bug的一些修改工作。

对于智能钛TI-ONE,我们已经将用得比较多的算法调试好,部署在平台上,用户可以直接托拉拽、notebook或通过SDK的方式使用。一些些工程性的建模支持服务,平台已经为算法工程师准备好,工程师可将注意力完全集中在模型搭建上。

TI-ONE产品架构

资源层

数据存储上,支持多种存储方式,如分布式文件系统HDFS、CEPH,对象存储COS、文件存储CFS。计算资源上,具备大量云上计算资源,同时支持本地算力。

调度层

云上建模有大量用户,有大量计算集群,不同的训练任务需要有分布式调度工具。分布式资源调度套件,采用的是腾讯自研的资源调度平台,能够支持大型的云集任务。

框架层

支持Spark、TensorFlow、Angel、PyCaffee、Pyspark、Pytorch等主流机器学习框架。

算法层

支持上百种机器学习算法,包括传统机器学习算法、图算法、深度学习算法,且在不断丰富中。

交互层

三种不同的交互方式,满足不同的用户群体。

可视化建模

托拉拽方式搭建工作流,简单易上手,适合AI小白。

Notebook

交互式的数据探索和建模过程,适合有一定算法基础的人群,提供更大的灵活性。

SDK

更适合建模专家使用,提供更大的粘合度。

 

百度BML

https://cloud.baidu.com/doc/BML/index.html

BML包括三个核心模块:

  • 模型训练:提供两种模型训练方式,您可以根据需要选择合适的模型开发方式。

    • Notebook:内置了完全托管的交互式编程环境Jupyter Lab,实现数据处理和代码调试。
    • 作业建模:支持多种深度/机器学习框架,一键发起大规模训练作业,最大化提升训练效率及效果。包括四种类型的作业:深度学习作业、机器学习作业、AutoDL作业、AutoML作业。
  • 模型仓库:将训练好的模型按照不同模型类别、性质、分类、版本有序进行存储和管理。
  • 预测服务:快速将训练好的模型部署为高可用的在线服务,灵活选用多种计算部件加速预测执行,并可以通过A/B Test、灰度升级、服务监控等完成模型试验迭代和服务运维管理。

机器学习是连续的周期过程,模型开发 - 模型管理 - 发布预测服务进行生产部署,然后,您可以结合更多业务数据,根据实际使用情况,重新训练模型来提高预测准确性。

 

BML提供了内置TensorFlow、Keras、PyTorch、Caffe、Mxnet、Chainer、CNTK和PaddlePaddle等算法框架的交互式代码编辑及运行环境Jupyter Lab。

 

 

微软azure

https://azure.microsoft.com/en-us/services/machine-learning/#features


初学者教程

  • 尝试使用Python的Jupyter笔记本
  • 拖放实验
  • 使用自动化的ML UI
  • 配置您的开发环境

高级教程

  • 通过自动ML预测出租车票价
  • 使用scikit-learn对图像进行分类
  • 使用Azure ML管道进行批处理评分

精选视频

  • Azure机器学习入门
  • 使用自动化机器学习来构建模型
  • 使用Azure机器学习设计器构建零代码模型
  • 用于管理端到端生命周期的MLOps
  • 将ONNX Runtime集成到模型中
  • 模型的可解释性和透明度
  • 使用R建立模型

 

Azure Machine Learning studio.

https://docs.microsoft.com/en-us/machine-learning-server/operationalize/python/quickstart-deploy-python-web-service

https://docs.microsoft.com/en-us/azure/machine-learning/how-to-run-jupyter-notebooks

即将关闭

https://notebooks.azure.com/

https://docs.microsoft.com/en-us/azure/notebooks/quickstart-export-jupyter-notebook-project#use-github

 

https://docs.microsoft.com/en-us/azure/notebooks/quickstart-export-jupyter-notebook-project#use-notebooks-in-visual-studio-code

https://docs.microsoft.com/en-us/azure/notebooks/quickstart-export-jupyter-notebook-project#use-notebooks-with-azure-machine-learning

 

 

 

goolge palyground

https://playground.tensorflow.org/#activation=tanh&batchSize=10&dataset=circle&regDataset=reg-plane&learningRate=0.03&regularizationRate=0&noise=0&networkShape=4,2&seed=0.90608&showTestData=false&discretize=false&percTrainData=50&x=true&y=true&xTimesY=false&xSquared=false&ySquared=false&cosX=false&sinX=false&cosY=false&sinY=false&collectStats=false&problem=classification&initZero=false&hideText=false

 

https://developers.google.com/machine-learning/crash-course/introduction-to-neural-networks/playground-exercises

 

 

google Cloud AutoML

https://cloud.google.com/automl

https://cloud.google.com/automl/docs

https://cloud.google.com/vision/overview/docs#automl-vision

 

这篇关于无需编码的深度学习平台 automated machine learning (AutoML)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/257828

相关文章

Go学习记录之runtime包深入解析

《Go学习记录之runtime包深入解析》Go语言runtime包管理运行时环境,涵盖goroutine调度、内存分配、垃圾回收、类型信息等核心功能,:本文主要介绍Go学习记录之runtime包的... 目录前言:一、runtime包内容学习1、作用:① Goroutine和并发控制:② 垃圾回收:③ 栈和

Python中文件读取操作漏洞深度解析与防护指南

《Python中文件读取操作漏洞深度解析与防护指南》在Web应用开发中,文件操作是最基础也最危险的功能之一,这篇文章将全面剖析Python环境中常见的文件读取漏洞类型,成因及防护方案,感兴趣的小伙伴可... 目录引言一、静态资源处理中的路径穿越漏洞1.1 典型漏洞场景1.2 os.path.join()的陷

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio

Spring Boot拦截器Interceptor与过滤器Filter深度解析(区别、实现与实战指南)

《SpringBoot拦截器Interceptor与过滤器Filter深度解析(区别、实现与实战指南)》:本文主要介绍SpringBoot拦截器Interceptor与过滤器Filter深度解析... 目录Spring Boot拦截器(Interceptor)与过滤器(Filter)深度解析:区别、实现与实

MyBatis分页插件PageHelper深度解析与实践指南

《MyBatis分页插件PageHelper深度解析与实践指南》在数据库操作中,分页查询是最常见的需求之一,传统的分页方式通常有两种内存分页和SQL分页,MyBatis作为优秀的ORM框架,本身并未提... 目录1. 为什么需要分页插件?2. PageHelper简介3. PageHelper集成与配置3.

基于Go语言实现Base62编码的三种方式以及对比分析

《基于Go语言实现Base62编码的三种方式以及对比分析》Base62编码是一种在字符编码中使用62个字符的编码方式,在计算机科学中,,Go语言是一种静态类型、编译型语言,它由Google开发并开源,... 目录一、标准库现状与解决方案1. 标准库对比表2. 解决方案完整实现代码(含边界处理)二、关键实现细

Maven 插件配置分层架构深度解析

《Maven插件配置分层架构深度解析》:本文主要介绍Maven插件配置分层架构深度解析,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录Maven 插件配置分层架构深度解析引言:当构建逻辑遇上复杂配置第一章 Maven插件配置的三重境界1.1 插件配置的拓扑

重新对Java的类加载器的学习方式

《重新对Java的类加载器的学习方式》:本文主要介绍重新对Java的类加载器的学习方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、介绍1.1、简介1.2、符号引用和直接引用1、符号引用2、直接引用3、符号转直接的过程2、加载流程3、类加载的分类3.1、显示

在.NET平台使用C#为PDF添加各种类型的表单域的方法

《在.NET平台使用C#为PDF添加各种类型的表单域的方法》在日常办公系统开发中,涉及PDF处理相关的开发时,生成可填写的PDF表单是一种常见需求,与静态PDF不同,带有**表单域的文档支持用户直接在... 目录引言使用 PdfTextBoxField 添加文本输入域使用 PdfComboBoxField

解决IDEA报错:编码GBK的不可映射字符问题

《解决IDEA报错:编码GBK的不可映射字符问题》:本文主要介绍解决IDEA报错:编码GBK的不可映射字符问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录IDEA报错:编码GBK的不可映射字符终端软件问题描述原因分析解决方案方法1:将命令改为方法2:右下jav