人工智能计算中心(AICC)OBS对象存储使用指南

2023-10-17 06:10

本文主要是介绍人工智能计算中心(AICC)OBS对象存储使用指南,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

人工智能计算中心(AICC)OBS对象存储使用指南

  • 前言
  • 一、注册登录AICC门户网站
    • 1.1 创建访问密钥对
  • 二、 对象存储服务OBS桶使用
    • 客户端使用
      • 2.1 带界面客户端
      • 2.2 命令行客户端
  • 三、 OBS与开发环境的数据交换
    • 使用开发镜像内置的moxing工具交互
  • 四、总结


前言

人工智能计算中心(以下简称AICC),提供有AI开发环境、AI训练算力服务以及数据存储服务功能(以下简称OBS)。AI开发环境与数据存储是相互隔离的(开发环境的数据除外),其中数据存储统一存放在OBS桶里面中,以下将讲解如何使用OBS桶进行数据存储以及开发环境中如何与OBS桶进行数据交换。


一、注册登录AICC门户网站

中国-东盟人工智能计算中心
许昌人工智能计算中心
天津人工智能计算中心

首先,把已经注册开通好资源的账号进行登录,如下图点击登录AICC后台;
人工智能计算中心登录界面

1.1 创建访问密钥对

登录后台,进入ModelArts,右边有访问密钥,生成密钥对文件(密钥.csv),会自动下载到本地。该文件用于登录OBS桶的账号密码,需保管好;如有遗失,可重新生成。
创建密钥对

创建密钥对


二、 对象存储服务OBS桶使用

首先,进入对象存储服务控制台的web端。
进入对象存储控制台
下载客户端

客户端使用

2.1 带界面客户端

  • 下载安装
    进入门户网站的对象存储服务,选择对应版本的OBS客户端,如下所示。
    下载
  • 登录配置
    其中东盟-AICC的服务地址为:obs.cn-south-292.ca-aicc.com,其他的请咨询本地的AICC运营团队;AK和SK分别是密钥对中的两列内,填写进入既可。
    登录配置
  • 使用
    创建OBS桶(类似本地硬盘盘符)
    区域填写:cn-south-292 (注:东盟-AICC)
    创建桶
  • 上传文件
    上传文件
  • 下载文件
    下载文件
  • OBSBroswer+使用参考

2.2 命令行客户端

  • 请下载对应版本的客户端
    下载命令行应用

  • 登录配置
    命令行登录配置:
    obsutil config -i=xxx -k=xxx -e= obs.cn-south-292.ca-aicc.com
    其中-i的配置是密钥对中的AK,-k是密钥对中的SK。

  • 使用参考


三、 OBS与开发环境的数据交换

ModelArts提供有两种工具进行开发环境与OBS环境的数据交互。分别是Moxing 工具与modelarts sdk两个工具包。

使用开发镜像内置的moxing工具交互

Moxing工具的使用指南

  • 从obs拷贝文件到本地,进入python交互界面
import moxing as mox
mox.file.copy_parallel(“from_dir”,”des_dir”)

进入notebook开发环境
如图操作:
复制文件样例

  • 从本地复制到OBS方式
import moxing as mox 
mox.file.copy_parallel('CelebA.zip', 'obs://dataset-coco/CelebA.zip')

从notebook复制到obs


四、总结

以上就是计算中心OBS对象存储服务的使用指导的内容,本文仅仅简单介绍了OBS的使用,需要更多的操作可以参考计算中心提供的指导文档。

这篇关于人工智能计算中心(AICC)OBS对象存储使用指南的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/223453

相关文章

Python操作PDF文档的主流库使用指南

《Python操作PDF文档的主流库使用指南》PDF因其跨平台、格式固定的特性成为文档交换的标准,然而,由于其复杂的内部结构,程序化操作PDF一直是个挑战,本文主要为大家整理了Python操作PD... 目录一、 基础操作1.PyPDF2 (及其继任者 pypdf)2.PyMuPDF / fitz3.Fre

SpringBoot3.X 整合 MinIO 存储原生方案

《SpringBoot3.X整合MinIO存储原生方案》本文详细介绍了SpringBoot3.X整合MinIO的原生方案,从环境搭建到核心功能实现,涵盖了文件上传、下载、删除等常用操作,并补充了... 目录SpringBoot3.X整合MinIO存储原生方案:从环境搭建到实战开发一、前言:为什么选择MinI

Spring WebFlux 与 WebClient 使用指南及最佳实践

《SpringWebFlux与WebClient使用指南及最佳实践》WebClient是SpringWebFlux模块提供的非阻塞、响应式HTTP客户端,基于ProjectReactor实现,... 目录Spring WebFlux 与 WebClient 使用指南1. WebClient 概述2. 核心依

Python实现对阿里云OSS对象存储的操作详解

《Python实现对阿里云OSS对象存储的操作详解》这篇文章主要为大家详细介绍了Python实现对阿里云OSS对象存储的操作相关知识,包括连接,上传,下载,列举等功能,感兴趣的小伙伴可以了解下... 目录一、直接使用代码二、详细使用1. 环境准备2. 初始化配置3. bucket配置创建4. 文件上传到os

Java中调用数据库存储过程的示例代码

《Java中调用数据库存储过程的示例代码》本文介绍Java通过JDBC调用数据库存储过程的方法,涵盖参数类型、执行步骤及数据库差异,需注意异常处理与资源管理,以优化性能并实现复杂业务逻辑,感兴趣的朋友... 目录一、存储过程概述二、Java调用存储过程的基本javascript步骤三、Java调用存储过程示

MySQL之InnoDB存储引擎中的索引用法及说明

《MySQL之InnoDB存储引擎中的索引用法及说明》:本文主要介绍MySQL之InnoDB存储引擎中的索引用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录1、背景2、准备3、正篇【1】存储用户记录的数据页【2】存储目录项记录的数据页【3】聚簇索引【4】二

MySQL之InnoDB存储页的独立表空间解读

《MySQL之InnoDB存储页的独立表空间解读》:本文主要介绍MySQL之InnoDB存储页的独立表空间,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、独立表空间【1】表空间大小【2】区【3】组【4】段【5】区的类型【6】XDES Entry区结构【

SQLite3 在嵌入式C环境中存储音频/视频文件的最优方案

《SQLite3在嵌入式C环境中存储音频/视频文件的最优方案》本文探讨了SQLite3在嵌入式C环境中存储音视频文件的优化方案,推荐采用文件路径存储结合元数据管理,兼顾效率与资源限制,小文件可使用B... 目录SQLite3 在嵌入式C环境中存储音频/视频文件的专业方案一、存储策略选择1. 直接存储 vs

sqlite3 命令行工具使用指南

《sqlite3命令行工具使用指南》本文系统介绍sqlite3CLI的启动、数据库操作、元数据查询、数据导入导出及输出格式化命令,涵盖文件管理、备份恢复、性能统计等实用功能,并说明命令分类、SQL语... 目录一、启动与退出二、数据库与文件操作三、元数据查询四、数据操作与导入导出五、查询输出格式化六、实用功

SpringMVC高效获取JavaBean对象指南

《SpringMVC高效获取JavaBean对象指南》SpringMVC通过数据绑定自动将请求参数映射到JavaBean,支持表单、URL及JSON数据,需用@ModelAttribute、@Requ... 目录Spring MVC 获取 JavaBean 对象指南核心机制:数据绑定实现步骤1. 定义 Ja