人工智能计算中心(AICC)OBS对象存储使用指南

2023-10-17 06:10

本文主要是介绍人工智能计算中心(AICC)OBS对象存储使用指南,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

人工智能计算中心(AICC)OBS对象存储使用指南

  • 前言
  • 一、注册登录AICC门户网站
    • 1.1 创建访问密钥对
  • 二、 对象存储服务OBS桶使用
    • 客户端使用
      • 2.1 带界面客户端
      • 2.2 命令行客户端
  • 三、 OBS与开发环境的数据交换
    • 使用开发镜像内置的moxing工具交互
  • 四、总结


前言

人工智能计算中心(以下简称AICC),提供有AI开发环境、AI训练算力服务以及数据存储服务功能(以下简称OBS)。AI开发环境与数据存储是相互隔离的(开发环境的数据除外),其中数据存储统一存放在OBS桶里面中,以下将讲解如何使用OBS桶进行数据存储以及开发环境中如何与OBS桶进行数据交换。


一、注册登录AICC门户网站

中国-东盟人工智能计算中心
许昌人工智能计算中心
天津人工智能计算中心

首先,把已经注册开通好资源的账号进行登录,如下图点击登录AICC后台;
人工智能计算中心登录界面

1.1 创建访问密钥对

登录后台,进入ModelArts,右边有访问密钥,生成密钥对文件(密钥.csv),会自动下载到本地。该文件用于登录OBS桶的账号密码,需保管好;如有遗失,可重新生成。
创建密钥对

创建密钥对


二、 对象存储服务OBS桶使用

首先,进入对象存储服务控制台的web端。
进入对象存储控制台
下载客户端

客户端使用

2.1 带界面客户端

  • 下载安装
    进入门户网站的对象存储服务,选择对应版本的OBS客户端,如下所示。
    下载
  • 登录配置
    其中东盟-AICC的服务地址为:obs.cn-south-292.ca-aicc.com,其他的请咨询本地的AICC运营团队;AK和SK分别是密钥对中的两列内,填写进入既可。
    登录配置
  • 使用
    创建OBS桶(类似本地硬盘盘符)
    区域填写:cn-south-292 (注:东盟-AICC)
    创建桶
  • 上传文件
    上传文件
  • 下载文件
    下载文件
  • OBSBroswer+使用参考

2.2 命令行客户端

  • 请下载对应版本的客户端
    下载命令行应用

  • 登录配置
    命令行登录配置:
    obsutil config -i=xxx -k=xxx -e= obs.cn-south-292.ca-aicc.com
    其中-i的配置是密钥对中的AK,-k是密钥对中的SK。

  • 使用参考


三、 OBS与开发环境的数据交换

ModelArts提供有两种工具进行开发环境与OBS环境的数据交互。分别是Moxing 工具与modelarts sdk两个工具包。

使用开发镜像内置的moxing工具交互

Moxing工具的使用指南

  • 从obs拷贝文件到本地,进入python交互界面
import moxing as mox
mox.file.copy_parallel(“from_dir”,”des_dir”)

进入notebook开发环境
如图操作:
复制文件样例

  • 从本地复制到OBS方式
import moxing as mox 
mox.file.copy_parallel('CelebA.zip', 'obs://dataset-coco/CelebA.zip')

从notebook复制到obs


四、总结

以上就是计算中心OBS对象存储服务的使用指导的内容,本文仅仅简单介绍了OBS的使用,需要更多的操作可以参考计算中心提供的指导文档。

这篇关于人工智能计算中心(AICC)OBS对象存储使用指南的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/223453

相关文章

MyBatis-plus处理存储json数据过程

《MyBatis-plus处理存储json数据过程》文章介绍MyBatis-Plus3.4.21处理对象与集合的差异:对象可用内置Handler配合autoResultMap,集合需自定义处理器继承F... 目录1、如果是对象2、如果需要转换的是List集合总结对象和集合分两种情况处理,目前我用的MP的版本

使用SpringBoot+InfluxDB实现高效数据存储与查询

《使用SpringBoot+InfluxDB实现高效数据存储与查询》InfluxDB是一个开源的时间序列数据库,特别适合处理带有时间戳的监控数据、指标数据等,下面详细介绍如何在SpringBoot项目... 目录1、项目介绍2、 InfluxDB 介绍3、Spring Boot 配置 InfluxDB4、I

使用Java读取本地文件并转换为MultipartFile对象的方法

《使用Java读取本地文件并转换为MultipartFile对象的方法》在许多JavaWeb应用中,我们经常会遇到将本地文件上传至服务器或其他系统的需求,在这种场景下,MultipartFile对象非... 目录1. 基本需求2. 自定义 MultipartFile 类3. 实现代码4. 代码解析5. 自定

Linux grep 命令的使用指南

《Linuxgrep命令的使用指南》本文给大家介绍Linuxgrep命令的使用指南,包括基础搜索语法、实践指南,感兴趣的朋友跟随小编一起看看吧... 目录linux grep 命令全面使用指南一、基础搜索语法1. 基本文本搜索2. 多文件搜索二、常用选项详解1. 输出控制选项2. 上下文控制选项三、正则表达

javaSE类和对象进阶用法举例详解

《javaSE类和对象进阶用法举例详解》JavaSE的面向对象编程是软件开发中的基石,它通过类和对象的概念,实现了代码的模块化、可复用性和灵活性,:本文主要介绍javaSE类和对象进阶用法的相关资... 目录前言一、封装1.访问限定符2.包2.1包的概念2.2导入包2.3自定义包2.4常见的包二、stati

Spring Security6.3.x的使用指南与注意事项

《SpringSecurity6.3.x的使用指南与注意事项》SpringSecurity6.3.1基于现代化架构,提供简洁配置、增强默认安全性和OAuth2.1/OIDC支持,采用Lambda... 目录介绍基础配置 (Servlet 应用 - 使用 Lambda DSL)关键配置详解(Lambda DS

Python操作PDF文档的主流库使用指南

《Python操作PDF文档的主流库使用指南》PDF因其跨平台、格式固定的特性成为文档交换的标准,然而,由于其复杂的内部结构,程序化操作PDF一直是个挑战,本文主要为大家整理了Python操作PD... 目录一、 基础操作1.PyPDF2 (及其继任者 pypdf)2.PyMuPDF / fitz3.Fre

SpringBoot3.X 整合 MinIO 存储原生方案

《SpringBoot3.X整合MinIO存储原生方案》本文详细介绍了SpringBoot3.X整合MinIO的原生方案,从环境搭建到核心功能实现,涵盖了文件上传、下载、删除等常用操作,并补充了... 目录SpringBoot3.X整合MinIO存储原生方案:从环境搭建到实战开发一、前言:为什么选择MinI

Spring WebFlux 与 WebClient 使用指南及最佳实践

《SpringWebFlux与WebClient使用指南及最佳实践》WebClient是SpringWebFlux模块提供的非阻塞、响应式HTTP客户端,基于ProjectReactor实现,... 目录Spring WebFlux 与 WebClient 使用指南1. WebClient 概述2. 核心依

Python实现对阿里云OSS对象存储的操作详解

《Python实现对阿里云OSS对象存储的操作详解》这篇文章主要为大家详细介绍了Python实现对阿里云OSS对象存储的操作相关知识,包括连接,上传,下载,列举等功能,感兴趣的小伙伴可以了解下... 目录一、直接使用代码二、详细使用1. 环境准备2. 初始化配置3. bucket配置创建4. 文件上传到os