人工智能计算中心(AICC)OBS对象存储使用指南

2023-10-17 06:10

本文主要是介绍人工智能计算中心(AICC)OBS对象存储使用指南,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

人工智能计算中心(AICC)OBS对象存储使用指南

  • 前言
  • 一、注册登录AICC门户网站
    • 1.1 创建访问密钥对
  • 二、 对象存储服务OBS桶使用
    • 客户端使用
      • 2.1 带界面客户端
      • 2.2 命令行客户端
  • 三、 OBS与开发环境的数据交换
    • 使用开发镜像内置的moxing工具交互
  • 四、总结


前言

人工智能计算中心(以下简称AICC),提供有AI开发环境、AI训练算力服务以及数据存储服务功能(以下简称OBS)。AI开发环境与数据存储是相互隔离的(开发环境的数据除外),其中数据存储统一存放在OBS桶里面中,以下将讲解如何使用OBS桶进行数据存储以及开发环境中如何与OBS桶进行数据交换。


一、注册登录AICC门户网站

中国-东盟人工智能计算中心
许昌人工智能计算中心
天津人工智能计算中心

首先,把已经注册开通好资源的账号进行登录,如下图点击登录AICC后台;
人工智能计算中心登录界面

1.1 创建访问密钥对

登录后台,进入ModelArts,右边有访问密钥,生成密钥对文件(密钥.csv),会自动下载到本地。该文件用于登录OBS桶的账号密码,需保管好;如有遗失,可重新生成。
创建密钥对

创建密钥对


二、 对象存储服务OBS桶使用

首先,进入对象存储服务控制台的web端。
进入对象存储控制台
下载客户端

客户端使用

2.1 带界面客户端

  • 下载安装
    进入门户网站的对象存储服务,选择对应版本的OBS客户端,如下所示。
    下载
  • 登录配置
    其中东盟-AICC的服务地址为:obs.cn-south-292.ca-aicc.com,其他的请咨询本地的AICC运营团队;AK和SK分别是密钥对中的两列内,填写进入既可。
    登录配置
  • 使用
    创建OBS桶(类似本地硬盘盘符)
    区域填写:cn-south-292 (注:东盟-AICC)
    创建桶
  • 上传文件
    上传文件
  • 下载文件
    下载文件
  • OBSBroswer+使用参考

2.2 命令行客户端

  • 请下载对应版本的客户端
    下载命令行应用

  • 登录配置
    命令行登录配置:
    obsutil config -i=xxx -k=xxx -e= obs.cn-south-292.ca-aicc.com
    其中-i的配置是密钥对中的AK,-k是密钥对中的SK。

  • 使用参考


三、 OBS与开发环境的数据交换

ModelArts提供有两种工具进行开发环境与OBS环境的数据交互。分别是Moxing 工具与modelarts sdk两个工具包。

使用开发镜像内置的moxing工具交互

Moxing工具的使用指南

  • 从obs拷贝文件到本地,进入python交互界面
import moxing as mox
mox.file.copy_parallel(“from_dir”,”des_dir”)

进入notebook开发环境
如图操作:
复制文件样例

  • 从本地复制到OBS方式
import moxing as mox 
mox.file.copy_parallel('CelebA.zip', 'obs://dataset-coco/CelebA.zip')

从notebook复制到obs


四、总结

以上就是计算中心OBS对象存储服务的使用指导的内容,本文仅仅简单介绍了OBS的使用,需要更多的操作可以参考计算中心提供的指导文档。

这篇关于人工智能计算中心(AICC)OBS对象存储使用指南的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/223453

相关文章

SQLyog中DELIMITER执行存储过程时出现前置缩进问题的解决方法

《SQLyog中DELIMITER执行存储过程时出现前置缩进问题的解决方法》在SQLyog中执行存储过程时出现的前置缩进问题,实际上反映了SQLyog对SQL语句解析的一个特殊行为,本文给大家介绍了详... 目录问题根源正确写法示例永久解决方案为什么命令行不受影响?最佳实践建议问题根源SQLyog的语句分

Java对象转换的实现方式汇总

《Java对象转换的实现方式汇总》:本文主要介绍Java对象转换的多种实现方式,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录Java对象转换的多种实现方式1. 手动映射(Manual Mapping)2. Builder模式3. 工具类辅助映

关于MongoDB图片URL存储异常问题以及解决

《关于MongoDB图片URL存储异常问题以及解决》:本文主要介绍关于MongoDB图片URL存储异常问题以及解决方案,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐... 目录MongoDB图片URL存储异常问题项目场景问题描述原因分析解决方案预防措施js总结MongoDB图

Python中判断对象是否为空的方法

《Python中判断对象是否为空的方法》在Python开发中,判断对象是否为“空”是高频操作,但看似简单的需求却暗藏玄机,从None到空容器,从零值到自定义对象的“假值”状态,不同场景下的“空”需要精... 目录一、python中的“空”值体系二、精准判定方法对比三、常见误区解析四、进阶处理技巧五、性能优化

Python Websockets库的使用指南

《PythonWebsockets库的使用指南》pythonwebsockets库是一个用于创建WebSocket服务器和客户端的Python库,它提供了一种简单的方式来实现实时通信,支持异步和同步... 目录一、WebSocket 简介二、python 的 websockets 库安装三、完整代码示例1.

Kotlin 作用域函数apply、let、run、with、also使用指南

《Kotlin作用域函数apply、let、run、with、also使用指南》在Kotlin开发中,作用域函数(ScopeFunctions)是一组能让代码更简洁、更函数式的高阶函数,本文将... 目录一、引言:为什么需要作用域函数?二、作用域函China编程数详解1. apply:对象配置的 “流式构建器”最

C# WinForms存储过程操作数据库的实例讲解

《C#WinForms存储过程操作数据库的实例讲解》:本文主要介绍C#WinForms存储过程操作数据库的实例,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、存储过程基础二、C# 调用流程1. 数据库连接配置2. 执行存储过程(增删改)3. 查询数据三、事务处

在java中如何将inputStream对象转换为File对象(不生成本地文件)

《在java中如何将inputStream对象转换为File对象(不生成本地文件)》:本文主要介绍在java中如何将inputStream对象转换为File对象(不生成本地文件),具有很好的参考价... 目录需求说明问题解决总结需求说明在后端中通过POI生成Excel文件流,将输出流(outputStre

Oracle存储过程里操作BLOB的字节数据的办法

《Oracle存储过程里操作BLOB的字节数据的办法》该篇文章介绍了如何在Oracle存储过程中操作BLOB的字节数据,作者研究了如何获取BLOB的字节长度、如何使用DBMS_LOB包进行BLOB操作... 目录一、缘由二、办法2.1 基本操作2.2 DBMS_LOB包2.3 字节级操作与RAW数据类型2.

Java实现数据库图片上传与存储功能

《Java实现数据库图片上传与存储功能》在现代的Web开发中,上传图片并将其存储在数据库中是常见的需求之一,本文将介绍如何通过Java实现图片上传,存储到数据库的完整过程,希望对大家有所帮助... 目录1. 项目结构2. 数据库表设计3. 实现图片上传功能3.1 文件上传控制器3.2 图片上传服务4. 实现