Linux安装配置awscli命令行接口工具及其从aws上传下载数据

本文主要是介绍Linux安装配置awscli命令行接口工具及其从aws上传下载数据,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

官网技术文档有全面介绍:安装或更新 AWS CLI 的最新版本 - AWS Command Line Interface在系统上安装 AWS CLI。icon-default.png?t=N7T8https://docs.aws.amazon.com/zh_cn/cli/latest/userguide/getting-started-install.html#getting-started-install-instructionsawscli常用命令参考:

aws s3常用命令、hdfs dfs/hadoop fs常用命令 - 知乎QInzhengk/Math-Model-and-Machine-Learning (github.com)一、aws s3常用命令1、查看目录下所有文件夹(|head查看前10个):aws s3 ls s3://mleang/qk/data/ aws s3 ls s3://dfiee/06/|head查看文件夹大小: aws s3 …icon-default.png?t=N7T8https://zhuanlan.zhihu.com/p/450037966以下介绍下我走完的步骤:

准备环节

  1. 安装好的 Linux 系统
  2. 具有管理员权限的 sudo 账户
  3. 能够联网(若是某机构单独内网或局域网,后续要重新设置全局的访问aws的端口而不是使用默认的亚马逊官方的路径)
  4. 现在让我们开始安装:

1、下载安装文件

打开终端使用 ​​curl​​ 命令下载 AWS CLI 的安装文件:

$ curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"


以上命令会在当前工作目录下载一个 ​​awscliv2.zip​​ 的文件。
使用 ​​ls 命令​​ 确认当前下载下来的文件:

$ ls -l awscliv2.zip

(若是机构内网,则在外网用https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip下载压缩文件后摆渡到内网的磁盘里)

2、解压缩下载的文件

使用 ​​unzip 命令​​ 解压安装包:

$ unzip awscliv2.zip

它会在当前目录创建一个 ​​aws​​ 文件夹,把解压好的文件放进去

3、运行安装脚本

使用以下命令运行安装脚本:

$ sudo ./aws/install


脚本会把所有安装的文件放到 ​​/usr/local/aws-cli​​​ 目录下,然后创建一个链接文件到 ​​/usr/local/bin​​ 目录。

4、检查 AWS CLI 的版本

运行以下脚本检查版本:

$ aws --version

为了验证 AWS CLI 是否安装正确,开始配置 AWS CLI:
登录你的 AWS 管理控制台,取得 AWS 访问密钥 IDAccess Key ID 和 安全访问密钥Secret Access Key。
如果还没完成创建,请先创建,并把它们
到安全的地方。
然后回到命令行,运行以下命令:

$ aws configure
AWS Access Key ID [None]: xxxxxxxxxxxxxxxxxxxAWS 
Secret Access Key [None]: xxxxxxxxxxxxxxxxxxx
Default region name [None]: us-west-2
Default output format [None]: json
以上的证书会被保存到这个文件:
$ cat  ~/.aws/credentials 
[default]
aws_access_key_id = *****************
aws_secret_access_key = *******************************
$ cat  ~/.aws/config
[default]
output = json
region = us-west-2
若再次运行aws configure命令,不需改动的项直接回车即可。

还有一步很重要,我就踩了坑:若是在机构内网环境中进行的以上操作,需要设置终端访问的aws服务器的连接地址和端口号设置为全局变量:

$export AWS_ENDPOINT_URL=http://XXX.XX.XXX.XX:端口号    (访问链接需要先拿到)

运行 ​​aws​​ 命令列出你账户中的 s3 储存桶和 VPC:

$ aws s3 ls
$ aws ec2 describe-vpcs

输出如下:
<a">

成功输出内容,说明你的 AWS CLI 已经安装和配置完成,可进入下一步的查看、上传、下载和同步、删除等操作。

插曲:linux 命令指令不熟悉的参考https://www.linuxcool.com/curlcurl命令来自英文词组“CommandLine URL”的缩写,其功能是用于在Shell终端界面中基于URL规则进行的文件传输工作。curl是一款综合的传输工具,可以上传也可以下载,支持HTTP、HTTPS、FTP等三十余种常见协议。语法格式icon-default.png?t=N7T8https://www.linuxcool.com/curl

        实在Linux是0基础小白,可学习:Linux 教程 | 菜鸟教程

awscli 下载数据:

以下示例将文件从 Amazon S3 存储桶复制到当前工作目录,其中 ./ 指定当前的工作目录。

$ aws s3 cp s3://bucket-name/filename.txt ./

以下示例使用 s3 cp 命令,将本地文件从当前工作目录复制到 Amazon S3 存储桶。

$ aws s3 cp filename.txt s3://bucket-name

删除本地文件:

// Delete local file

$ rm ./MyFile1.txt

以下示例删除 s3://my-bucket/path 及其所有内容。

$ aws s3 rm s3://my-bucket/path --recursive

同步本地的文件到aws服务器:s3 sync 和 s3 cp 可以使用 --acl 选项。这样您能够为复制到 Amazon S3 的文件设置访问权限。--acl 选项接受 privatepublic-read 和 public-read-write 值。有关更多信息,请参阅 Amazon Simple Storage Service 用户指南中的标准 ACL。

$ aws s3 sync . s3://my-bucket/path --acl public-read

退出linux终端界面重新使用aws时需要再次设置aws连接地址和端口号设置为全局变量:

$export AWS_ENDPOINT_URL=http://XXX.XX.XXX.XX:端口号    (访问链接需要先拿到)

后用:$aws s3 ls     $aws s3 ls s3://桶名//文件名

(2023-11-3更)

这篇关于Linux安装配置awscli命令行接口工具及其从aws上传下载数据的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/367749

相关文章

Java整合Protocol Buffers实现高效数据序列化实践

《Java整合ProtocolBuffers实现高效数据序列化实践》ProtocolBuffers是Google开发的一种语言中立、平台中立、可扩展的结构化数据序列化机制,类似于XML但更小、更快... 目录一、Protocol Buffers简介1.1 什么是Protocol Buffers1.2 Pro

mysql5.7.15winx64配置全过程

《mysql5.7.15winx64配置全过程》文章详细介绍了MySQL5.7.15免安装版的配置步骤,包括解压安装包、设置环境变量、修改配置文件、初始化数据目录、安装服务、启动数据库、登录及密码修改... 目录前言一、首先下载安装包二、安android装步骤1.第一步解压文件2.配置环境变量3.复制my-

Python库 Django 的简介、安装、用法入门教程

《Python库Django的简介、安装、用法入门教程》Django是Python最流行的Web框架之一,它帮助开发者快速、高效地构建功能强大的Web应用程序,接下来我们将从简介、安装到用法详解,... 目录一、Django 简介 二、Django 的安装教程 1. 创建虚拟环境2. 安装Django三、创

Linux查询服务器 IP 地址的命令详解

《Linux查询服务器IP地址的命令详解》在服务器管理和网络运维中,快速准确地获取服务器的IP地址是一项基本但至关重要的技能,下面我们来看看Linux中查询服务器IP的相关命令使用吧... 目录一、hostname 命令:简单高效的 IP 查询工具命令详解实际应用技巧注意事项二、ip 命令:新一代网络配置全

linux安装、更新、卸载anaconda实践

《linux安装、更新、卸载anaconda实践》Anaconda是基于conda的科学计算环境,集成1400+包及依赖,安装需下载脚本、接受协议、设置路径、配置环境变量,更新与卸载通过conda命令... 目录随意找一个目录下载安装脚本检查许可证协议,ENTER就可以安装完毕之后激活anaconda安装更

Jenkins的安装与简单配置过程

《Jenkins的安装与简单配置过程》本文简述Jenkins在CentOS7.3上安装流程,包括Java环境配置、RPM包安装、修改JENKINS_HOME路径及权限、启动服务、插件安装与系统管理设置... 目录www.chinasem.cnJenkins安装访问并配置JenkinsJenkins配置邮件通知

Linux查询服务器系统版本号的多种方法

《Linux查询服务器系统版本号的多种方法》在Linux系统管理和维护工作中,了解当前操作系统的版本信息是最基础也是最重要的操作之一,系统版本不仅关系到软件兼容性、安全更新策略,还直接影响到故障排查和... 目录一、引言:系统版本查询的重要性二、基础命令解析:cat /etc/Centos-release详

Python实现数据可视化图表生成(适合新手入门)

《Python实现数据可视化图表生成(适合新手入门)》在数据科学和数据分析的新时代,高效、直观的数据可视化工具显得尤为重要,下面:本文主要介绍Python实现数据可视化图表生成的相关资料,文中通过... 目录前言为什么需要数据可视化准备工作基本图表绘制折线图柱状图散点图使用Seaborn创建高级图表箱线图热

Conda国内镜像源及配置过程

《Conda国内镜像源及配置过程》文章介绍Conda镜像源使用方法,涵盖临时指定单个/多个源、永久配置及恢复默认设置,同时说明main(官方稳定)、free(逐渐弃用)、conda-forge(社区更... 目录一、Conda国内镜像源二、Conda临时使用镜像源指定单个源临时指定多个源创建环境时临时指定源

Linux grep 命令的使用指南

《Linuxgrep命令的使用指南》本文给大家介绍Linuxgrep命令的使用指南,包括基础搜索语法、实践指南,感兴趣的朋友跟随小编一起看看吧... 目录linux grep 命令全面使用指南一、基础搜索语法1. 基本文本搜索2. 多文件搜索二、常用选项详解1. 输出控制选项2. 上下文控制选项三、正则表达