大数据之Shell脚本语言简单入门(打通任督二脉)

2023-11-22 10:20

本文主要是介绍大数据之Shell脚本语言简单入门(打通任督二脉),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

 一. Shell概述

Shell脚本其实是一个命令解释器,它接收的是应用程序的命令,然后调用操作系统内核。同时Shell还是一个功能相当强大的编程语言,易编写,易调试,灵活性强。Shell在Linux系统中的位置如下图所示:

二. Shell脚本入门

2.1 脚本格式与执行

Linux系统对于解释Shell命令提供了解析器,通过指令cat /etc/shells可以查看:

2.1.1 脚本输出HelloWorld

脚本以指定解析器#!/bin/bash开头,创建一个hello.sh文件的脚本,添加如下内容:

#!/bin/bash
echo "helloworld"

执行脚本方式一

bash hello.sh

bash直接加上文件名或者文件路径(绝对路径或者相对路径)执行

执行脚本方式二

不使用bash,进行当前环境下绝对路径执行对应的Sheel脚本,必须赋予可执行权限:

赋予权限后执行:

chmod +x /root/script/hello.sh

直接使用绝对路径执行脚本,就会输出helloworld:

/root/script/hello.sh

三. Shell脚本语法

3.1 系统预定义变量

3.1.1 常用系统变量  

比如$HOME,$PWD,$SHELL,$USER

查看系统变量的值使用echo:

echo $HOME

查看系统变量的所有Shell变量:

set

查看所有的系统环境变量使用env命令

3.2 自定义变量

3.2.1 基本语法

zs=14 # 定义变量zs
echo $zs # 获得zs值14

直接变量名=赋值,这种方式声明的只是局部变量,声明或升级全局变量使用export

export zs

zs已变成全局变量,如何定义只读变量?使用readonly

readonly zs=14

当自定义变量越来越多,可以进行撤销使用unset,只读变量不可撤销。

unset a

3.3 特殊变量

3.3.1 基本语法

1. $n n表示数字,$0表示脚本名称,当n大于10需用大括号包含:${10}。它表示的是第一到第n个参数。

看一个简单的例子,在执行脚本的时候可以在其后面设置值来让shell脚本输出对应的值:

#!/bin/bash
echo '========$n============'
echo script name: $0
echo param01: $1
echo param02: $2echo '===========$n===================='

执行成功后输出:

2. $#,获取所有参数个数,常用于循环,判断参数的个数是否正确加强脚本的健壮性。

还是上面的案例,统计出脚本执行后的变量数:

#!/bin/bash
echo '========$n============'
echo script name: $0
echo param01: $1
echo param02: $2echo '===========$n========='
echo numbers: $#

执行成功后输出:

3. $*与$@都是代表命令行中的所有参数,不同的就是$*将所有参数看做一个整体,$@则是将每个参数区分对待(了解自行验证)。

4. $?表示最后一次执行状态命令的返回状态,若此变量为0,表示脚本正常进行,若非0,则表示上一个脚本执行不正确。

3.4 运算符

对于shell脚本做运算,使用$[表达式]或者$((表达式))来表示计算两个数的和:

#!/bin/bash
sum=$[$1+$2]
echo sum=$sum

执行成功输入参数后:

3.5 条件判断

3.5.1 基本语法

用两种方式来进行表达式的条件判断,分别是

  • test 表达式
  • [ 表达式 ] 注意表达式前后都要有空格

第一种不常用,主要介绍第二种。

常见的判断条件有:

符号描述
-eq等于
-ne不等于
-lt小于
-le小于等于
-gt大于
-ge大于等于

例子:

[ 2 -lt 8 ]
[ 1 -eq 1 ]
[ 3 -ne 2 ]
[ 2 -le 5 ]
[ 6 -gt 5 ]

3.6 流程控制

关于流程控制主要分为单分支与多分支的操作。

3.6.1 单分支语法

if [ 条件判断 ];then程序
fi

或者

if [ 条件表达式 ]
then程序
fi

3.6.2 多分支语法

if [ 条件表达式 ]
then程序
elif [ 条件表达式 ]
then程序
else程序
fi

3.6.3 case语法

case $变量名 in
"值1")若目标值为1,执行程序1
;;
"值2")若目标值为2,执行程序2
;;...其它分支...
*)若变量的值都不是上面的值,则执行此程序
;;
esac

注意:

  1. ;;表示程序结束相当于java中的break
  2. *)表示默认的模式,相当于java的default

3.7 循环操作

3.7.1 for循环

for((初始值;循环控制条件;变量变化))
do程序
done

例子:求前100的整数和

#!/bin/bash
for(( i=0; i <= $1 ; i++ ))
dosum=$[ $sum + $i ]
done
echo $sum

3.7.2 while循环

while [ 条件表达式 ]
do程序
done

例子:求前100的整数和

a=1
while [ a -le 100 ]
dosum=$[ $sum + $a ]a=$[ $a + 1]
done
echo $sum

3.8 函数

3.8.1 系统函数

1. basename

删除所有前缀包括最后一个"/"的字符 ,相当于提取文件名称,语法如下:

basename[ string / pathname ] suffix]

例:获取文件名,讲后缀去掉。

$(basename $0 .txt)

2. dirname

获取文件的绝对路径。

cd $(dirname $0)

3.8.2 自定义函数

基本语法:[ ]表示可以省略

[function] name[()]

{

        Action; 

        [return int;]

}

注意,函数必须事先声明,return只能返回0-255的数字。

例子:计算两数之和。

#!/bin/bash
function add(){s=$[$1 + $2]echo $s
}
read -p "输入a=" a
read -p "输入b=" b
sum=$(add $a $b)
echo "a+b="$sum

四. 综合应用案例

4.1 归档文件

在实际的生产应用中,需要对重要的数据进行归档备份,实现一个对指定目录进行归档备份的脚本,输入一个目录名称,将此目录下的文档按天进行归档保存,并将归档日期附加至归档的文件名上。

#!/bin/bash#首先判断输入参数是否是1
if [ $# -ne 1 ]
thenecho "参数个数错误,输入一个参数,作为文档目录名称"exit
fi# 从参数中获取目录名称
if [ -d $1 ]
thenecho
elseechoecho "目录不存在!"echoexit
fiDIR_NAME=$(basename $1)
DIR_PATH=$(cd $(dirname $1); pwd)# 获取当前日期
DATE=$(date +%y%m%d)#定义生成的归档文件名称
FILE=file_${DIR_NAME}_$DATE.tar.gz
DEST=/home/tongbing/$FILE#开始归档目录文件echo "开始归档..."
echotar -czf $DEST $DIR_PATH/$DIR_NAMEif  [ $? -eq 0 ]
thenechoecho "归档成功"echo "归档文件:$DEST"echofi

这篇关于大数据之Shell脚本语言简单入门(打通任督二脉)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/409454

相关文章

MySQL DQL从入门到精通

《MySQLDQL从入门到精通》通过DQL,我们可以从数据库中检索出所需的数据,进行各种复杂的数据分析和处理,本文将深入探讨MySQLDQL的各个方面,帮助你全面掌握这一重要技能,感兴趣的朋友跟随小... 目录一、DQL 基础:SELECT 语句入门二、数据过滤:WHERE 子句的使用三、结果排序:ORDE

SQL Server修改数据库名及物理数据文件名操作步骤

《SQLServer修改数据库名及物理数据文件名操作步骤》在SQLServer中重命名数据库是一个常见的操作,但需要确保用户具有足够的权限来执行此操作,:本文主要介绍SQLServer修改数据... 目录一、背景介绍二、操作步骤2.1 设置为单用户模式(断开连接)2.2 修改数据库名称2.3 查找逻辑文件名

Linux脚本(shell)的使用方式

《Linux脚本(shell)的使用方式》:本文主要介绍Linux脚本(shell)的使用方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录概述语法详解数学运算表达式Shell变量变量分类环境变量Shell内部变量自定义变量:定义、赋值自定义变量:引用、修改、删

canal实现mysql数据同步的详细过程

《canal实现mysql数据同步的详细过程》:本文主要介绍canal实现mysql数据同步的详细过程,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的... 目录1、canal下载2、mysql同步用户创建和授权3、canal admin安装和启动4、canal

使用SpringBoot整合Sharding Sphere实现数据脱敏的示例

《使用SpringBoot整合ShardingSphere实现数据脱敏的示例》ApacheShardingSphere数据脱敏模块,通过SQL拦截与改写实现敏感信息加密存储,解决手动处理繁琐及系统改... 目录痛点一:痛点二:脱敏配置Quick Start——Spring 显示配置:1.引入依赖2.创建脱敏

基于Python实现一个简单的题库与在线考试系统

《基于Python实现一个简单的题库与在线考试系统》在当今信息化教育时代,在线学习与考试系统已成为教育技术领域的重要组成部分,本文就来介绍一下如何使用Python和PyQt5框架开发一个名为白泽题库系... 目录概述功能特点界面展示系统架构设计类结构图Excel题库填写格式模板题库题目填写格式表核心数据结构

详解如何使用Python构建从数据到文档的自动化工作流

《详解如何使用Python构建从数据到文档的自动化工作流》这篇文章将通过真实工作场景拆解,为大家展示如何用Python构建自动化工作流,让工具代替人力完成这些数字苦力活,感兴趣的小伙伴可以跟随小编一起... 目录一、Excel处理:从数据搬运工到智能分析师二、PDF处理:文档工厂的智能生产线三、邮件自动化:

Python数据分析与可视化的全面指南(从数据清洗到图表呈现)

《Python数据分析与可视化的全面指南(从数据清洗到图表呈现)》Python是数据分析与可视化领域中最受欢迎的编程语言之一,凭借其丰富的库和工具,Python能够帮助我们快速处理、分析数据并生成高质... 目录一、数据采集与初步探索二、数据清洗的七种武器1. 缺失值处理策略2. 异常值检测与修正3. 数据

pandas实现数据concat拼接的示例代码

《pandas实现数据concat拼接的示例代码》pandas.concat用于合并DataFrame或Series,本文主要介绍了pandas实现数据concat拼接的示例代码,具有一定的参考价值,... 目录语法示例:使用pandas.concat合并数据默认的concat:参数axis=0,join=

C/C++ chrono简单使用场景示例详解

《C/C++chrono简单使用场景示例详解》:本文主要介绍C/C++chrono简单使用场景示例详解,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友... 目录chrono使用场景举例1 输出格式化字符串chrono使用场景China编程举例1 输出格式化字符串示