Shell Script

1.建立和运行shell程序

什么是shell程序呢? 简单的说shell程序就是一个包含若干行
shell或者linux命令的文件.
象编写高级语言的程序一样,编写一个shell程序需要一个文本编辑器.如VI等.
在文本编辑环境下,依据shell的语法规则,输入一些shell/linux命令行,形成一个完整的程序文件.
执行shell程序文件有三种方法
(1)#chmod +x file
(2)#sh file
(3)# . file
在编写shell时,第一行一定要指明系统需要那种shell解释你的shell程序,如:#!/bin/bash
Unix/Linux上常见的Shell脚本解释器有bash、sh、csh、ksh等，习惯上把它们称作一种Shell。我们常说有多少种Shell，其实说的是Shell脚本解释器。

• shell脚本的基本元素

#!<命令解释器>
#  --为注示
shell命令
流程控制（if/for/while/case/function）

• 为什么使用shell

解决重复操作的作业
节约时间,提高工作效率
功能强大
不需要编译

• shell通配符

？ 任意单个字符,不能匹配空
* 任意零个或多个字符组(不能匹配以点开头的文件)
[ab] a或者b
[a-z] a到z之间的任意字符，包括端点在内
是Shell 而非命令本身处理通配符，命令后的通配符会在命令执行前就被代换了
如果需要命令而非Shell处理通配符，请用“\"将通配符转义，跳脱字符

• bash中的引号

双引号 “ ” ：允许通过$符号引用其他变量值，会把引号的内容当成整体来看待
单引号 ‘ ’  ：禁止引用其他变量值，shell中特殊符号都被视为普通字符，会把引号的内容当成整体来看待
反撇号 `` ：   会把命令执行的结果输出
$()       在执行命令的过程中会优先执行
;       连续执行命令 
&&      可对一行命令进行分割，在执行过程中考虑上一个命令执行是否是正确的
||              可对一行命令进行分割，在执行过程中不考虑上一个命令执行是否是正确的
!       命令历史
# echo "This  system is "HOSTNAME""
This is system is HOSTNAME
# echo "This system is "$HISTNAME""
This is system is 
# echo "This system is "$HOSTNAME""
This is system is desktop8.example.com
# echo 'This system is "$HOSTNAME"'
This is system is "$HOSTNAME"
[root@desktop8 ~]# echo $5.00
5.00
[root@desktop8 ~]# echo \$5.00
$5.00
echo `ls`cat aaa.sh ``
# 将cmd1执行结果作为cmd2参数，再将cmd2结果作为cmd3的参数
echo $(cat $(ls))
cmd3 $(cmd2 $(cmd1))
echo `cat ddd`ls``
ls && cat ddd
lsa || cat ddd

运算符

    $(())       ：运算符
    $[]
# a=$((1 + 10))
# echo $a

# a=$[1 + 100]
# echo $a
[root@vagrant-centos65 data]# aaa=$((10-1))
[root@vagrant-centos65 data]# echo $aaa
9
[root@vagrant-centos65 data]# aaa=$((10*1))
[root@vagrant-centos65 data]# echo $aaa
10
[root@vagrant-centos65 data]# aaa=$((9/3)) 
[root@vagrant-centos65 data]# echo $aaa
3
[root@vagrant-centos65 data]# aaa=$((9%3))
[root@vagrant-centos65 data]# echo $aaa
0
[root@vagrant-centos65 data]# aaa=$((9**3))
[root@vagrant-centos65 data]# echo $aaa
729

• shell的配置文件（软件＋配置文件）
  用户加载shell配置流程：
  user01-->login-->bash-->/etc/profile-->$HOME/.bash_profile-->$HOME/.bashrc-->/etc/bashrc
  全局配置文件

/etc/profile            －－bash工作环境的配置（环境变量）
export i=11
/etc/profile.d/*.sh     －－/etc/profile的扩展配置文件
/etc/bashrc         －－bash的配置文件
针对每个用户的配置文件：
$HOME/.bash_history －－存放命令历史
$HOME/.bash_logout  －－注销/退出shell的时候执行的脚本
$HOME/.bash_profile 
$HOME/.bashrc

• 常用的几个命令

ctrl + u        --删除当前光标至行首内容
ctrl + c        --中断
ctrl + l        --清屏
ctrl + a        --跳到行首  HOME
crtl + e        --路到行尾  END
ctrl + r        --快速搜索history命令
ctrl + z        --转入后台运行 fg bg
Ctrl + d        --退出shell，logout
↑(Ctrl+p) 显示上一条命令
↓(Ctrl+n) 显示下一条命令

• alias –查询系统中所有已经存在的别名

alias 别名＝‘真名’
unalias --取消系统中的别名
unalias 别名
unalias -a  删除所有的别名
临时： alias la='ls -a'
固定：
可以写至以下文件，定义完成需要使用source来刷新，或者注销重新登录用户：
/etc/profile
$HOME/.bash_profile
$HOME/.bashrc
/etc/bashrc
/etc/profile.d/*.sh

• 历史命令

history         查询当前用户用过的所有命令历史（内存）
history -w      同步内存中的命令至硬盘（$/HOME/.bash_history）
                    自动同步：exit/注销
echo "" > $HOME/bash_history    --清空命令历史
调用命令历史： 
    !101    通过编号
    !!  调用最后一条命令历史
    !vim    调用离我最近一条以vim开头的命令历史
    !$  调用最后一条命令历史中的参数
        命令字　+　[选项]　+ 参数
        ls -l /
    ctrl + r    查找命令历史

• bash的特殊符号

 标准输入                               ０
 标准正确输出（屏幕）　    １
 错误输出 （屏幕）              ２
        >       --输出覆盖重定向
        >>      --输出追加重定向
        2>      --错误覆盖输出重定向
        2>>     --错误追加输出重定向
        &>      --输出正确/错误重定向
    &>>    --RHEL6可以实现正确和错误追加重定向。
    >>  --- 2>&1 rhel5
# cat /root/a2.txt /root &> a.txt       －－将正确和错误一起覆盖重定向至a.txt
cat /root/a2.txt /root  >> a.txt ２>＆1 --将正确和错误一起追加重定向至a.txt
[root@i ~]# ls /ttttt /etc/passwd- >1.txt 2>2.txt && &>3.txt

2.shell中的变量

(1)常用系统变量
# :保存程序命令行参数的数目
? :保存前一个命令的返回码
0 :保存程序名
* :以(” 1 2…”)的形式保存所有输入的命令行参数 所有的参数会被当做一个字符串
@ :以(” 1″” 2″…)的形式保存所有输入的命令行参数 所有的参数会以空格做分隔符单做一个字符串

(2)定义变量

shell语言是非类型的解释型语言,不象用C++/JAVA语言编程时需要事先声明变量.给一个变量赋值,实际上就是定义了变量.
在linux支持的所有shell中,都可以用赋值符号(=)为变量赋值.
如: abc=9
由于shell程序的变量是无类型的,所以用户可以使用同一个变量时而存放字符时而存放整数. 如:name=abc (bash/pdksh)
在变量赋值之后,只需在变量前面加一个 去引用.
echo $abc
删除变量:
unset abc

(3)位置变量

当运行一个支持多个命令行参数的shell程序时,这些变量的值将分别存放在位置变量里. 其中第一个参数存放在位置变量1,第二个参数存放在位置变量2,依次类推…,shell保留这些变量,不允许用户以令外的方式定义他们.同别的变量,用 符号引用他们.
总结：

1. 变量的设置
2. 变量的引用
3. 删除变量

(4)内置bash中变量

$#：命令行中位置变量的个数
$*：所有位置变量的内容
$@: 所有位置参数的内容,与$*的分割任不一样，建议和所有的位置参数时使用这种方式。
$?：上一条命令执行后返回的状态，当返回状态值为0时表示执行正常，非0值表示执行异常或出错
$$：当前所在进程的进程号
$!：后台运行的最后一个进程号
$0：当前执行的进程/程序名

3.shell中引号的使用方法

shell使用引号(单引号/双引号)和反斜线(“”)用于向shell解释器屏蔽一些特殊字符. 反引号(“)对shell则有特殊意义.
如: abc=”how are you” (bash/pdksh)
这个命令行把三个单词组成的字符串how are you作为一个整体赋值给变量abc.
abc1=’$LOGNAME,how are you!’ (bash/pdksh)
abc2=”$LOGNAME,how are you!” (bash/pdksh)
LOGNAME变量是保存当前用户名的shell变量,假设他的当前值是:wang.执行完两条命令后, abc1的内容是LOGNAME, how are you!.而abc2的内容是;wang, how are you!.
象单引号一样,反斜线也能屏蔽所有特殊字符.但是他一次只能屏蔽一个字符.而不能屏蔽 一组字符.
反引号的功能不同于以上的三种符号.他不具有屏蔽特殊字符的功能.但是可以通过他将一个命令的运行结果传递给另外一个命令.
如:
contents=ls (bash/pdksh)

4.shell程序中的test命令

• 算术操作（expr）
  在bash中只能做整数的运算

+ 加
- 减
* 乘
/ 除（取整）
% 取余
$(())
$[]
[root@vagrant-centos65 data]# aa=$((10-1))
[root@vagrant-centos65 data]# echo $aa
9
[root@vagrant-centos65 data]# bb=$[10/10]
[root@vagrant-centos65 data]# echo $bb
1
[root@vagrant-centos65 data]# cc=$[10+10]
[root@vagrant-centos65 data]# echo $cc
20

• 退出状态
  在Linux系统中，每当命令执行完成后，系统都会返回一个退出状态。该退出状态用一整数值表示，用于判断命令运行正确与否。
  若退出状态值为0，表示命令运行成功
  若退出状态值不为0时，则表示命令运行失败
  最后一次执行的命令的退出状态值被保存在内置变量“$?”中，所以可以通过echo语句进行测试命令是否运行成功
  0 表示运行成功，程序执行未遇到任何问题
  1~125 表示运行失败，脚本命令、系统命令错误或参数传递错误
  126 找到了该命令但无法执行
  >128 命令被系统强制结束

test命令
用途：测试特定的表达式是否成立，当条件成立时，命令执行后的返回值$?为0，否则为其他数值
格式： test 条件表达式
[ 条件表达式 ]

test可以测试表示有哪些：
1、文件状态
2、字符串的比对
3、整数的比对
4、多条件组合（|| && !）(-a -o !)

#man test     
-a  = &&     -o = ||   !
单个条件：   [ ! 1 -eq 1 ]   两个值的结果再取反 ，感叹号的优先级别最低，除非加括号；
! [ 1 -eq 1 ]
多个条件：
[ 1 -eq 1 -a 10 -eq 10 ]   =  [ 1 -eq 1 ] && [ 10 -eq 10 ]  两个条件成立，才正确；
[ 1 -eq 1 -o 10 -eq 10 ]    = [ 1 -eq 1 ] || [ 10 -eq 10 ] 取或； 
[ 1 -eq 1 -o 10 -eq 10 -o 1 -eq 1 ]    = [ 1 -eq 1 ] || [ 10 -eq 10 ]  ||  [ 1 -eq 1 ]
-----------------------------------------------------
# test 1 = 1
# echo $?
0
# [ 1 = 1 ]                        --[] = test      --单条件
# echo $?
0
# [ 1 = 1 ] && echo YES
YES
# [ 1 = 2 ] && echo YES --无返回
||      -o      or
&&      -a      and
!

条件的组合：
[ 1 = 1 -a 1 = 2 ]      与组合
[ 1 = 1 ] && [ 1 = 2 ]  与组合
[ 1 = 1 ] || [ 1 = 2 ]      或组合
[ 1 = 1 -o  1 = 2 ]         或组合

在bash中,命令test用于计算一个条件表达式的值.他们经常在条件语句和循环语句中被用来判断某些条件是否满足.
test命令的语法格式:
test expression
或者
[expression]

• 逻辑运算符

逻辑运算符主要包括逻辑非、逻辑与、逻辑或运算符，具体描述如下表所示：
逻辑操作符                       描述 
！expression                         如果expression为假，则测试结果为真
expression1 a expression2   如果expression1和expression同时为真，则测试结果为真
expression1 o expression2   如果expression1和expression2中有一个为真，则测试条件为真

在test命令中,可以使用很多shell的内部操作符.这些操作符介绍如下:
(1)字符串操作符 用于计算字符串表达式
test命令 | 含义
Str1 = str2 | 当str1与str2相同时,返回True
Str1! = str2| 当str1与str2不同时,返回True
Str | 当str不是空字符时,返回True
-n str | 当str的长度大于0时,返回True
-z str | 当str的长度是0时,返回True

(2)整数操作符具有和字符操作符类似的功能.只是他们的操作是针对整数

test表达式 | 含义
Int1 -eq int2|当int1等于int2时,返回True
Int1 -ge int2|当int1大于/等于int2时,返回True
Int1 -le int2|当int1小于/等于int2时,返回True
Int1 -gt int2|当int1大于int2时,返回True
Int1 -ne int2|当int1不等于int2时,返回True

(3)用于文件操作的操作符,他们能检查:文件是否存在,文件类型等

test表达式 | 含义
-d file |当file是一个目录时,返回 True
-f file |当file是一个普通文件时,返回 True
-r file |当file是一个刻读文件时,返回 True
-s file |当file文件长度大于0时,返回 True
-w file |当file是一个可写文件时,返回 True
-x file |当file是一个可执行文件时,返回 True

(4)shell的逻辑操作符用于修饰/连接包含整数,字符串,文件操作符的表达式

test表达式 | 含义
! expr |当expr的值是False时,返回True
Expr1 -a expr2|当expr1,expr2值同为True时,返回True
Expr1 -o expr2|当expr1,expr2的值至少有一个为True时,返回True

5.条件语句

同其他高级语言程序一样,复杂的shell程序中经常使用到分支和循环控制结构,
bash,pdksh分别都有两种不同形式的条件语句:if语句和case语句.

(1)if语句

语法格式:
bash/pdksh用法:
if [expression1]
then
commands1
elif [expression2]
commands2
else
commands3
if
含义:当expression1的条件为True时,shell执行then后面的commands1命令;当
expression1的条件为false并且expression2的条件满足为True时,shell执行
commands2命令;当expression1和expressin2的条件值同为false时,shell执行
commands3命令.if语句以他的反写fi结尾.

(2)case语句

case语句要求shell将一个字符串S与一组字符串模式P1,P2,…,Pn比较,当S与
某个模式Pi想匹配时,就执行相应的那一部分程序/命令.shell的case语句中字符
模式里可以包含象*这样的通配符.
语法格式:
bash/pdksh用法:
case string1 in
str1)
commands1;;
str2)
commands2;;
*)
commands3;;
esac
含义:shell将字符串string1分别和字符串模式str1和str2比较.如果string1与str1匹配,则shell执行commands1的命令/语句;如果string11和str2匹配,则shell执行commands2的命令/语句.否则shell将执行commands3的那段程序/命令.其中,每个分支的程序/命令都要以两个分号(;;)结束.

6.循环语句

当需要重复的某些操作时,就要用到循环语句

(1)for语句

大家知道在很多编程语言中for语句是最常见.在shell中也不例外.for语句要求shell将包含
在这个语句中的一组命令连续执行一定的次数.
语法格式:
bash/pdksh
用法1:
for var1 in list
do
commands
done
含义:在这个for语句中,对应于list中的每个值,shell将执行一次commands代表的一组命令.
在整个循环的每一次执行中,变量var1将依此取list中的不同的值.
用法2:
for var1
do
setatements
done
含义:在这个for语句中,shell针对变量var1中的每一项分别执行一次statements代表的一组
命令.当使用这种形式的语句时,shell认为var1变量中包含了所有的位置变量,而位置变量中
存放着程序的命令行参数值.也就是说,他等价于下列形式:
for var1 in ” @”
do
statements
done
举例:
for file ;bash/pdksh
do
tr a-z A-Z< file>file.caps
done

(2)while语句

while语句是shell提供的另一种循环语句. while语句指定一个表达式和一组命令.这个语句使得shell重复执行一组命令,直到表达式的值为False为止.
语法格式:
while expression ;bash
do
statements
done

举例:

#!/bin/bash
count=1
while true
do
   echo "this is a parameter number $count $1"
   shift
   count=$[ $count+1 ]
done

语句中shift命令的功能是将所有的命令行参数依次相左传递.

7.shell中的函数

1、在编写Shell脚本程序时，将一些需要重复使用的命令操作，定义为公共使用的语句块，即可称为函数
2、合理使用Shell函数，可以使脚本内容更加简洁，增强程序的易读性，提高执行效率
shell允许用户定义自己的函数.函数是高级语言中的重要结构.shell中的函数于C或
者其他 语言中定义的函数一样.与从头开始,一行一行地写程序相比,使用函数主要好处是有 利于组织 整个程序.在bash中,一个函数的语法格式如下:
fname (){
shell comands
}
定义好函数后,需要在程序中调用他们.bash中调用函数的格式:
fname [parm1 parm2 parm3…]
调用函数时,可以向函数传递任意多个参数.函数将这些参数看做是存放他的命令行参数的 位置变量
总结
利用shell编程是提高系统管理工作效率的重要手段,学好shell跟了解系统基本命令
和管理工具的使用方法同样重要!
附:

A.bash中常用的命令

命令 | 含义
& 把程序放到后台执行
ctrl + z 可以将一个正在前台执行的命令放到后台，并且暂停
Alias |设置命令别名
Bg |将一个被挂起的进程在后台执行
cd |改变用户的当前目录
exit |终止一个shell
export |使作为这个命令的参数的变量及其当前值,在当前运行的shell的子进程中可见
fc |编辑当前的命令行历史列表
fg |让一个被挂起的进程在前台执行
help |显示bash内部命令的帮助信息
history |显示最近输入的一定数量的命令行
kill |终止一个进程
pwd |显示用户当前工作目录
unalias |删除命令行别名

B.bash中常用的系统变量

变量 | 含义
EDITOR,FCEDIT |Bash的fc命令的默认文本编辑器
HISTFILE |规定存放最近输入命令行文件的名字
HISTSIZE |规定命令行历史文件的大小
HOME |当前用户的宿主目录
OLDPWD |用户使用的前一个目录
PATH |规定bash寻找可执行文件时搜索的路径
PS1 |命令行环境中显示第一级提示符号
PS2 |命令行环境中显示第二级提示符号
PWD |用户当前工作目录
SECONDS |当前运行的bash进程的运行时间(以秒为单位)一

排序统计相关的：wc sort uniq

wc
-l 显示行数
-w 显示单词数
-m 显示字符数
默认不加参数，就是相当于上面三个参数都加
[root@li shell01]# cat /etc/passwd |wc -l
79
[root@li shell01]# cat /etc/passwd |wc -w
106
[root@li shell01]# cat /etc/passwd |wc -m
3374
[root@li shell01]# cat /etc/passwd |wc
79 106 3374
wc -L 算一个文件里最长一行有多少个字符
sort 排序命令
[root@li shell01]# cat /etc/passwd |
sort –默认以开头字母排序
-r 反向排序
-n 以数字来排
-f 大小写不敏感
-t 分隔符
-k 接数字代表第几列

cut [-bn] [file] 或 cut [-c] [file] 或 cut [-df] [file]
cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段写至标准输出。
如果不指定 File 参数，cut 命令将读取标准输入。必须指定 -b、-c 或 -f 标志之一。
-b ：以字节为单位进行分割。这些字节位置将忽略多字节字符边界，除非也指定了 -n 标志。
-c ：以字符为单位进行分割。
-d ：自定义分隔符，默认为制表符。
-f ：与-d一起使用，指定显示哪个区域。
-n ：取消分割多字节字符。仅和 -b 标志一起使用。如果字符的最后一个字节落在由 -b 标志的 List 参数指示的<br />范围之内，该字符将被写出；否则，该字符将被排除。
[root@li ~]# cut -d -f
[root@li ~]# sort -t -k
[root@li ~]# awk -F n
[root@li shell01]# cat /etc/passwd |sort -t “:” -k 3 –以UID来排序，但是它只会以数字的第一个数字来排也就是说 2要排到14的后面
[root@li shell01]# cat /etc/passwd |sort -t “:” -k 3 -n –多加一个-n参数，才会以整个的数字大小来排序
uniq 唯一命令
默认是以连续的重复值内只取一个
[root@li shell01]# cat /etc/passwd |cut -d “:” -f7 |uniq |grep bash
/bin/bash
/bin/bash
/bin/bash
/bin/bash
[root@li shell01]# cat /etc/passwd |cut -d “:” -f7 |grep bash |uniq
/bin/bash
–在管道用得多的情况下，命令的顺序会造成很大的结果不同
－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－－
练习：
对有下面内容的文件进行操作
http://a.domain.com/1.html
http://b.domain.com/1.html
http://c.domain.com/1.html
http://a.domain.com/2.html
http://a.domain.com/3.html
http://b.domain.com/3.html
http://c.domain.com/2.html
http://c.domain.com/3.html
http://a.domain.com/1.html
得到下面的结果
4 a.domain.com
3 c.domain.com
2 b.domain.com
cat 1.txt |cut -d”/” -f3 |sort|uniq -c |sort -n -r

• bash的调试方法

打开调试模式
    • $set -x
    • $bash -x shell.sh

• 关闭调试模式
    • $set +x

sh -n test.sh       --检查语法（结构化语句的语法）
sh -x test.sh       --调试




如果参数过太多，出现这个报错：too many arguments，需要使用xargs
xargs                (1)  - build and execute command lines from standard input

# awk -F: '{print $1}' /etc/passwd | xargs -i mkdir -p {}