${ } 引用变量的高级用法
字符串删除：
删除开头或结尾的整段字符串
${变量#匹配规则}        //从头开始匹配，最短删除；
${i#*,}
以第一个逗号为休止符，将这之间的所有字符都删除（包括第一个逗号）

${变量##匹配规则}       //从头开始匹配，最长删除；
以最后一个逗号为休止符，将这之间的所有字符都删除（包括最后第一个逗号）

${变量%匹配规则}        //从尾开始匹配，最短删除；
${i%,*}           //  右往左 以第一个逗号为休止符，将这之间的所有字符都删除（包括第一个逗号）

${变量%%匹配规则}       //从尾开始匹配，最长删除；
${i%%,*}    //右往左  以最后一个逗号为休止符，将这之间的所有字符都删除（包括最后一个逗号）

删除中间的某个字符或单词
${变量/pattern/}    //删除第一次被pattern匹配到的字符或字符串

${变量//pattern/}       //删除所有被pattern匹配到的字符或字符串

${变量/#pattern/}       //删除开头被pattern匹配到的字符或字符串

${变量/%pattern/}       //删除结尾被pattern匹配到的字符或字符串

字符串替换
${变量/旧字符串/新字符串}     //替换变量内的旧字符串为新字符串，只替换第一次匹配到的

${变量//旧字符串/新字符串}    //替换变量内的旧字符串为新字符串，全部替换

${变量/%旧字符串/新字符串}    //替换变量内的旧字符串为新字符串，只替换结尾的

${变量/#旧字符串/新字符串}    //替换变量内的旧字符串为新字符串，只替换开头的

字符串切片
${#变量名}    //获取字符串长度

${变量名:开始的下标值:截取长度}      //截取字符串，字符的下标值（索引）从0开始

三剑客：
按行读取后处理。
grep 过滤行内容。
awk 过滤字段。
sed 过滤行内容；修改行内容

sed:
sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。
默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非使用"sed -i"修改源文件、或使用重定向输出到新的文件中。

sed的工作流程
读取： sed从输入流 (文件、管道、标准输入) 中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space )。

执行： 默认情况下，所有的sed命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行

显示： 发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。在所有的文件内容都被处理完成之前，上述过程将重复执行， 直至所有内容被处理完。
格式：
sed -e '操作' 文件1 文件2
sed -n -e '操作' 文件1 文件2
sed -f  脚本文件  文件1 文件2
sed -i -e '操作' 文件1 文件2

多文件：
sed -n -e '操作1' -e '操作2' 文件
​
sed -n -e '操作1;操作2' 文件
​
sed -e 'n{
操作1
操作2
......
}' 文件1

选项                                作用
-e 或--expression=      表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令使用
-f 或--file=                   表示用指定的脚本文件来处理输入的文本文件
-h 或--help                   显示帮助
-n、--quiet或--silent    禁止sed编辑器输出，但可以与p命令一起使用完成输出
-i                                    直接修改目标文本文件

操作                                作用
s                                    替换，替换指定字符
d                                   删除，删除选定的行
a                                    增加，在当前行下方增加一行指定内容
i                                     插入，在选定行上方插入一行指定内容
c                                    替换，将选定行替换为指定内容
y                                    字符转换，转换前后的字符长度必须相同
p                                    打印行内容。如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以ASCII码输出。其通常与"-n"选项一起使用
=打印行号
l                                      (小写L)打印数据流中的文本和不可打印的ASCII字符（比如结束符$、制表符\t）

增删改查： i d s p

增：a i r  分别对应 行后添加  行前插入  行后读入

sed '6r hh.txt' ff.txt    //在第6行下方读入hh.txt文件内容

sed '1,3i 77' ff.txt      //在第1~3行每行的上方，添加一行内容

sed '1a 22\n33\n44' ff.txt    //在第一行下方添加3行内容

sed '3d' ff.txt     //删除第3行

sed '5,8d' ff.txt    //删除第5~8行

sed '$d' ff.txt     //删除最后一行

sed 'd' ff.txt          //删除所有行

sed '1,+3d' ff.txt      //删除第1行及后面3行（即删除第1~4行）

sed '6!d' ff.txt      //除了第6行，其他都删除

sed '6,$!d' ff.txt    //除了第6行到最后一行，其他都删除

改：scy  替换字符串   整行替换  字符替换（替换前后字符串长度相同）

行范围 s/旧字符串/新字符串/替换标记
​
s:替换字符串
#4种替换标记：
数字：表明新字符串将替换第几处匹配的地方
g：表面新字符串将会替换所有匹配的地方
p：打印与替换命令匹配的行，与-n一起使用
w 文件：将替换的结果写入文件中

sed -n '/root/p' pass.txt        //打印所有包含root的行
sed -n 's/root/aaa/2p' pass.txt      //将匹配行的第2个root替换成aaa
sed -n 's/root/aaa/gp' pass.txt      //将匹配行的所有root替换成aaa

sed -n -f 1.sh pass.txt       //指定1.sh文件来执行
sed '1,5 s/^/#/' ff.txt >out1.txt    //重定向全文本

s后面的第一个字符就是分隔符，3个分隔符要保持一致，如果遇到跟分隔符相同的字符需要使用 \ 转义成普通字符
sed -n 's//bin/bash//sbin/nologin/p' pass.txt    分隔符为"/"
sed -n 's#/bin/bash#/sbin/nologin#p' pass.txt   #作为分割符
sed -n 's!/bin/bash!/sbin/nologin!p' pass.txt      !作为分隔符

整行替换 c
sed '/fo/c 22' ff.txt    //将包含fo的行，整体替换成22

单字符替换 y
sed 'y/no/25/' ff.txt      遇到n替换成2，遇到o替换成5

查：
不加-n，却使用p操作，那么每行内容会打印两次。
sed -e "p" ：每行内容打印两次。
sed -n "p" ：每行内容只打印一次

sed -e 'p' ff.txt     //每行内容会打印两次
sed -n -e 'p' ff.txt    //每行内容只打印一次

'n' 打印行号
sed -n '=' ：只打印行号。
sed -e 'n' : 打印行号和行内容。
sed -n '=;p' ：打印行号和行内容。

sed -n '=' ff.txt      //只打印行号

sed -e '=' ff.txt     //打印行号和行内容

sed 执行多条命令的三种方法。
sed -n -e '=' -e 'p'  file.txt

sed -n -e '=;p'  file.txt

sed -n '
=
p
' file.txt

'l' 打印文本即隐藏字符（结束符$，制表符\t）。
sed -n 'l' ff.txt

sed 对指定行进行操作
以数字形式表示行区间；
用文本模式（字符串）来过滤出行（一般结合正则表达式）
以数字形式表示行区间：
操作    含义
'1p'    打印第一行
'$p'    打印最后一行
'1,3p'    打印连续行，打印第一行到第三行
'6,$p'    打印第六行到最后一行
'1,+3p'    打印第一行加后面三行（即打印第一到第四行）
'5q'    打印前五行后退出
'p;n'    打印奇数行
'n;p'    打印偶数行

使用字符串匹配出行：
操作                        含义
'/root/p'                 打印包含root的行
'/root/!p'                打印不包含root的行。! 表示取反
'/^root/p'               打印以root开头的行
'/bash$/'                 打印以bash结尾的行
'/root l bash/p'        打印包含root或bash的行。"l"是扩展正则表达式的元字符，要使用sed -r
'6,/root/p'                打印第6行到第一个包含root的行

以数字形式表示行区间
sed -n -e '1p' -e '5p' ff.txt    //打印第一行、第五行
打印连续的行，使用逗号
sed -n '6,$p' ff.txt

打印第1~5行的三种方法：
sed -n '1,5p' ff.txt

sed -n '1,+4p' ff.txt

sed -e '5q' ff.txt

使用sed输出奇数行或者偶数行
'n' ：next，读取下一行。
'p' ：打印当前所在行。

打印除了第一行以外的奇数行
sed -n '2,${n;p}' ff.txt

sed -n 'p;n;p' ff.txt
sed -n 'n;p;n' ff.txt

sed 复制粘贴

#vi//vim编辑器：
命令模式
dd p  剪切 粘贴
yy p  复制 粘贴

末行模式
:1,3 co 10  复制 粘贴（将第1~3行复制粘贴到第10行下方）
:1,3 m 10   剪切 粘贴（将第1~3行剪切到第10行下方）
​
#sed命令：
H复制、d删除、G粘贴到指定行下方
sed '1,3 {H;d};$G' ff.txt     //将第1~3行剪切粘贴到最后一行下方
sed '1,3 {H;d};5G' ff.txt     //将第1~3行剪切粘贴到第5行后面

文件内容中的字符串进行互换
echo 111222333|sed -r 's/(111)(222)/\2\1/'        将2个字符串交换位置
echo 111222333|sed -r 's/(111)(222)(333)/\3\2\1/'    将3个字符串交换位置

总结：
sed的核心功能：增删改查（可配合正则表达式）
查： p
删： d
改： s（字符串替换）、c（整行替换）、y（对应字符进行替换，效果类似tr命令）
增： i（在行前插入内容）、a（在行后添加内容）、r（在行后读入文件的内容）
​复制粘贴：H（复制）、d（删除）、G（粘贴到指定行下方）

sed对指定行操作：
以数字形式表示行区间
用字符串来过滤行

sed -i 可以直接修改文件内容，操作前建议先验证命令和备份目标文件

删除空行的三种方法：
grep -v "^$"  file.txt        //过滤出非空行
cat file.txt |tr -s "\n"      //压缩换行符
sed  '/^$/d'  file.txt        //删除空行

查找替换:
行范围 s/旧字符串/新字符串/替换标记
​
s/旧字符串/新字符串/2  #代表对每行第二个匹配到的字符串进行替换
g  #代表对每行所有能匹配到的字符进行替换
p  #可以结合-n 选项只打印替换的行内容
w  #可以把替换的行内容保存到指定的文件中

n,m s/旧字符串/新字符串/       #指定第n行到第m行，将旧字符串替换成新字符串
​
/字符串+正则/ s/旧字符串/新字符串/    #过滤出想要的行，之后进行替换
​
s/^/添加的字符/    #行首添加内容
​
s/$/添加的字符/    #行尾添加内容
​
sed -f 文件    #指定脚本文件来执行，可以在文件中定义多条操作规则
​
sed指定字符串的分隔符，就看s后面跟的字符，3个分隔符要保持一致，如果遇到跟分隔符相同的字符则需要使用\来转义。
例如：s#/bin/bash#/sbin/nologin#g

awk
逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
awk倾向于将一行分成多个"字段"然后再进行处理。
awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。
使用awk命令的过程中，可以使用逻辑操作符"&&"表示"与"、"|"表示"或"、"!"表示"非"，还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方

awk的命令格式：
awk 选项 '模式或条件 {操作}'  文件1  文件2...
awk -f 脚本文件 文件1 文件2

注意：
注意一定是单引号：'模式或条件 {操作}'
{ }外指定条件，{ }内指定操作。
用逗号指定连续的行，用 || 指定不连续的行。&&表示”且“。
内建变量，不能用双引号括起来，不然系统会把它当成字符串。

内置变量                           含义
$0                                 当前处理的行的整行内容
$n                                 当前处理行的第n个字段（第n列）
NR                                当前处理的行的行号（序数）
NF                                当前处理的行的字段个数。$NF代表最后一个字段
FS                                 列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
OFS                              输出内容的列分隔符
FILENAME                    被处理的文件名
RS                                 行分隔符。awk从文件中读取资料时，将根据RS的定义把资料切割成许多条记录， 而awk一次仅读入一条记录进行处理。预设值是"\n"

按行输出内容
$0表示当前行的整行内容
输出所有内容。逐行读取，$0表示当前行的整行内容。
awk '{print $0}' ff.txt  //输出所有内容
awk '{print}' ff.txt   //输出所有内容

打印行号和整行内容。
awk '{print NR,$0}' ff.txt

打印1到3行。逗号表示连续的行内容。&&表示”且“。
awk 'NR==1,NR==3 {print $0}' ff.txt  //打印1到3行
awk '(NR>=1)&&(NR<=3) {print}' ff.txt

打印奇数行；打印偶数行。（将行号除以2取余数，余1是奇数行，余0是偶数行）
awk '(NR%2)==1 {print}' ff.txt   //打印奇数行
awk '(NR%2)==0 {print}' ff.txt  //打印偶数行

$n 表示当前处理行的第n个字段

2、注意符号"||"（表示“或“）
awk '(NR>=1)||(NR<=3) {print}' ff.txt  //打印所有行
awk '(NR==1)||(NR==3) {print}' ff.txt   //打印第1行、第3行

打印奇数行；打印偶数行。（将行号除以2取余数，余1是奇数行，余0是偶数行）
$n 表示当前处理行的第n个字段
ifconfig ens33| awk 'NR==2{print $2}'

通过文本模式（匹配字符串）过滤出行
和正则表达式结合，通过匹配字符串过滤出想要的行。
awk '/root/ {print}' pass.txt  //使用awk命令
sed -n '/root/p' pass.txt   //使用sed命令

BEGIN模式
awk 'BEGIN{...};{...};END{...}' 文件
​
#处理过程：
1、在awk处理指定的文本之前，需要先执行BEGIN{...}模式里的命令操作;
2、中间的{...} 是真正用于处理文件的命令操作；
3、在awk处理完文件后才会执行END{...}模式里的命令操作。END{ }语句块中，往往会放入打印结果等语句
awk 'BEGIN{x=0};/bash$/{x++};END{print x}' pass.txt

grep -c 也可以统计匹配行的行数。
grep -c "bash$" pass.txt

按字段（列）输出内容
指定列分隔符的两种方式：使用-F 或 使用内建变量FS。
使用 -F 指定分隔符。
awk -F ':' '{print $1,$3}' /etc/passwd
将内建变量FS 重新赋值。
awk 'BEGIN {FS=":"};{print $1,$3}' /etc/passwd

打印UID大于500的用户、打印UID小于等于500的用户（!取反）
awk -F: '$3>500 {print $1,$3}' /etc/passwd

使用if语句
awk -F: '{if($3>500) {print $1,$3}}' /etc/passwd

三元运算符
Java和Shell中的三元运算符
awk -F: '{max=($3>=$4)?$3:$4;{print max,$1}}' /etc/passwd

$NF、$n~、$n!~、$n==、$n!=

~ 表示包含，!~ 表示不包含，== 表示等于，!= 表示不等于
​
$n> < ==      //用于对比数值
$n~"字符串"    //代表第n个字段 包含 某个字符串的作用
$n!~"字符串"   //代表第n个字段 不包含 某个字符串的作用
$n=="字符串"   //代表第n个字段 为 某个字符串的作用
$n!="字符串"   //代表第n个字段 不为 某个字符串的作用

awk从文件中读取资料时，将根据RS的定义把资料切割成许多条记录， 而awk一次仅读入一条记录进行处理。内置变量RS的预设值是"\n"。

指定冒号作为分隔符，打印行号和整行内容。
echo $PATH
echo $PATH |awk 'BEGIN{RS=":"};{print NR,$0}'

通过管道处理其他命令的结果
处理完文本后，打印行号，这个行号就是最后一行的行号，也就是行数。（这种方式只适用于输出所有行的情况，即只能统计全文本有多少行）
echo $PATH |awk 'BEGIN{RS=":"};{print NR,$0}'

使用 "grep -c" 统计匹配行的行数。
统计内存使用率
free命令可以查看内存使用情况。
使用率=使用的内存数量/总内存数量。
int表示取整数。

过滤出CPU的空闲率
top命令可以查看CPU的使用情况。
top -b -n 1 只会输出一次top的结果 不会进行刷新

指定输出时的列分隔符
FS 输入时的列分隔符。
OFS 输出内容的列分隔符
echo "A B C D" |awk 'BEGIN{OFS="|"};{$1=$1;print $0}'

使用awk去重（awk数组特性）
awk 'BEGIN{a["abc"]=10 ;a["xyz"]=20; print a["abc"]}'

打印数组内的所有元素值及对应下标值。
awk 'BEGIN{a[0]=10;a[1]=20;a[2]=30; for(i in a){print i,a[i]}}'

使用awk命令的过程中，可以使用逻辑操作符"&&"表示"与"、"|"表示"或"、"!"表示"非"，还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非使用"sed -i"修改源文件、或使用重定向输出到新的文件中。"l"是扩展正则表达式的元字符，要使用sed -r。sed指定字符串的分隔符，就看s后面跟的字符，3个分隔符要保持一致，如果遇到跟分隔符相同的字符则需要使用\来转义。 ### 回答2： Linux三 剑客 ，分别是 awk 、 sed 和grep，它们是Linux系统中非常重要的命令行工具，它们通常被称为文本处理工具。这些工具通常被用于筛选、搜索和处理文本文件。 grep是一种常见的文本搜索工具，可以在文件和文件夹中搜索指定的字符串或正则表达式。grep可以搜索多个文件并返回匹配行的输出。它是处理日志文件或查找匹配模式的最佳工具之一。 sed 是一种流编辑器，可以按照行处理文本文件。它可以通过替换、删除和插入操作来修改文件内容。在大型文件中查找并替换模式是 sed 的主要作用。该工具通常在文本文件中提取有用信息是常用。 awk 是一种强大的文本操作工具，可以分析大型文本文件并对其进行处理。该工具可以遍历行和列，并提供强大的文本处理工具，如计算、过滤和转换数据。 awk 的处理速度非常快，适用于处理大型数据文件。 Linux的三 剑客 中 awk 是最强大的工具，它可以执行复杂的文本数据操作和转换，可大大简化开发和管理过程。 sed 主要用于简单的文本数据过滤和替换，而grep主要用于搜索文件和定位特定行。 总之，Linux三 剑客 在文本数据处理方面具有不可替代的重要作用。对于Linux操作系统的开发人员和管理员来说，熟练使用这些工具可以提高他们的工作效率，使他们更容易管理和操作文本文件。 ### 回答3： Linux三 剑客 awk sed grep是我们在日常工作中经常使用的三个命令。它们都属于文本处理工具，可以用于查找、处理、分析文本文件等。 首先，grep是最常用的文本搜索工具。grep可以用来快速查找文件中指定的字符串或正则表达式，并将包含该字符串或正则表达式的行打印出来。常用的命令有grep、egrep和fgrep。比如，我们可以使用grep命令来查找一个文件中包含指定关键字的行，可以使用egrep来支持正则表达式搜索，使用fgrep来进行快速搜索，不支持正则表达式。 其次， sed 是一种流编辑器，主要用于对文本文件进行替换、删除、添加、插入等操作。 sed 命令可以通过管道(|)将多个命令组合起来，从而进行复杂的文本操作。 sed 可以快速完成对文本文件的修改操作，比如替换文件中的某些内容、删除特定的行、在文件中插入新的文本等。 sed 的命令形式是“command", 比如"s/old/new/g"，表示将old替换成new。 最后， awk 是一种强大的文本处理工具，主要用于在文本文件中查找、处理以及格式化特定的字段。和grep、 sed 不同的是， awk 更加灵活，可以在处理过程中做到数据过滤和加工，对于大数据的处理特别有用。 awk 命令的常用语法是"pattern {action}"。其中，pattern代表要匹配的模式，而action代表模式匹配时需要执行的动作，我们可以在其中添加处理语句来对文件进行各种处理操作，比如计算、统计、格式化等。 综上所述，Linux三 剑客 awk sed grep是我们在文本处理工作中不可或缺的三个工具，不同的工具可以用于处理不同的文本操作，也可以用于搭配使用，以完成更加复杂的文本处理工作。对于需要经常处理文本的人员来说，掌握这些工具是非常必要的。