linux中最为常用的三大文本（grep,sed,awk）处理工具
一。sed
1. sed定义
Sed is a stream editor. sed全称是：stream editor 流编辑器 对文件的操作无非就是”增删改查“，sed命令就是实现对文件的”增删改查“。
1.1 man sed //man 的解释
sed - stream editor for filtering and transforming text 用于过滤和转换文本的流编辑器
2. 功能
Sed 主要用来自动编辑一个或多个文件、简化对文件的反复操作、编写转换程序等。
sed 本身是一个非常复杂的工具，有专门的书籍讲解 sed 的具体用法
作为linux中最为常用的三大文本（awk，sed，grep）处理工具之一
2.1 注意-sed 不会直接修改源文件数据
sed 默认不会直接修改源文件数据，而是会将数据复制到缓冲区中，修改也仅限于缓冲区中的数据
3. sed 与 vi 的区别
vi 采用的是交互式文本编辑模式，你可以用键盘命令来交互性地插入、删除或替换数据中的文本。
sed 采用的是流编辑模式，最明显的特点是，在 sed 处理数据之前，需要预先提供一组规则，sed 会按照此规则来编辑数据。
sed 是一种非交互式编辑器(即用户不必参与编辑过程)，它使用预先设定好的编辑指令对输入的文本进行编辑，完成之后再输出编辑结构
4. sed工作原理
- sed 会一次处理一行内容。
- 处理时，把当前处理的行存储在临时缓冲区中，成为"模式空间"，接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。
- 文件内容并没有改变，除非你使用重定向存储输出。
5. 语法
sed [-hnV] [ -e<script>] [-f<script文件>] [文本文件]sed [选项] [脚本命令] 文件名 选项部分，常见选项包括 -n，-e，-i，-f，-r选项。 脚本命令，常见包括： 增a 删d 改s(替换) 插入i 打印p 取代c
5.1 选项说明：
选项 含义
- -e 如果需要用sed对文本内容进行多种操作，则需要执行多条子命令来进行操作。
- -f 指定sed脚本的文件名 如果命令操作比较多的时候就会比较麻烦，这时候把多个子命令操作写入脚本文件，然后使用 -f 选项来指定该脚本
- -n 取消默认的输出 默认情况下，sed 会在所有的脚本指定执行完毕后，会自动输出处理后的内容， 而该选项会屏蔽启动输出，需使用 print 命令来完成输出。
- -i 此选项会直接修改源文件，要慎用。
5.2 动作/脚本命令说明：
a ：新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～ c ：取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！ d ：删除，因为是删除啊，所以 d 后面通常不接任何咚咚； i ：插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p ：打印，亦即将某个选择的数据印出。通常 p 会与参数 sed -n 一起运行～只输出被替换命令修改过的行
s ：取代，可以直接进行取代的工作. s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！
6. 示例及说明
下面所有例子都以 test 文件为例子说明
hello world,hello hani.
hello world,hello hani.
hani is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc6.1 sed s 字符串替换
6.1.1 sed s 格式
s/pattern/replacement/flags
flags 标记 功能
- n 1~512 之间的数字 表示指定要替换的字符串出现第几次时才进行替换，例如，一行中有 6 个 A，但用户只想替换第二个 A，这是就用到这个标记；
- g 对数据中所有匹配到的内容进行替换 如果没有 g，则只会在第一次匹配成功时做替换操作。 sed ‘s/old/new/’ test 匹配每一行的第一个old替换为new 例如，一行数据中有 3 个 A，则只会替换第一个 A；
6.1.2 sed ‘s/is/are/2’ test [局部替换]
sed ‘s/old/new/’ test 匹配每一行的第一个old替换为new
sed 编辑器只替换每行中第 2 次出现的匹配模式
root@ubuntu-admin-a1:/home/sedTest# sed 's/hello/HELLO/2' test
hello world,HELLO hani.
hello world,HELLO hani.
hani is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc6.1.3 sed ‘s/hani/HANI/g’ test [g 全部替换]
替换所有匹配的字符串
root@ubuntu-admin-a1:/home/sedTest# sed 's/hani/HANI/g' test
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,HANI is handsome.
this is the test script of sed test.
linux sed
133456789
/aaa/bbb/ccc6.1.4 sed -n ‘s/hani/HANI/p’ test [-n p 只输出修改的行]
-n 选项会禁止 sed 输出，但 p 标记会输出修改过的行， 将二者匹配使用的效果就是只输出被替换命令修改过的行
root@ubuntu-admin-a1:/home/sedTest# sed -n 's/hani/HANI/p' test
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,hani is handsome.6.1.5 其他常用
sed ‘s/old/new/’ test 匹配每一行的第一个old替换为new sed ‘s/old/new/gi’ test 匹配所有old替换为new，g 代表一行多个，i 代表匹配忽略大小写 sed ‘3,9s/old/new/gi’ test 匹配第 3~9 行所有old替换为new
6.1.6 转换windows文件格式为unix,去除\r：sed -i ‘s/\r//’ test
sed -i 's/\r//' test\r \n 回车换行符详解 \r \n 回车换行符详解_Hani_97的博客-CSDN博客_回车换行符
6.2 sed d 删除
格式为： [#]d
6.2.1 sed ‘d’ test [d 删除全部]
root@ubuntu-admin-a1:/home/sedTest# sed 'd' test 6.2.2 sed ‘3d’ test [3d 删除指定行]
root@ubuntu-admin-a1:/home/sedTest# sed '3d' test
hello world,hello hani.
hello world,hello hani.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc6.2.3 sed ‘1,4d’ test [1,4d 删除区间]
root@ubuntu-admin-a1:/home/sedTest# sed '1,4d' test
linux sed
123456789
/aaa/bbb/ccc6.3 sed a 和 i 添加和插入
a 命令表示在指定行的后面附加一行，i 命令表示在指定行的前面插入一行， 它们的基本格式完全相同
格式为： [#]a（或 i）\新文本内容
6.3.1 sed ‘3i you are beautiful’ test [3i 指定行之前插入]
root@ubuntu-admin-a1:/home/sedTest# sed '3i you are beautiful' test
hello world,hello hani.
hello world,hello hani.
you are beautiful
hani is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc6.3.2 sed ‘3a you are more beautiful’ test [3a 指定行之后添加]
root@ubuntu-admin-a1:/home/sedTest# sed '3a you are more beautiful' test
hello world,hello hani.
hello world,hello hani.
hani is a good man,hani is handsome.
you are more beautiful
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc6.3.3 sed ‘4i hani\ ……’ test [……\ 添加/插入多行]
root@ubuntu-admin-a1:/home/sedTest# sed '4i hani\
hani hani\
hani hani hani' test
hello world,hello hani.
hello world,hello hani.
hani is a good man,hani is handsome.
hani hani
hani hani hani
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc6.4 sed c 取代
6.4.1 sed ‘3c you are beautiful’ test [3c 取代指定行]
root@ubuntu-admin-a1:/home/sedTest# sed '3c you are beautiful' test
hello world,hello hani.
hello world,hello hani.
you are beautiful
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc6.5 sed y 转换字符
y 转换命令是唯一可以处理单个字符的 sed 脚本命令 [address]y/inchars/outchars/
6.5.1 sed ‘y/hani/HANI/’ test [每个字符进行映射替换]
- 转换命令会对 inchars 和 outchars 值进行一对一的映射，即 inchars 中的第一个字符会被转换为 outchars 中的第一个字符， 第二个字符会被转换成 outchars 中的第二个字符… 这个映射过程会一直持续到处理完指定字符。 如果 inchars 和 outchars 的长度不同，则 sed 会产生一条错误消息。
- 转换命令是一个全局命令，也就是说，它会文本行中找到的所有指定字符自动进行转换，而不会考虑它们出现的位置 root@ubuntu-admin-a1:/home/sedTest# sed ‘y/hani/HANI/’ test Hello world,Hello HANI. Hello world,Hello HANI. HANI Is A good mAN,HANI Is HANdsome. tHIs Is tHe test scrIpt of sed test. lINux sed 123456789 /AAA/bbb/ccc
6.6 sed p 打印脚本命令
p 命令表示搜索符号条件的行，并输出该行的内容 [address]p
6.6.1 sed -n ‘/hani/p’ test [只打印包含匹配文本模式的行]
root@ubuntu-admin-a1:/home/sedTest# sed -n '/hani/p' test
hello world,hello hani.
hello world,hello hani.
hani is a good man,hani is handsome.6.6.2 sed p 其他常用
sed ‘2p’ test 重复打印第 2 行 sed ‘1,3p’ test 重复打印第1~3行 sed -n ‘2p’ test 只打印第 2 行 sed -n ‘1,3p’ test 只打印第 1~3 行 sed -n ‘/hani/p’ test 打印匹配到 hani 的行，类似grep sed -n ‘/hani/!p’ test ! 反选，打印没有匹配到 hani 的行 sed -n ‘s/old/new/gp’ test 只打印匹配替换的行
6.7 sed w 将所选的行写入文件
w 命令用来将文本中指定行的内容写入文件中 格式如下： [address]w filename
6.7.1 sed ‘s/hani/HANI/w another’ test [w 写到另外文件]
w 标记会将匹配后的结果保存到指定文件中
root@ubuntu-admin-a1:/home/sedTest# sed 's/hani/HANI/w another' test
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc
root@ubuntu-admin-a1:/home/sedTest# ls
another test
root@ubuntu-admin-a1:/home/sedTest# cat another
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,hani is handsome.6.8 sed q 退出脚本命令
q 命令的作用是使 sed 命令在第一次匹配任务结束后，退出 sed 程序，不再进行对后续数据的处理。
2.8.1 sed ‘1q’ test [第一次匹配后退出]
root@ubuntu-admin-a1:/home/sedTest# sed '1q' test
hello world,hello hani.8. sed 脚本命令的寻址方式/定址
定址用于决定对哪些行进行编辑。 地址的形式可以是数字、正则表达式、或二者的结合。 如果没有指定地址，sed将处理输入文件的所有行。
如果只想将命令作用于特定行或某些行，则必须写明 address 部分，表示的方法有以下 2 种： 以数字形式指定行区间； 用文本模式指定具体行区间。
8.1 以数字形式指定行区间
8.1.1 sed ‘1,4s/hani/HANI/’ test [多行替换]
root@ubuntu-admin-a1:/home/sedTest# sed '1,4s/hani/HANI/' test
hello world,hello HANI.
hello world,hello HANI.
HANI is a good man,hani is handsome.
this is the test script of sed test.
linux sed
123456789
/aaa/bbb/ccc
其中，sed 's/hani/HANI/' test 默认所有都替换8.2 用文本模式指定行区间
sed 允许指定文本模式来过滤出命令要作用的行 /pattern/command
二.awk
awk
这里是最常用的几个操作例子：
三.grep
功能 ：模式匹配语言
- 参考： 《awk工作原理》
-
awk
是一种编程语言，用于在*nix下对
文本和数据进行处理； - 数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出；
- 它支持 用户自定义函数 和 动态正则表达式 等先进功能，是*nix下的一个强大编程工具；
- 它可以在命令行中使用，但更多是 作为脚本来使用 ；
- awk有很多内建的功能，比如数组、函数等，这是它和C语言的相同之处；
- 灵活性是awk一大的优势。
-
awk脚本是由
模式
和
操作
组成的；
-
模式可以是以下任意一个：
- 正则表达式：使用通配符的扩展集；
- 关系表达式：使用运算符进行操作，可以是字符串或数字的比较测试。
-
模式匹配表达式：用运算符
~（匹配）和~!（不匹配）； - BEGIN语句块、pattern语句块、END语句块；
-
操作由一个或多个命令、函数、表达式组成，之间由换行符或分号隔开，并位于大括号内，主要部分是：
- 变量或数组赋值
- 输出命令
- 内置函数
- 控制流语句
-
模式可以是以下任意一个：
选项 ：
- -F fs fs指定输入分隔符，fs可以是字符串或正则表达式，如-F: -v var=value 赋值一个用户定义变量，将外部变量传递给awk -f scripfile 从脚本文件中读取awk命令 -m[fr] val 对val值设置内在限制，-mf选项限制分配给val的最大块数目；-mr选项限制记录的最大数目。这两个功能是Bell实验室版awk的扩展功能，在标准awk中不适用。
- -F：指定将输入分离器
- -f：指定程序的源文件
- –help：显示帮助信息
- –version：显示版本信息
示例 ：
假设文件
1.txt
的文本如下（可以利用
touch
命令和
vi
命令组合创建）：
1. hello world
2. wold hello
3. nothing is important
4. i like movie movie
hello world
wold hello
nothing is important
i like movie movie
awk
命令可以用来过滤文本，简单理解就是对文本的每行执行命令
awk
指定的脚本，它的基本命令格式如下：
awk 'BEGIN{ commands } pattern{ commands } END{ commands }' file其中：
'BEGIN{ commands }
指定最开始执行的脚本
pattern{ commands }
对文件的每一行遍历，判断是否满足
pattern
的模式，如果满足则执行脚本
打印“开始”，打印每行，打印“结束”：
awk 'BEGIN{ print "开始" } { print } END{ print "结束" }' 1.txt
打印每行的行号：
awk '{print NR}' 1.txt
打印每行的文本：
awk '{print $0}' 1.txt
打印每行的第1列(默认用空格分离)：
awk '{print $1}' 1.txt
打印每行的最后1列(默认用空格分离)：
awk '{print $NF}' 1.txt
打印每行的倒数第2列(默认用空格分离)：
awk '{print $(NF-1)}' 1.txt
打印每行，并为每行带上行号：
awk '{print NR":",$0}' 1.txt
打印含有序号的行：
awk '/\d./ {print}' 1.txt
-
END{ commands }指定最后执行的脚本
grep作用
Linux系统中grep命令是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹 配的行打印出来。
grep全称是Global Regular Expression Print，表示全局正则表达式版本。
它的使用权限是所有用户。grep格式
grep [选项] ”模式“ [文件]常用选项：
-E ：开启扩展（Extend）的正则表达式。
-i ：忽略大小写（ignore case）。
-v ：反过来（invert），只打印没有匹配的，而匹配的反而不打印。
-n ：显示行号
-w ：被匹配的文本只能是单词，而不能是单词中的某一部分，如文本中有liker，而我搜寻的只是like，就可以使用-w选项来避免匹配liker
-c ：显示总共有多少行被匹配到了，而不是显示被匹配到的内容，注意如果同时使用-cv选项是显示有多少行没有被匹配到。
-o ：只显示被模式匹配到的字符串。
--color :将匹配到的内容以颜色高亮显示。
-A n：显示匹配到的字符串所在的行及其后n行，after
-B n：显示匹配到的字符串所在的行及其前n行，before
-C n：显示匹配到的字符串所在的行及其前后各n行，context
模式部分：
1、直接输入要匹配的字符串，这个可以用fgrep（fast grep）代替来提高查找速度，比如我要匹配一下hello.c文件中printf的个数：grep -c "printf" hello.c
2、使用基本正则表达式，下面谈关于基本正则表达式的使用：
匹配字符：
. ：任意一个字符。
[abc] ：表示匹配一个字符，这个字符必须是abc中的一个。
[a-zA-Z] ：表示匹配一个字符，这个字符必须是a-z或A-Z这52个字母中的一个。
[^123] ：匹配一个字符，这个字符是除了1、2、3以外的所有字符。
对于一些常用的字符集，系统做了定义：
[A-Za-z] 等价于 [[:alpha:]]
[0-9] 等价于 [[:digit:]]
[A-Za-z0-9] 等价于 [[:alnum:]]
tab,space 等空白字符 [[:space:]]
[A-Z] 等价于 [[:upper:]]
[a-z] 等价于 [[:lower:]]
标点符号 [[:punct:]]
匹配次数：
\{m,n\} ：匹配其前面出现的字符至少m次，至多n次。 \? ：匹配其前面出现的内容0次或1次，等价于\{0,1\}。 * ：匹配其前面出现的内容任意次，等价于\{0,\}，所以 ".*" 表述任意字符任意次，即无论什么内容全部匹配。
位置锚定：
^ ：锚定行首
：锚定行尾。技巧："^
\b或\<：锚定单词的词首。如"\blike"不会匹配alike，但是会匹配liker
\b或\>：锚定单词的词尾。如"\blike\b"不会匹配alike和liker，只会匹配like
\B ：与\b作用相反。
分组及引用：
\(string\) ：将string作为一个整体方便后面引用
\1 ：引用第1个左括号及其对应的右括号所匹配的内容。
\2 ：引用第2个左括号及其对应的右括号所匹配的内容。
\n ：引用第n个左括号及其对应的右括号所匹配的内容。
grep常用例子
-例1 在文件中查找模式（单词）
在/etc/passwd文件中查找单词“linuxtechi”
grep linuxtechi /etc/passwd-例2 在多个文件中查找模式。
grep linuxtechi /etc/passwd /etc/shadow /etc/gshadow-例3 使用-l参数列出包含指定模式的文件的文件名。
root@Linux-world:~# grep -l linuxtechi /etc/passwd /etc/shadow /etc/fstab /etc/mtab
/etc/passwd
/etc/shadow
root@Linux-world:~# grep -l linuxtechi /etc/passwd /etc/shadow /etc/fstab /etc/mtab-例4 使用-n参数，在文件中查找指定模式并显示匹配行的行号
grep -n root /etc/passwd /etc/shadow
-例5 使用-v参数输出不包含指定模式的行
输出/etc/passwd文件中所有不含单词“linuxtechi”的行
grep -v linuxtechi /etc/passwd-例6 使用 ^ 符号输出所有以某指定模式开头的行
Bash脚本将 ^ 符号视作特殊字符，用于指定一行或者一个单词的开始。
例如输出/etc/passes文件中所有以“root”开头的行
root@Linux-world:~# grep ^root /etc/passwd
root:x:0:0:root:/root:/bin/bash
root@Linux-world:~#-例7 使用 $ 符号输出所有以指定模式结尾的行。
输出/etc/passwd文件中所有以“bash”结尾的行。
root@Linux-world:~# grep bash$ /etc/passwd
root:x:0:0:root:/root:/bin/bash
linuxtechi:x:1000:1000:linuxtechi,,,:/home/linuxtechi:/bin/bash
root@Linux-world:~#
Bash脚本将美元($)符号视作特殊字符，用于指定一行或者一个单词的结尾。-例8 使用 -r 参数递归地查找特定模式
root@Linux-world:~# grep -r linuxtechi /etc/
/etc/subuid:linuxtechi:100000:65536
/etc/group:adm:x:4:syslog,linuxtechi
/etc/group:cdrom:x:24:linuxtechi
/etc/group:sudo:x:27:linuxtechi
/etc/group:dip:x:30:linuxtechi
/etc/group:plugdev:x:46:linuxtechi
/etc/group:lpadmin:x:115:linuxtechi
/etc/group:linuxtechi:x:1000:
/etc/group:sambashare:x:131:linuxtechi
/etc/passwd-:linuxtechi:x:1000:1000:linuxtechi,,,:/home/linuxtechi:/bin/bash
/etc/passwd:linuxtechi:x:1000:1000:linuxtechi,,,:/home/linuxtechi:/bin/bash
............................................................................
上面的命令将会递归的在/etc目录中查找“linuxtechi”单词-例9 使用 grep 查找文件中所有的空行
root@Linux-world:~# grep ^$ /etc/shadow
root@Linux-world:~#
由于/etc/shadow文件中没有空行，所以没有任何输出-例10 使用 -i 参数查找模式
grep命令的-i参数在查找时忽略字符的大小写。
我们来看一个例子，在paswd文件中查找“LinuxTechi”单词。
nextstep4it@localhost:~$ grep -i LinuxTechi /etc/passwd
linuxtechi:x:1001:1001::/home/linuxtechi:/bin/bash
nextstep4it@localhost:~$-例11 使用 -e 参数查找多个模式
例如，我想在一条grep命令中查找‘linuxtechi’和‘root’单词，使用-e参数，我们可以查找多个模式。
root@Linux-world:~# grep -e "linuxtechi" -e "root" /etc/passwd
root:x:0:0:root:/root:/bin/bash
linuxtechi:x:1000:1000:linuxtechi,,,:/home/linuxtechi:/bin/bash
root@Linux-world:~#-例12 使用 -f 用文件指定待查找的模式
首先，在当前目录中创建一个搜索模式文件“grep_pattern”，我想文件中输入的如下内容。
root@Linux-world:~# cat grep_pattern
^linuxtechi
false$
root@Linux-world:~#
现在，试试使用grep_pattern文件进行搜索
root@Linux-world:~# grep -f grep_pattern /etc/passwd
-例13 使用 -c 参数计算模式匹配到的数量
继续上面例子，我们在grep命令中使用-c命令计算匹配指定模式的数量
root@Linux-world:~# grep -c -f grep_pattern /etc/passwd
root@Linux-world:~#-例14 输出匹配指定模式行的前或者后面N行
a)使用-B参数输出匹配行的前4行