一种名字怪异的语言
模式扫描和处理，处理数据和生成报告。

awk不仅仅是linux系统中的一个命令，而且是一种编程语言；它可以用来处理数据和生成报告（excel）；处理的数据可以是一个或多个文件；可以是直接来自标准输入，也可以通过管道获取标准输入；awk可以在命令行上直接编辑命令进行操作，也可以编写成awk程序来进行更为复杂的运用。

sed处理stream editor文本流，水流。

一、awk环境简介

本文涉及的awk为gawk，即GNU版本的awk。

[root@creditease awk]# cat /etc/redhat-release  
CentOS Linux release 7.5.1804 (Core)  
[root@creditease awk]# uname -r  
3.10.0-862.el7.x86_64  
[root@creditease awk]# ll `which awk`  
lrwxrwxrwx. 1 root root 4 Nov  7 14:47 /usr/bin/awk -> gawk   
[root@creditease awk]# awk --version  
GNU Awk 4.0.2

二、awk的格式

awk指令是由模式、动作，或者模式和动作的组合组成。

图片1.png

图片2.png

模式即pattern，可以类似理解成sed的模式匹配，可以由表达式组成，也可以是两个正斜杠之间的正则表达式。比如NR==1，这就是模式，可以把它理解为一个条件。
动作即action，是由在大括号里面的一条或多条语句组成，语句之间使用分号隔开。如下awk使用格式。

三、记录和域

名称	含义
record	记录，行
filed	域，区域，字段，列

1）NF（number of field）表示一行中的区域（列）数量，$NF取最后一个区域。

2）$符号表示取某个列（区域），$1,$2,$NF

3）NR (number of record) 行号,awk对每一行的记录号都有一个内置变量NR来保存，每处理完一条记录NR的值就会自动+1

4）FS（-F）field separator 列分隔符，以什么把行分隔成多列

3.1 指定分隔符

[root@creditease awk]# awk -F "#" '{print $NF}' awk.txt   
GKL$123  
GKL$213  
GKL$321  
[root@creditease awk]# awk -F '[#$]' '{print $NF}' awk.txt   
123  
213  
321

3.2 条件动作基本的条件和动作

[root@creditease awk]# cat awk.txt   
ABC#DEF#GHI#GKL$123  
BAC#DEF#GHI#GKL$213  
CBA#DEF#GHI#GKL$321  
[root@creditease awk]# awk -F "#" 'NR==1{print $1}' awk.txt  
ABC

3.3 只有条件

 [root@creditease awk]# awk -F "#" 'NR==1' awk.txt  
ABC#DEF#GHI#GKL$123

默认会有动作{print $0}

3.4 只有动作

[root@creditease awk]# awk -F "#" '{print $1}' awk.txt  
ABC  
BAC  
CAB

默认处理所有行

3.5 多个模式和动作

[root@creditease awk]# awk -F "#" 'NR==1{print $NF}NR==3{print $NF}' awk.txt   
GKL$123  
GKL$321

3.6 对$0的认识

awk中$0表示整行

[root@creditease awk]# awk '{print $0}' awk_space.txt  
ABC DEF GHI GKL$123  
BAC DEF GHI GKL$213  
CBA DEF GHI GKL$321

3.7 FNR

FNR与NR类似，不过多文件记录不递增，每个文件都从1开始（后边处理多文件会讲到）

[root@creditease awk]# awk '{print NR}' awk.txt awk_space.txt   
1  
2  
3  
4  
5  
6  
[root@creditease awk]# awk '{print FNR}' awk.txt awk_space.txt   
1  
2  
3  
1  
2  
3

四、正则表达式与操作符

awk同sed一样也可以通过模式匹配来对输入的文本进行匹配处理。 awk也支持大量的正则表达式模式，大部分与sed支持的元字符类似，而且正则表达式是玩转三剑客的必备工具。

awk支持的正则表达式元字符

表222.png

awk默认不支持的元字符，和需要添加参数才能支持的元字符

元字符	功能	示例	解释
x{m}	x重复m次	/cool{5}/	需要注意一点的是，cool加括号或不加括号的区别，x可以使字符串也可以只是一个字符，所以/cool{5}/表示匹配coo再加上5个l，即coolllll。/(cool){2,}/表示匹配coolcool，coolcoolcool等。
x{m,}	x重复至少m次	/(cool){2,}/	同上
x{m,n}	x重复至少m次，但不超过n次，需要指定参数：–posix或者–re-interval。没有该参数不能使用这种模式	/(cool){5,6}/	同上

正则表达式的运用，默认是在行内查找匹配的字符串，若有匹配则执行action操作，但是有时候仅需要固定的列表匹配指定的正则表达式。

比如:

我想取/etc/passwd文件中第五列（$5）这一列查找匹配mail字符串的行，这样就需要用另外两个匹配操作符。并且awk里面只有这两个操作符来匹配正则表达式的。

正则匹配操作符
~
！~

4.1 正则实例

1）显示awk.txt中GHI列

[root@creditease awk]# cat awk.txt   
ABC#DEF#GHI#GKL$123  
BAC#DEF#GHI#GKL$213  
CBA#DEF#GHI#GKL$321  
[root@creditease awk]# awk -F "#" '{print $3}' awk.txt   
GHI  
GHI  
GHI  
[root@creditease awk]# awk -F "#" '{print $(NF-1)}' awk.txt   
GHI  
GHI  
GHI

2）显示包含321的行

[root@creditease awk]# awk '/321/{print $0}' awk.txt   
CBA#DEF#GHI#GKL$321

3）以#为分隔符，显示第一列以B开头或最后一列以1结尾的行

[root@creditease awk]# awk -F "#" '$1~/^B/{print $0}$NF~/1$/{print $0}' awk.txt   
BAC#DEF#GHI#GKL$213  
CBA#DEF#GHI#GKL$321

4）以#为分隔符，显示第一列以B或C开头的行

[root@creditease awk]# awk -F "#" '$1~/^B|^C/{print $0}' awk.txt   
BAC#DEF#GHI#GKL$213  
CBA#DEF#GHI#GKL$321  
[root@creditease awk]# awk -F "#" '$1~/^[BC]/{print $0}' awk.txt   
BAC#DEF#GHI#GKL$213  
CBA#DEF#GHI#GKL$321  
[root@creditease awk]# awk -F "#" '$1~/^(B|C)/{print $0}' awk.txt   
BAC#DEF#GHI#GKL$213  
CBA#DEF#GHI#GKL$321  
[root@creditease awk]# awk -F "#" '$1!~/^A/{print $0}' awk.txt   
BAC#DEF#GHI#GKL$213  
CBA#DEF#GHI#GKL$321

五、比较表达式

awk是一种编程语言，能够进行更为复杂的判断，当条件为真时，awk就执行相关的action，主要是在针对某一区域做出相关的判断，比如打印成绩在80分以上的，这样就必须对这一个区域作比较判断.

下表列出了awk可以使用的关系运算符，可以用来比较数字字符串，还有正则表达式，当表达式为真的时候，表达式结果为1，否则为0，只有表达式为真，awk才执行相关的action。

awk支持的关系运算符

运算符	含义	示例
<	小于	x>y
<=	小于或等于。	x<=y
==	等于	x==y
!=	不等于	x!=y
>=	大于或等于	x>=y
>	大于	x<y

5.1 比较表达式实例

显示awk.txt的第2 ,3 行

NR //,//

[root@creditease awk]# awk 'NR==2{print $0}NR==3{print $0}' awk.txt   
BAC#DEF#GHI#GKL$213  
CBA#DEF#GHI#GKL$321  
[root@creditease awk]# awk 'NR>=1{print $0}' awk.txt   
ABC#DEF#GHI#GKL$123  
BAC#DEF#GHI#GKL$213  
CBA#DEF#GHI#GKL$321  
[root@creditease awk]# awk '/BAC/,/CBA/{print $0}' awk.txt   
BAC#DEF#GHI#GKL$213  
CBA#DEF#GHI#GKL$321

本文转载自宜信技术学院网站。

原文链接：http://college.creditease.cn/detail/260

创作场景

Linux 三剑客之 awk（1）：awk 简介与表达式示例