awk是一种优良的文本处理工具.可以对文件中的内容一行一行提取并处理,也可将文件分列的形式提取.

 

awk内置变量:

$0                --输出文件所有内容

$1-$n             --以分隔符输出每列的值

FILENAME          --输出文件名

FS                --输出字段的分隔符

NF                --当前记录的字段数目

NR                --当前记录的编号

OFS               --输出字段的分隔符

ORS               --输出记录分隔符

RS                --控制记录分隔符

 

文件内容:

[root@tong1 opt]# cat passwd

root:x:0:0:root:/root:/bin/bash bin:x:1:1:bin:/bin:/sbin/nologin daemon:x:2:2:daemon:/sbin:/sbin/nologin adm:x:3:4:adm:/var/adm:/sbin/nologin lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin sync:x:5:0:sync:/sbin:/bin/sync shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown halt:x:7:0:halt:/sbin:/sbin/halt mail:x:8:12:mail:/var/spool/mail:/sbin/nologin uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin operator:x:11:0:operator:/root:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin gopher:x:13:30:gopher:/var/gopher:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin [root@tong1 opt]#

 

1.awk命令格式

awk '{pattern + action}' {filenames}

 

2.内置变量实例

[root@tong1 opt]# awk -F: '{print "第一列值:"$1,"文件名:"FILENAME,"每列共多少字段:"NF,"输出每行编号:",NR,"输出字段分隔符:"OFS}' passwd

第一列值:root 文件名:passwd 每列共多少字段:7 输出每行编号: 1 输出字段分隔符:  第一列值:bin 文件名:passwd 每列共多少字段:7 输出每行编号: 2 输出字段分隔符:  第一列值:daemon 文件名:passwd 每列共多少字段:7 输出每行编号: 3 输出字段分隔符:  第一列值:adm 文件名:passwd 每列共多少字段:7 输出每行编号: 4 输出字段分隔符:  第一列值:lp 文件名:passwd 每列共多少字段:7 输出每行编号: 5 输出字段分隔符:  第一列值:sync 文件名:passwd 每列共多少字段:7 输出每行编号: 6 输出字段分隔符:  第一列值:shutdown 文件名:passwd 每列共多少字段:7 输出每行编号: 7 输出字段分隔符:  第一列值:halt 文件名:passwd 每列共多少字段:7 输出每行编号: 8 输出字段分隔符:  第一列值:mail 文件名:passwd 每列共多少字段:7 输出每行编号: 9 输出字段分隔符:  第一列值:uucp 文件名:passwd 每列共多少字段:7 输出每行编号: 10 输出字段分隔符:  第一列值:operator 文件名:passwd 每列共多少字段:7 输出每行编号: 11 输出字段分隔符:  第一列值:games 文件名:passwd 每列共多少字段:7 输出每行编号: 12 输出字段分隔符:  第一列值:gopher 文件名:passwd 每列共多少字段:7 输出每行编号: 13 输出字段分隔符:  第一列值:ftp 文件名:passwd 每列共多少字段:7 输出每行编号: 14 输出字段分隔符:  [root@tong1 opt]#

 

3.用printf输出格式

[root@tong1 opt]# awk -F: '{printf ("第一列值:%-10s,文件名:%-10s,每列共多少字段:%-3s,输出每行编号:%-3s,输出字段分隔符:%10s\n",$1,FILENAME,NF,NR,OFS)}' passwd

第一列值:root      ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:1  ,输出字段分隔符:           第一列值:bin       ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:2  ,输出字段分隔符:           第一列值:daemon    ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:3  ,输出字段分隔符:           第一列值:adm       ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:4  ,输出字段分隔符:           第一列值:lp        ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:5  ,输出字段分隔符:           第一列值:sync      ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:6  ,输出字段分隔符:           第一列值:shutdown  ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:7  ,输出字段分隔符:           第一列值:halt      ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:8  ,输出字段分隔符:           第一列值:mail      ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:9  ,输出字段分隔符:           第一列值:uucp      ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:10 ,输出字段分隔符:           第一列值:operator  ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:11 ,输出字段分隔符:           第一列值:games     ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:12 ,输出字段分隔符:           第一列值:gopher    ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:13 ,输出字段分隔符:           第一列值:ftp       ,文件名:passwd    ,每列共多少字段:7  ,输出每行编号:14 ,输出字段分隔符:           [root@tong1 opt]#

 

4.打印特殊字符

[root@tong1 opt]# awk 'BEGIN {print "dsvjs"}'

dsvjs [root@tong1 opt]# awk 'BEGIN {print "\"dsvjs\""}'     --打印"号 "dsvjs" [root@tong1 opt]#

 

5.动态读入内容

[root@tong1 opt]# awk '{print}'

qw er haogv 3 qw er haogv 3 3 677 3 677 ^C [root@tong1 opt]#

 

6.查找文件内容并输出

[root@tong1 opt]# awk '/mail/ {print $0}' passwd

mail:x:8:12:mail:/var/spool/mail:/sbin/nologin

[root@tong1 opt]# awk '/root/ {print $0};/ftp/ {print $0}' passwd

root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin [root@tong1 opt]#

 

7.在文件中查找第三列的值大于10输出

[root@tong1 opt]# awk -F":" '{ if ($3 > 10) print $1}' passwd

operator games gopher ftp [root@tong1 opt]#

 

8.输出文件第10行以后的数据

[root@tong1 opt]# awk 'NR>10' passwd

operator:x:11:0:operator:/root:/sbin/nologin games:x:12:100:games:/usr/games:/sbin/nologin gopher:x:13:30:gopher:/var/gopher:/sbin/nologin ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin [root@tong1 opt]#

 

正则表达式

^         --以某字符开头

~         --等于某字符

\         --转义特殊字符

$         --以某字符结尾

.         --任意一个字符

[...]     --匹配方括号任意字符

[^..]     --不匹配方括号任意字符

|         --或

*         --所有字符

+         --连续字符

?         --单个字符

{n}       --字符出现n次

{n,}      --字符出现n次以上

{n,m}     --字符出现n到m次之间

9.使用正则表达式

[root@tong1 opt]# awk '$1 ~ /root/ {print}' passwd

root:x:0:0:root:/root:/bin/bash operator:x:11:0:operator:/root:/sbin/nologin [root@tong1 opt]# 

10.以r开头,中断只有两个字符的内容

[root@tong1 opt]# awk '$1 ~ /^r..t/ {print}' passwd

root:x:0:0:root:/root:/bin/bash [root@tong1 opt]# 

11.计算$3的值,符合条件输出(OFS  指定输出格式)

[root@tong1 opt]# awk -F: 'BEGIN {OFS=":"};{$3=$3-5;if($3>3) print $1,NR}' passwd

uucp:10 operator:11 games:12 gopher:13 ftp:14 [root@tong1 opt]# 

12.统计文件中的内容

[root@tong1 opt]# cat 4.sh 

$1 ~ /^root/  BEGIN {    FS=":";OFS="" } {    for (i=0;i<NF;i++) {        print "用户名:",$1        print "密码:",$2        print "UID:",$3        print "GID",$4    } } END{} [root@tong1 opt]# awk -f 4.sh  passwd

13.提取内容写入到新文件中

[root@tong1 opt]# awk -F: '{print $1 > "1.txt"} {print $4 > "2.txt"}' passwd

[root@tong1 opt]# cat 1.txt  root bin daemon adm lp sync shutdown halt mail uucp operator games gopher ftp [root@tong1 opt]# cat 2.txt  0 1 2 4 7 0 0 0 12 14 0 100 30 50 [root@tong1 opt]# 

本文转自 z597011036 51CTO博客，原文链接：http://blog.51cto.com/tongcheng/1623289，如需转载请自行联系原作者