Shell AWK編程的基本介紹和使用詳解

Posted on by

1、AWK介紹

（1）AWK概述

AWK是一種處理文本文件的語言，是一個強大的文本分析工具。

AWK可以看成一門獨立的語言，它擁有語言的基本特征，換句話說AWK可以寫出極其繁瑣和復雜的程序，AWK的語法比Shell的語法還難以接收。但絕大多數情況下，我們並不需要用AWK寫過於復雜的東西，建議能用Shell處理的需求就不用AWK來解決。

當用AWK處理需求遠要比Shell處理簡單的多的時候，我們就用AWK來解決。

AWK也是用來截取列信息的，它比Shell中的cut命令更先進，比如對空格作為分隔符的處理。

（2）printf格式化輸出

在學習AWK之前，我們要先學習一下printf格式化輸出命令，這個命令是AWK基本輸出中必須要用到的一個命令。

AWK的標準輸出支持print命令和printf命令，這兩個命令在AWK當中基本作用是一樣的，但是Linux命令中隻支持printf命令，如下：

# 在Linux中執行print命令和printf命令
[root@192 ~]# print
# 報錯命令沒有找到
-bash: print: command not found
[root@192 ~]# printf
# 提示你命令格式寫錯瞭
printf: usage: printf [-v var] format [arguments]

我們可以看到Linux系統中隻支持printf命令，所以我們這裡就先學習一下printf命令。

（3）printf命令說明

[root@localhost ~]# printf '輸出類型輸出格式' 輸出內容
輸出類型：
  %ns：輸出字符串。n是數字指輸出幾個字符。
  %ni：輸出整數。n是數字指輸出幾個數字。
  %m.nf：輸出浮點數。m和n是數字，指輸出的總位數和小數位數。如%8.2f代表共輸出8位數，其中2位是小數，6位是整數。
輸出格式：
  \a：輸出警告聲音。
  \b：輸出退格鍵，也就是Backspace鍵。
  \f：清除屏幕。
  \n：換行。
  \r：回車，也就是Enter鍵。
  \t：水平輸出退格鍵，也就是Tab鍵
  \v：垂直輸出退格鍵，也就是Tab鍵。

練習，使用如下文本：

ID      Name    Python  Linux   MySQL   Java
1       Tangs   88      87      86      85.55
2       Sunwk   99      98      97      96,66
3       Zhubj   77      76      75      74.44
4       Shahs   66      65      64      63.33

執行printf命令：

[root@localhost tmp]# printf '%s' $(cat student.txt)

說明：printf命令後是沒有辦法直接寫參數的，也就是不能直接加文件名來讀取文件的內容，printf命令支持的是其他命令結果的輸出，交給printf命令來處理。所以說printf命令很少單獨使用，一般都放在AWK當中來使用，這樣更加合理，否則就和上邊一樣，看起來很難受。

結果：

[root@localhost tmp]# printf '%s' $(cat student.txt)
IDNamePythonLinuxMySQLJava1Tangs88878685.552Sunwk99989796,663Zhubj77767574.444Shahs66656463.33[root@192 tmp]#

我們可以看到上面的結果非常的爛，他是把所有的內容一個字符緊接著一個字符的輸出，中間沒有空格或者回車。

這就是printf命令，如果不指定輸出的格式，則會把所有輸出內容連在一起輸出。其實文本的輸出本身就是這樣的，cat等文本輸出命令之所以可以按照漂亮的格式輸出，那是因為cat命令已經設定瞭輸出格式。

那麼為瞭讓printf輸出合理的格式，就需要手動自定義自己需要的格式。

printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)

說明：就是輸出一個字符串（%s），後邊加上一個制表符（tab鍵）隔開（\t），這樣一共有6列，寫6個%s\t，然後每一行最後加上一個回車（\n）。

執行命令結果如下：

[root@localhost tmp]# printf '%s\t %s\t %s\t %s\t %s\t %s\t \n' $(cat student.txt)
ID      Name    Python  Linux   MySQL   Java
1       Tangs   88      87      86      85.55
2       Sunwk   99      98      97      96.66
3       Zhubj   77      76      75      74.44
4       Shahs   66      65      64      63.33

註意：'%s\t %s\t %s\t %s\t %s\t %s\t \n'中的空格是沒有意思的，寫多少都行，隻是方便自己看，printf命令，隻認\n、 \t等輸出格式。

如果不想把成績當成字符串輸出，而是按照整型和浮點型輸出，執行如下命令：

[root@192 tmp]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' $(cat student.txt | grep -v "Name")
1    Tangs  88  87  86     85.55
2    Sunwk  99  98  97     96.66
3    Zhubj  77  76  75     74.44
4    Shahs  66  65  64     63.33

這個例子不是很好，但一定要把標題顧慮掉，否則會出現如下效果，標題都被變成瞭整型數據。

[root@localhost tmp]# printf '%i\t %s\t %i\t %i\t %i\t %8.2f\t \n' $(cat student.txt)
-bash: printf: ID: invalid number
-bash: printf: Python: invalid number
-bash: printf: Linux: invalid number
-bash: printf: MySQL: invalid number
-bash: printf: Java: invalid number
0    Name    0   0   0       0.00
1    Tangs   88  87  86     85.55
2    Sunwk   99  98  97     96.66
3    Zhubj   77  76  75     74.44
4    Shahs   66  65  64     63.33

2、AWK的基本使用

（1）AWK命令說明

[root@localhost ~]# awk '條件1{動作1} 條件2{動作2} ...' 文件名
條件（Pattern）：
  一般使用關系表達式作為條件。這些關系表達式非常多，具體看下面一點。
  簡單舉例：
    x>10：判斷變量x是否大於10。
    x==y：判斷變量x是否等於變量y 。
    A~B：判斷字符串A中是否包含能匹配B表達式的子字符串。
    A!~B：判斷字符串A中是否不包含能匹配B表達式的子字符串。

動作（Action）：
  格式化輸出。
  流程控制語句。

提示：先判斷條件是否成立，在進行對應動作。可以沒有條件直接寫動作，如果沒有條件，則直接執行動作。

（2）AWK命令使用

1）基本使用

使用如下文本：

ID      Name    Python  Linux   MySQL   Java
1       Tangs   88      87      86      85.55
2       Sunwk   99      98      97      96,66
3       Zhubj   77      76      75      74.44
4       Shahs   66      65      64      63.33

執行命令：

awk '{printf $2 "\t" $3 "\t" $6 "\t" "\n"}' student.txt

結果：

[root@localhost tmp]# awk '{printf $2 "\t" $3 "\t" $6 "\t" "\n"}' student.txt
Name    Python  Java
Tangs   88      85.55
Sunwk   99      96.66
Zhubj   77      74.44
Shahs   66      63.33

說明：

  • AWK的動作條件是需要用單引號括起來的，所以在動作條件中的printf命令中定義的輸出格式時，單引號就需要改換成雙引號瞭，這裡要註意。
  • 沒有條件就是每一行都處理。
  • AWK的主要動作就是用printf命令來輸出的。
  • AWK中可以直接添加文本文件，來獲取文件中所需內容。

這裡在補充一下print命令和printf命令用法差不多，print命令自帶換行符，但是Linux系統不支持print命令。

# 使用`print`命令就不需要加上\n換行符瞭。
[root@localhost tmp]# awk '{print $2 "\t" $3 "\t" $6 "\t"}' student.txt
Name    Python  Java
Tangs   88      85.55
Sunwk   99      96.66
Zhubj   77      74.44
Shahs   66      63.33

2）處理分隔符是空格的情況

看磁盤情況的df命令的結果中，數據之間的分隔符是空格，用cut命令是處理不瞭的。

如下：

# 查看磁盤情況
[root@localhost tmp]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        19G  2.1G   16G  12% /
tmpfs           491M     0  491M   0% /dev/shm
/dev/sda1       240M   34M  194M  15% /boot

# 獲取第二列信息
[root@localhost tmp]# df -h | cut -f 2
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        19G  2.1G   16G  12% /
tmpfs           491M     0  491M   0% /dev/shm
/dev/sda1       240M   34M  194M  15% /boot

使用AWK解決需求，獲取磁盤情況的第1列和第5列的信息。

[root@localhost tmp]# df -h | awk '{printf $1 "\t" $5 "\t" "\n"}'
Filesystem  Use%
/dev/sda3   12%
tmpfs       0%
/dev/sda1   15%

3）綜合練習

獲取下面信息中根分區的占有率12。

[root@localhost tmp]# df -h
Filesystem      Size  Used Avail Use% Mounted on
/dev/sda3        19G  2.1G   16G  12% /
tmpfs           491M     0  491M   0% /dev/shm
/dev/sda1       240M   34M  194M  15% /boot

執行命令：

[root@localhost tmp]# df -h | grep "dev/sda3" | awk '{print $5}' | cut -d "%" -f 1
12

到此這篇關於Shell AWK編程的基本介紹和使用詳解的文章就介紹到這瞭,更多相關Shell AWK使用內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：