基於python編寫的shell腳本詳細講解

Posted on by

今天同事叫我編寫一個shell腳本。話說，雖然我受*nix的影響甚深，但是對於*nix 裡隨處可見的sh腳本卻是討厭之極。為什麼討厭呢？首先是因為sh腳本那莫名其妙的語法，感覺就像隨寫隨扔的程序，完全沒有任何美感可言。其次是sh腳本的處理能力還是比較弱的，在文本處理、XML處理還有網絡編程方面，基本上都要借助於perl,awk等一堆程序。我對這些程序也是不大喜歡的，況且學習第三方軟件總要時間，還不如都用python好瞭。

那，python可以做shell腳本嗎？ 首先介紹一個函數：

os.system(command)

這個函數可以調用shell運行命令行command並且返回它的返回值。試一下在 python的解釋器裡輸入os.system(”ls -l”)，就可以看到”ls”列出瞭當前目錄下的文件。可以說，通過這個函數，python就擁有瞭shell的所有能力。呵呵。。不過，通常這條命令不需要用到。因為shell常用的那些命令在python中通常有對應而且同樣簡潔的寫法。

shell中最常用的是ls命令，python對應的寫法是：os.listdir(dirname)，這個函數返回字符串列表，裡面是所有的文件名，不過不包含”.”和”..”。如果要遍歷整個目錄的話就會比較復雜一點。我們等下再說吧。先在解釋器裡試一下：

>>> os.listdir(”/”)

[‘tmp’, ‘misc’, ‘opt’, ‘root’, ‘.autorelabel’, ‘sbin’, ‘srv’, ‘.autofsck’, ‘mnt’, ‘usr’, ‘var’, ‘etc’, ‘selinux’, ‘lib’, ‘net’, ‘lost found’, ‘sys’, ‘media’, ‘dev’, ‘proc’, ‘boot’, ‘home’, ‘bin’]

就像這樣，接下去所有命令都可以在python的解釋器裡直接運行觀看結果。

對應於cp命令的是：shutil.copy(src,dest)，這個函數有兩個參數，參數src是指源文件的名字，參數dest則是目標文件或者目標目錄的名字。 如果dest是一個目錄名，就會在那個目錄下創建一個相同名字的文件。與shutil.copy函數相類似的是 shutil.copy2(src,dest)，不過copy2還會復制最後存取時間和最後更新時間。

不過，shell的cp命令還可以復制目錄，python的shutil.copy卻不行，第一個參數隻能是一個文件。這怎麼辦？其實，python還有個shutil.copytree(src,dst[,symlinks]) 。參數多瞭一個symlinks，它是一個佈爾值，如果是True的話就創建符號鏈接。

移動或者重命名文件和目錄呢？估計被聰明的朋友猜到瞭，shutil.move(src,dst)，呵呵。。與mv命令類似，如果src和dst在同一個文件系統上，shutil.move隻是簡單改一下名字，如果src和dst在不同的文件系統上，shutil.move會先把src復制到dst，然後刪除src文件。看到現在，大多數朋友應該已經對 python的能力有點眉目瞭，接下來我就列個表，介紹一下其它的函數：

os.chdir(dirname)

把當前工作目錄切換到dirname下

os.getcwd()

返回當前的工作目錄路徑

os.chroot(dirname)

把dirname作為進程的根目錄。和*nix下的chroot命令類似

os.chmod(path,mode)

更改path的權限位。mode可以是以下值(使用or)的組合：

os.S_ISUID
os.S_ISGID
os.S_ENFMT
os.S_ISVTX
os.S_IREAD
os.S_IWRITE
os.S_IEXEC
os.S_IRWXU
os.S_IRUSR
os.S_IWUSR
os.S_IXUSR
os.S_IRWXG
os.S_IRGRP
os.S_IWGRP
os.S_IXGRP
os.S_IRWXO
os.S_IROTH
os.S_IWOTH
os.S_IXOTH

具體它們是什麼含義，就不仔細說瞭，基本上就是R代表讀,W代表寫，X代表執行權限。USR 代表用戶，GRP代表組，OTH代表其它。

os.chown(path,uid,gid)

改變文件的屬主。uid和gid為-1的時候不改變原來的屬主。

os.link(src,dst)

創建硬連接

os.mkdir(path,[mode])

創建目錄。mode的意義參見os.chmod()，默認是0777

os.makedirs(path,[mode])

和os.mkdir()類似，不過會先創建不存在的父目錄。

os.readlink(path)

返回path這個符號鏈接所指向的路徑

os.remove(path)

刪除文件，不能用於刪除目錄

os.rmdir(path)

刪除文件夾，不能用於刪除文件

os.symlink(src,dst)

創建符號鏈接

shutil.rmtree(path[,ignore_errors[,onerror]])

刪除文件夾

介紹瞭這麼多，其實隻要查一下os和shutil兩個模塊的文檔就有瞭，呵呵。。真正編寫 shell腳本的時候還需要註意：

1.環境變量。python的環境變量保存在os.environ這個字典裡，可以用普通字典的方法修改它，使用system啟動其它程序的時候會自動被繼承。比如：

os.environ[”fish”]=”nothing”
不過也要註意，環境變量的值隻能是字符串。和shell有些不同的是，python沒有 export環境變量這個概念。為什麼沒有呢？因為python沒有必要有:-)

2.os.path這個模塊裡包含瞭很多關於路徑名處理的函數。在shell裡路徑名處理好像不是很重要，但是在python裡經常需要用到。最常用的兩個是分離和合並目錄名和文件名：

os.path.split(path) -> (dirname,basename)
這個函數會把一個路徑分離為兩部分，比如：os.path.split(”/foo /bar.dat”)會返回(”/foo”,”bar.dat”)

os.path.join(dirname,basename)
這個函數會把目錄名和文件名組合成一個完整的路徑名，比如：os.path.join(”/foo”,”bar.dat”)會返回”/foo/bar.dat”。這個函數和os.path.split()剛好相反。

還有這些函數：

os.path.abspath(path)

把path轉成絕對路徑

os.path.expanduser(path)

把path中包含的”~”和”~user”轉換成用戶目錄

os.path.expandvars(path)

根據環境變量的值替換path中包含的”$name”和”${name}”，比如環境變量 FISH=nothing，那os.path.expandvars(”$FISH/abc”)會返回”nothing/abc”

os.path.normpath(path)

去掉path中包含的”.”和”..”

os.path.splitext(path)

把path分離成基本名和擴展名。比如：os.path.splitext(”/foo /bar.tar.bz2″)返回(‘/foo/bar.tar’, ‘.bz2′)。要註意它和os.path.split()的區別

3.在os模塊有一個很好用的函數叫os.stat()沒有介紹，因為os.path模塊裡包含瞭一組和它具有同樣功能的函數，但是名字更好記一點。

os.path.exists(path)

判斷文件或者目錄是否存在

os.path.isfile()

判斷path所指向的是否是一個普通文件，而不是目錄

os.path.isdir(path)

判斷path所指向的是否是一個目錄，而不是普通文件

os.path.islink(path)

判斷path所指向的是否是一個符號鏈接

os.path.ismount(path)

判斷path所指向的是否是一個掛接點(mount point)

os.path.getatime(path)

返回path所指向的文件或者目錄的最後存取時間。

os.path.getmtime(path)

返回path所指向的文件或者目錄的最後修改時間

os.path.getctime(path)

返回path所指向的文件的創建時間

os.path.getsize(path)

返回path所指向的文件的大小

4.應用python編寫shell腳本經常要用到os,shutil,glob(正則表達式的文件名),tempfile(臨時文件),pwd(操作/etc/passwd文件),grp(操作/etc/group文件),commands(取得一個命令的輸出)。前面兩個已經基本上介紹完瞭，後面幾個很簡單，看一下文檔就可以瞭。

5.sys.argv是一個列表，保存瞭python程序的命令行參數。其中 sys.argv[0]是程序本身的名字。
不能光說不練，接下來我們就編寫一個用於復制文件的簡單腳本。前兩天叫我寫腳本的同事有個幾萬個文件的目錄，他想復制這些文件到其它的目錄，又不能直接復制目錄本身。他試瞭一下”cp src/* dest/”結果報瞭一個命令行太長的錯誤，讓我幫他寫一個腳本。操起python來：

import sys,os.path,shutil
for f in os.listdir(sys.argv[1]):
shutil.copy(os.path.join(sys.argv[1],f),sys.argv[2])

再試一下linuxapp版裡的帖子——把一個文件夾下的所有文件重命名成 10001～10999。可以這樣寫：

import os.path,sys
dirname=sys.argv[1]
i=10001
for f in os.listdir(dirname):
src=os.path.join(dirname,f)
if os.path.isdir(src):
continue
os.rename(src,str(i))
i =1

os.chkdir(path) 轉換到目錄path 下。

os.system(‘md a’) 可以直接創建目錄。

os.name字符串指示你正在使用的平臺。比如對於Windows，它是’nt’，而對於Linux/Unix用戶，它是’posix’。
● os.getcwd()函數得到當前工作目錄，即當前Python腳本工作的目錄路徑。
● os.getenv()和os.putenv()函數分別用來讀取和設置環境變量。
● os.listdir()返回指定目錄下的所有文件和目錄名。
● os.remove()函數用來刪除一個文件。
● os.system()函數用來運行shell命令。
● os.linesep字符串給出當前平臺使用的行終止符。例如，Windows使用’\r\n’，Linux使用’\n’而Mac使用’\r’。
● os.path.split()函數返回一個路徑的目錄名和文件名。
>>> os.path.split(‘/home/swaroop/byte/code/poem.txt’)
(‘/home/swaroop/byte/code’, ‘poem.txt’)
● os.path.isfile()和os.path.isdir()函數分別檢驗給出的路徑是一個文件還是目錄。類似地，os.path.exists()函數用來檢驗給出的路徑是否真地存在。

文件重定向

已有PY文件new1.py ,在命令行下輸入:new1>new.txt 可以將new1運行的結果輸出到文件new.txt,這稱為流重定向。

推薦閱讀：