Python文件處理、os模塊、glob模塊

Posted on by

一、文件基本的操作

1、open() 打開文件

open() 方法用於打開一個文件，並返回File文件對象，在對文件進行處理過程都需要使用到這個函數，如果該文件無法被打開，會拋出 OSError。

註意：使用 open() 方法一定要保證關閉文件對象，即調用 close() 方法。

open() 函數常用形式是接收兩個參數：文件名(file)和模式(mode)。

open(file, mode='r')

完整的語法格式為：

open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None)

2、read() 讀文件

f = open(r'/Users/mac/desktop/jupyter/pythonCourseware/32.txt', mode='r')# read模式打開文件
data = f.read() # 讀取文件內容，向操作系統發起讀請求，會被操作系統轉成具體的硬盤操作，將內容由硬盤讀入內存
print(data)
# 由於Python的垃圾回收機制隻回收引用計數為0的變量，但是打開文件還占用操作系統的資源，所以我們需要回收操作系統的資源資源
# del f 隻是回收變量f
f.close()

3、write（）寫文件：

# write模式打開文件
f = open(r'/Users/mac/desktop/jupyter/pythonCourseware/32.txt', mode='w')
f.write("""name = 'nick'
pwd = '123'""")
f.close()

4、with open()方法

with open()方法不僅提供自動釋放操作系統占用資源的方法，並且with open可以使用逗號分隔，一次性打開多個文件，實現文件的快速拷貝。

with open('32.txt', 'rt', encoding='utf8') as f:
    print(f.read())

with open('32.txt', 'rb') as fr, \
        open('35r.txt', 'wb') as fw:
    f.write(f.read())

二、文件的打開模式

文件操作的基礎模式有四種

  • r模式：（默認）隻讀模式，隻能讀不能寫，文件的指針將會放在文件的開頭，文件不存在時報錯。
  • w模式：覆蓋寫模式，文件不存在則創建， 並從開頭開始編輯，即原有內容會被刪除，即完全覆蓋。
  • a模式：追加寫模式：文件不存在則創建，存在則在文件最後追加內容，就是說，新的內容將會被寫入到已有內容之後。

文件讀寫內容的格式有兩種

  • t模式為text （默認）：文本模式
  • b模式為bytes：字節模式。

需要註意的是：t、b這兩種模式均不能單獨使用，都需要與r/w/a之一連用。

1、文件r打開模式

1、讀文本

# rt: read by text
# windows的操作系統默認編碼為gbk，因此需要使用utf8編碼
f = open('32.txt', mode='rt', encoding='utf8')
data = f.read()
print(data) # nick最帥嗎
print(type(data)} # <class 'str'>
f.close()

2、讀字節

# rb: read by bytes
f = open('32.txt', mode='rb')
data = f.read()
print(data) # b'aaa\nbbb\nccc\nnick\xe6\x9c\x80\xe5\xb8\x85\xe5\x90\x97'
print(type(data)) # <class 'bytes'>
f.close()

3、for逐行讀取，相當於readline。

fname = input("請輸入要打開的文件名稱:")
fo = open(fname, "r")
print(type(fo))  # <class '_io.TextIOWrapper'>
for line in fo:
    print(line)
fo.close()

4、讀方法：

  • read(size):一次性讀取文件的所有內容,如果給出參數，讀入前size長度。
  • readline(size):讀入一行內容，包括換行符為 '\n'。如果給出參數，讀入該行前size長度。下次可以接著上次讀完的地方繼續讀。f.readline() 如果返回一個空字符串, 說明已經已經讀取到最後一行。
  • readlines([sizeint])：讀取所有行並返回列表，若給定sizeint>0，返回總和大約為sizeint字節的行, 實際讀取值可能比 sizeint 較大, 因為需要填充緩沖區。
f = open('32.txt', mode='rt', encoding='utf8')
print(f.readable())  #True 判斷文件是否可讀
data1 = f.readline()
data2 = f.readlines()
print(data1) # aaa
print(data2) # ['bbb\n', 'ccc\n', 'nick最帥嗎']
f.close()

2、文件W打開模式

隻能寫，不能讀，文件存在的時候回清空文件後再寫入內容；文件不存在的時候會創建文件後寫入內容。

1、文本模式

f = open('34w.txt', mode='wt', encoding='utf8')
print(f"f.readable(): {f.readable()}") #False
f.write('nick 真帥呀\n')  # '\n'是換行符
f.write('nick,nick, you drop, I drop.')
f.write('nick 帥的我五體投地')
f.flush()  # 立刻將文件內容從內存刷到硬盤
f.close()

2、字節模式

f = open('34a.txt', mode='wb')
f.write('nick 帥的我五體投地'.encode('unicode_escape') )  # 編碼成bytes類型再寫入
print(type('nick 帥的我五體投地'.encode('unicode_escape'))) #<class 'bytes'>
f.close()

註意：b模式是通用的模式，因為所有的文件在硬盤中都是以二進制的形式存儲的。

需要註意的是：b模式讀寫文件，一定不能加上encoding參數，因為二進制無法再編碼。

try:
    import requests

    response = requests.get( 'http://www.chenyoude.com/Python從入門到放棄/文件的三種打開模式-mv.jpg')
    data = response.content

    f = open('mv.jpg', 'wb')
    f.write(data)
    print('done...')
    f.close()
except Exception as e:
    print(e, '報錯瞭，那就算瞭吧，以後爬蟲處會詳細介紹')

3、寫方法：

  • write(s)：將字符串寫入文件，返回的是寫入的字符長度。
  • writelines(lines）：向文件寫入一個多行字符串列表，如果需要換行則要自己加入每行的換行符。
  • flush()：刷新文件內部緩沖，直接把內部緩沖區的數據立刻寫入文件, 而不是被動的等待輸出緩沖區寫入。

3、文件a打開模式

a: 可以追加。文件存在，則在文件的末端寫入內容；文件不存在的時候會創建文件後寫入內容。

# at
f = open('34a.txt', mode='at', encoding='utf8')
print(f.readable()) # False
f.write('nick 真帥呀\n')  # '\n'是換行符
f.write('nick,nick, you drop, I drop.')
f.write('nick 帥的我五體投地')
f.close()

4、+可讀、可寫

  • r+ :可讀、可寫。文件指針將會放在文件的開頭。
  • rb+: 可讀、可寫二進制格式
  • w+: 可寫、可讀。如果該文件已存在則打開文件，並從開頭開始編輯，即原有內容會被刪除。如果該文件不存在，創建新文件。
  • wb+: 可寫、可讀 二進制格式
  • a+: 可追加、可讀。如果該文件已存在，文件指針將會放在文件的結尾。文件打開時會是追加模式。如果該文件不存在，創建新文件用於讀寫。
  • ab+: 可追加、可讀二進制格式
# r+t
with open('32.txt', 'r+', encoding='utf-8') as fr:
    print(fr.readable())  # True
    print(fr.writable())  # True

三、文件指針操作

但凡涉及文件指針的都是字節個數。

1、seek(offset, from_what) ：改變當前文件操作指針的位置

from_what 的值, 如果是 0 表示開頭, 如果是 1 表示當前位置, 2 表示文件的結尾，例如：

  • seek(x,0) ： 從起始位置即文件首行首字符開始移動 x 個字符
  • seek(x,1) ： 表示從當前位置往後移動x個字符
  • seek(-x,2)：表示從文件的結尾往前移動x個字符

from_what 值為默認為0，即文件開頭。

f.seek(0) # 回到文件開頭

下面給出一個完整的例子：

f = open('32.txt', 'rb+')
print(f.write(b'0123456789abcdef')) # 16
print(f.seek(5))  # 移動到文件的第六個字節 # 5
print(f.read(1))  # b'5'
print(f.seek(-3, 2))  # 移動到文件的倒數第三字節 # 13
print(f.read(1)) # b'd'

2、tell()：告訴文件當前位置。

每次統計都是從文件開頭到當前指針所在位置

with open('32.txt', 'rb') as fr:
    fr.seek(4, 0)
    print(fr.tell() )  # 4

3、truncate([size])：截斷

從文件的首行首字符開始截斷，截斷文件為 size 個字符，無 size 表示從當前位置截斷；

截斷之後後面的所有字符被刪除，其中 Widnows 系統下的換行代表2個字符大小。

文件的打開方式必須可寫，但是不能用w或w+等方式打開，因為那樣直接清空文件瞭，所以truncate()要在r+或a或a+等模式下測試效果。它的參照物永遠是文件頭。

truncate()不加參數，相當於清空文件。

with open('32.txt', 'ab') as fr:
    fr.truncate(2)  # 截斷2個字節後的所有字符，如果3個字節一個字符，隻能截斷2/3個字符，還會遺留1/3個字符，會造成亂碼

四、文件修改的兩種方式

以讀的方式打開原文件，以寫的方式打開一個新的文件，把原文件的內容進行修改（一行一行的修改或者全部修改），然後寫入新文件，之後利用os模塊的方法，把原文件刪除，重命名新文件為原文件名，達到以假亂真的目的。

方式1、將硬盤存放的該文件的內容全部加載到內存，在內存中是可以修改的，修改完畢後，再由內存覆蓋到硬盤（word，vim，nodpad++等編輯器）。

import os

with open('37r.txt') as fr, open('37r_swap.txt', 'w') as fw:
    data = fr.read()  # 全部讀入內存,如果文件很大,會很卡
    data = data.replace('tank', 'tankSB')  # 在內存中完成修改

    fw.write(data)  # 新文件一次性寫入原文件內容

# 刪除原文件
os.remove('37r.txt')
# 重命名新文件名為原文件名
os.rename('37r_swap.txt', '37r.txt')

方式2、將硬盤存放的該文件的內容一行一行地讀入內存，修改完畢就寫入新文件，最後用新文件覆蓋源文件。

import os

with open('37r.txt') as fr, open('37r_swap.txt', 'w') as fw:
     for line in fr: # 循環讀取文件內容，逐行修改
        line = line.replace('jason', 'jasonSB')
        fw.write(line)  # 新文件寫入原文件修改後內容

os.remove('37r.txt')
os.rename('37r_swap.txt', '37r.txt')

五、os文件處理模塊

os模塊負責程序與操作系統的交互，提供瞭訪問操作系統底層的接口，多用於文件處理。

import os

1、os模塊

  • os.getcwd()：獲取當前工作目錄，即當前python腳本工作的目錄路徑
  • os.chdir("dirname")：改變當前工作目錄；相當於shell下cd
  • os.curdir：返回當前目錄: ('.')
  • os.pardir：獲取當前目錄的父目錄字符串名：('..')
  • os.listdir('dirname'):列出指定目錄下的所有文件和子目錄，包括隱藏文件，並以列表方式打印
  • os.chmod(path, mode)：更改權限
  • os.mkdir('dirname'):生成單級目錄；相當於shell中mkdir dirname
  • os.makedirs('dirname1/dirname2')：可生成多層遞歸目錄
  • os.remove(path)：刪除路徑為path的文件。如果path 是一個文件夾，將拋出OSError; 查看下面的rmdir()刪除一個 directory。
  • os.removedirs('dirname1'):若目錄為空，則刪除，並遞歸到上一級目錄，如若也為空，則刪除，依此類推
  • os.rmdir('dirname'):刪除單級空目錄，若目錄不為空則無法刪除，報錯；相當於shell中rmdir dirname
  • os.rename("oldname","newname")：重命名文件/目錄
  • os.renames(old, new)：遞歸地對目錄進行更名，也可以對文件進行更名。
  • os.stat('path/filename'):獲取文件/目錄信息
  • os.sep:輸出操作系統特定的路徑分隔符，win下為"\",Linux下為"/"
  • os.linesep:輸出當前平臺使用的行終止符，win下為"\t\n",Linux下為"\n"
  • os.pathsep:輸出用於分割文件路徑的字符串 win下為;,Linux下為:
  • os.name:輸出字符串指示當前使用平臺。win->'nt'; Linux->'posix'
  • os.system("bash command"):運行shell命令，直接顯示
  • os.environ:獲取系統環境變量

2、os.path 模塊

主要用於獲取文件的屬性。

以下是 os.path 模塊的幾種常用方法：

  • os.path.abspath(path):返回path規范化的絕對路徑
  • os.path.split(path):將path分割成目錄和文件名二元組返回
  • os.path.splitdrive(path)：一般用在 windows 下，返回驅動器名和路徑組成的
  • os.path.splitext(path)：分割路徑，返回路徑名和文件擴展名的元組
  • os.path.dirname(path):返回path的目錄名。其實就是os.path.split(path)的第一個元素
  • os.path.basename(path):返回path最後的文件名。如何path以／或\結尾，那麼就會返回空值。即os.path.split(path)的第二個元素
  • os.path.exists(path):如果path存在，返回True；如果path不存在，返回False
  • os.path.isabs(path):如果path是絕對路徑，返回True
  • os.path.isfile(path):如果path是一個存在的文件，返回True。否則返回False
  • os.path.isdir(path):如果path是一個存在的目錄，則返回True。否則返回False
  • os.path.join(path1[, path2[, …]]):將多個路徑組合後返回，第一個絕對路徑之前的參數將被忽略
  • os.path.getatime(path):返回path所指向的文件或者目錄的最後存取時間
  • os.path.getmtime(path):返回path所指向的文件或者目錄的最後修改時間
  • os.path.getsize(path): 返回文件大小，如果文件不存在就返回錯誤

3、實例：

1、獲取指定目錄及其子目錄下的 py 文件

import os
import os.path

"""獲取指定目錄及其子目錄下的 py 文件路徑說明：l 用於存儲找到的 py 文件路徑 get_py 函數，遞歸查找並存儲 py 文件路徑於 l"""
l = []


def get_py(path, l):
    file_list = os.listdir(path)  # 獲取path目錄下所有文件
    for filename in file_list:
        path_tmp = os.path.join(path, filename)  # 獲取path與filename組合後的路徑
        if os.path.isdir(path_tmp):  # 如果是目錄
            get_py(path_tmp, l)  # 則遞歸查找
        elif filename[-3:].upper() == '.PY':  # 不是目錄,則比較後綴名
            l.append(path_tmp)


path = input('請輸入路徑:').strip()
get_py(path, l)
print('在%s目錄及其子目錄下找到%d個py文件\n分別為：\n' % (path, len(l)))
for filepath in l:
    print(filepath + '\n')

2、顯示所有視頻格式文件，mp4，avi，rmvb

import os

vedio_list = []

def search_file(start_dir, target) :
    os.chdir(start_dir)
    
    for each_file in os.listdir(os.curdir) :
        ext = os.path.splitext(each_file)[1]
        if ext in target :
            vedio_list.append(os.getcwd() + os.sep + each_file + os.linesep) 
        if os.path.isdir(each_file) :
            search_file(each_file, target) # 遞歸調用
            os.chdir(os.pardir) # 遞歸調用後切記返回上一層目錄

start_dir = input('請輸入待查找的初始目錄：')
program_dir = os.getcwd()

target = ['.mp4', '.avi', '.rmvb']

search_file(start_dir, target)

f = open(program_dir + os.sep + 'vedioList.txt', 'w')
f.writelines(vedio_list)
f.close()

3、批量修改文件名

import os

path = input('請輸入文件路徑(結尾加上/)：')

# 獲取該目錄下所有文件，存入列表中
fileList = os.listdir(path)

n = 0
for i in fileList:
    # 設置舊文件名（就是路徑+文件名）
    oldname = path + os.sep + fileList[n]  # os.sep添加系統分隔符

    # 設置新文件名
    newname1 = path + os.sep + 'a' + str(n + 1) + '.JPG'

    os.rename(oldname, newname1)  # 用os模塊中的rename方法對文件改名c:\
    print(oldname, '======>', newname1)

    n += 1

七、glob模塊:使用通配符查找文件

用它可以查找符合特定規則的文件路徑名。跟使用windows下的文件搜索差不多。

查找文件隻用到三個匹配符：“*”, “?”, “[]”。

  • “*”：匹配0個或多個字符；
  • “?”：匹配單個字符；
  • “[]”：匹配指定范圍內的字符，如：[0-9]匹配數字。

1、glob.glob:返回所有匹配的文件路徑列表。

它隻有一個參數pathname，定義瞭文件路徑匹配規則，這裡可以是絕對路徑，也可以是相對路徑。

輸出：類型是list型，然後就是輸出相關的文件路徑瞭

import glob

file = glob.glob(r'C:\工具\*\*\pan*.exe')
print(type(file))  # <class 'list'>
print(file)  # ['C:\\工具\\PanDownload_v2.1.3\\PanDownload\\PanDownload.exe']

#獲取上級目錄的所有.py文件
print (glob.glob(r'../*.py')) #相對路徑

2、glob.iglob:獲取一個可遍歷對象，使用它可以逐個獲取匹配的文件路徑名。

與glob.glob()的區別是：glob.glob同時獲取所有的匹配路徑，而glob.iglob一次隻獲取一個匹配路徑。

下面是一個簡單的例子：

import glob

#父目錄中的.py文件
f = glob.iglob(r'../*.py')
print ( f ) # <generator object iglob at 0x00B9FF80>
for py in f:
   print  (py)

到此這篇關於Python文件處理的文章就介紹到這瞭。希望對大傢的學習有所幫助，也希望大傢多多支持WalkonNet。

推薦閱讀：