利用 Python 中的內置open函數讀取二進制文件

Posted on by

在python中讀取一個文本文件相信大傢都比較熟悉瞭，但如果我們遇到一個二進制文件要讀取怎麼辦呢？我們嘗試使用 Python 中的內置 open 函數使用默認讀取模式讀取 zip 文件，抱歉，我們將收到錯誤消息：

>>> with open("exercises.zip") as zip_file:
...     contents = zip_file.read()
...
Traceback (most recent call last):
  File "<stdin>", line 2, in <module>
  File "/usr/lib/python3.10/codecs.py", line 322, in de
code
    (result, consumed) = self._buffer_decode(data, self.errors, final)
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8e in position 11: invalid sta
rt byte

我們收到一個錯誤，是因為 zip 文件不是文本文件，它們是二進制文件。

要從二進制文件中讀取，我們需要使用模式 rb 而不是默認模式 rt 打開它：

>>> with open("exercises.zip", mode="rb") as zip_file:
...     contents = zip_file.read()

當從二進制文件中讀取時，我們不會得到字符串。將返回一個字節對象，也稱為字節字符串：

>>> with open("exercises.zip", mode="rb") as zip_file:
...     contents = zip_file.read()
...
>>> type(contents)
<class 'bytes'>
>>> contents[:20]
b'PK\x03\x04\n\x00\x00\x00\x00\x00Y\x8e\x84T\x00\x00\x00\x00\x00\x00'

字節字符串中沒有字符：它們中有字節。

除非我們理解它們的含義，否則文件中的字節對我們沒有多大幫助。

使用庫來讀取二進制文件

處理二進制文件時，你通常會使用和知道如何處理正在使用的特定類型文件的庫（內置 Python 庫或第三方庫）。該庫將完成將文件中的字節解碼為更易於使用的工作。

例如，Python 的 ZipFile 模塊可以幫助我們讀取 zip 文件中的數據：

>>> from zipfile import ZipFile
>>>
>>> with ZipFile("exercises.zip") as zip_file:
...     test_file = zip_file.read("exercises/test.py").decode("utf-8")
...
>>> test_file[:30]
'#!/usr/bin/env python3\nfrom __'

如果有人已經完成瞭這項工作，最好避免實現自己的字節檢查或字節操作邏輯。

在 Python 中以字節級別工作

有時你會使用或被要求直接在字節級別工作的庫或 API。在這種情況下，你需要至少需要對二進制文件和字節字符串有一點瞭解。

例如，假設我們要計算給定文件的 sha256 校驗和。

在這裡，我們有一個名為 get_sha256_hash 的函數來執行此操作：

import hashlib
def get_sha256_hash(filename):
    with open(filename, mode="rb") as f:
        return hashlib.sha256(f.read()).hexdigest()

此函數讀取此文件中的所有二進制數據。我們正在讀取字節，因為 Python 的 hashlib 模塊要求我們使用字節。hashlib 模塊在底層工作：它使用字節而不是字符串。

因此，我們傳入文件中的所有字節以獲取哈希對象，然後對該哈希對象調用 hexdigest 方法以獲取表示該文件的 SHA-256 校驗和的十六進制字符串：

>>> get_sha256_hash("exercises.zip")
'9e98242a21760945ec815668fc79d8621fa15dd23659ea29be2c5949153fe96d'

此功能運行良好，但使用此功能讀取非常大的文件可能會出現問題。

分塊讀取二進制文件

我們的 get_sha256_hash 函數一次將整個文件讀入內存。一個非常大的文件可能會占用大量內存。

對於文本文件，解決此問題的常用方法是逐行讀取文件。但是二進制文件不一定有行！但是，我們可以嘗試逐塊讀取。

首先，我們將從文件中讀取一個 8 KB 的塊：

import hashlib
def get_sha256_hash(filename, buffer_size=2**10*8):
    file_hash = hashlib.sha256()
    with open(filename, mode="rb") as f:
        chunk = f.read(buffer_size)

我們首先創建一個新的哈希對象，然後讀取一個 8 KB 的塊（通過將字節數傳遞給我們的文件對象的 read 方法）。

現在我們需要文件的其餘部分。所以我們將循環：

import hashlib
def get_sha256_hash(filename, buffer_size=2**10*8):
    file_hash = hashlib.sha256()
    with open(filename, mode="rb") as f:
        chunk = f.read(buffer_size)
        while chunk:
            file_hash.update(chunk)
            chunk = f.read(buffer_size)
    return file_hash.hexdigest()

我們重復讀取一個塊，更新我們的哈希對象，然後讀取另一個塊。

隻要我們不在文件的末尾，我們就會在讀取時返回一個真實的塊。

但是當我們在文件的最後讀取時，我們會得到一個空字節字符串。空字節字符串（如空字符串）是錯誤的，因此在文件末尾我們將跳出循環。然後我們將像以前一樣返回十六進制摘要。

   

>>> get_sha256_hash("exercises.zip")
'9e98242a21760945ec815668fc79d8621fa15dd23659ea29be2c5949153fe96d'

但是，我們現在不是將整個文件讀入內存，而是逐塊讀取文件。

使用賦值表達式

在逐塊讀取文件時，通常會看到使用的賦值表達式（通過 Python 的海象運算符）：

import hashlib
def get_sha256_hash(filename, buffer_size=2**10*8):
    file_hash = hashlib.sha256()
    with open(filename, mode="rb") as f:
        while chunk := f.read(buffer_size):
            file_hash.update(chunk)
    return file_hash.hexdigest()

在 while 循環中重復讀取數據是賦值表達式的一個很好的用例。它可能看起來有點奇怪，但它確實為我們節省瞭幾行代碼。

註意：海象運算符是在 Python 3.8 中添加的。

最後總結下，當你在 Python 中讀取二進制文件時，你會得到字節，當你讀取一個大型二進制文件時，你需要逐塊讀取它，當然如果可以最好避免自己讀取二進制文件，有第三方庫可以使用第三方庫來處理。

推薦閱讀：