Python編碼規范擺脫Python編碼噩夢
博客原文:http://python.iswbm.com/en/latest/c01/c01_44.html
Github:https://github.com/iswbm/PythonCodingTime
Python 中編碼問題,一直是很多 Python 開發者的噩夢,盡管你是工作多年的 Python 開發者,也肯定會經常遇到令人神煩的編碼問題,好不容易花瞭半天搞明白瞭。
一段時間後,又全都忘光光瞭,一臉懵逼的你又開始你找各種博客、帖子,從頭搞清楚什麼是編碼?什麼是 unicode?它和 ASCII 有什麼區別?為什麼 decode encode 老是報錯?python2 裡和 python3 的字符串類型怎麼都不一樣,怎麼對應起來?如何檢測編碼格式?
反反復復,這個過程真是太痛苦瞭。
今天我把大傢在 Python 上會遇到的一些編碼問題都講清楚瞭,以後你可以不用再 Google,收藏這篇文章就行。
1. Python 3 中 str 與 bytes
在 Python3中,字符串有兩種類型 ,str 和 bytes。
今天就來說一說這二者的區別:
unicode string(str 類型)
:以 Unicode code points 形式存儲,人類認識的形式
byte string(bytes 類型)
:以 byte 形式存儲,機器認識的形式
在 Python 3 中你定義的所有字符串,都是 unicode string類型,使用 type
和 isinstance
可以判別
# python3 >>> str_obj = "你好" >>> >>> type(str_obj) <class 'str'> >>> >>> isinstance("你好", str) True >>> >>> isinstance("你好", bytes) False >>>
而 bytes 是一個二進制序列對象,你隻要你在定義字符串時前面加一個 b
,就表示你要定義一個 bytes 類型的字符串對象。
# python3 >>> byte_obj = b"Hello World!" >>> type(byte_obj) <class 'bytes'> >>> >>> isinstance(byte_obj, str) False >>> >>> isinstance(byte_obj, bytes) True >>>
但是在定義中文字符串時,你就不能直接在前面加 b
瞭,而應該使用 encode
轉一下。
>>> byte_obj=b"你好"
File "<stdin>", line 1
SyntaxError: bytes can only contain ASCII literal characters.
>>>
>>> str_obj="你好"
>>>
>>> str_obj.encode("utf-8")
b'\xe4\xbd\xa0\xe5\xa5\xbd'
>>>
2. Python 2 中 str 與 unicode
而在 Python2 中,字符串的類型又與 Python3 不一樣,需要仔細區分。
在 Python2 裡,字符串也隻有兩種類型,unicode 和 str 。
隻有 unicode object 和 非unicode object(其實應該叫 str object) 的區別:
unicode string(unicode類型)
:以 Unicode code points 形式存儲,人類認識的形式byte string(str 類型)
:以 byte 形式存儲,機器認識的形式
當我們直接使用雙引號或單引號包含字符的方式來定義字符串時,就是 str 字符串對象,比如這樣
# python2 >>> str_obj="你好" >>> >>> type(str_obj) <type 'str'> >>> >>> str_obj '\xe4\xbd\xa0\xe5\xa5\xbd' >>> >>> isinstance(str_obj, bytes) True >>> isinstance(str_obj, str) True >>> isinstance(str_obj, unicode) False >>> >>> str is bytes True
而當我們在雙引號或單引號前面加個 u
,就表明我們定義的是 unicode 字符串對象,比如這樣
# python2 >>> unicode_obj = u"你好" >>> >>> unicode_obj u'\u4f60\u597d' >>> >>> type(unicode_obj) <type 'unicode'> >>> >>> isinstance(unicode_obj, bytes) False >>> isinstance(unicode_obj, str) False >>> >>> isinstance(unicode_obj, unicode) True
3. 如何檢測對象的編碼
所有的字符,在 unicode 字符集中都有對應的編碼值(英文叫做:code point
)
而把這些編碼值按照一定的規則保存成二進制字節碼,就是我們說的編碼方式,常見的有:UTF-8,GB2312 等。
也就是說,當我們要將內存中的字符串持久化到硬盤中的時候,都要指定編碼方法,而反過來,讀取的時候,也要指定正確的編碼方法(這個過程叫解碼),不然會出現亂碼。
那問題就來瞭,當我們知道瞭其對應的編碼方法,我們就可以正常解碼,但並不是所有時候我們都能知道應該用什麼編碼方式去解碼?
這時候就要介紹到一個 python 的庫 – chardet
,使用它之前 需要先安裝
python3 -m pip install chardet
chardet 有一個 detect 方法,可以 預測其其編碼格式
>>> import chardet >>> chardet.detect('微信公眾號:Python編程時光'.encode('gbk')) {'encoding': 'GB2312', 'confidence': 0.99, 'language': 'Chinese'}
為什麼說是預測呢,通過上面的輸出來看,你會看到有一個 confidence 字段,其表示預測的可信度,或者說成功率。
但是使用它時,若你的字符數較少,就有可能 “誤診”),比如隻有 中文 兩個字,就像下面這樣,我們是 使用 gbk 編碼的,使用 chardet 卻識別成 KOI8-R 編碼。
>>> str_obj = "中文" >>> byte_obj = bytes(a, encoding='gbk') # 先得到一個 gbk 編碼的 bytes >>> >>> chardet.detect(byte_obj) {'encoding': 'KOI8-R', 'confidence': 0.682639754276994, 'language': 'Russian'} >>> >>> str_obj2 = str(byte_obj, encoding='KOI8-R') >>> str_obj2 'жпнд'
所以為瞭編碼診斷的準確,要盡量使用足夠多的字符。
chardet 支持多國的語言,從官方文檔中可以看到支持如下這些語言(https://chardet.readthedocs.io/en/latest/supported-encodings.html)
4. 編碼與解碼的區別
編碼和解碼,其實就是 str 與 bytes 的相互轉化的過程(Python 2 已經遠去,這裡以及後面都隻用 Python 3 舉例)
編碼:encode 方法,把字符串對象轉化為二進制字節序列
解碼:decode 方法,把二進制字節序列轉化為字符串對象
那麼假如我們真知道瞭其編碼格式,如何來轉成 unicode 呢?
有兩種方法
第一種是,直接使用 decode 方法
>>> byte_obj.decode('gbk') '中文' >>>
第二種是,使用 str 類來轉
>>> str_obj = str(byte_obj, encoding='gbk') >>> str_obj '中文' >>>
5. 如何設置文件編碼
在 Python 2 中,默認使用的是 ASCII 編碼來讀取的,因此,我們在使用 Python 2 的時候,如果你的 python 文件裡有中文,運行是會報錯的。
SyntaxError: Non-ASCII character '\xe4' in file demo.py
原因就是 ASCII 編碼表太小,無法解釋中文。
而在 Python 3 中,默認使用的是 uft-8 來讀取,所以省瞭不少的事。
對於這個問題,通常解決方法有兩種:
第一種方法
在 python2 中,可以使用在頭部指定
可以這樣寫,雖然很好看
# -*- coding: utf-8 -*-
但這樣寫太麻煩瞭,我通常使用下面兩種寫法
# coding:utf-8 # coding=utf-8
第二種方法
import sys reload(sys) sys.setdefaultencoding('utf-8')
這裡在調用sys.setdefaultencoding(‘utf-8′) 設置默認的解碼方式之前,執行瞭reload(sys),這是必須的,因為python在加載完sys之後,會刪除 sys.setdefaultencoding 這個方法,我們需要重新載入sys,才能調用 sys.setdefaultencoding 這個方法。
以上就是Python編碼技巧擺脫Python編碼噩夢的詳細內容,更多關於Python編碼的資料請關註WalkonNet其它相關文章!
推薦閱讀:
- Python之string編碼問題
- python 中文編碼亂碼問題的解決
- Python字符串編碼轉換 encode()和decode()方法詳細說明
- 解決python中文亂碼問題方法總結
- 關於python基礎數據類型bytes進制轉換