解決python3 整數數組轉bytes的效率問題

Posted on by

昨天在做一道CTF題的時候碰到瞭一個圖片異或的問題，操作大概如下：

將一個圖片讀入，然後每字節進行異或操作，核心代碼可簡化為以下：

#coding:utf-8
'''
 @DateTime: 2017-11-25 13:51:33
 @Version: 1.0
 @Author: Unname_Bao
'''
import six
key = b'\xdcd~\xb6^g\x11\xe1U7R\x18!+9d\xdcd~\xb6^g\x11\xe1U7R\x18!+9d'
with open('flag.encrypted','rb') as f:
 c = f.read()
flag = b''
for i in range(32):
 flag += six.int2byte(key[i%32]^c[i])
with open('flag.png','wb') as f:
 f.write(flag)

然後就碰到瞭一個效率問題，跑瞭十幾分鐘都沒有跑出結果，起初以為是類型轉換的問題，因為比較急，於是換瞭成瞭C++的代碼去解決，後來一直沒多想。

今天閑下來的時候才發現代碼之前的代碼中存在一個非常大的問題：

內存申請問題

由於flag.encrypted文件大小為6.47MB之大，由於我的腳本思路是不斷在byte數組後添加，但忽略瞭其本質。

就是在內存申請過程中，由於數組長度最終為600+W大小，期間存在多次數組內存不夠，需要重新申請內存的問題，而python中的內存申請顯然沒有C++的vector的push_back有效率。

而且python中，無論是list、string還是byte，也沒有reserve這種函數，不能預留內存空間（這時候真的要吐槽一下python設計者對速度優化的考量瞭）。

於是隻能用另一種方法進行優化，就是先用list申請一個需求大小的內存空間，然後再轉為bytes使用，

代碼如下：

#coding:utf-8
'''
 @DateTime: 2017-11-26 14:09:29
 @Version: 2.0
 @Author: Unname_Bao
'''
key = b'\xdcd~\xb6^g\x11\xe1U7R\x18!+9d\xdcd~\xb6^g\x11\xe1U7R\x18!+9d'
with open('flag.encrypted','rb') as f:
 c = f.read()
flag = list('1'*len(c))
for i in range(len(c)):
 flag[i] = key[i%32]^c[i]
flag = bytes(flag)
with open('flag.png','wb') as f:
 f.write(flag)

這樣寫的話幾乎是瞬間完成任務瞭，但還是比C++慢很多，這是不可避免的。

補充：python2與python3的bytes問題

>>> s = '編程'
>>> print s
編程
>>> s
'\xe7\xbc\x96\xe7\xa8\x8b'
>>>

在python2中直接調用字符串的變量的話，會打印其bytes(可以理解成用16進制表示字符串的內存地址，本質還是二進制）。在python2中，bytes和str是一回事。

為什麼要有個bytes呢？因為所有數據本質都是用二進制進行儲存的，當傳輸數據的時候，要把這些數據先轉換成二進制( bytes)在進行傳輸。除此之外，python2裡還有個單獨的數據類型，把字符串解碼後，就會變成unicode。

>>> s
'\xe8\xb7\xaf\xe9\xa3\x9e' #utf-8
>>> s.decode('utf-8')
u'\u8def\u98de' #unicode 在unicode編碼表裡對應的位置
>>> print(s.decode('utf-8'))
路飛 #unicode 格式的字符

原因是python2的默認編碼是ASCII,後來為瞭支持多國語言，就想弄個unicode。但是直接把ASCII轉成unicode是很費勁的，所以龜叔直接搞瞭一個新的字符類型，就叫unicode,說白瞭就是你得在內存裡先把字符串存成unicode類型

2008年python3出世，來瞭個大變革：

1、把字符串的編碼變成瞭unicode,文件默認編碼變成瞭utf-8。

2、把str 和bytes 做瞭明確區分， str 就是unicode格式的字符， bytes就是單純二進制還有一個很重要的是，在python3中，隻有unicode給你展示字形，其他的編碼一律用bytes展示，也就是說要你強制使用unicode。

最後再提示一下，Python隻要出現各種編碼問題，無非是哪裡的編碼設置出錯瞭

常見編碼錯誤的原因有：

Python解釋器的默認編碼

Python源文件文件編碼

Terminal使用的編碼

操作系統的語言設置

以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。如有錯誤或未考慮完全的地方，望不吝賜教。

推薦閱讀：