Python多進程共享numpy 數組的方法

為什麼要用numpy

    Python中提供瞭list容器,可以當作數組使用。但列表中的元素可以是任何對象,因此列表中保存的是對象的指針,這樣一來,為瞭保存一個簡單的列表[1,2,3]。就需要三個指針和三個整數對象。對於數值運算來說,這種結構顯然不夠高效。
    Python雖然也提供瞭array模塊,但其隻支持一維數組,不支持多維數組(在TensorFlow裡面偏向於矩陣理解),也沒有各種運算函數。因而不適合數值運算。
    NumPy的出現彌補瞭這些不足。

引用:https://zhuanlan.zhihu.com/p/32513483

共享 numpy 數組

需要用到 numpy 時往往是數據量較大的場景,如果直接復制會造成大量內存浪費。共享 numpy 數組則是通過上面一節的 Array 實現,再用 numpy.frombuffer 以及 reshape 對共享的內存封裝成 numpy 數組,代碼如下:

# encoding:utf8
import ctypes
import os
import multiprocessing

import numpy as np

NUM_PROCESS = multiprocessing.cpu_count()


def worker(index):
    main_nparray = np.frombuffer(shared_array_base, dtype=ctypes.c_double)
    main_nparray = main_nparray.reshape(NUM_PROCESS, 10)
    pid = os.getpid()
    main_nparray[index, :] = pid
    return pid


if __name__ == "__main__":
    shared_array_base = multiprocessing.Array(
        ctypes.c_double, NUM_PROCESS * 10, lock=False)
    pool = multiprocessing.Pool(processes=NUM_PROCESS)
    result = pool.map(worker, range(NUM_PROCESS))
    main_nparray = np.frombuffer(shared_array_base, dtype=ctypes.c_double)
    main_nparray = main_nparray.reshape(NUM_PROCESS, 10)
    print( main_nparray )

運行結果:

到此這篇關於Python多進程共享numpy 數組的方法的文章就介紹到這瞭,更多相關Python多進程共享numpy 數組內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!

推薦閱讀: