python保存大型 .mat 數據文件報錯超出 IO 限制的操作
python 保存 .mat 文件的大小是有限制的,似乎是 5G 以內,如果需要保存幾十個 G 的數據的話,可以選用其他方式,
比如 h5 文件
import h5py def h5_data_write(train_data, train_label, test_data, test_label, shuffled_flag): print("h5py文件正在寫入磁盤...") save_path = "../save_test/" + "train_test_split_data_label_" + shuffled_flag + ".h5" with h5py.File(save_path, 'w') as f: f.create_dataset('train_data', data=train_data) f.create_dataset('train_label', data=train_label) f.create_dataset('test_data', data=test_data) f.create_dataset('test_label', data=test_label) print("h5py文件保存成功!") def h5_data_read(filename): """ keys() : 獲取本文件夾下所有的文件及文件夾的名字 f['key_name'] : 獲取對應的對象 """ file = h5py.File(filename,'r') train_data = file['train_data'][:] train_label = file['train_label'][:] test_data = file['test_data'][:] test_label = file['test_label'][:] return train_data, train_label, test_data, test_label
補充:通過python 讀MATLAB數據文件 *.mat
背景
在做deeplearning過程中,使用caffe的框架,一般使用matlab來處理圖片(matlab處理圖片相對簡單,高效),用python來生成需要的lmdb文件以及做test產生結果。
所以某些matlab從圖片處理得到的label信息都會以.mat文件供python讀取,同時也python產生的結果信息也需要matlab來做進一步的處理(當然也可以使用txt,不嫌麻煩自己處理結構信息)。
介紹
matlab和python間的數據傳輸一般是基於matlab的文件格式.mat,python中numpy和scipy提供瞭一些函數,可以很好的對.mat文件的數據進行讀寫和處理。
在這裡numpy作用是提供Array功能映射matlab裡面的Matrix,而scipy提供瞭兩個函數loadmat和savemat來讀寫.mat文件。
下面是一個簡單的測試程序
具體的函數用法可以看幫助文檔:
import scipy.io as sio import matplotlib.pyplot as plt import numpy as np #matlab文件名 matfn=u'E:/python/測試程序/162250671_162251656_1244.mat' data=sio.loadmat(matfn) plt.close('all') xi=data['xi'] yi=data['yi'] ui=data['ui'] vi=data['vi'] plt.figure(1) plt.quiver( xi[::5,::5],yi[::5,::5],ui[::5,::5],vi[::5,::5]) plt.figure(2) plt.contourf(xi,yi,ui) plt.show() sio.savemat('saveddata.mat', {'xi': xi,'yi': yi,'ui': ui,'vi': vi})
示例2
import scipy.io as sio import numpy as np ###下面是講解python怎麼讀取.mat文件以及怎麼處理得到的結果### load_fn = 'xxx.mat' load_data = sio.loadmat(load_fn) load_matrix = load_data['matrix'] #假設文件中存有字符變量是matrix,例如matlab中save(load_fn, 'matrix');當然可以保存多個save(load_fn, 'matrix_x', 'matrix_y', ...); load_matrix_row = load_matrix[0] #取瞭當時matlab中matrix的第一行,python中數組行排列 ###下面是講解python怎麼保存.mat文件供matlab程序使用### save_fn = 'xxx.mat' save_array = np.array([1,2,3,4]) sio.savemat(save_fn, {'array': save_array}) #和上面的一樣,存在瞭array變量的第一行 save_array_x = np.array([1,2,3,4]) save_array_y = np.array([5,6,7,8]) sio.savemat(save_fn, {'array_x': save_array_x, 'array_x': save_array_x}) #同理,
鑒於以後的目標主要是利用現有的Matlab數據(.mat或者.txt),主要考慮python導入Matlab數據的問題。以下代碼可以解決python讀取.mat文件的問題。
主要使用sicpy.io即可。
sicpy.io提供瞭兩個函數loadmat和savemat,非常方便。
# adapted from http://blog.csdn.net/rumswell/article/details/8545087 import scipy.io as sio #import matplotlib.pyplot as plt from pylab import * import numpy as np matfn='E:\\Pythonrun\\myuse\\matdata.mat' # the path of .mat data data=sio.loadmat(matfn) xx=data['matdata'] figure(1) plot(xx) show()
以下代碼是讀入txt數據並轉換成數組,方法比較笨,更有效的方法待研究。
from numpy import * def file2list(filename): fr = open(filename) array = fr.readlines() #以文件中的每行為一個元素,形成一個list列表 num = len(array) returnMat = zeros((num,3))#初始化元素為0的,行號數個列表,其中每個元素仍是列表,元素數是3,在此表示矩陣 index = 0 for line in array: line = line.strip()#去掉一行後的回車符號 linelist = line.split(' ')#將一行根據分割符,劃分成多個元素的列表 returnMat[index,:] = linelist[0:3]#向矩陣賦值,註意這種賦值方式比較笨拙 index +=1 return returnMat fname = 'E:\\Pythonrun\\myuse\\num_data.txt' data= file2list(fname)
補充:Python 讀寫 Matlab Mat 格式數據
1. 非 matlab v7.3 files 讀寫
import scipy.io as sio import numpy # matFile 讀取 matFile = 'matlabdata.mat' datas = sio.loadmat(matFile) # 加載 matFile 內的數據 # 假設 mat 內保存的變量為 matlabdata matlabdata = datas['matlabdata'] # matFile 寫入 save_matFile = 'save_matlabdata.mat' save_matlabdata = np.array([1,2,3,4,5]) sio.savemat(save_matFile, {'array':save_matlabdata})
2. matlab v7.3 files 讀取
如果 matlab 保存 data 時,采用的是 ‘-v7.3’,scipy.io.loadmat函數加載數據會出現錯誤:
File “/usr/local/lib/python2.7/dist-packages/scipy/io/matlab/mio.py”, line 64, in mat_reader_factory
raise NotImplementedError(‘Please use HDF reader for matlab v7.3 files’)
NotImplementedError: Please use HDF reader for matlab v7.3 files
可以采用:
import h5py with h5py.File('matlabdata.mat', 'r') as f: f.keys() # matlabdata.mat 中的變量名 datas = h5py.File('matlabdata.mat')['matlabdata'].value
以上為個人經驗,希望能給大傢一個參考,也希望大傢多多支持WalkonNet。如有錯誤或未考慮完全的地方,望不吝賜教。
推薦閱讀:
- mat矩陣和npy矩陣實現互相轉換(python和matlab)
- python讀取和保存mat文件的方法
- 詳解python讀取matlab數據(.mat文件)
- python讀取mat文件中的struct問題
- python如何將mat文件轉為png