Python Pytorch深度學習之數據加載和處理
一、下載安裝包
packages:
scikit-image:
用於圖像測IO和變換pandas:
方便進行csv解析
二、下載數據集
數據集說明:該數據集(我在這)是imagenet數據集標註為face的圖片當中在dlib面部檢測表現良好的圖片——處理的是一個面部姿態的數據集,也就是按照入戲方式標註人臉
數據集展示
三、讀取數據集
#%%讀取數據集 landmarks_frame=pd.read_csv('D:/Python/Pytorch/data/faces/face_landmarks.csv') n=65 img_name=landmarks_frame.iloc[n,0] landmarks=landmarks_frame.iloc[n,1:].values landmarks=landmarks.astype('float').reshape(-1,2) print('Image name :{}'.format(img_name)) print('Landmarks shape :{}'.format(landmarks.shape)) print('First 4 Landmarks:{}'.format(landmarks[:4]))
運行結果
四、編寫一個函數看看圖像和landmark
#%%編寫顯示人臉函數 def show_landmarks(image,landmarks): plt.imshow(image) plt.scatter(landmarks[:,0],landmarks[:,1],s=10,marker=".",c='r') plt.pause(0.001) plt.figure() show_landmarks(io.imread(os.path.join('D:/Python/Pytorch/data/faces/',img_name)),landmarks) plt.show()
運行結果
五、數據集類
torch.utils.data.Dataset是表示數據集的抽象類,自定義數據類應繼承Dataset並覆蓋__len__實現len(dataset)返還數據集的尺寸。__getitem__用來獲取一些索引數據:
#%%數據集類——將數據集封裝成一個類 class FaceLandmarksDataset(Dataset): def __init__(self,csv_file,root_dir,transform=None): # csv_file(string):待註釋的csv文件的路徑 # root_dir(string):包含所有圖像的目錄 # transform(callabele,optional):一個樣本上的可用的可選變換 self.landmarks_frame=pd.read_csv(csv_file) self.root_dir=root_dir self.transform=transform def __len__(self): return len(self.landmarks_frame) def __getitem__(self, idx): img_name=os.path.join(self.root_dir,self.landmarks_frame.iloc[idx,0]) image=io.imread(img_name) landmarks=self.landmarks_frame.iloc[idx,1:] landmarks=np.array([landmarks]) landmarks=landmarks.astype('float').reshape(-1,2) sample={'image':image,'landmarks':landmarks} if self.transform: sample=self.transform(sample) return sample
六、數據可視化
#%%數據可視化 # 將上面定義的類進行實例化並便利整個數據集 face_dataset=FaceLandmarksDataset(csv_file='D:/Python/Pytorch/data/faces/face_landmarks.csv', root_dir='D:/Python/Pytorch/data/faces/') fig=plt.figure() for i in range(len(face_dataset)) : sample=face_dataset[i] print(i,sample['image'].shape,sample['landmarks'].shape) ax=plt.subplot(1,4,i+1) plt.tight_layout() ax.set_title('Sample #{}'.format(i)) ax.axis('off') show_landmarks(**sample) if i==3: plt.show() break
運行結果
七、數據變換
由上圖可以發現每張圖像的尺寸大小是不同的。絕大多數神經網路都嘉定圖像的尺寸相同。所以需要對圖像先進行預處理。創建三個轉換:
Rescale:縮放圖片
RandomCrop:對圖片進行隨機裁剪
ToTensor:把numpy格式圖片轉成torch格式圖片(交換坐標軸)和上面同樣的方式,將其寫成一個類,這樣就不需要在每次調用的時候川第一此參數,隻需要實現__call__的方法,必要的時候使用__init__方法
1、Function_Rescale
# 將樣本中的圖像重新縮放到給定的大小 class Rescale(object): def __init__(self,output_size): assert isinstance(output_size,(int,tuple)) self.output_size=output_size #output_size 為int或tuple,如果是元組輸出與output_size匹配, #如果是int,匹配較小的圖像邊緣到output_size保持縱橫比相同 def __call__(self,sample): image,landmarks=sample['image'],sample['landmarks'] h,w=image.shape[:2] if isinstance(self.output_size, int):#輸入參數是int if h>w: new_h,new_w=self.output_size*h/w,self.output_size else: new_h,new_w=self.output_size,self.output_size*w/h else:#輸入參數是元組 new_h,new_w=self.output_size new_h,new_w=int(new_h),int(new_w) img=transform.resize(image, (new_h,new_w)) landmarks=landmarks*[new_w/w,new_h/h] return {'image':img,'landmarks':landmarks}
2、Function_RandomCrop
# 隨機裁剪樣本中的圖像 class RandomCrop(object): def __init__(self,output_size): assert isinstance(output_size, (int,tuple)) if isinstance(output_size, int): self.output_size=(output_size,output_size) else: assert len(output_size)==2 self.output_size=output_size # 輸入參數依舊表示想要裁剪後圖像的尺寸,如果是元組其而包含兩個元素直接復制長寬,如果是int,則裁剪為方形 def __call__(self,sample): image,landmarks=sample['image'],sample['landmarks'] h,w=image.shape[:2] new_h,new_w=self.output_size #確定圖片裁剪位置 top=np.random.randint(0,h-new_h) left=np.random.randint(0,w-new_w) image=image[top:top+new_h,left:left+new_w] landmarks=landmarks-[left,top] return {'image':image,'landmarks':landmarks}
3、Function_ToTensor
#%% # 將樣本中的npdarray轉換為Tensor class ToTensor(object): def __call__(self,sample): image,landmarks=sample['image'],sample['landmarks'] image=image.transpose((2,0,1))#交換顏色軸 #numpy的圖片是:Height*Width*Color #torch的圖片是:Color*Height*Width return {'image':torch.from_numpy(image), 'landmarks':torch.from_numpy(landmarks)}
八、組合轉換
將上面編寫的類應用到實例中
Req: 把圖像的短邊調整為256,隨機裁剪(randomcrop)為224大小的正方形。即:組合一個Rescale和RandomCrop的變換。
#%% scale=Rescale(256) crop=RandomCrop(128) composed=transforms.Compose([Rescale(256),RandomCrop(224)]) # 在樣本上應用上述變換 fig=plt.figure() sample=face_dataset[65] for i,tsfrm in enumerate([scale,crop,composed]): transformed_sample=tsfrm(sample) ax=plt.subplot(1,3,i+1) plt.tight_layout() ax.set_title(type(tsfrm).__name__) show_landmarks(**transformed_sample) plt.show()
運行結果
九、迭代數據集
把這些整合起來以創建一個帶有組合轉換的數據集,總結一下沒每次這個數據集被采樣的時候:及時的從文件中讀取圖片,對讀取的圖片應用轉換,由於其中一部是隨機的randomcrop,數據被增強瞭。可以使用循環對創建的數據集執行同樣的操作
transformed_dataset=FaceLandmarksDataset(csv_file='D:/Python/Pytorch/data/faces/face_landmarks.csv', root_dir='D:/Python/Pytorch/data/faces/', transform=transforms.Compose([ Rescale(256), RandomCrop(224), ToTensor() ])) for i in range(len(transformed_dataset)): sample=transformed_dataset[i] print(i,sample['image'].size(),sample['landmarks'].size()) if i==3: break
運行結果
對所有數據集簡單使用for循環會犧牲很多功能——>麻煩,效率低!!改用多線程並行進行
torch.utils.data.DataLoader可以提供上述功能的迭代器。collate_fn參數可以決定如何對數據進行批處理,絕大多數情況下默認值就OK
transformed_dataset=FaceLandmarksDataset(csv_file='D:/Python/Pytorch/data/faces/face_landmarks.csv', root_dir='D:/Python/Pytorch/data/faces/', transform=transforms.Compose([ Rescale(256), RandomCrop(224), ToTensor() ])) for i in range(len(transformed_dataset)): sample=transformed_dataset[i] print(i,sample['image'].size(),sample['landmarks'].size()) if i==3: break
總結
本篇文章就到這裡瞭,希望能夠給你帶來幫助,也希望您能夠多多關註WalkonNet的更多內容!
推薦閱讀:
- 使用pytorch讀取數據集
- PyTorch數據讀取的實現示例
- pytorch 數據加載性能對比分析
- Pytorch DataLoader shuffle驗證方式
- Python 幾行代碼即可實現人臉識別