Pytorch如何加載自己的數據集(使用DataLoader讀取Dataset)

Posted on by

1.Pytorch加載數據集會用到官方整理好的數據集

很多時候我們需要加載自己的數據集，這時候我們需要使用Dataset和DataLoader

  • Dataset：是被封裝進DataLoader裡，實現該方法封裝自己的數據和標簽。
  • DataLoader：被封裝入DataLoaderIter裡，實現該方法達到數據的劃分。

2.Dataset

閱讀源碼後，我們可以指導，繼承該方法必須實現兩個方法：

  • _getitem_()
  • _len_()

因此，在實現過程中我們測試如下：

import torch
import numpy as np

# 定義GetLoader類，繼承Dataset方法，並重寫__getitem__()和__len__()方法
class GetLoader(torch.utils.data.Dataset):
	# 初始化函數，得到數據
    def __init__(self, data_root, data_label):
        self.data = data_root
        self.label = data_label
    # index是根據batchsize劃分數據後得到的索引，最後將data和對應的labels進行一起返回
    def __getitem__(self, index):
        data = self.data[index]
        labels = self.label[index]
        return data, labels
    # 該函數返回數據大小長度，目的是DataLoader方便劃分，如果不知道大小，DataLoader會一臉懵逼
    def __len__(self):
        return len(self.data)

# 隨機生成數據，大小為10 * 20列
source_data = np.random.rand(10, 20)
# 隨機生成標簽，大小為10 * 1列
source_label = np.random.randint(0,2,(10, 1))
# 通過GetLoader將數據進行加載，返回Dataset對象，包含data和labels
torch_data = GetLoader(source_data, source_label)

3.DataLoader

提供對Dataset的操作，操作如下：

torch.utils.data.DataLoader(dataset,batch_size,shuffle,drop_last，num_workers)

參數含義如下：

  • dataset：加載torch.utils.data.Dataset對象數據
  • batch_size：每個batch的大小
  • shuffle：是否對數據進行打亂
  • drop_last：是否對無法整除的最後一個datasize進行丟棄
  • num_workers：表示加載的時候子進程數

因此，在實現過程中我們測試如下（緊跟上述用例）：

from torch.utils.data import DataLoader

# 讀取數據
datas = DataLoader(torch_data, batch_size=6, shuffle=True, drop_last=False, num_workers=2)

此時，我們的數據已經加載完畢瞭，隻需要在訓練過程中使用即可。

4.查看數據

我們可以通過迭代器（enumerate）進行輸出數據，測試如下：

for i, data in enumerate(datas):
	# i表示第幾個batch， data表示該batch對應的數據，包含data和對應的labels
    print("第 {} 個Batch \n{}".format(i, data))

輸出結果如下圖：

結果說明：由於數據的是10個，batchsize大小為6，且drop_last=False，因此第一個大小為6，第二個為4。

每一個batch中包含data和對應的labels。

當我們想取出data和對應的labels時候，隻需要用下表就可以啦，測試如下：

# 表示輸出數據
print(data[0])
# 表示輸出標簽
print(data[1])

結果如圖：

5.總結

以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。

推薦閱讀：