python 實現以相同規律打亂多組數據
在深度學習的數據訓練過程中,雖然tensorflow和pytorch都會自帶打亂數據進行訓練的方法,但是當我們自己生成數據,或者某些情況下依然要自己手動打亂順序。
這裡介紹如何以相同規律打亂X,Y兩組數據,多組數據相同道理。
第一種:(X,Y是list的格式,不是array)
產生相同的種子(seed)打亂順序:
import random seed =50 x_batch, y_batch,start_num = train_load_order_sharp_5_9(image_list, num, start_num,length) #加載我所有的數據,這裡想x_batch,Y_batch是list的格式,要註意 random.seed(seed) random.shuffle(x_batch) random.seed(seed)#一定得重復在寫一遍,和上面的seed要相同,不然y_batch和x_batch打亂順序會不一樣 random.shuffle(y_batch)
第二種:zip的方式,更加高效:(同第一種,X,Y是list的格式,不是array)
from random import shuffle shuffle_data=True if shuffle_data: c = list(zip(x_batch,y_batch)) shuffle(c) x_batch,y_batch = zip(*c)
舉個例子:
>>> a=[1,2,3,4] >>> b=[11,22,33,44] >>> c=list(zip(a,b)) >>> shuffle(c) >>> a,b = zip(*c) >>> a (2, 4, 3, 1) >>> b (22, 44, 33, 11) #這裡就讓a,b以相同的規律被打亂
補充:python打亂列表的方法解決問題_Python 如何隨機打亂列表(List)排序
現在有一個list:[1,2,3,4,5,6],我需要把這個list在輸出的時候,是以一種隨機打亂的形式輸出。
專業點的術語:將一個容器中的數據每次隨機逐個遍歷一遍。
註意:不是生成一個隨機的list集。
環境:
Python 3.6
解決方案:
方案一:
有人可能會通過Random內置函數,來間接實現想要的結果。但是這種方式,太原始,也不夠優雅,而且有種重復造輪子的嫌疑。這裡我就不貼我自己通過random實現的效果瞭。
方案二:
Random中有一個random.shuffle()方法提供瞭完美的解決方案。代碼如下:
x = [1,2,3,4,5,6] random.shuffle(x) print(x)
輸出結果:
第一次輸出內容:[6, 5, 1, 3, 2, 4]
第二次輸出內容:[6, 1, 3, 5, 2, 4]
第三次輸出內容:[5, 3, 1, 2, 4, 6]
從結果我們可以看出,輸出是完全隨機的,代碼量就兩行,不需要random,不需要for循環。
源碼解讀:
def shuffle(self, x, random=None): """Shuffle list x in place, and return None.
原位打亂列表,不生成新的列表。
Optional argument random is a 0-argument
function returning a random float in [0.0, 1.0);
if it is the default None,
the standard random.random will be used.
可選參數random是一個從0到參數的函數,返回[0.0,1.0)中的隨機浮點;
如果random是缺省值None,則將使用標準的random.random()。
""" if random is None: randbelow = self._randbelow for i in reversed(range(1, len(x))): # pick an element in x[:i+1] with which to exchange x[i] j = randbelow(i + 1) x[i], x[j] = x[j], x[i] else: _int = int for i in reversed(range(1, len(x))): # pick an element in x[:i+1] with which to exchange x[i] j = _int(random() * (i + 1)) x[i], x[j] = x[j], x[i]
註意 :
從代碼的註釋,我們看到random.shuffle()是對原list做修改,如果需要保留原list,請註意這個細節。
以上為個人經驗,希望能給大傢一個參考,也希望大傢多多支持WalkonNet。如有錯誤或未考慮完全的地方,望不吝賜教。
推薦閱讀:
- Python產生batch數據的操作
- Python中的sys模塊、random模塊和math模塊
- python中random模塊詳解
- 源碼解析python中randint函數的效率缺陷
- 初識python的numpy模塊