Python中tqdm的使用和例子

Posted on by

1. tqdm的介紹

有時候在使用Python處理比較耗時操作的時候，為瞭便於觀察處理進度，這時候就需要通過進度條將處理情況進行可視化展示，以便我們能夠及時瞭解情況。

tqdm就能非常完美的支持和解決這些問題，可以實時輸出處理進度而且占用的CPU資源非常少，支持windows、Linux、mac等系統，支持①循環處理、②多進程、③遞歸處理、還可以結合Linux的命令來查看處理情況，等進度展示。

1.1 tqdm導入

# 方法1
import tqdm

# 方法2
from tqdm import tqdm

建議使用方法1，因為方法1導入的是一個lib，而方法2導入的是tqdm.tqdm方法
使用方法2導入就沒辦法使用tqdm.trange()等方法瞭

2. tqdm.tqdm()對可迭代對象進行封裝

2.1 語法

# 方法1
for i in tqdm.tqdm(可迭代對象):
	pass

# 方法2
for idx, i in enumerate(tqdm.tqdm(可迭代對象)):
	pass

對於可以迭代的對象都可以使用tqdm進行封裝實現可視化進度，使用起來非常方便。

2.2 例子

import tqdm
import time

# 定義一個可迭代對象
a = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]

# 正常的遍歷（沒有進度條）
for idx, element in enumerate(a):
    print(f"No.{idx}: {element}")
    
# 使用tqdm對可迭代對象進行包裝，實現進度條可視化
for idx, element in enumerate(tqdm.tqdm(a)):
    time.sleep(0.5)
    print(f"No.{idx}: {element}")

結果如下：

Q：為什麼結果會一直新建一行?

A：這是因為每次的print內容都不一樣，為瞭能夠顯示新的內容，所以會這樣。

我們看下面這個程序，它因為沒有控制臺輸出，所以進度條就很正常。

2.3 帶有參數的tqdm.tqdm()

Q：進度條可以加一些其他信息嗎？

A：當然可以，需要對tqdm進行一些參數調整

@staticmethod
def format_meter(n, total, elapsed, ncols=None, prefix='', ascii=False, unit='it',
                 unit_scale=False, rate=None, bar_format=None, postfix=None,
                 unit_divisor=1000, initial=0, colour=None, **extra_kwargs):
  • iterable: 可迭代的對象, 在⼿動更新時不需要進⾏設置
  • desc: 字符串, 左邊進度條描述⽂字
  • total: 總的項⽬數
  • leave: bool值, 迭代完成後是否保留進度條
  • file: 輸出指向位置, 默認是終端, ⼀般不需要設置
  • ncols: 調整進度條寬度, 默認是根據環境⾃動調節長度, 如果設置為0, 就沒有進度條, 隻有輸出的信息
  • unit: 描述處理項⽬的⽂字, 默認是it, 例如: 100 it/s, 處理照⽚的話設置為img ,則為 100 img/s
  • unit_scale: ⾃動根據國際標準進⾏項⽬處理速度單位的換算, 例如 100000 it/s >> 100k it/s
  • colour: 進度條顏色

2.3.1 例子1

import tqdm
import time
d = {'loss':0.2,'learn':0.8}

"""
    desc設置名稱
    ncols設置進度條長度 -> 建議設置在100以內
    postfix以字典形式傳入詳細信息
"""
for i in tqdm.tqdm(range(50),desc='名稱',ncols=100,postfix=d):
    time.sleep(0.1)
    pass

其中xxxit/s表示每秒迭代的次數

2.3.2 例子2

import tqdm
import time

iter_object = range(10, 21)
pbar = tqdm.tqdm(iter_object, 
                 total=len(iter_object),
                 leave=True, 
                 ncols=100, 
                 unit="個", 
                 unit_scale=False, 
                 colour="red")

for idx, element in enumerate(pbar):
    time.sleep(0.5)
    pbar.set_description(f"No.{idx}")
    pbar.set_postfix({"正在處理的元素為": element})

3. 自定義進度條顯示信息

Q：我就是想print一些東西，可以嗎？

A：當然可以，tqdm提供瞭兩個個方法：

  1. set_description()
  2. ​​​​​​​set_postfix()

這兩個方法就類似於print，可以在進度條中顯示一些變動的信息

3.1 例子1

import tqdm
import time


# 在使用set_description時一般會創建一個tqdm.tqdm()對象
pbar = tqdm.tqdm(["a", "b", "c", "d", "e", "f", "g"])

for idx, element in enumerate(pbar):
    time.sleep(1)
    pbar.set_description(f"No.{idx}: {element}")

3.2 例子2

import tqdm
import time
import random

epochs = 150

# 在使用set_description()和set_postfix()時一般會創建一個tqdm.tqdm()對象
pbar = tqdm.tqdm(range(epochs), ncols=100)  # ncols設置進度條顯示的字符長度，小瞭就顯示不全瞭

for idx, element in enumerate(pbar):
    time.sleep(0.01)
    pbar.set_description(f"Epoch {idx}/{epochs}")
    pbar.set_postfix({"class": element}, loss=random.random(), cost_time = random.randrange(0, 100))

3.3 兩種方法傳參註意事項

set_description和set_postfix都用的kwargs傳參，所以我們可以：

  1. 用字典傳參 -> pbar.set_postfix({"key_1": "value_1", …})
  2. 直接用關鍵字傳參 -> pbar.set_postfix(key_1 = value_1, key_2 = value_2, …)
  3. 混著用 -> pbar.set_postfix({"key_1": value_1, "key_2": value_2, …}, key_3 = value_3, …)

4. tqdm內置生成可迭代對象方法 —— trange()

除瞭tqdm.tqdm(range(xxx))這樣的寫法外，tqdm也提供瞭類似的方法，即tqdm.trange(xxx)，例子如下：

import tqdm
import time

pbar = tqdm.trange(300, 400, 1)

for idx, element in enumerate(pbar):
    time.sleep(0.01)
    pbar.set_description(f"No.{idx} -> {element}")

5. 自定義方法更新進度

有時候我們不僅僅是通過一個for訓練來更新進度條，我們也希望在做完某些操作後更新一次進度條，代碼如下：

import tqdm
import time

with tqdm.tqdm(total=10) as bar:  # total為進度條總的迭代次數
    # 操作1
    time.sleep(1)
    # 更新進度條
    bar.update(1)  # bar.update()裡面的數表示更新的次數，和optimizer.step方法類似
    
    # 操作2
    time.sleep(2)
    # 更新進度條
    bar.update(3)
    
    # 操作3
    time.sleep(1)
    # 更新進度條
    bar.update(6)  # 建議不要超過total

參考

  • https://www.jb51.net/article/218860.htm
  • https://www.jb51.net/article/166648.htm
  • https://blog.csdn.net/qq_41554005/article/details/117297861

總結

到此這篇關於Python中tqdm使用的文章就介紹到這瞭,更多相關tqdm使用例子內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：