python批量翻譯excel表格中的英文

Posted on by

需求背景

女朋友的論文需要爬取YouTube視頻熱評，但爬下來的都是外文。

主要設計

  •  讀取一個表格文件，獲取需要翻譯的文本
  •  使用百度翻譯 API 進行翻譯，獲取翻譯結果
  •  將翻譯結果保存到原表格中，然後提取需要的列組成一個新的 DataFrame
  •  處理多個表格文件，將它們的翻譯結果分別保存
  •  使用線程池加速翻譯過程，可以同時翻譯多個表格
  •  顯示進度條

分析

  • 目標文件為xlsx格式，可以借助pandas進行讀取文件和生成文件的操作。在這裡我的源文件有若幹列，其中第2列評論內容為我的目標列。
  • 在這裡我用的是百度翻譯api接口。也可以googletrans、translate，這些庫可以在本地使用，不需要申請API密鑰，但是翻譯質量和速度可能不如雲服務。
  • 由於我每個表格有2000行數據，總共有10個表格，一個個來的話不僅麻煩效率還低。
  • 我需要知道任務的進度，不想一直等下去

具體實現

表格操作

def TranslateTable(sInputFilename, sOutputFilename):
    # 讀取表格A並選擇需要翻譯的列
    df_a = pd.read_excel(sInputFilename) # 獲取df對象
    df_a = df_a.iloc[:, [1, 2]]  # iloc和loc很像，i=index，
    # 翻譯英文列
    df_a['translation'] = df_a.iloc[:, 0].apply(Translate)
    # 創建表格B並保存
    df_b = pd.DataFrame({
        '原文': df_a.iloc[:, 0],
        '譯文': df_a.iloc[:, 2]
    })
    df_b.to_excel(sOutputFilename, index=False)

請求百度翻譯api

def Translate(sText, from_lang='en', to_lang='zh'):
    appid = 'xxxxxx'
    secret_key = 'xxxxxx'
    url = 'https://fanyi-api.baidu.com/api/trans/vip/translate'
    salt = random.randint(32768, 65536)
    sign = hashlib.md5((appid + sText + str(salt) + secret_key).encode()).hexdigest()
    params = {
        'q': sText,
        'from': from_lang,
        'to': to_lang,
        'appid': appid,
        'salt': salt,
        'sign': sign
    }
    response = requests.get(url, params=params)
    result = json.loads(response.content.decode())
    if result.get('error_code') is not None:
        return None
    return result['trans_result'][0]['dst']

多線程

使用concurrent.futures庫中的 ThreadPoolExecutor類來實現多線程處理。

  • 創建一個 ThreadPoolExecutor對象。
  • 在循環中遍歷每個表格A，並使用 submit方法向線程池提交任務。 submit方法將表格A的文件名和表格B的文件名作為參數傳遞給 translate_column函數，該函數將在單獨的線程中執行。

ThreadPoolExecutor會自動管理線程池的大小，並在有空閑線程時分配新任務。這種方式可以利用多個CPU核心來並行處理多個表格，提高處理速度。

def TranslateTables(sInputFolder, sOutputFolder):
    sInputFilenames = [os.path.join(sInputFolder, f) for f in os.listdir(sInputFolder) if f.endswith('.xlsx')]
    with ThreadPoolExecutor() as executor:
        lstFutures = []
        for sInputFilename in sInputFilenames:
            sFilename = os.path.splitext(os.path.basename(sInputFilename))[0]
            sOutputFilename = os.path.join(sOutputFolder, sFilename + '_翻譯結果.xlsx')
            lstFutures.append(executor.submit(TranslateTable, sInputFilename, sOutputFilename))
        for future in tqdm(as_completed(lstFutures), total=len(lstFutures)):
            pass

控制臺顯示進度

使用 concurrent.futures.as_completed 函數顯示進度條。

完整源碼

# -*- coding: utf-8 -*-
# time: 2022/2/17 03:06
# file: test.py
# author: Shi Yasong

"""
主要功能功能：
    1、讀取一個表格文件，獲取需要翻譯的文本。
    2、使用百度翻譯 API 進行翻譯，獲取翻譯結果。
    3、將翻譯結果保存到原表格中，然後提取需要的列組成一個新的 DataFrame。
    4、處理多個表格文件，將它們的翻譯結果合並到一個 DataFrame 中，然後分別保存。
    5、使用線程池加速翻譯過程，可以同時翻譯多個表格
    6、使用  concurrent.futures.as_completed 函數顯示進度條。
"""


from concurrent.futures import ThreadPoolExecutor, as_completed
from tqdm import tqdm  # 進度條庫，需要先安裝

import pandas as pd
import requests
import json
import os
import hashlib
import random


def Translate(sText, from_lang='en', to_lang='zh'):
    appid = 'xxxx'
    secret_key = 'xxxxx'
    url = 'https://fanyi-api.baidu.com/api/trans/vip/translate'
    salt = random.randint(32768, 65536)
    sign = hashlib.md5((appid + sText + str(salt) + secret_key).encode()).hexdigest()
    params = {
        'q': sText,
        'from': from_lang,
        'to': to_lang,
        'appid': appid,
        'salt': salt,
        'sign': sign
    }
    response = requests.get(url, params=params)
    result = json.loads(response.content.decode())
    if result.get('error_code') is not None:
        return None
    return result['trans_result'][0]['dst']


def TranslateTable(sInputFilename, sOutputFilename):
    # 讀取表格A並選擇需要翻譯的列
    df_a = pd.read_excel(sInputFilename) # 獲取df對象
    df_a = df_a.iloc[:, [1, 2]]  # iloc和loc很像，i=index，
    # 翻譯英文列
    df_a['translation'] = df_a.iloc[:, 0].apply(Translate)
    # 創建表格B並保存
    df_b = pd.DataFrame({
        '原文': df_a.iloc[:, 0],
        '譯文': df_a.iloc[:, 2]
    })
    df_b.to_excel(sOutputFilename, index=False)


def TranslateTables(sInputFolder, sOutputFolder):
    sInputFilenames = [os.path.join(sInputFolder, f) for f in os.listdir(sInputFolder) if f.endswith('.xlsx')]
    with ThreadPoolExecutor() as executor:
        lstFutures = []
        for sInputFilename in sInputFilenames:
            sFilename = os.path.splitext(os.path.basename(sInputFilename))[0]
            sOutputFilename = os.path.join(sOutputFolder, sFilename + '_翻譯結果.xlsx')
            lstFutures.append(executor.submit(TranslateTable, sInputFilename, sOutputFilename))
        for future in tqdm(as_completed(lstFutures), total=len(lstFutures)):
            pass


# 調用函數翻譯多個表格
sInputFolder = r'C:\Users\lenovo\Desktop\english'  # 修改為實際的表格文件夾路徑
sOutputFolder = r'C:\Users\lenovo\Desktop\zh'  # 修改為實際的表格文件夾路徑
TranslateTables(sInputFolder, sOutputFolder)

到此這篇關於python批量翻譯excel表格中的英文的文章就介紹到這瞭,更多相關python批量翻譯內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：