基於Python PaddleSpeech實現語音文字處理
前言
這段時間一直在研究飛漿平臺,最近試瞭試PaddleSpeech項目,試著對文本語音做處理。整體的效果個人覺著不算特別優越,隻能作為簡單的學習使用。
項目github地址:github倉庫
環境安裝
首先我們看一下項目結構以及安裝文檔。
需要Python3.7以上、C++環境、requirements安裝等等,下面按照我的順序說一下。
1、conda安裝Python3.9虛擬環境
使用conda安裝python3.9環境,命令如下。
conda create -n py39 python=3.9
2、安裝Visual Studio 2019
安裝地址: Microsoft C++ 生成工具 – Visual Studio
註意安裝的時候需要勾選C++桌面開發。
3、安裝requirements.txt
使用命令安裝requiremets.txt,命令如下:
pip install -r requirements.txt -i https://pypi.douban.com/simple
這裡要註意一下,paddlespeech_ctcdecoders安裝失敗的話無所謂,可以略掉。
4、安裝paddlepaddle和paddlespeech
命令如下:
pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple pip install paddlespeech -i https://pypi.tuna.tsinghua.edu.cn/simple
5、nltk_data下載
按照項目安裝文檔內的說明。
我的本地目錄地址如下
項目驗證
我下面分別驗證一下tts、asr以及標點恢復功能。
tts語音合成
使用命令如下:
paddlespeech tts --input "南京現在很冷,下次再去夫子廟吧。" --output C:\Users\xxx\Desktop\115.wav
執行過程
(dh_partner) D:\spyder\PaddleSpeech>paddlespeech tts --input "南京現在很冷,下次再去夫子廟吧。" --output C:\Users\xxx\Desktop\115.wav phones_dict: None [2022-01-05 17:23:43,642] [ INFO] [log.py] [L57] - File C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4.zip md5 checking... [2022-01-05 17:23:44,742] [ INFO] [log.py] [L57] - Use pretrained model stored in: C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4 self.phones_dict: C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\phone_id_map.txt [2022-01-05 17:23:44,743] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4 [2022-01-05 17:23:44,744] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\default.yaml [2022-01-05 17:23:44,744] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\snapshot_iter_76000.pdz self.phones_dict: C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\phone_id_map.txt [2022-01-05 17:23:44,745] [ INFO] [log.py] [L57] - File C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4.zip md5 checking... [2022-01-05 17:23:44,782] [ INFO] [log.py] [L57] - Use pretrained model stored in: C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4 [2022-01-05 17:23:44,783] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4 [2022-01-05 17:23:44,783] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4\pwg_default.yaml [2022-01-05 17:23:44,785] [ INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4\pwg_snapshot_iter_400000.pdz vocab_size: 268 frontend done! encoder_type is transformer decoder_type is transformer C:\Users\huyi\.conda\envs\dh_partner\lib\site-packages\paddle\framework\io.py:415: DeprecationWarning: Using or importing the ABCs from 'collections' instead of from 'collections.abc' i s deprecated since Python 3.3, and in 3.10 it will stop working if isinstance(obj, collections.Iterable) and not isinstance(obj, ( acoustic model done! voc done! Building prefix dict from the default dictionary ... [2022-01-05 17:23:51] [DEBUG] [__init__.py:113] Building prefix dict from the default dictionary ... Loading model from cache C:\Users\huyi\AppData\Local\Temp\jieba.cache [2022-01-05 17:23:51] [DEBUG] [__init__.py:132] Loading model from cache C:\Users\huyi\AppData\Local\Temp\jieba.cache Loading model cost 0.659 seconds. [2022-01-05 17:23:52] [DEBUG] [__init__.py:164] Loading model cost 0.659 seconds. Prefix dict has been built successfully. [2022-01-05 17:23:52] [DEBUG] [__init__.py:166] Prefix dict has been built successfully. C:\Users\huyi\.conda\envs\dh_partner\lib\site-packages\paddle\fluid\dygraph\math_op_patch.py:251: UserWarning: The dtype of left and right variables are not the same, left dtype is padd le.int64, but right dtype is paddle.int32, the right dtype will convert to paddle.int64 warnings.warn( [2022-01-05 17:23:58,811] [ INFO] [log.py] [L57] - Wave file has been generated: C:\Users\xxx\Desktop\115.wav
生成的音頻如下
asr語音識別
我就使用瞭tts生成的音頻進行asr識別,看看效果,命令如下:
paddlespeech asr --lang zh --input C:\Users\xxx\Desktop\115.wav
執行結果如下
可以看到最後打印的內容是沒有標點的文字輸出,還是比較準的。
標點恢復
就用這句話試試標點恢復的情況,命令如下:
paddlespeech text --task punc --input 南京現在很冷下次再去夫子廟吧
執行結果
看起來語義上沒什麼問題。
總結
我在前言中說效果不是很好的主要原因是因為速率比較慢,相比於類似阿裡雲提供的tts、asr接口來說,效率比較低。也可能和需要校驗模型是否存在這些無關緊要的功能有關。可以考慮研究代碼,自己重新封裝一些服務,效果應該好的多。
到此這篇關於基於Python PaddleSpeech實現語音文字處理的文章就介紹到這瞭,更多相關Python PaddleSpeech語音文字處理內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet!
推薦閱讀:
- Python Barbershop實現照片換發型功能
- Python實現圖片自定義裁剪小工具
- Python 虛擬環境的價值和常用命令詳解
- Python 圖片文字識別的實現之PaddleOCR
- conda虛擬環境默認路徑的修改方法