基於Python PaddleSpeech實現語音文字處理

Posted on by

前言

這段時間一直在研究飛漿平臺，最近試瞭試PaddleSpeech項目，試著對文本語音做處理。整體的效果個人覺著不算特別優越，隻能作為簡單的學習使用。

項目github地址：github倉庫

環境安裝

首先我們看一下項目結構以及安裝文檔。

需要Python3.7以上、C++環境、requirements安裝等等，下面按照我的順序說一下。

1、conda安裝Python3.9虛擬環境

使用conda安裝python3.9環境，命令如下。

conda create -n py39 python=3.9

2、安裝Visual Studio 2019

安裝地址: Microsoft C++ 生成工具 – Visual Studio

註意安裝的時候需要勾選C++桌面開發。

3、安裝requirements.txt

使用命令安裝requiremets.txt，命令如下：

pip install -r requirements.txt -i https://pypi.douban.com/simple

這裡要註意一下，paddlespeech_ctcdecoders安裝失敗的話無所謂，可以略掉。

4、安裝paddlepaddle和paddlespeech

命令如下：

pip install paddlepaddle -i https://mirror.baidu.com/pypi/simple
pip install paddlespeech -i https://pypi.tuna.tsinghua.edu.cn/simple

5、nltk_data下載

按照項目安裝文檔內的說明。

我的本地目錄地址如下

項目驗證

我下面分別驗證一下tts、asr以及標點恢復功能。

tts語音合成

使用命令如下：

paddlespeech tts --input "南京現在很冷，下次再去夫子廟吧。" --output C:\Users\xxx\Desktop\115.wav

執行過程

(dh_partner) D:\spyder\PaddleSpeech>paddlespeech tts --input "南京現在很冷，下次再去夫子廟吧。" --output C:\Users\xxx\Desktop\115.wav
phones_dict: None
[2022-01-05 17:23:43,642] [    INFO] [log.py] [L57] - File C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4.zip md5 checking...
[2022-01-05 17:23:44,742] [    INFO] [log.py] [L57] - Use pretrained model stored in: C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4
self.phones_dict: C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\phone_id_map.txt
[2022-01-05 17:23:44,743] [    INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4
[2022-01-05 17:23:44,744] [    INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\default.yaml
[2022-01-05 17:23:44,744] [    INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\snapshot_iter_76000.pdz
self.phones_dict: C:\Users\huyi\.paddlespeech\models\fastspeech2_csmsc-zh\fastspeech2_nosil_baker_ckpt_0.4\phone_id_map.txt
[2022-01-05 17:23:44,745] [    INFO] [log.py] [L57] - File C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4.zip md5 checking...
[2022-01-05 17:23:44,782] [    INFO] [log.py] [L57] - Use pretrained model stored in: C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4
[2022-01-05 17:23:44,783] [    INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4
[2022-01-05 17:23:44,783] [    INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4\pwg_default.yaml
[2022-01-05 17:23:44,785] [    INFO] [log.py] [L57] - C:\Users\huyi\.paddlespeech\models\pwgan_csmsc-zh\pwg_baker_ckpt_0.4\pwg_snapshot_iter_400000.pdz
vocab_size: 268
frontend done!
encoder_type is transformer
decoder_type is transformer
C:\Users\huyi\.conda\envs\dh_partner\lib\site-packages\paddle\framework\io.py:415: DeprecationWarning: Using or importing the ABCs from 'collections' instead of from 'collections.abc' i
s deprecated since Python 3.3, and in 3.10 it will stop working
  if isinstance(obj, collections.Iterable) and not isinstance(obj, (
acoustic model done!
voc done!
Building prefix dict from the default dictionary ...
[2022-01-05 17:23:51] [DEBUG] [__init__.py:113] Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\huyi\AppData\Local\Temp\jieba.cache
[2022-01-05 17:23:51] [DEBUG] [__init__.py:132] Loading model from cache C:\Users\huyi\AppData\Local\Temp\jieba.cache
Loading model cost 0.659 seconds.
[2022-01-05 17:23:52] [DEBUG] [__init__.py:164] Loading model cost 0.659 seconds.
Prefix dict has been built successfully.
[2022-01-05 17:23:52] [DEBUG] [__init__.py:166] Prefix dict has been built successfully.
C:\Users\huyi\.conda\envs\dh_partner\lib\site-packages\paddle\fluid\dygraph\math_op_patch.py:251: UserWarning: The dtype of left and right variables are not the same, left dtype is padd
le.int64, but right dtype is paddle.int32, the right dtype will convert to paddle.int64
  warnings.warn(
[2022-01-05 17:23:58,811] [    INFO] [log.py] [L57] - Wave file has been generated: C:\Users\xxx\Desktop\115.wav

生成的音頻如下

asr語音識別

我就使用瞭tts生成的音頻進行asr識別，看看效果，命令如下:

paddlespeech asr --lang zh --input C:\Users\xxx\Desktop\115.wav

執行結果如下

可以看到最後打印的內容是沒有標點的文字輸出，還是比較準的。

標點恢復

就用這句話試試標點恢復的情況，命令如下：

paddlespeech text --task punc --input 南京現在很冷下次再去夫子廟吧

執行結果

看起來語義上沒什麼問題。

總結

我在前言中說效果不是很好的主要原因是因為速率比較慢，相比於類似阿裡雲提供的tts、asr接口來說，效率比較低。也可能和需要校驗模型是否存在這些無關緊要的功能有關。可以考慮研究代碼，自己重新封裝一些服務，效果應該好的多。

到此這篇關於基於Python PaddleSpeech實現語音文字處理的文章就介紹到這瞭,更多相關Python PaddleSpeech語音文字處理內容請搜索WalkonNet以前的文章或繼續瀏覽下面的相關文章希望大傢以後多多支持WalkonNet！

推薦閱讀：