Dub Genius

基于 GPT-SoVITS 的視頻剪輯快捷配音工具

?? 簡介

本項目是一個擁有 GUI 懸浮窗界面的 GPT-SoVITS 推理程序，可以通過模擬操作系統(tǒng)的文件拖拽信號，將合成的語音直接拖拽至視頻剪輯軟件（如 Adobe Premiere）的時間軸，更加方便地實現(xiàn)視頻的配音。

推理核心源碼基于 RVC-Boss/GPT-SoVITS 修改，GUI 界面基于 PySide6 實現(xiàn)，exe可執(zhí)行文件由 PyStand 編譯。

?? 截圖

?? 部署

可以直接下載帶有 exe 可執(zhí)行文件的整合包，也可以自行部署依賴環(huán)境并從命令行運行。

整合包

整合包自帶全部依賴和預(yù)訓(xùn)練模型，以及一個 Python 3.9.13 的嵌入式版本，可通過 exe 可執(zhí)行文件獨立運行。

	PyTorch版本	大小	下載地址
CPU推理版本	2.2.1	989 MB	OneDrive | 百度網(wǎng)盤
GPU推理版本	2.2.1+cu118	2.18 GB	OneDrive | 百度網(wǎng)盤

自行部署

克隆

git clone https://github.com/2DIPW/dub_genius.git
cd dub_genius

安裝依賴

如果有現(xiàn)成的為 RVC-Boss/GPT-SoVITS 配置的環(huán)境，為了節(jié)省空間，可以在其基礎(chǔ)上安裝 PySide6。

pip install pyside6

否則，請安裝全部依賴

pip install -r requirements.txt

配置 GPU 加速（可選）

安裝 CUDA 版本的 PyTorch

pip install torch --index-url https://download.pytorch.org/whl/cu118

配置預(yù)訓(xùn)練模型

本項目需要 RVC-Boss/GPT-SoVITS 中的GPT_SoVITS/pretrained_models 目錄下的 chinese-hubert-base和chinese-roberta-wwm-ext-large兩個預(yù)訓(xùn)練模型，置于pretrained目錄下。

運行

python dub_genius.py

?? 使用方法

1. 添加模型組： 首次使用自動進入模型組管理對話框，單擊添加，進入編輯模型組對話框

   • 填寫模型組名，并選擇 GPT 和 SoVITS 模型文件。
   • 單擊添加以添加參考音頻，別名和參考文本默認值取自文件名，可以通過雙擊進入編輯狀態(tài)來修改。單擊文件路徑可以重新指定該項的文件路徑。語言默認為中文，如需批量修改語言，選中它們所在的行，并通過批量修改語言為來修改。

2. 指定保存路徑： 單擊保存路徑文本框旁的...，設(shè)置滿意的合成結(jié)果將會保存到何處，通常設(shè)置為視頻剪輯項目所在的位置。

3. 輸入文本并合成語音： 單擊合成，合成完畢后會自動播放試聽，若滿意該條合成結(jié)果，單擊保存即可將其保存至設(shè)置的路徑，同時會將該條目添加至合成結(jié)果列表。

4. 拖拽至?xí)r間軸： 從合成結(jié)果列表中將所需的語音拖拽至視頻剪輯軟件時間軸，即可完成配音的添加。如還需添加字幕，雙擊合成結(jié)果列表的條目即可將該項所對應(yīng)的文本復(fù)制到剪貼板中。

? 開源聲明

本項目基于 RVC-Boss/GPT-SoVITS 修改，并以 GNU General Public License v3.0 開源

本項目的誕生離不開這些優(yōu)秀的開源項目：

• GPT-SoVITS：LGPL
• PySide 6：LGPL
• PyStand：MIT License
• FFmpeg：LGPL

本項目整合包基于 LGPL 2.1 協(xié)議包含一份 FFmpeg 的可執(zhí)行文件

本項目使用了由 Rafiico Creative Studio Co., Ltd. 基于 CC BY 3.0 DEED 協(xié)議共享的圖像素材

世界因開源更精彩