TurnVoice：将YouTube视频的声音重新翻译替换

工具软件1年前 (2023)发布 AI观察员

162 0 0

项目简介

一个命令行工具，用于转换 (YouTube) 视频中的语音，并具有附加翻译功能。它号称可以：
– 语音替换：去除人声轨道并重新组合以保留原始背景音频
– 对发言人分类：替换视频中特定说话人的声音

特征

语音转换
使用免费的 Coqui TTS 转语音，无需任何运营成本 (supports voice cloning)
声音种类
支持流行的 TTS 引擎，例如 Elevenlabs、OpenAI TTS 或 Azure，以提供更多语音。2
翻译
由免费深度翻译器提供支持，零成本翻译视频。
改变说话风格 (AI powered)
使用提示，使每一个口语句子都以自定义的说话风格呈现，以获得独特的风格。
完全渲染控制
通过自定义句子文本、时间和语音选择来精确控制渲染。
本地视频处理
处理任何本地视频文件。
背景音频保存
保持原始背景音频完好无损。

安装

pip install turnvoice

为了使用 GPU 更快地渲染，请在安装后准备 CUDA 环境：

For CUDA 11.8 对于 CUDA 11.8
pip install torch==2.1.1+cu118 torchaudio==2.1.1+cu118 –index-url https://download.pytorch.org/whl/cu118

For CUDA 12.1 对于 CUDA 12.1
pip install torch==2.1.1+cu118 torchaudio==2.1.1+cu211 –index-url https://download.pytorch.org/whl/cu211

用法

turnvoice [-i] <YouTube URL|ID|Local File> [-l] <Translation Language> -e <Engine(s)> -v <Voice(s)> -o <Output File>

示例命令

Arthur Morgan 讲述烹饪教程：

turnvoice -i AmC9SmCBUj4 -v arthur.wav -o cooking_with_arthur.mp4

参数解释：

-i 、 –in ：输入视频。接受 YouTube 视频 URL 或 ID，或本地视频文件的路径。
-l 、 –language ：翻译语言。Coqui 合成支持：en、es、fr、de、it、pt、pl、tr、ru、nl、cs、ar、zh、ja、hu、ko。省略保留原始视频语言。
-il 、 –input_language ：转录的语言代码，自动检测失败时设置。
-v 、 –voice ：用于合成的声音。接受多个值来替换多个扬声器。
-o 、 –output_video ：最终输出视频的文件名（默认值：’final_cut.mp4’）。
-a 、 –analysis ：打印转录和说话人分析，无需合成或渲染视频。
-from ：开始处理视频的时间。
-to ：停止处理视频的时间。
-e 、 –engine ：用于合成的引擎。可以是 coqui、elevenlabs、azure、openai 或 system。接受多个值，链接到提交的声音。
-s 、 –speaker ：要转换的发言人编号。
-snum 、 –num_speakers ：帮助二值化。如果您事先知道，请指定视频中发言者的确切数量。
-smin 、 –min_speakers ：帮助二值化。如果您事先知道，请指定视频中的最少发言者人数。
-smax 、 –max_speakers ：帮助二值化。如果您事先知道，请指定视频中发言者的最大数量。
-dd 、 –download_directory ：保存下载文件的目录（默认值：“downloads”）。
-sd 、 –synthesis_directory ：保存合成音频文件的目录（默认值：’synthesis’）。
-exoff 、 –extractoff ：禁用从视频文件中提取音频。从互联网下载音频和视频。
-c 、 –clean_audio ：从最终视频中删除原始音频，从而获得清晰的合成效果。
-tf 、 –timefile ：定义要处理的时间戳文件（类似于多个 –from/–to 命令的功能）。
-p 、 –prompt ：定义提示以将样式更改应用于诸如“captain jack sparrow 的说话风格”之类的句子 3
-prep 、 –prepare ：编写包含说话人分析、句子转换和翻译的完整脚本，但不执行合成或渲染。可以继续。
-r 、 –render ：采用完整脚本，仅对其进行合成和渲染，但不进行说话人分析、句子转换或翻译。