谷歌发布SoundStorm： 高效的并行音频生成

谷歌发布SoundStorm： 高效的并行音频生成

近年来，生成式人工智能的进展使得在文本、视觉和音频等多个领域中创造新内容成为可能。这些模型通常依赖于将原始数据首先转换为一系列标记的压缩格式。在音频方面，神经音频编解码器可以将波形有效地压缩为紧凑的表示形式，这可以被反转以重构原始音频信号的近似值。通过将音频表示为一系列离散的标记，可以使用基于Transformer的序列到序列模型进行音频生成。与AutoLM等许多生成音频模型不同，SoundStorm能够并行生成标记，从而将推理时间减少了100倍，并产生了相同质量的音频和更高的语音和声学条件一致性。