Vocos:用 ISTFT 替代转置卷积的声码器
论文信息
ICLR 2024 / Hubert Siuzdak(Gemelo AI)/ 开源:gemelo-ai/vocos
主流神经声码器基本走时域 GAN 这条路(HiFi-GAN、BigVGAN),靠转置卷积把特征逐级上采样到波形分辨率。这条路有两个代价:一是忽略了时频表示本身的归纳偏置,做了一堆冗余且昂贵的上采样;二是转置卷积天然带来混叠伪影,还得额外挂抗混叠模块去补。
傅里叶域看起来更合理——时频表示更贴近人耳感知,FFT 有成熟快速算法——但直接重建复值频谱图一直卡在相位恢复上:相位的感知重要性在文献里尚无定论,此前用 GAN 直接生成 STFT 系数的尝试也因训练不稳定而失败。
Vocos 的贡献就是把这个僵局推开:它是第一个能直接生成复数 STFT 系数的 GAN 声码器,全程不用转置卷积。
核心思路:全程等分辨率,一步 ISTFT
Vocos 的做法很干脆——完全放弃转置卷积,整个网络保持同一时间分辨率(各向同性架构),从频谱到波形的上采样只由一次逆快速傅里叶变换(ISTFT)完成。
| 对比项 | 传统时域声码器 | Vocos |
|---|---|---|
| 上采样方式 | 转置卷积(逐级放大数百倍) | ISTFT(一步完成) |
| 时间分辨率 | 逐层递增 | 全程保持不变 |
| 网络结构 | ResBlock + 膨胀卷积 | ConvNeXt Block |
| 混叠问题 | 需要额外抗混叠模块 | 天然避免 |
省掉上采样等于省掉了网络里最贵的那部分,速度提升的数量级就来自这里。
生成器
骨干用 ConvNeXt:输入特征先嵌入到隐藏维度,再经过堆叠的 1D 卷积块。每个块是”深度卷积 → 倒置瓶颈(逐点卷积升维)→ GELU → LayerNorm”这套组合。注意它在低时间分辨率下替代的是膨胀卷积,不是因为流行——消融里换成 ResBlock 后各项指标一律下降。
输出头分幅度和相位两路。幅度走指数函数保证非负,即 M = exp(m)。
相位则输出 sin/cos 两个分量,落在单位圆上。这个参数化方式看似简单,实际是解决相位卷绕(phase wrapping)的关键——把相位约束在单位圆上,模型就不必去处理 2π 跳变。
判别器与损失
判别器由两部分构成:来自 HiFi-GAN 的多周期判别器(MPD),以及来自 UniVNet 的多分辨率判别器(MRD)。
损失用 Hinge 形式而非 LSGAN,三项相加:
- 重建损失
L_mel:真实与合成样本的 Mel 幅度谱之间的 L1 距离; - 对抗损失:Hinge 形式的生成器/判别器损失;
- 特征匹配损失
L_feat:判别器各层特征图的 L1 距离均值。
实验结果
Mel 频谱图重建(LibriTTS,24kHz)
| 模型 | UTMOS↑ | VISQOL↑ | PESQ↑ | V/UV F1↑ | Periodicity↓ |
|---|---|---|---|---|---|
| HiFi-GAN | 3.669 | 4.57 | 3.093 | 0.9457 | 0.129 |
| iSTFTNet | 3.564 | 4.56 | 2.942 | 0.9372 | 0.141 |
| BigVGAN | 3.749 | 4.65 | 3.693 | 0.9557 | 0.108 |
| Vocos | 3.734 | 4.66 | 3.70 | 0.9582 | 0.101 |
除 UTMOS 略低于 BigVGAN 外,VISQOL、PESQ、V/UV F1 和 Periodicity 全部最优。Periodicity 这一项值得单独看——周期性伪影是时域 GAN 的老毛病,Vocos 把它压到了最低。
主观评估上,Vocos MOS 3.62±0.15,与 BigVGAN 的 3.64±0.15 无统计显著差异;SMOS 4.55±0.15,略高于 BigVGAN 的 4.54±0.14。换句话说,速度提升三个数量级,感知质量不掉。
分布外泛化(MUSDB18)
在音乐数据集 MUSDB18 上,Vocos 在混合、鼓、贝斯、其他乐器、人声所有类别上都拿到最高 VISQOL。频谱图可视化显示,它不需要任何抗混叠模块就能准确重建高频谐波——这正好印证了 ISTFT 上采样的优势。
作为神经编解码器解码器
把 Vocos 当作 EnCodec 的解码器替换掉原解码器,主观 MOS 大幅领先:
| 带宽 | Vocos MOS | EnCodec MOS |
|---|---|---|
| 1.5 kbps | 2.73 | 1.09 |
| 3 kbps | 3.50 | 1.71 |
| 6 kbps | 3.84 | 2.41 |
| 12 kbps | 4.00 | 3.08 |
低带宽下的差距尤其大(1.5 kbps 是 2.5 倍),说明这套傅里叶域重建对编码残差很宽容。Vocos 也可以作为 Bark TTS 系统的即插即用声码器。
推理速度
| 模型 | GPU xRT↑ | CPU xRT↑ | 参数量 |
|---|---|---|---|
| HiFi-GAN | 495.54 | 5.84 | 14.0M |
| BigVGAN | 98.61 | 0.40 | 14.0M |
| iSTFTNet | 1045.94 | 14.44 | 13.3M |
| Vocos | 6696.52 | 169.63 | 13.5M |
GPU 上比 HiFi-GAN 快约 13 倍、比 BigVGAN 快约 70 倍;CPU 上优势更夸张,比 BigVGAN 快 400 倍以上。参数量反而是这几个里最大的,速度全部来自省掉的上采样。
消融
| 变体 | 影响 |
|---|---|
| 绝对相位(tanh) | 质量明显下降,证明隐式相位卷绕的重要性 |
| Snake 激活函数 | 略有下降,因为 Vocos 已通过傅里叶基函数显式引入了周期性,不需要额外的周期激活 |
| 去掉 ConvNeXt(换 ResBlock) | 所有指标下降,ConvNeXt 对 Vocos 是必需的 |
MDCT 变体的失败(附录)
论文还试了用修正离散余弦变换(MDCT)替代 STFT,探索了 symexp 和 sign 两种参数化方式,结果都显著弱于 STFT 基线。作者的解释是:STFT 的冗余性对生成任务是有利的,MDCT 的临界采样特性反而让 GAN 难以建模。这个负结果挺有价值——它说明”更紧致的表示”在生成任务里未必是优势。
总结
Vocos 的核心贡献可以归为五点:
- 首个直接生成复数 STFT 系数的 GAN 声码器,全程无需转置卷积;
- 单位圆相位激活,用极简的方式解决相位卷绕,为相位建模提供归纳偏置;
- ConvNeXt 骨干,在低时间分辨率下替代膨胀卷积,效果更好;
- 数量级的速度提升,靠 ISTFT 替代转置卷积实现;
- 质量匹配 SOTA,主客观评估都在最先进水平,同时缓解了周期性伪影。
更长远的意义在于它打破了”时域 GAN 主导声码器”这个范式:把信号处理的先验知识(傅里叶基的周期性、共轭对称性)当作归纳偏置嵌进网络结构,比让网络自己从数据里学这些约束要高效得多。这条思路对音频合成之外的问题同样成立。