Vocos:用 ISTFT 替代转置卷积的声码器

论文信息

ICLR 2024 / Hubert Siuzdak(Gemelo AI)/ 开源:gemelo-ai/vocos

主流神经声码器基本走时域 GAN 这条路(HiFi-GAN、BigVGAN),靠转置卷积把特征逐级上采样到波形分辨率。这条路有两个代价:一是忽略了时频表示本身的归纳偏置,做了一堆冗余且昂贵的上采样;二是转置卷积天然带来混叠伪影,还得额外挂抗混叠模块去补。

傅里叶域看起来更合理——时频表示更贴近人耳感知,FFT 有成熟快速算法——但直接重建复值频谱图一直卡在相位恢复上:相位的感知重要性在文献里尚无定论,此前用 GAN 直接生成 STFT 系数的尝试也因训练不稳定而失败。

Vocos 的贡献就是把这个僵局推开:它是第一个能直接生成复数 STFT 系数的 GAN 声码器,全程不用转置卷积。

核心思路:全程等分辨率,一步 ISTFT

Vocos 的做法很干脆——完全放弃转置卷积,整个网络保持同一时间分辨率(各向同性架构),从频谱到波形的上采样只由一次逆快速傅里叶变换(ISTFT)完成。

对比项 传统时域声码器 Vocos
上采样方式 转置卷积(逐级放大数百倍) ISTFT(一步完成)
时间分辨率 逐层递增 全程保持不变
网络结构 ResBlock + 膨胀卷积 ConvNeXt Block
混叠问题 需要额外抗混叠模块 天然避免

省掉上采样等于省掉了网络里最贵的那部分,速度提升的数量级就来自这里。

生成器

骨干用 ConvNeXt:输入特征先嵌入到隐藏维度,再经过堆叠的 1D 卷积块。每个块是”深度卷积 → 倒置瓶颈(逐点卷积升维)→ GELU → LayerNorm”这套组合。注意它在低时间分辨率下替代的是膨胀卷积,不是因为流行——消融里换成 ResBlock 后各项指标一律下降。

输出头分幅度和相位两路。幅度走指数函数保证非负,即 M = exp(m)。

相位则输出 sin/cos 两个分量,落在单位圆上。这个参数化方式看似简单,实际是解决相位卷绕(phase wrapping)的关键——把相位约束在单位圆上,模型就不必去处理 2π 跳变。

判别器与损失

判别器由两部分构成:来自 HiFi-GAN 的多周期判别器(MPD),以及来自 UniVNet 的多分辨率判别器(MRD)。

损失用 Hinge 形式而非 LSGAN,三项相加:

  1. 重建损失 L_mel:真实与合成样本的 Mel 幅度谱之间的 L1 距离;
  2. 对抗损失:Hinge 形式的生成器/判别器损失;
  3. 特征匹配损失 L_feat:判别器各层特征图的 L1 距离均值。

实验结果

Mel 频谱图重建(LibriTTS,24kHz)

模型 UTMOS↑ VISQOL↑ PESQ↑ V/UV F1↑ Periodicity↓
HiFi-GAN 3.669 4.57 3.093 0.9457 0.129
iSTFTNet 3.564 4.56 2.942 0.9372 0.141
BigVGAN 3.749 4.65 3.693 0.9557 0.108
Vocos 3.734 4.66 3.70 0.9582 0.101

除 UTMOS 略低于 BigVGAN 外,VISQOL、PESQ、V/UV F1 和 Periodicity 全部最优。Periodicity 这一项值得单独看——周期性伪影是时域 GAN 的老毛病,Vocos 把它压到了最低。

主观评估上,Vocos MOS 3.62±0.15,与 BigVGAN 的 3.64±0.15 无统计显著差异;SMOS 4.55±0.15,略高于 BigVGAN 的 4.54±0.14。换句话说,速度提升三个数量级,感知质量不掉。

分布外泛化(MUSDB18)

在音乐数据集 MUSDB18 上,Vocos 在混合、鼓、贝斯、其他乐器、人声所有类别上都拿到最高 VISQOL。频谱图可视化显示,它不需要任何抗混叠模块就能准确重建高频谐波——这正好印证了 ISTFT 上采样的优势。

作为神经编解码器解码器

把 Vocos 当作 EnCodec 的解码器替换掉原解码器,主观 MOS 大幅领先:

带宽 Vocos MOS EnCodec MOS
1.5 kbps 2.73 1.09
3 kbps 3.50 1.71
6 kbps 3.84 2.41
12 kbps 4.00 3.08

低带宽下的差距尤其大(1.5 kbps 是 2.5 倍),说明这套傅里叶域重建对编码残差很宽容。Vocos 也可以作为 Bark TTS 系统的即插即用声码器。

推理速度

模型 GPU xRT↑ CPU xRT↑ 参数量
HiFi-GAN 495.54 5.84 14.0M
BigVGAN 98.61 0.40 14.0M
iSTFTNet 1045.94 14.44 13.3M
Vocos 6696.52 169.63 13.5M

GPU 上比 HiFi-GAN 快约 13 倍、比 BigVGAN 快约 70 倍;CPU 上优势更夸张,比 BigVGAN 快 400 倍以上。参数量反而是这几个里最大的,速度全部来自省掉的上采样。

消融

变体 影响
绝对相位(tanh) 质量明显下降,证明隐式相位卷绕的重要性
Snake 激活函数 略有下降,因为 Vocos 已通过傅里叶基函数显式引入了周期性,不需要额外的周期激活
去掉 ConvNeXt(换 ResBlock) 所有指标下降,ConvNeXt 对 Vocos 是必需的

MDCT 变体的失败(附录)

论文还试了用修正离散余弦变换(MDCT)替代 STFT,探索了 symexp 和 sign 两种参数化方式,结果都显著弱于 STFT 基线。作者的解释是:STFT 的冗余性对生成任务是有利的,MDCT 的临界采样特性反而让 GAN 难以建模。这个负结果挺有价值——它说明”更紧致的表示”在生成任务里未必是优势。

总结

Vocos 的核心贡献可以归为五点:

  1. 首个直接生成复数 STFT 系数的 GAN 声码器,全程无需转置卷积;
  2. 单位圆相位激活,用极简的方式解决相位卷绕,为相位建模提供归纳偏置;
  3. ConvNeXt 骨干,在低时间分辨率下替代膨胀卷积,效果更好;
  4. 数量级的速度提升,靠 ISTFT 替代转置卷积实现;
  5. 质量匹配 SOTA,主客观评估都在最先进水平,同时缓解了周期性伪影。

更长远的意义在于它打破了”时域 GAN 主导声码器”这个范式:把信号处理的先验知识(傅里叶基的周期性、共轭对称性)当作归纳偏置嵌进网络结构,比让网络自己从数据里学这些约束要高效得多。这条思路对音频合成之外的问题同样成立。


Vocos:用 ISTFT 替代转置卷积的声码器
https://feibuguocanghai.github.io/2026/11/15/Vocos-傅里叶域声码器/
作者
sonicAudio
发布于
2026-11-15
更新于
2026-11-15
许可协议