FARGAN:600 MFLOPS 的自回归 GAN 声码器

神经声码器在 TTS、低比特率语音编码、超分辨率和降噪里已经是标配,但在实时通信这类场景里,它往往就是整条链路里计算最重的一环——算法延迟要压到 20ms 以内,功耗还有硬约束。FARGAN(Framewise Autoregressive GAN)就是冲着这个约束去的:用显式的基音预测替代 Teacher-forcing,把自回归 GAN 声码器的复杂度压到 600 MFLOPS,同时质量不掉。

动机:三条技术路线各自的短板

  • 自回归模型(WaveNet、LPCNet)依赖显式密度估计和 Teacher-forcing,训练与推理之间存在暴露偏差,而且没法直接用 GAN 那套高级损失。
  • GAN 声码器(HiFi-GAN)避开了 Teacher-forcing,但都是非自回归的,缺少对音高和相位的归纳偏置,复杂度一降质量就崩。
  • CARGAN 把自回归和 GAN 结合起来,用历史上下文作隐式音高条件,思路对了,但复杂度仍然偏高。

FARGAN 的切入点是:把”音高”这件事显式建模,让模型不必靠上下文硬猜。

模型架构

整个网络分成帧级条件网络和子帧合成网络两部分。

帧级条件网络

输入是 10ms 间隔的 20 维声学特征:18 个 BFCC 系数,加上基音周期和浊音标志。这些特征经全连接层、卷积层和转置卷积层做 4 倍上采样,变成 2.5ms 间隔的子帧条件向量。另外单独引入一个 12 维基音嵌入,帮助模型更快学到音高相关的表示。

子帧合成网络

自回归的粒度是 2.5ms 子帧,也就是 40 个采样点,逐帧生成,完全不用 Teacher-forcing。这里有两条反馈路径:

  1. 直接反馈:上一个生成的子帧直接送进当前子帧,保证信号连续;
  2. 基音预测反馈(核心创新):拿输入的基音周期,直接从历史合成信号里取出一个周期之前的样本当作预测值。浊音段这个预测极其准确,清音段则通过门控机制把这条路径屏蔽掉。

再加上几个工程上的处理:用基于条件的增益归一化压缩动态范围,配合预加重滤波,使整个模型——权重和激活值都算——能整体做 8-bit 量化,存储和计算需求同时下降;自回归分量以跳跃连接注入到所有层而非只喂给输入层,用来缓解梯度消失、加快收敛。

训练策略

训练时直接展开时间步,自回归输入全部来自模型自己的合成输出,从根上消除了训练与推理的差异。

分两阶段:先用多分辨率频谱损失预训练约 47 万次更新,让模型先学会基本结构;再进入对抗训练,采用最小二乘 GAN(LSGAN)框架。

判别器的选择上有个值得记住的结论:只用多分辨率幅度 STFT 判别器,放弃了常用的时域判别器(Multi-period / Multi-scale)。原因是实验发现时域判别器对块级处理产生的微小不规则性过于敏感,反而把生成质量拉低了。总损失 = 对抗损失 + 特征匹配损失 + 预训练频谱损失。

实验结果

训练数据是 205 小时、覆盖 34 种语言/方言、900 多个说话人的混合 TTS 数据集。

客观指标。 FARGAN 在 PESQ、WARP-Q 和平均基音误差(MPE)上都优于 LPCNet、FWGAN 和 HiFi-GAN v3,基音准确度是所有对比系统里最高的。

主观 MOS。

  • 大模型(820k 参数):与高复杂度的 CARGAN、HiFi-GAN v1 统计持平,显著优于其他低复杂度声码器;
  • 小模型(500k 参数):与 LPCNet、FWGAN 持平,显著优于 HiFi-GAN v3。

泛化。 训练集里没有歌声和噪声数据,模型仍能较好地合成歌声、处理带噪语音——这在低复杂度模型上并不多见。

复杂度

对比对象 计算量关系 质量
LPCNet、HiFi-GAN v3 低约 5 倍 更高
CARGAN 低约 110 倍 相当
HiFi-GAN v1 低约 64 倍 相当

绝对值是 600 MFLOPS,权重小于 1MB,能完整放进现代 CPU 的 L2/L3 缓存。优化后的 C 语言实现在笔记本或手机 CPU 单核上只需 不到 1% 的算力就能实时运行。

小结

FARGAN 的意义在于打破了”高质量必高复杂度”这个默认权衡:显式基音预测给了自回归生成一个准确的先验,2.5ms 的子帧粒度又让计算和延迟都落在可接受区间。600 MFLOPS 配上不到 1MB 的模型体积,意味着神经声码器可以真正进到低功耗嵌入式设备和实时通信链路里,而不只是待在 GPU 上。代码已开源。


FARGAN:600 MFLOPS 的自回归 GAN 声码器
https://feibuguocanghai.github.io/2026/11/15/FARGAN-极低复杂度自回归GAN声码器/
作者
sonicAudio
发布于
2026-11-15
更新于
2026-11-15
许可协议