LiteCASS:1.06M 参数跑实时立体声电影音频分离

电影音频源分离(Cinematic Audio Source Separation,CASS)要把一条混合音轨拆成对白、音乐、音效三条 stem。现有的 MRX、BandIt、AV-CASS 动辄 30M 参数以上,必须靠 GPU 才能实时;更麻烦的是它们几乎都只处理单声道,而真实电影音轨是立体声甚至多声道的,分离时还得把声像这类空间线索一起保住。

LiteCASS 是西南财经大学、小米汽车与武汉大学合作的一篇 ICASSP 工作,目标很明确:做一个能在 CPU 上实时跑、又专门针对立体声的轻量端到端网络。最终模型只有 1.06M 参数、0.72G MACs/s,单核 CPU 上 RTF 0.014。

三个关键设计

设计 做法
子带重排(Subband Rearrangement) 无参数操作:去掉 Nyquist 频点后,把 F−1 个频点切成 K 段折叠进通道维,频率轴缩短 K 倍,得到 Z ∈ R^{KC×F′×L},不丢失任何频谱信息
级联双子带 U-Net U-Net① 从混音中估计对白(以及中间的非语音分量 ŷ_ns);U-Net② 再从非语音分量中分出音乐与音效。这个层级结构与电影音频”语音稀疏、音乐音效长尾”的分布特点吻合
混合可分离卷积 分辨率最高、计算最贵的外侧两层:通道扩展层用深度可分离卷积(DW),通道保持/压缩层用蓝图可分离卷积(BP);内层仍用标准卷积

其余部分是常规但关键的组合:整个网络工作在 STFT 域,输入幅度谱、输出实值 sigmoid 掩码作用于复数谱,从而保留混合相位——这一条是它能天然保住空间线索的原因;最后 iSTFT 重建波形。损失是多任务波形域 ℓ1,包含三条 stem 以及一个非语音残差正则项。

子带重排是省算力的核心。频点折叠进通道后,频率轴变短 K 倍,后续卷积在高分辨率维度上的开销随之下降,而信息量一点没丢——比起直接降采样或裁频带,这种”重排”是无损的。

实验设置

数据。 DnRv3,6000 条训练 / 600 验证 / 1200 测试,每条约 60 秒。原始数据是单声道,作者用三种线性运算把它空间化,自建了 DnRv3-stereo:恒定功率声像、Haas 延迟、mid/side 展宽。空间布局按语义分配——对白居中、音乐做宽立体声、音效偏前侧分布,48kHz,联合峰值归一化。

配置。 STFT 窗长 42.7ms、hop 10.7ms、DFT 点数 2048(1025 个频点);K 取 8 或 16,通道配置 [KC, 32, 64, 64, 64, 64];512 帧片段训练 200 epoch,batch 64,Adam 峰值学习率 1e-4 余弦退火到 1e-6,损失权重 λ_sp=0.3、λ_mu=λ_sx=1.0,A800 显卡。

结果。

  • LiteCASS-K8 仅 1.06M 参数、0.72G MACs/s,比基线小约 28 到 35 倍;Intel Xeon 8358 单核 CPU 上 RTF 0.014,远超实时要求;
  • 平均 SI-SDR 9.50 dB、SI-SDRi 16.16 dB,是所有对比系统里最好的,音效分离尤其领先;
  • 空间保真度(ILD/ITD/ICC 误差)优于两个纯音频基线,只输给用上了视觉信息的 AV-CASS。

复现性评估

如果打算复现,这篇论文的公开程度是分层的,值得按风险拆开看。

高风险:自建数据集只有方法名,没有参数

论文自称提供的是”reproducible spatialized version of DnRv3”,但只列了三种线性运算的名字,具体参数一个都没给:

  • 恒定功率声像的 pan 角度/位置分布范围,”对白近中央、音乐宽、音效偏前侧”只是定性描述;
  • Haas 延迟的具体时长(常见做法是 5–30ms,论文未给)以及施加方式;
  • mid/side 展宽的展宽系数;
  • 每条 clip、每个 stem 的参数随机化策略与随机种子;
  • “联合峰值归一化”的精确流程:逐 clip 做还是混音前后做?目标峰值是多少?

数据集决定了全部实验数字。仅凭论文无法重建同一份训练/测试数据,这是复现的第一道硬伤。

高风险:网络结构仍有模糊处

  • 卷积核尺寸、padding 等基本参数缺失。文中说明每个 block 有两层卷积,但 kernel size 没写;
  • DW/BP 的选择规则给了原则(通道扩展用 DW、保持或压缩用 BP),逐层如何分配仍需自行推断;
  • U-Net② 的输入接口不明确:非语音分量 ŷ_ns 是以掩码后的复数谱送入第二个子带重排,还是先重建波形再 STFT?图 2 在这里有歧义;
  • 立体声下掩码是双通道共享还是独立预测,未说明;
  • 残差项 ‖ŷ_ns − (y_mu + y_sx)‖₁ 的权重 λ_ns 没给,只给了 λ_sp、λ_mu、λ_sx。

中风险:训练与评测细节缺口

  • 代码和预训练模型都没有发布,正文没有任何开源链接;
  • 数据采样与增广策略(512 帧片段怎么裁、是否随机)、验证集选模标准、权重初始化均未提及;
  • 基线 MRX / BandIt / AV-CASS 在立体声数据上按”原始配置”从零训练——单声道架构怎么适配立体声没说,而 AV-CASS 需要视频输入,所用视觉数据完全没交代;
  • PESQ 的模式(宽带还是窄带、48k→16k 如何重采样)、ILD/ITD/ICC 误差的帧长与频带、SI-SDRi 的参考实现,评测细节不完整;
  • RTF 与 MACs 的测量协议(是否绑核、怎么绑)未说明。

结论

维度 评价
已公开 STFT 参数、K、通道配置、训练超参(epoch/batch/LR/损失权重)、数据集划分
部分公开 网络整体结构(需靠图 2 推断细节)、空间化方法(有名称无参数)
未公开 空间化具体参数与随机化策略、卷积核细节、λ_ns、代码与权重、AV-CASS 的视觉数据

总体判断:框架层面大致可复现,方法描述足够完整,工程上能跑通一个近似版本;数字层面难以复现,自建立体声数据集的参数缺失会让训练分布偏移,所有 SDR 与空间指标都对不上。

现实的路径有两条:一是邮件联系作者(nnpan@swufe.edu.cn)索取空间化脚本与代码;二是自己设计一套合理的空间化参数,并在报告里如实声明结果与原文不可直接比较。后者其实是更常见的做法——空间化方案本身就有大量设计自由度,明确写清楚反而比”复现失败”更有价值。


LiteCASS:1.06M 参数跑实时立体声电影音频分离
https://feibuguocanghai.github.io/2026/11/15/LiteCASS-实时立体声电影音频源分离/
作者
sonicAudio
发布于
2026-11-15
更新于
2026-11-15
许可协议