一段四十多分钟的会,三个人,中间抢了两次话。想把录音变成能看的纪要,通常得走三步:先把声音转成文字,再听一遍标“说话人1、说话人2”,最后对时间戳。转写工具只干第一步,后面两步还是人工。
10 月 20 日,阿里通义在 arXiv 公开了一份技术报告,主角是 Qwen-Audio-3.1-ASR。它想做的,是把这三步压进一个模型。
最直接的变化在输出:转写结果自带说话人标签、时间戳和文本,换人时标签能接上,两个人同时开口,也能各自成段。arXiv
行话叫“说话人分轨”。过去这通常要单独接一个分离模型,再把结果和转写对齐;对齐一旦出错,整段纪要就得重听。
官方对这套模型的描述是,支持 30 种语言和 16 种中文方言,首字响应约 160 毫秒,边说边转写。微博哔哩哔哩
在四个多人会议测试集的八项指标里,两个版本合起来,把所有第一都拿了。知乎
以 AISHELL-4 为例,Qwen-Audio-3.1-ASR-Flash-Next 的 cpWER 是 14.17,MOSS-Transcribe-Diarize 是 16.04。
Meta 的 Muse-Voice 是 19.82,Gemini-3.5-Transcribe 是 37.00。
cpWER 同时算“字错”和“人错”,越低越好。

方言的差距更直观。内部 16 方言测试集上,它的平均字错率是 10.38%,豆包是 20.23%,腾讯是 17.13%。
最难的是温州话:通义 19.21%,两家对照分别是 68.22% 和 64.74%。arXiv
如果要把方言翻成普通话,通义在 11 种方言上的平均语义句准率是 82.10%。温州话 83.69%,两家对照分别只有 2.38% 和 4.33%。知乎

温州话声调多、连读重,很多工具干脆认不出。错误率从“三句错两句”降到“五句错一句”,对要整理访谈、课堂录音的人来说,是能不能用的区别。
但这份报告讲的是模型能力,不是一次面向普通用户的更新。说话人分轨只出现在非流式版本里,实时字幕那种场景暂时拿不到“谁在说”的标签。
普通话朗读测试上,它也不是全面第一:AISHELL-1 的字错率 1.08%,略高于 Fun-ASR-Flash 的 0.76%。
以上数字都来自通义自己的评测,第三方复现之前只能当参考。它真正强的地方在“难”的那部分:多人、方言、杂音、抢话。
干净环境下的听写早就够用了。真正耗人的是会后那两小时:把一堆没有名字的句子,还原成谁在什么时间说了什么。谁先做顺这件事,谁就能接手会议纪要这门苦活。

登录