巨人天成
产经 科技 企业 数据 峰会 快讯 商业

声网开源TEN VAD与Turn Detection,赋能Voice Agent对话更自然流畅

2025-05-20来源:ITBEAR编辑:瑞雪

声网与RTE开发者社区携手,近期宣布了两项重要成果:TEN VAD与TEN Turn Detection模型的开源。这两款模型是声网基于其超过十年的实时语音技术研究,以及超低延迟技术积累所打造的,旨在大幅提升AI Agent的交互体验,使其更加自然流畅。作为开源项目,全球开发者均可自由使用、修改和贡献代码,它们也将作为开源对话式AI生态体系TEN的核心组件,持续进行优化迭代。

TEN VAD,一款轻量级、高性能的语音活动检测模型,凭借其超低延迟、低功耗和高准确率的特点,在语音输入大语言模型前的预处理阶段发挥着重要作用。它能够精确识别音频中的人声,并有效过滤掉背景噪音和静音段,不仅提升了语音识别(STT)的准确性,还显著降低了处理成本。与WebRTC Pitch VAD和Silero VAD相比,TEN VAD在公开测试集上展现出了更优越的表现,特别是在延迟方面,TEN VAD能够快速检测语音与非语音的切换,避免了因延迟导致的交互不畅。

TEN VAD已在Hugging Face和GitHub上开源,并配备了人工精标的数据集,方便开发者进行模型推理和评估。实际应用中,一个真实用户案例显示,使用TEN VAD后,音频传输数据量减少了62%,语音服务成本大幅降低。

另一款模型,TEN Turn Detection,则专注于解决人机对话中的一大难题:判断用户何时停止说话。在真实交流中,AI需要准确区分用户的“中途停顿”与“表达完毕”,以避免插话打断或回应迟缓。TEN Turn Detection支持全双工语音交互,允许用户和AI同时说话,使对话更加自然。该模型通过分析语言模式,判断说话者的状态,从而智能决定AI是“说”还是“听”,支持中英文,可供所有Voice Agent开发者使用。

在多场景测试数据集上,TEN Turn Detection与其他同类开源模型相比,表现出了优越的性能。当TEN VAD与TEN Turn Detection结合使用时,可以打造出更自然、反应更迅速、成本更低的Voice Agent。这两款模型都基于声网深厚的实时语音研究经验,拥有超低延迟、低功耗和高准确率的特点,且完全开源,采用Apache 2.0许可证。

使用这两款模型,AI Agent能够正确处理“打断”、“停顿”、“回应”等人类式交互,极大提升用户体验。同时,由于VAD能够准确识别语音帧,有效减少语音识别调用量,实测结果显示,两者合用能大幅降低总系统成本。这两款模型还可以作为TEN framework的插件模块使用,对于已经使用TEN framework的开发者,支持无缝集成;对于正在选型AI Agent框架的团队,TEN无疑是具备最佳VAD和轮次检测能力的选择之一。

为了快速体验这两款模型,开发者可以登录Hugging Face,打开TEN Agent Demo,进行模型测试和评估。这一开源举措,不仅为开发者提供了高质量的语音处理工具,也推动了对话式AI技术的进一步发展。

TLKS-PMG-TP装置:全天候精准监测,守护输电线路“体温”安全
TLKS-PMG-TP输电线路线夹及导线温度在线监测装置应运而生,以其高精度测温与全时段监测能力,为输电线路装上了一双“精准温控眼”。 TLKS-PMG-TP装置不仅提供实时监测,更实现了输电线路运维的智能…

2025-11-15

华为在阿根廷完成5G-A双场景验证 下行峰值速率创新高助力无线发展
无线业务的发展对网络性能提出了更高的要求,而阿根廷市场一直走在拉美创新无线技术探索的前列,本次创新测试验证了两种未来5G-A商用载波组合,包括覆盖更强,更易大规模部署的Sub3.5G TDD+FDD 3CC…

2025-11-14

Gartner发布2026十大技术趋势:AI主导变革,从“大而全”迈向“精而实”
近日,商业与技术洞察公司Gartner发布了2026年十大战略技术趋势:AI超级计算平台、多智能体系统、特定领域语言模型、AI安全平台、AI原生开发平台、机密计算、物理AI、前置式主动网络安全、数字溯源,以及…

2025-11-14

中国6G技术首阶段试验圆满收官,通信领域创新再启新程
在全球竞相布局6G的背景下,中国率先完成第一阶段技术试验,展现了其在通信领域的强大实力。此次试验涵盖了6G关键核心技术,测试了多种潜在技术和系统性能。业界普遍认为,6G网络将实现地面与卫星通信的融合,构建空…

2025-11-14

桥梁位移监测仪:精准感知位移 灵活部署续航 守护桥梁安全出行
这种方式能够利用清洁能源为设备持续供电,既体现了节能环保的理念,也巧妙地解决了在市政供电不便场景下的设备续航问题,保障了监测工作的不间断进行。为了便于现场操作与维护,桥梁位移监测仪还配备了便捷的配置方式。 …

2025-11-14

5.5G辐射危害健康?物理学者:比太阳光频率低,基站越密越安全
我当时听了都愣了,太阳光那不是好东西吗,怎么还跟信号辐射扯一块儿了? 最有意思的是,他说大家都觉得基站多了辐射就大,这完全是搞反了。之前吵得最凶的那个阿姨,现在天天用5.5G跟外地的孙子视频,还跟邻居说这新基…

2025-11-14

技嘉B860M冰雕主板深度评测:千元价位与酷睿Ultra的完美搭档
XMP AI Boost的DDR5-8200 CL40挡位也能够顺利开启,再叠加上高带宽、低延迟功能的性能加成之后,内存性能继续得到提升,但写入性能基本上是到顶了,主要是受限于B860芯片组主板无法调整CP…

2025-11-14

上海电信“双万兆”护航进博会:数智赋能通信保障,服务跨越语言距离
浦东机场T1电信营业厅及T2一站式服务中心电信柜台是进博会观众和外宾抵沪的“入境第一站”, 两处服务点均开设“进博专席”,为参展人员和往来旅客提供中英双语咨询、交通指引与爱心便民服务。未来,上海电信将持续夯…

2025-11-13

高光谱探测器助力宽带叠层扫描成像 开启3D高光谱成像新篇
最近的研究表明,能量分辨或高光谱探测器可以在某种程度上取代单色器的作用来执行,例如,在单次采集中使用宽带辐射进行边缘减影叠层扫描成像。利用这样的探测器,时间相干性变得可调(在探测器的能量分辨率的限制内)并且在…

2025-11-12

荣旭传媒技术破局:以专业方案化解直播痛点,成就高性价比之选
传统方案在视频、音频和网络方面存在诸多不足,而荣旭传媒通过先进的技术和专业的设备,有效解决了这些问题。传统方案的视频分辨率较低,画面不够清晰,而荣旭传媒的4K 超高清视频拍摄制作让画面质量有了质的提升;传统…

2025-11-12