暖转接与冷转接:如何选择正确的通话转接方式
ElevenAgents 支持三种通话转接类型,其中原生 Twilio 集成上的 Conference Transfer 可向人工坐席传递暖转接信息。暖转接在接通前向接收方提供来电者背景,冷转接则直接接通、不传递任何上下文,另有介于两者之间的温转接。复杂或敏感问题适合暖转接,简单、高并发的路由场景适合冷转接。
ElevenAgents 支持三种通话转接类型,其中原生 Twilio 集成上的 Conference Transfer 可向人工坐席传递暖转接信息。暖转接在接通前向接收方提供来电者背景,冷转接则直接接通、不传递任何上下文,另有介于两者之间的温转接。复杂或敏感问题适合暖转接,简单、高并发的路由场景适合冷转接。
开发者基于 NVIDIA Nemotron Voice Agent 搭建了万圣节互动投影装置 MonsterHouse,由 Nemotron ASR 负责听、Nemotron 3.5 Bolt E4B 4GB 负责对话、Magpie TTS Zeroshot 负责发声、Audio2Face-3D 驱动嘴部动画,全部跑在一台工作站上。
TELUS Digital 基于 ElevenAgents 构建外呼语音智能体,主动联系新开通家庭互联网的客户,使收到电话的客户 30 天退订率不到整体新客户的一半。
ElevenLabs 发文解析对话式 AI 的轮次切换机制,即模型判断何时回复、保持发言或静默倾听的规则体系。其 ElevenAgents 采用自适应计时,结合语音活动检测与语义分析,配合 Eleven v4 Turbo 时从请求到可听语音的中位延迟为 142 ms。工程团队可通过响应延迟和打断率衡量对话流畅度。
ElevenLabs 发布新一代音效模型 SFX v3,已在 ElevenCreative 和 ElevenAPI 上线。相比 SFX v2,它更能可靠处理单条提示词中描述多个声音的场景,音乐与人声生成更可信,在基准测试中音质更干净自然,并减少了锣、铃、哨声等音效的杂音。
IBM 发布 Granite Switch 4.1.1 补丁版本,与 4.1 完全向后兼容、无需迁移,基础模型未改动,仅更新适配器即可部署。此次更新包括支持 10 种语言、自带标点与大小写的 Granite Speech ASR 模型,以及在 Jev Decision Index 测试集上表现提升的 granitelib-core Decision 适配器。
AnySpeechRecognizer 与 AnyDecisionModel 两个 Swift 包发布,前者在 Apple 的 SpeechAnalyzer API 下可切换 Parakeet、Qwen3-ASR 等识别引擎并新增说话人分离,后者以概率而非生成文本的方式回答是非、多选和评分问题。
对话式 AI 通过处理自然语言请求为银行客户提供 24/7 支持,无需增加运营成本即可解答常规问题、验证身份并处理支付纠纷。这类系统依靠严格的网络安全协议,并遵循 SOC 2 Type II、ISO 17001 和 PCI DSS 合规要求来保护金融数据。运营负责人可通过首次接触解决率和升级频率等指标衡量各类银行聊天机器人用例的表现。
ElevenLabs 发布强制对齐模型 Cue,可将音频中每个字符定位到精确时间轴,覆盖 90 多种基准语言,并已用于 Scribe 语音转文字流程。在 29 种语言的基准测试中,Cue 在真实录音上的准确率高于团队测试的所有对齐工具;处理一小时音频约需半秒,而次快的 Qwen3-ForcedAligner 接近 2 秒。
Baseten 对开源模型 Qwen3-ASR 1.7B 的推理栈做了优化,在单张 RTX PRO 6000、64 并发下批式转写吞吐较原生 vLLM 提升 7 倍以上,5 分钟音频的实时倍率达到 2,645 倍。
Databricks 提出语音智能体的"对话层 + 大脑"架构,由 LiveKit 承载通话、Deepgram 负责语音转文字与默认音色、ElevenLabs 提供表现力音色,Databricks 提供负责上下文、本体与治理的"大脑"。
NVIDIA 在 Hugging Face 和 ModelScope 上发布开放权重模型 Nemotron 3.5 Transcribe,把转写、说话人分离、翻译和音频问答合并到一个 checkpoint,支持 40 种语言转写、31 种语言与英语互译、13 种语言说话人标注,可处理最长 1 小时录音并标注最多 8 位说话人。
推荐理由:原文给出多语言转写与说话人分离的榜单成绩,并附可复用的数据管线和微调配方,便于判断落地成本。
NVIDIA 为 RTX Spark Windows 笔记本带来一批更新,包括开放权重的语音模型 Nemotron 3.5 Transcribe、NVIDIA App 中在前后台应用与后台 Agent 之间分配 GPU 资源的控制项,以及 LFM3 系列模型的 day-zero 支持。
ElevenLabs 在首届印度峰会上与卡纳塔克邦政府签署 MoU,探索将语音 AI 用于市民服务、语音安全与声音恢复。合作将率先从申诉处理、公共热线和福利申领试点切入,平台支持卡纳达语及其他 13 种印度官方语言。ElevenLabs 还将部署涵盖深度伪造检测、水印、授权与防欺诈的安全框架,并通过 One Million Voices 计划为符合条件的居民提供免费终身语音重建许可。
Lettuce 的增长团队用 ElevenCreative 中的 Ads Engine 连接 Meta 账户,把表现最好的广告在约 45 秒内生成新版本并推回投放,创意成本降低约 75%,单条线索成本比其他同期创意低 40% 至 60%。团队只需用提示词描述改动,创意总监和效果营销人员审核后即可上线,当前 Meta 表现最佳的广告正是经过 15 到 20 次迭代产出。
ElevenLabs 宣布与西班牙 ALS 协会 adELA 合作,为西班牙 ALS 患者免费提供语音修复与保存技术,这是 ElevenLabs Impact Program 在西班牙的首个项目,西班牙也成为该技术首个通过全国性患者协会开放的国家。
ElevenLabs 发布指南,介绍如何用语音转文字、LLM 和文字转语音搭建实时 AI 语音助手管线,并建议将往返响应控制在 500 ms 以内、配合 VAD 保持自然对话。指南还要求接入内部知识库与业务工具,并在复杂或情绪化查询时转接人工坐席。开发者可通过 ElevenAPI 直接调用语音模型,或用 ElevenAgents 托管平台完成配置、测试与分析。
Retell 使用 OpenAI 模型支撑每月 1 亿次通话,GPT-6 Astra 在其语音智能体基准测试中排名第一。Codex 还帮助 Retell 实现每位员工 160 万美元的年化营收。
ElevenLabs 在英美加澳欧等地开展三项购物者研究,让多数人先实际使用其语音智能体再作答,结果近半数选择"说和听",约 30% 选择"说和看屏幕文字"。在找礼物、比价等六项任务中语音均居首,但对比两款产品时三种方式几乎平分。问题越严重购物者越不愿交给智能体:晚到货 56% 选智能体,错误扣费仅 34%;若智能体失败过一次,错误扣费场景下 61% 要求转人工。
Apple Intelligence 的 Siri AI 今日起支持简体中文、繁体中文、丹麦语、荷兰语、法语、德语、意大利语、日语、韩语、挪威语、葡萄牙语、西班牙语、瑞典语、土耳其语和越南语等语言。
PyTorch 团队将多语言流式 ASR 模型 Nemotron 3.5 经 ExecuTorch 部署到 Google Pixel 11,并分析其端侧执行表现。
Amazon Polly 生成式引擎完成升级,语音输出更自然准确且延迟更低,新增 14 种语音、覆盖 9 个 locale,Hindi 和 Finnish 首次在生成式引擎上正式可用。
在 Amazon SageMaker AI 上部署 Kokoro-82M 文本转语音模型,可让 AI 语音智能体每生成一句就立即流式合成,无需等完整回复结束再开始播报。
针对 Amazon SageMaker AI 上自托管 TTS 端点自动扩缩容目标值靠猜的问题,该方案将 82M 参数的 Kokoro-82M 以自定义容器部署在实时端点上,用实测的 Q_max(单实例在 SLO 内可承受的最高并发)和 T_total(一次扩容端到端耗时)推算扩容阈值、缩容阈值与两个冷却时间。
IBM 更新 Granite Speech 系列,新增 granite-speech-5.0-2b,并修订 granite-speech-5.0-470m-turboctc 和 granite-speech-4.1-2b-plus。
Mistral 发布 Voxtral 3 语音模型家族,包含支持 50+ 语言的转录模型 Voxtral Small Transcribe 3、支持 35+ 语言和 50+ 方言的 TTS 模型 Voxtral Mini TTS 3,以及基于 LiveKit 的语音智能体 SDK。
推荐理由:原文给出语音模型与智能体 SDK 的完整能力、定价和部署方式,便于判断实时语音智能体的落地成本。