英伟达、Third Intelligence与腾讯把开源语音模型塞进单张显卡
Third Intelligence于10月30日以Apache License 2.0发布日语语音识别模型Haas-ja-v1.0,参数规模61580万。GIGAZINE在11月2日报道了这次发布,距英伟达公布自家开源转写模型过了五天。

转写和翻译过去大多按分钟卖,做成云端API,厂商按音频小时计价。权重开放、单张显卡就能跑的模型改变了这笔账。公司可以在内部处理录音,用自己的行话微调模型,不必把文件送到厂商那里。目前还不清楚的是,离开英语和普通话的基准测试之后准确率是否站得住,而公开数字恰恰在这两处最弱。
这批新发布里只有一个处理实时语音。腾讯的翻译模型走流式,英伟达的模型处理录音。
英伟达到底发布了什么
Nemotron 3.5 Transcribe一次完成转写、说话人标注、时间戳和翻译。它覆盖40种语言,最多标注8个说话人。英伟达把它做成混合专家结构。两篇报道对它的规模说法不一:SiliconANGLE和MarkTechPost给出的总参数与激活参数数字不同。技术报告称,多出来的权重放在多token预测模块和音频部分。每次请求用一段文字指令选择输出样式。公司把这模型定位成转写专用工具,不是通用助手。
权重提供BF16、约35 GB的FP8和约21 GB的NVFP4三种版本。最后一种小到能在RTX 5090上运行。
英伟达称,一块Blackwell Server Edition显卡在NVFP4精度、四分之一模型压缩下,三分钟内处理100小时音频。它也能跑在Jetson AGX Thor边缘计算机或DGX Spark桌面机上,从机器人脑子到数据中心部件都覆盖。英伟达把Granary语音数据集扩到v2:463062小时,覆盖48种语言、16个来源语料,v1时是25种语言。SiliconANGLE指出,该数据集与模型的训练混合数据是两回事。
基准成绩,以及它停在哪里
英伟达报告在九个公开英语Open ASR集上平均词错率4.71%,次优的开源模型Qwen3-ASR-1.7B为4.94%。这张表上仍有七个商业系统领先,最高的是OtterAI speech-v3.1的3.88%。在七个多语种集上,该模型报告平均词错率4.62%,Qwen3-ASR-1.7B为6.49%,而ElevenLabs Scribe v2达到3.56%。这里每个数字都是自报的。
公开数字里最弱的一项是AliMeeting普通话远场会议上的34.95% cpCER。对照的是英语平均4.71%。
SiliconANGLE从同一次发布里报出另一组数字。它引用30.8%的零样本错误率,精心写提示词后降到20.8%。它还引用微调后在Eka Care印度医疗语音基准上11.8%的词错率。两篇报道对同一模型的错误率对不上,也都没解释差距从哪来。
有一个数字指向另一边。给模型一份实体清单后,ContextASR-Bench上的命名实体词错率从12.21%降到2.20%。
小模型,单一语言
Haas-ja-v1.0押的是另一头:61580万参数,只做一种语言,而非40种。GIGAZINE报道说,它在日语转写上得分高于商业产品Gemini 3.5 transcribe,也是该媒体评测过的开源模型里最高的。它自己的测试中,4分19秒的音频在上传结束后0.32秒转写完成,有些专有名词需要人工改正。权重放在Hugging Face上,推理代码在GitHub上。
GIGAZINE的成本图表把Haas-ja-v1.0列为准确率相当的模型里推理成本最低的一个。这项比较用的是商业API价格和在日本跑H200的推理成本。
腾讯的Hy-SimulMT瞄准中英同声传译,在RealSI长文本基准上流式延迟约3秒。腾讯称其翻译质量分数超过了对比中的其他开源模型和五个商业API里的四个。发布内容包括权重、推理软件和训练工具。
在苹果平台上,AnySpeechRecognizer包封装了英伟达的Parakeet TDT 0.6B v3和阿里巴巴的Qwen3-ASR。Parakeet覆盖25种欧洲语言。Qwen3-ASR有6亿和17亿两个版本,覆盖30种语言和22种中文方言。
资料来源
28- 01Nvidia releases all-in-one adaptable Nemotron 3.5 audio transcription and translation modelEN
- 02Haas-ja-v1.0, a high-speed and highly accurate transcription AI specializing in Japanese, has been releasedEN
- 03NVIDIA Releases Nemotron 3.5 Transcribe: An Open 30B MoE Model for 40-Language TranscriptionEN
- 04Introducing AnySpeechRecognizer and AnyDecisionModel: Open Models for Speech and Decisions on Apple PlatformsEN
- 05Tencent open-sources AI model for real-time Chinese-English interpretationEN
- 06BYD teases new model for Guangzhou Auto Show, with next-gen Han expectedEN
- 07Anthropic is working on a system to prove AI models’ identityEN
- 08Nvidia is happy to take your money whether you're using open or closed models, says Jensen HuangEN
- 09 Google reveals new Gemini 4 Carbon AI model, narrowly beating Claude Opus 5.5 EN
- 10I Checked Out Tesla’s New Model YL, Standard Y, Model 3 In Person — Here’s What Surprised MeEN
- 11heise+ | Humanoide Roboter in Deutschland: Modelle, Preise und VerfügbarkeitEN
- 12Open models can do 90% of agentic work at a twentieth of the cost of a frontier LLM: GartnerEN
- 13Jülich Hosts EVE Language Model for Earth Observation and Earth ScienceEN
- 14Tutor Intelligence raises Series B to scale model training, robot deploymentsEN
- 15Westward Ho! First Trip Cross Country with Our New 2026 Tesla Model Y & Full Self Driving V14EN
- 16Google Launches LiteRT Tensor API for Building, Customizing, and Optimizing ML Models for On-DeviceEN
- 17Red Hat Patches 9.8-Rated Linux TCP RCE Flaw While Ubuntu Releases Fixes for TestingEN
- 18Reading between the lines of AI translation - RaconteurEN
- 19[10/29 AI Summary] Google Announces 'Gemini 4 Carbon', NVIDIA Releases Free Speech Recognition, Anthropic Nears IPOEN
- 20Was I wrong about open models & cyber risks?EN
- 21China touts AI milestone: models generate more tokens than used in trainingEN
- 22Final release for the 7.2 stable seriesEN
- 23V0.5.0 of PSSA: a non-transformer language modelEN
- 24File Mover Express: AWS Releases Open-Source Tool for S3 File TransfersEN
- 25Anthropic's Claude AI blocks video game cloning and reverse-engineeringEN
- 26Spring News Roundup: First Release Candidates of Boot, Framework, Data, Security, Modulith, AIEN
- 27How brain implants turn thoughts into speechEN
- 28Hiding Capabilities in AI ModelsEN
本文所有数字与引语均来自下列来源,未添加来源之外的内容。
本内容由编辑部在人工智能辅助下制作完成。
评论
0- 还没有评论——来说两句吧。