一场跨国会议结束后，秘书处通常需要逐字稿，也需要一份便于不同部门使用的记录。法务部门关心每句话由谁说出、是否涉及承诺；研发团队需要保留技术术语与数字，市场部门希望得到经过整理的发言记录；如果有人交替使用英语和另一种语言，还要在同一时间轴上完成翻译。过去，服务商往往让自动语音识别、说话人分离、标点整理、术语纠正和翻译系统串联工作，任何一环的错误都会传到下一环。10月28日NVIDIA发布Nemotron 3.5 Transcribe，尝试用可接受自然语言指令的语音增强语言模型，统一处理这些差异很大的文本需求。[1]
根据NVIDIA研究页面和开发者博客，这款开放权重模型支持40种语言的转写、最长一小时录音、针对13种语言的说话人归属、最多八位说话人的标注，以及31种语言与英语之间的翻译。它能按要求输出逐字稿、规范书写版本、带说话人标识的词级时间戳，甚至从录音中回答问题。研发团队同时发布Granary-v2数据整理系统；完整处理集合覆盖约84.36万小时独立音频，模型之外，多任务训练数据如何组织也值得细看。与传统识别器相比，它允许用户用指令指定输出形式；企业要处理的，则是这些不同版本如何进入现有资料系统。[1][2][3]
一、转写准确之外，还要定义输出用途
自动语音识别长期使用词错误率WER评价性能。它把替换、删除、插入的词数加起来，再除以参考文本的词数。若一份1000词的英文转写中出现25次替换、15次删除和10次插入，WER就是5%。这个指标适合比较标准数据集上的识别效果，但在真实工作环境中，“字面准确”未必等于“业务可用”：一段口语里重复的词、停顿和语气词，对法庭取证可能重要，对企业新闻稿却是编辑负担；口述的“二十五点六”可以写成中文数字，也可以写成“25.6”，不同场景对格式的要求不一样。
NVIDIA的设计把输出样式交给任务指令决定。在保真转写模式下，系统尽量保留发言原貌；在整理模式下，处理部分口语冗余；在语境转写模式下，调用用户给定的词汇背景，把容易混淆的姓名、产品型号和专业词优先纳入识别候选；在说话人归属模式下，文本和发言者的身份标签共同产生。开发人员于是可以围绕一段录音生成几份不同用途的结果，而无需为每个业务场景重新训练一套完整识别系统。企业由此可以把转写、说话人信息和时间戳整理成结构化资料，再接入搜索、摘要、审批和知识库。[1]
公开测试给出了可供比较的数字：NVIDIA称模型在Hugging Face英文Open ASR公开九组测试上的平均WER为4.71%，多语言榜单均值为4.62%，并在指定的ContextASR-Bench上使预期实体识别错误下降约六倍。但测试范围也要说清楚：不同榜单的音频分布、词表和语言权重并不一致，英文平均词错误率不能直接等同于普通话识别准确率，更不能推断企业内部录音也有同等表现。对于受噪声、口音和领域缩写影响明显的场景，企业自己的测试集仍然是最终依据。[1][4]
二、30B参数背后，编码器、说话人模型和MoE如何协同
Nemotron 3.5 Transcribe没有直接把原始音频交给通用聊天模型。NVIDIA使用Transformer语音编码器提取声学特征，引入冻结的Nemotron 3 Diarization说话人分离模型，再将其与Nemotron 3.5 Lightning 30B-A3B混合专家语言模型结合。官方给出的整体活跃参数量约43亿；模型检查点以30B-A4B命名。这里需要区分“总参数规模”和“每一步推理实际激活的参数”：MoE架构可以在较大的专家集合中选择部分计算路径，因此在保持模型容量的同时控制部分运算成本，但显存占用仍与权重格式、缓存和服务方式有关。[1]
过去常见的做法是先跑一个ASR模型，再让另一套算法对音频分段并标记说话人，最后用时间戳把两者拼接。真实会议里，抢话和重叠说话会让这条流水线产生对齐困难。NVIDIA采用Parallel Expert Encoder思路，将冻结的说话人模型输出注入语音编码器表示，训练语言模型按序输出带归属关系的内容。词级时间戳则由轻量CTC适配器在解码后完成对齐。这样既利用了专门的声学和说话人信息，也使语言模型能够根据业务指令决定最终文本表达形式。它把多个模块纳入同一推理流程，仍保留必要的对齐等后处理。[1]
长音频还会考验上下文管理。一小时会议中，某个专有名词可能在开头解释，后面才不断出现；同一个发言者可能多次插话，语义内容和身份线索跨越很长时间。系统不仅要记住声音模式，还要保持术语、数字和上下文的一致性。对于知识型应用，稳定的时间轴尤其重要：当摘要声称“研发总监承诺下周完成验收”，使用者最好能够点击句子跳转到原始录音，而不是依靠模型生成的无来源断言。词级时间戳让检索结果和审计记录能定位到原始片段。
三、Granary-v2的数据整理和质量过滤
与模型一起发布的Granary-v2，将语音数据处理流程本身公开为研究主题。NVIDIA披露，数据整理覆盖的语言由前一版25种增加到48种，完整处理集合约84.36万小时独立音频；其中约14.28万小时被处理为译入英语的音频翻译数据，约5.5万小时英语音频生成面向31种目标语言的翻译数据。研究团队公开的是整理管线、训练配方和部分标签及指令目标对，并未声称把全部原始音频都无条件开放。音频版权、使用许可与隐私要求仍由数据来源决定。[3]
训练数据的组织方式也影响模型学到什么。同一段录音可以对应多个目标：忠实逐字稿、去除冗余后的书面文本、带上下文术语的版本、跨语言输出以及文本派生的问答对。模型因此学习到任务指令与预期输出之间的关系。研发团队还使用基于答案Token量的样本配比方法，避免某些输出较长的任务在训练中占据过大比例。Granary-v2研究提供了一个细节：在相同训练步数条件下，通过质量过滤，相关英文ASR评测的非加权平均WER从4.91%下降到4.67%。这一实验中的差异来自质量过滤，并非模型规模变化。[3]
企业也可以从标注规范入手。企业要把语音AI用于法务访谈、技术维修记录或者医疗术语转写，可以先建立高质量标注规范：专业名词表、数字书写规则、说话人匿名编码、口语修订标准与敏感信息处理流程。只有这些规则清晰，模型微调才有稳定目标。NVIDIA披露，在17项适配任务中，按其测试条件，部分微调过程可在单GPU上用约0.5—2.3 GPU小时完成。在其测试条件下，这个工时给领域适配提供了参考；实际微调所需内存、数据量和效果，仍取决于模型版本与运行环境。[1]
四、2238秒音频每秒的吞吐量，测的是什么
NVIDIA给出了一项引人注目的服务器性能指标：使用Nemotron Transcribe NIM、NVFP4量化检查点和DFlash2推测解码，在单块RTX PRO 6000 Blackwell GPU上，可达到每秒处理2238秒音频的吞吐量。这是单卡批量处理音频的吞吐测试结果，不能据此推断会议用户说完一句话后能在毫秒级收到完整答案。实时字幕需要处理数据分帧、首字延迟、网络传输和持续增量修正，而这款模型当前重点定位录制音频的转写。[1][4]
高吞吐的实现涉及模型本身与服务框架两部分。Multi-Token Prediction让模型提前预测多个后续Token，DFlash2则提供辅助草稿模型进行推测解码；在部分条件下，可以减少串行生成瓶颈。量化检查点降低权重存储与数据传输压力，但服务性能仍取决于GPU架构、批大小、音频长度分布和精度要求。NVIDIA同时提供BF16、FP8、NVFP4以及GGUF等不同格式的检查点，并发布NeMo Speech与相关开发工具。本地部署时，不能照搬这项性能数字：RTX 3090级显卡与Blackwell服务器的算力和显存条件相差很大，部署前必须实际测试内存占用与长音频稳定性。[1]
企业可以把离线高吞吐转录与实时语音交互分开部署。录制会议、历史档案数字化和客服录音质检可以进入批处理任务队列，利用空闲算力持续转写；实时客服电话或机器人语音控制则采用针对流式延迟优化的识别和交互系统。两类任务最后都可以把文本、说话人信息与原始音频索引写入统一资料平台，使用相同的术语库和权限管理。这样既发挥专业模型的能力，又避免一套系统承担互相冲突的延迟与精度要求。
五、会议纪要、售后记录如何进入工作流
会议纪要容易落地，但转写完成只是第一步。一份合格的项目会议记录需要识别发言主体、形成待办事项、标明负责人与截止时间，还要与项目管理工具相互校验。如果模型把主持人的假设误写成已经批准的决定，后续自动派单就可能造成业务损失。企业应该把录音作为事实源、转写作为索引层、摘要作为编辑层、审批作为执行门槛，分别记录版本和责任人。对于存在争议的事项，审阅者可以回放对应片段，再确认是否写入正式纪要。
在专业服务行业，语音档案的用途更广。律师需要保留语气词与原始表达来满足取证要求，医院希望医学名词识别准确但必须保护患者隐私，保险理赔重视时间戳与说话人证据，教育场景则更需要清楚的字幕和多语种翻译。相同模型在这些领域可以输出不同样式，却必须配合不同的数据生命周期管理：音频保留多久、谁可以检索、如何撤回访问授权、如何删除训练样本，都是商业合同和技术架构要回答的问题。开放权重为有合规要求的机构增加了部署与定制选项。
企业还可以把语音资料变成可检索的知识。大量客户反馈、售后电话和专家访谈长期以音频形式沉淀，检索成本高，结构化利用程度低。结合领域词表、说话人归属与时间戳，企业可建立“设备型号—问题描述—解决建议—对应录音证据”的知识卡片；业务人员检索相关故障时，既能看到摘要，也能打开当时的原始对话。它适合充当搜索与知识管理的入口，后续仍需要专人审校关键结论。语音识别准确率提高以后，业务价值会更多取决于上下游系统是否打通。
一个有代表性的应用是工业售后支持。维修工程师在设备旁口述故障现象，录音可能含有机器噪声、地方口音、英文品牌名、型号编码和零件编号。普通识别系统即使把大部分日常用语转写正确，只要将轴承型号或报警代码混淆，后续知识检索就会指向错误的手册条目。更可靠的方式，是在转写指令中加入经授权的设备词表和项目背景，再把所有关键型号交给确定性的规则校验或人工复核；系统可自动生成一份包含设备编号、问题时间、原始录音位置与候选知识条目的工单草稿。在这个场景中，维修记录整理时间和检索错误率，比通用榜单名次更贴近实际成效。
软件实施还要解决“一个录音、多个版本”的管理问题。原始音频必须有唯一标识和访问权限，逐字稿需要记录模型版本及生成时间，整理稿要保留编辑痕迹，翻译稿须标明源语言和审校状态。如果录音涉及客户个人信息，系统应支持按业务规则进行脱敏、授权失效和删除；如果资料需要长时间保存用于纠纷处理，则必须保证原始文件和时间戳关联关系可被校验。当一段录音能生成多个版本，版本和证据管理的工作也随之增加。对开发团队而言，这些数据库、审计和权限能力应在项目最初就设计，而不是等应用规模扩大后再补救。
技术选型还应该关注音频输入的工作方式。已有识别接口可能支持实时流式输出，而Nemotron 3.5 Transcribe的公开产品定位侧重录制音频；直接替换原有流式组件，不一定满足电话客服的低延迟要求。能够容忍批处理的会议纪要、历史录音归档和质检分析，才更适合优先试验这类长音频模型。将业务任务按延迟要求分组，再分别选择模型和服务架构，可以避免一个系统同时背负最高吞吐、最低延迟、最低成本与最高精度这些互相牵制的目标。
六、用五类真实样本检验模型
第一类是安静环境中的标准语音，主要验证基础识别和标点；第二类是会议室重叠说话，检查说话人混淆与交叉发言；第三类是专业术语、品牌名、部件型号和数字单位，重点看关键实体错误率；第四类是噪声、远场、方言和多语言切换，用来测试鲁棒性；第五类是较长录音中的上下文一致性，检查是否遗漏段落、错配时间戳或混淆前后发言人。每类都要保留人工核对的基准，不宜只靠另一款大模型打分。
测量指标也应超出WER。企业至少记录说话人归属错误、关键实体召回率、数字与单位准确率、时间戳偏差、每小时音频处理成本以及人工返工时长。针对法务和医疗等高风险用途，还要统计具有业务后果的重大错误，建立异常片段复听流程。模型如果把平均WER降得很低，却频繁把金额、药名或人名写错，最终仍然会消耗大量人工成本。若可指令转录把每小时录音所需的校对时间从两小时缩短到一小时，也要用实际工时记录验证，不能由模型参数推断。
Nemotron 3.5 Transcribe及Granary-v2把指令控制、时间戳、说话人归属和领域适配放进同一套语音处理方案。NVIDIA也同步提供开放权重、数据整理方法、推理加速方案和开发工具。企业最终还要测量：录音进入业务系统后，能否被可靠地查询、审核和使用，以及处理成本和数据风险是否可控。
参考资料
- NVIDIA Research，NVIDIA Nemotron 3.5 Transcribe: Intelligent Transcription with a Speech LLM，2026-10-28。架构、评测、说话人归属、推理和开源检查点。https://research.nvidia.com/labs/nemotron/NVIDIA-Nemotron-3.5-Transcribe/
- NVIDIA / Hugging Face，Nemotron 3.5 Transcribe and Granary v2，2026-10-28。语种、翻译、说话人数和应用建议。https://huggingface.co/blog/nvidia/nemotron-transcribe-granary
- NVIDIA Research，Granary-v2: Scalable Multilingual Speech Data Curation，2026-10-28。数据规模、训练数据组织与质量过滤实验。https://research.nvidia.com/labs/nemotron/Granary-v2/
- TechCrunch，Voice AI in vogue: Nvidia releases new open transcription model，2026-10-28。产品生态和录制音频适用范围的独立报道。https://techcrunch.com/2026/10/28/voice-ai-in-vogue-nvidia-releases-new-open-transcription-model/
- NVIDIA Nemotron项目入口，Model weights / NeMo Speech / License，2026-10-28。不同量化版本与本地部署工具入口。https://research.nvidia.com/labs/nemotron/NVIDIA-Nemotron-3.5-Transcribe/
编辑说明：训练集规模、榜单成绩和吞吐量引自NVIDIA公开研究及技术博客；企业成本、流程和私有部署部分为工程分析。