九大领域、21家链主:高质量数据集如何持续交付

九大领域、21家链主:高质量数据集如何持续交付·封面配图
配图为概念示意。

一家制造企业保存了十年的生产报表、工艺文件和设备日志,领导问能否拿这些资料训练行业大模型。过去最常见的回答,是先建设数据湖、整理知识库、把文档批量向量化,再谈应用。项目建设一年,数据平台可能非常壮观,但一线工程师仍在询问同样的问题:某种故障以前有没有发生过、哪个工艺版本能用、为什么上一批产品的检验结果波动?11月2日,国家数据局公开了行业高质量数据集建设链主工作座谈会的部署。会议实际在10月28日举行,来自教育教学、医疗卫生、科学研究、工业制造、生物制造、农业农村、智慧能源、交通运输、气象服务九大领域的21家链主单位交流建设进展,并明确提出“以需定供、以用促建、以评提质”。[1] 对习惯于建设平台的行业来说,这三句话或许比一份更长的数据资源清单更有现实冲击力。

链主要承担跨企业的数据组织与交付责任。它需要代表行业组织需求,协调上下游数据来源,建立持续更新与质量测评的办法,还要考虑各方为何愿意提供数据、最终谁支付费用。国家数据局在今年2月组织72家单位签署链主任务书,6月又出台行业高质量数据集建设行动实施方案,明确到2028年底形成一批经过应用验证的数据集、工具和典型场景。[2][3] 将这些举措连在一起看,政策线索已从“鼓励数据开放”逐步进入“如何把数据做成被AI长期使用的行业产品”。对地方产业园区、工业企业和职业院校,这项动态还涉及下一轮AI产业基础设施的投资方向。

一、72家与21家分别对应什么口径

今年2月27日,72家行业高质量数据集建设链主单位正式签署工作任务书;11月2日公布的座谈会则由九个领域的21家代表参加。两者分别对应前期任务签署和近期代表交流,不能理解为链主从72家缩减至21家。[1][2] 这类容易在新闻标题里被忽略的口径差异,恰好显示政策正在推进不同层次的组织工作。签署任务书是形成责任与建设方向,后续座谈则要检查进展、汇总问题并安排具体措施。参加会议的教育、医疗、科研、制造和交通等领域,数据结构与监管要求相差很大,完全采用同一套标准化加工流程并不现实。

以制造业为例,装备企业的数据主体可能包括PLC时序、设备报警、工艺程序、质量检测、材料批次和维修记录;医疗领域关心临床记录、影像与诊疗过程;气象领域有高频观测和空间网格数据。它们共同面对的数据质量问题包括来源、时间同步、错误标签、应用反馈和访问权限,但每个行业又有专门的知识表达方式。链主的角色因而更像产业协作中的组织者:把行业常见问题抽象为可执行的数据规范,选择能代表真实需求的试点场景,协调数据提供方与使用方,并帮助形成在不同企业之间可以适配的质量测评。仅靠一个中心平台收集原始文件,远不足以完成这项工作。

二、高质量数据集从使用场景确定范围

过去评估数据项目时,建设规模常用TB、PB、接入系统数量、数据表数量和元数据条目衡量。这些指标能够说明存储和治理工作量,却不能直接证明AI系统获得了有价值的学习材料。假设一家机械厂提供100TB的设备视频,其中绝大多数是机器正常运行的重复画面;另一家企业只提供200GB带有准确故障起点、维修措施和处理结果的数据。对于预测性维护模型,后者可能具备更高的训练价值。数据集建设需要把应用任务写在前面:模型究竟要识别缺陷、预测寿命、辅助工艺优化,还是帮助工程师按授权检索正确文件?任务不同,收集范围、标签结构和测评指标都会改变。

国家数据局6月发布的实施方案明确提出六项行动:强基扩容、标注攻坚、提质增效、应用赋能、管理服务和价值释放,并提出建立数据资源清单与数据集需求清单,推动文本、代码、图像、音频、视频、点云、时序及科学数据等多模态数据建设。[3] 11月的座谈会强调“以需定供”,是让这些前期部署回到实际用户需求。更实用的建设方式,是先选一个企业愿意为结果付费的任务,拿最小规模的数据验证模型,记录失败案例,再反向决定是否增加数据种类。这样形成的每一次新增采集,都能解释为什么值得投入,而不是用“收得越多越好”作为唯一目标。

三、专家知识怎样进入行业数据加工

通用图像识别可以让标注人员圈出一个物体,但工业知识涉及大量因果和工艺约束。某段设备振动出现异常,是轴承损伤、安装偏差还是工况变化,需要结合设备结构、转速、负荷和维护史判断;一条焊缝检测记录如果没有关联材料牌号、焊接参数与检测标准,模型便难以准确解释缺陷。高质量行业数据集因此既需要熟悉数据处理的软件人员,也需要懂业务的工艺工程师、质量工程师和维护专家。专家的关键工作是定义分类体系、处理少数困难样本,并给出能够复核的判断依据;重复标注简单记录可由工具和专职团队承担。

实施方案鼓励“模型预标注+人工校准”“人工标注+模型检验”等方式,并强调专家深度参与专业知识标注。[3] 这一政策设计体现了数据产业分工的变化。预标注模型可以减少重复劳动,却必须记录模型版本、提示模板和人工修改记录,才能避免新的偏差被大规模复制。特别是安全风险、质量事故和高价值工艺案例,少量错标的影响可能远高于普通文本中的笔误。数据集需要包含“我不知道”以及“此工况没有足够证据”的标签,使后续模型学会在证据不足时请求更多信息。把不确定性写进数据生产流程,比事后给模型增加一段安全提示更有工程价值。

四、从“所有文件先向量化”转向按需加工,数据集建设会更像软件开发

企业知识工程也在迅速变化。早期大量RAG项目采取一次性扫描文件库、切分所有文档、计算Embedding并写入向量数据库的方式。文件规模越大,索引更新、权限同步、重复版本和检索噪声问题越突出。现在许多智能体可以先通过文件目录、名称、元数据和关键词定位相关资料,再按需读取原文;对于确有必要的专题,才建立可维护的向量索引或结构化数据库。两种办法并非互相排斥,关键在于任务类型。法规条文、复杂的工程图纸和版本敏感的工艺文件,往往需要准确定位权威原件;跨大量非结构化文本寻找相似经验,向量检索仍可能十分有用。采购方更关注答案的可追溯性、更新速度和权限可靠性。

高质量数据集建设与知识检索工程有交叉,但目标范围更大。数据集可能面向模型预训练、监督微调、强化学习、评测和实际运行反馈,要求清楚记录样本来源、加工步骤、适用任务与质量结果。以一份PLM中的工艺规程为例,用于检索时可能只需保存文件路径、版本、适用产品和访问权限;用于工艺问答模型训练时,需要组织问题、答案、证据片段和审核结论;用于工程智能体执行任务时,还可能需要对应的工具调用、审批记录和失败回退条件。同一份原始资料因此衍生不同类型的数据产品。数据集建设需要持续的软件与工艺维护;按一次性文件整理项目交付,容易在上线后闲置。

九大领域、21家链主:高质量数据集如何持续交付·正文配图
配图为概念示意。

五、链主如何协调产业链各方提供有价值的数据

产业链中最有价值的数据往往掌握在不同角色手里。设备厂家有设计与故障知识,生产企业有真实运行和质量数据,售后服务商积累维修案例,检测机构掌握检验结果,软件服务商熟悉数据结构和系统接口。要建设跨企业数据集,首先得解决每一方的商业顾虑。企业担心公开数据让竞争对手了解工艺效率、设备利用率和质量问题,也担心数据流出后被用于不在合同约定范围内的训练。相比简单“把数据汇到中心”,按权限提供计算服务、在本地执行数据预处理、输出受控结果,往往更符合制造业的实际需求。

政策中的链主合作、国家数据基础设施与可信数据空间,为建立这种机制提供了方向。[3] 工程上可以把数据资产分成若干层:企业完全不出域的敏感源数据、经过审批的行业共性特征、可交换的脱敏样本、供公众使用的基础性评测集。每个数据集记录来源方、更新方式、许可范围、审计日志与撤回条件。对于存在知识产权的工艺数据,商业协议需要明确谁能训练、谁能分发模型、能否向第三方提供基于该数据产生的服务。治理体系越清楚,拥有高价值数据的中小企业越有可能参与,行业平台也更容易形成长期合作,而不是一次性的行政性汇交。

六、用模型表现检验数据集质量

会议强调“以评提质”,意味着数据集建设需要由使用效果反向推动质量改进。传统数据质量检查包括完整性、一致性、准确性、及时性与唯一性,它们是基础,却不足以衡量AI应用价值。比如一批维修记录字段完整,却缺少设备真正故障发生前的工况数据,仍难以用于故障预测。更有效的评测方案,可以选择一组保密且稳定的行业任务,在固定模型、固定工具和固定测试集的条件下比较使用数据集前后的表现,观察任务完成率、误报漏报、人工复核时间及输出引用是否正确。对应用企业而言,这些指标更容易形成采购理由。

假设某工业知识助手原本每月处理2000次工艺咨询,正确且可引用的答复占70%;新增经专家审核的数据集后,在相同测试口径下达到85%,那么可用答复数从1400次提高到1700次,增加300次。若每次成功答复平均节约工程师5分钟,仅这一部分理论上每月节约25小时,还要扣除维护与审核成本。这个计算只是示意,真实项目可能受到使用频率、问题难度和错误处理成本影响。它仍然提供一种可操作的质量评价语言:数据集越能让业务任务变好、节省可计量的人力、减少不可接受的错误,价格依据就越明确。政策倡导数据质量验证与模型应用反馈相结合,最终必须落实到类似可复核的测试机制。[3]

七、从数据包销售走向订阅、API与持续更新,商业模式正在发生变化

国家数据局6月实施方案提出,鼓励数据集从基础数据包销售向API调用、模型化解决方案和全栈服务发展,也提及订阅、定制以及探索以Token为基础的新型交易模式。[3] 这样的安排透露了政策的商业化方向。传统一次性数据包销售,在交付当天就可能开始过时,客户需自己承担清洗、适配和再训练成本;订阅服务则可以持续提供版本更新、质量保证和变更说明;API服务能进一步把数据能力转为按需调用的产品。例如一个机械制造行业平台,可以按月提供受控的材料牌号匹配、标准件参数核验或故障案例检索接口,而不是把整套企业原始数据出售给客户。

不过,订阅模式也有自己的经营门槛。数据更新需要持续投入,用户数增加不一定线性降低成本,行业专家的审核费用可能长期高企。定价最好与任务规模、调用次数、数据时效和服务等级关联,而不是简单按照文件字节数估值。对于采购企业,要明确交付形式、服务中断处理、模型训练许可和数据产品退出后的使用权;对于链主和数据平台,要建立多方收益分配机制,让提供原始数据、完成清洗和承担专家审核的机构都有可计算的回报。没有长期收益,产业链共享难以形成可持续供给。政策提出培育为优质数据付费的市场共识,实践中的关键正是把价值、费用和权益分配写进合同。

八、产业园区先确定数据平台的首个业务场景

一座装备制造产业园若准备建设高质量数据集公共平台,可以先用三个月识别几个跨企业共性的任务。比如泵阀行业的选型和故障诊断、工程机械零部件的质量缺陷归因、钢结构施工的焊接参数和检验规范。随后邀请少量具有代表性的制造企业和学校参与,梳理源数据类型与保密要求,选取一个可以量化效果的试点,建立小规模标注与评测流程。数据留在企业内部的场景,可由本地代理执行检索和计算,仅把许可后的模型评测指标或者标准化知识条目提供给公共平台。平台的财政投入应覆盖共性工具、标准、测试环境和持续运营,而非替企业采购一套很难维护的重复性软件。

职业院校和研究机构也有实际位置。院校可以培养既懂专业术语又懂数据治理的复合人才,参与非涉密数据集的工艺标注、质量测评和工具开发;专业协会可提供术语标准与典型任务;软件企业可以开发版本管理、权限、接口和审计工具。把这些角色连接起来,链主更像一个有交付责任的行业组织者,而不只是挂名牵头单位。政策提出到2028年底形成建设工具、标准和典型场景,地方项目从现在开始积累可复制的交付经验,比在申报书里堆砌平台功能更能建立竞争力。

九、数据要素进入AI时代,最重要的变化是“使用”终于成为建设起点

从2月任务书签署、6月行动方案,到11月公布的链主座谈部署,高质量数据集建设正在形成一条相对完整的政策路径。它把行业数据的规模、质量、流通、授权和商业回报放入共同框架,也给了中小企业与专业服务商进入产业链的机会。下一阶段仍有不少问题需要回答:跨企业质量测评能否互认,可信流通是否能够被普通制造企业以可接受的成本采用,数据产品能否形成稳定续费,行业模型是否真的因此减少错误和人工成本。这些问题不会通过多建几座数据中心得到自动解决。

对新质生产力建设而言,更值得追踪的是数据产品进入真实生产和经营流程后的交付表现。当企业工程师可以快速定位经审核的工艺经验,机器人能够借助规范数据学习复杂动作,医疗和能源系统能在合规边界内持续改善决策,数据才完成从记录到生产要素的转变。此次21家代表的座谈会让建设要求更加具体:需求决定供给,使用推动更新,测评决定质量。把这三个环节抓牢,高质量数据集就有机会从政策名词成长为可以持续经营的产业服务。

参考资料

  1. 国家数据局|《国家数据局召开行业高质量数据集链主工作座谈会 深化高质量数据集建设“以需定供”“以用促建”》,2026-11-02披露,会议2026-10-28举行。9领域21家代表、链主任务和会议部署。https://www.nda.gov.cn/sjj/swdt/sjdt/1031/20261031151459885260005_mobile.html
  2. 国家数据局|《国家数据局召开行业高质量数据集链主任务书签署活动》,2026-02-28。72家单位签署任务书的历史背景。https://www.nda.gov.cn/sjj/ywpd/szkjyjcss/0228/20260228171848897152605_mobile.html
  3. 国家数据局|《关于推进行业高质量数据集建设行动的实施方案》,2026-06-03印发、2026-06-08公开。六项专项行动、数据集商业模式、权益管理及2028年目标。https://www.nda.gov.cn/sjj/zwgk/tzgg/0608/20260608172117399715004_pc.html
  4. 国家数据局|《高质量数据集建设指引发布》,2025-08-30。体系化建设、流通利用与持续运营的技术背景。https://www.nda.gov.cn/sjj/swdt/xwfb/0830/20250830210000366789341_mobile.html
  5. 国家数据局|《关于征集数据基础设施、高质量数据集等6个方向标准及技术文件验证试点单位的通知》,2026-04-02。格式、分类、质量测评和数据标注标准方向。https://www.nda.gov.cn/sjj/zwgk/tzgg/0402/20260402185936591334673_pc.html

编辑说明: 72家签约单位与21家参会代表分属不同统计口径;正文涉及企业任务改善和节约工时的测算为解释数据产品价值的假设场景。

分享到