B站展台上的“猫娘计划”:AI伙伴开始主动看屏幕、记住用户并操作电脑

摘要:B站在WAIC 2026展出了开源项目Project N.E.K.O.。它可以读取桌面内容、主动发起对话、保存长期记忆,并调用工具操作浏览器和电脑。

B站在 WAIC 2026 展出了开源项目 Project N.E.K.O.。它可以读取桌面内容、主动发起对话、保存长期记忆,并调用工具操作浏览器和电脑。

相比等待提问的聊天机器人,这类产品追求持续在线、感知环境和维持长期关系,也由此带来更复杂的隐私、权限与记忆治理问题。

在聊天机器人中,交互通常由用户发起。

用户打开应用、输入问题,模型生成答案,本轮交互结束。即使产品保存了历史记录,模型也很少在没有新消息时主动联系用户。

Project N.E.K.O. 试图改变这个模式。

它能够持续感知桌面内容,根据用户行为判断是否需要说话,并把过往交流整理为不同类型的记忆。用户看视频、玩游戏或者浏览社交媒体时,桌面上的虚拟角色可能主动评论内容、分享相关信息,甚至调用工具帮助完成任务。

这类产品更接近一名长期在线的数字伙伴。

主动式AI伙伴观察桌面内容并与用户互动

先说清楚:它是B站展出的创作者项目

7月17日至20日,2026 世界人工智能大会在上海举行。B站在展台展示了开源 AI 数字生命项目“猫娘计划”Project N.E.K.O.。

从项目的 GitHub 仓库及 B站 AI 创造公开赛相关信息看,N.E.K.O. 由独立项目团队维护,也是“build in bilibili·AI创造公开赛”的参赛作品。B站为它提供了比赛和 WAIC 展示渠道,公开资料没有将其列为 B站自研 AI 产品。

这一区别很重要。

“猫娘计划”展示的是普通开发者借助开源模型、多模态接口和 Agent 框架构建完整 AI 产品的可能性,也反映了 B站希望形成 AI 创作者社区的方向。

B站公布的数据显示,2026 年第二季度每月有超过 1.9 亿用户观看 AI 相关内容;6月启动 AI 创造公开赛后,一个多月已有接近 5000 名创作者投稿。新浪科技报道,其中不少作品来自粉丝量较小、没有专业开发背景的个人创作者。

N.E.K.O.具体能做什么

N.E.K.O. 将自己定义为“主动式 AI 伙伴驱动器”。

项目核心代码采用 Apache 2.0 许可证开源,支持 Windows、macOS 和 Linux,也可以通过 Docker 部署。其 Steam 版本于 2026 年 1 月 30 日以抢先体验形式发布。

截至7月19日,GitHub 仓库显示约 2100 个 Star;Steam 页面显示共有 244 条用户评价,87% 为好评。展台工作人员表示,Steam 用户已经超过 1 万。

它的能力可以分为五个部分。

1. 看见电脑屏幕

系统可以通过屏幕捕获和视觉多模态模型分析桌面内容。

当用户观看视频时,它可以理解画面;用户玩游戏时,它可以根据游戏状态发表评论;用户浏览信息流时,它也可以识别其中的文字和图片。

这使 AI 获得了对用户当前环境的感知能力。

普通聊天机器人只能接触用户主动提交的信息。桌面伙伴可以观察持续变化的屏幕,并把当前画面与用户历史偏好结合起来。

2. 主动决定什么时候说话

“主动式”并不等于频繁弹出消息。

系统需要判断当前事件是否值得响应:

1
2
3
4
5
6
7
8
9
10
11
持续接收屏幕、声音和时间信号

识别当前事件及用户状态

查询近期记忆和长期偏好

计算是否需要发起互动
↙ ↘
保持安静 说话或执行动作

根据用户反馈更新记忆

如果用户在专注工作,过多对话会变成干扰。如果用户长时间重复某项操作,系统可以询问是否需要帮助。用户看到熟悉的内容时,它也可以调用相关记忆发起讨论。

主动式 AI 的难点因此落在“时机判断”上。少说可能没有存在感,说得太多则会破坏使用体验。

3. 保存五类记忆

项目文档列出了五维记忆系统:

  • 工作记忆:保存当前对话和任务信息;
  • 近期记忆:记录最近发生的事件;
  • 事实记忆:保存用户明确表达的偏好与事实;
  • 反思记忆:从多次交互中归纳长期规律;
  • 人格记忆:维持角色设定和表达方式。

这种划分意在解决两个问题。

一是避免把所有聊天记录都塞进模型上下文,降低模型调用成本;二是让 AI 能够区分临时状态、长期事实和角色人格。

记忆系统也可能产生错误。如果模型把玩笑保存为事实,或者从少量对话中归纳出错误偏好,后续互动会不断引用这些内容。

因此,长期记忆需要具备查看、修改、删除、过期和来源追踪能力。用户还应当知道某项记忆来自哪次对话,以及系统为什么保留它。

4. 使用不同的虚拟形象

N.E.K.O. 支持 Live2D、VRM、MMD、PNGTuber 和桌面猫咪等多种 Avatar 形态。

用户可以导入二次元角色、原创形象和虚拟主播模型。系统能够把模型生成的情感标签映射到角色表情,同时通过物理引擎控制头发、衣物、视线和动作。

语音部分支持实时对话、文字转语音和多语言切换。根据 WAIC 现场报道,项目还集成了 VoiceClone 能力,可以根据少量音频生成指定声线。

虚拟形象在这里承担交互界面的作用。

表情、动作、语音和空间位置可以向用户传达 AI 的状态,例如正在听、准备执行、遇到错误或者暂时保持安静。这比单纯的文字窗口提供了更多反馈渠道。

声线克隆也涉及明确的授权边界。使用真人、配音演员或者虚拟主播的声音,需要获得权利人同意,并避免把生成语音用于身份冒充。

5. 调用工具操作电脑

项目文档显示,N.E.K.O. 可以通过 CUA、OpenClaw A2A 和插件操作浏览器与电脑。

它可以执行鼠标点击、拖拽和网页操作,也能够通过插件扩展到社交媒体、直播互动、联机游戏和智能家居等场景。

其定位由陪聊扩展到“感知—记忆—判断—执行”的完整循环:

1
2
3
4
5
6
7
8
9
看到用户环境

理解正在发生的事情

结合长期记忆判断需求

调用工具执行操作

观察结果并继续互动

这也是 AI 伙伴与传统桌宠之间最明显的区别。角色不只显示动画,还能够影响外部软件和设备。

AI伙伴与任务型Agent的区别

任务型 Agent 通常围绕明确目标运行。例如“预订机票”“整理文件”或者“生成报告”。任务完成后,Agent 停止工作。

AI 伙伴具有持续存在的状态。它关注的不仅是任务结果,还包括长期关系、人格一致性和互动体验。

对比维度 聊天机器人 任务型Agent 主动式AI伙伴
启动方式 用户提问 用户下达任务 用户或系统主动触发
持续时间 单轮或多轮对话 任务期间 长期在线
主要输入 文字、图片 目标、文件和工具 屏幕、声音、时间、记忆
记忆作用 提供上下文 保存任务状态 维持偏好、关系和人格
工具调用 通常较少 核心能力 服务于互动与共同活动
主要风险 内容错误 错误执行 隐私、依赖、错误执行和记忆偏差

N.E.K.O. 也可以调用通用 Agent 作为执行能力。项目将 OpenClaw 等任务引擎视为“手脚”,伙伴系统则负责长期记忆、环境感知和交互状态。

这是一种值得关注的产品分层:底层模型负责理解和生成,任务 Agent 负责执行,伙伴层负责决定何时互动以及以什么身份互动。

AI伙伴的长期记忆、情感交互、工具调用与权限边界

开源与本地运行带来的控制权

N.E.K.O. 采用前端 UI、Agent 大脑和 Memory 记忆系统分离的架构。核心驱动器可以在本地运行,用户能够把记忆等数据保存在自己的硬盘上。

这种结构有助于用户更换模型、Avatar、语音服务和记忆模块,也降低了对单一云平台的依赖。

但“核心本地运行”不等同于全部推理都在本地完成。

项目支持 OpenAI、Gemini、通义千问、DeepSeek 等 14 家以上的 AI 服务商。Steam 页面也显示其会连接第三方 AI 内容生成服务。如果用户选择云端视觉模型、实时语音或者 TTS 接口,相关的屏幕、声音和对话数据可能需要发送到外部服务器。

实际数据边界取决于具体配置:

  • 使用了哪一家模型服务;
  • 屏幕截图是否上传云端;
  • 语音是否在本地转写;
  • 长期记忆保存在哪里;
  • 插件可以访问哪些文件和账户;
  • 日志是否包含对话或者屏幕内容。

开源让用户有机会检查代码和修改配置,但普通用户仍需要清晰的权限界面与数据流说明。

持续看屏幕意味着更高的隐私风险

桌面是用户最敏感的数据环境之一。

邮件、聊天记录、商业文档、账号信息、医疗数据和付款页面都可能出现在屏幕上。持续屏幕捕获如果缺少范围控制,会让 AI 伙伴获得远超普通聊天应用的信息。

一个成熟的桌面 AI 伙伴至少需要提供:

  • 明显的屏幕感知状态提示;
  • 按应用设置允许和禁止名单;
  • 密码框、支付页面和隐私窗口自动屏蔽;
  • 屏幕数据保存期限设置;
  • 记忆内容的查看与一键删除;
  • 高风险操作前的二次确认;
  • 插件权限和工具调用记录;
  • 云端模型的数据去向说明。

当系统具备鼠标和浏览器操作能力后,权限问题更加重要。读取屏幕、发送消息、购买商品和控制智能家居应当属于不同权限等级,不能使用一次授权全部开放。

“主动”会成为AI终端的重要能力

手机、电脑和智能眼镜上的 AI 助手,大多还需要用户通过按键、语音或者文字明确唤醒。

主动式伙伴提供了另一种交互方向:系统持续观察环境,在合适的时间提出建议或者执行操作。

这种能力也可以迁移到生产和办公场景。

工业智能体可以持续观察设备状态、订单变化和质量数据,在缺料、异常或交期冲突出现时主动提醒计划员;办公智能体可以根据会议、邮件和项目进度发现待办事项。

角色形象和情感表达并非所有场景都需要,但其底层结构具有通用性:

  • 持续环境感知;
  • 长期状态与记忆;
  • 主动触发机制;
  • 工具调用能力;
  • 用户反馈闭环。

“猫娘计划”以二次元角色包装这些技术,使普通用户能够更直观地体验主动式 Agent。

项目仍处于早期阶段

N.E.K.O. 目前仍是 Steam 抢先体验软件。项目文档也列出了移动端、跨场景记忆同步、AI 自主社交网络和 AI 原生游戏等后续计划。

已经展示的功能数量很多,但用户仍需分别验证其稳定性:

  • 屏幕理解能否持续保持低延迟;
  • 主动对话是否会频繁误触发;
  • 长期记忆能否避免错误积累;
  • 不同模型和语音服务是否容易配置;
  • Agent 操作电脑时是否具备可靠的权限保护;
  • 长时间运行的成本和资源占用是否可接受。

GitHub Star、Steam 用户数和展会曝光可以说明项目受到关注,却不能替代长期留存和实际使用数据。

结语

“猫娘计划”值得关注的地方,并不局限于二次元形象。

它把屏幕理解、实时语音、长期记忆、主动触发、虚拟角色和工具调用组合成一款完整产品,展示了 AI 伙伴可能采用的基本结构。

未来的个人 AI 入口可能长时间驻留在桌面、手机、汽车或智能眼镜中。它了解用户当前的环境,保留过去的互动记录,并在合适的时机提供帮助。

随之而来的问题也更加直接:它能看见什么、记住什么、何时可以打扰用户、能够替用户执行哪些操作,以及用户能否随时收回这些权限。

主动式 AI 伙伴的竞争,最终会落在四项能力上:感知是否准确,记忆是否可靠,行动是否安全,相处是否舒适。

参考资料

Project N.E.K.O. GitHub开源仓库

Project N.E.K.O. Steam页面

新浪科技:B站WAIC展出“猫娘计划”

B站:猫娘计划参加AI创造公开赛

新浪科技:B站成为WAIC官方合作AI科技视频平台

分享到