增量编译机制
增量编译机制是[[agentic-personal-knowledge-base]]系统的灵魂。它仅处理新加入的原始数据,并结合现有wiki上下文进行针对性更新,避免全量重算,大幅降低Token消耗。
工作原理
- 新数据放入raw/目录后,系统检测到变更
- LLM仅读取变更部分 + 现有wiki上下文(限200K tokens)
- 基于文件名或embedding粗筛,加载相关的现有wiki内容
- 进行针对性更新:生成/更新概念文章、结构化摘要、反向链接
- 通过Git Hook或Cron Job自动化触发
核心优势
- 成本优化:后期增量优化可将Token消耗降至全量编译的10%以下
- 效率提升:避免每次新增数据都重新处理整个知识库
- 一致性保障:结合现有上下文,确保新知识与旧知识无缝融合
- 可回滚:Git确保每一次编译都可回滚
实现要点
- 使用低temperature(如0.3)保证输出稳定
- 分步Prompt(先摘要、再概念、再链接)避免一次性过载
- 增量模式下仅更新受影响的文件
与Token成本管控的关联
增量编译是[[token-cost-management]]的重要实践策略,通过避免全量重算,显著降低LLM调用的Token消耗。