AgentOps

AgentOps是一套全新的运维体系，用于管理AI Agent的输入、过程（轨迹）和输出，确保其可靠性和安全性。它标志着AI开发从"写代码"进入"养员工"的运维阶段。

三个评估维度

1. 输入评估：Prompt是否清晰？上下文是否冗余？
2. 过程评估（轨迹检查）：最关键的维度。不仅看结果对不对，还要看Agent的思考过程是否符合逻辑。
3. 输出评估：使用"模型评测模型"（LLM-as-a-judge），让更高级的模型（如Gemini 1.5 Pro）给子Agent的表现打分。

与[[ai-junior-engineer]]的关系

AgentOps是管理"AI初级工程师"团队的系统化方法论，与[[you-are-not-using-agent-you-are-leading-ai-junior-engineers]]中的管理思想高度一致。