很多人做 AI Agent,第一步是调一下大模型 API,再接两三个工具。演示时一切正常,一放进真实业务就出问题:同一个操作反复执行、改了不该动的文件、昨天做到哪一步完全不记得。这些问题大多不是模型不够聪明,而是模型外面那一层没搭好。这一层就叫 Agent Harness。
Agent Harness 是什么
Agent Harness 是把大模型包起来、让它能真正干活的运行时。模型本身只负责接收输入,然后以文字或工具调用的形式告诉你下一步做什么。真正去执行工具、把结果喂回模型、一轮轮循环直到任务结束、判断中途要不要停下来,这些都是 Harness 的事。Harness 原意是马具,把马的力气传到车上;放在这里,就是把模型的能力接到实际工作上的那一层。
Harness 由哪些部分组成
第一是 Agent Loop 和工具执行:解析模型输出、调用工具、返回结果,循环到满足结束条件。第二是通过 MCP(Model Context Protocol)连接外部工具和数据,让内部系统、各种 SaaS 用同一种方式接入。第三是 Skill,把某类任务的做法写成文件,需要时才加载。第四是 Policy 和权限:哪些操作自动放行、哪些要人审批、哪些必须写进审计日志。
第五是上下文和记忆:对话变长时保留什么、压缩什么,跨会话要记住什么。第六是评测(Eval):换了提示词或模型,质量是变好还是变差,用测试用例说话,而不是凭感觉。第七是可观测性:每一步模型想了什么、调了哪个工具、传了什么参数、花了多长时间,事后都能查。
为什么 Harness 比模型更关键
新模型隔一段时间就会出来,而且大多数团队用的都是那几家的模型,单靠模型很难拉开差距。但工具怎么给、失败了怎么回退、危险操作在哪里拦住,这些是每个团队自己的设计。生产环境里的事故,很多是 Harness 层的问题:权限给得太宽、出错后无限重试、没有日志查不到原因。这类问题换模型解决不了,只能靠 Harness。
另一个原因是,Harness 搭扎实了,换模型反而更容易。有评测集和日志,切到新模型后哪里变好、哪里变差,马上就能对比出来。Harness 也是吸收模型进步的底座。
和聊天机器人有什么区别
在聊天界面上接一个 API 的东西(常说的 Chat Wrapper),默认是人一问一答、每一步都自己看结果。能托付业务的 Agent 则是接到任务后自己用工具往下推进,只在必要时找人确认,最后汇报结果。要接近这种「不用一直盯着也能放心交给它」的状态,靠的就是权限、记忆、评测、日志这些 Harness 部件。
程序员的学习路线
1. 先掌握大模型 API 的基础:消息结构、工具调用机制、流式输出、token 与上下文长度。2. 自己写一个 Agent Loop。用框架之前,先手写一个只会调工具、回传结果的最小循环,就能看清哪些事属于 Harness。3. 学习工具运行时和 MCP,掌握把文件操作、命令执行限制在工作目录内的方法。
4. 处理上下文管理、记忆和会话存储。5. 设计 Policy、审批流程和审计日志,能决定「让它自动做到哪一步」。6. 进入多 Agent 分工和长期运行 Worker 的设计。7. 最后把评测和可观测性补齐,做到每次改动都能量化质量,再上线。每个阶段都一样:做小一点、真跑起来、把失败案例记下来再修,这是最快的路。
已有的工程能力都用得上
Agent 开发看起来是全新领域,但真正需要的是 API 设计、权限管理、日志设计、测试、故障处理,这些程序员本来就有的能力。只靠写提示词到不了生产,中间缺的那部分,正是工程师要补上的。
想系统学一遍,可以看 从零到精通 Agent Harness。从 LLM 协议和 Agent Loop 讲起,覆盖 Pi Agent Core、Tool Runtime 与 MCP、Context 与 Memory、Policy 与审批、Hermes 风格长期运行 Worker、Eval 与可观测性,共 86 讲,最后搭出你自己的 Agent Workbench。前 6 讲免费试看。