它只告诉你,不替你动手——我把三条铁律写成了会让 CI 变红的测试
先说一句定位,避免撞车:我之前写过一篇《边界不靠拦,靠不存在》,讲的是两个 Agent 之间到底该交换什么,核心动作是删掉通信面。这篇是同一个词根,但对象不同——不是一个工具和另一个工具之间的边界,是一个工具自己该不该长那只「执行的手」。这次删的不是值空间,是执行面。
一屏输出,暴露了一个没人设计过的问题
今天上午我打开 agent-manager 的实机输出,一屏 11 个工具:
- Crush 有两份:go 装的 v0.96.1,pacman 装的 0.75.0-1,差了好几个版本;
- Pi 有两份:npm 装的 0.87.1,pacman 装的 0.83.0-1;
- Qoder CLI 有两份:自更新器和 npm 各一份;
- OpenCode 缺失,Codex 过期(0.152.1 → 0.157.1)。
11 个工具里,3 个多份并存、1 个缺失、1 个过期。而「到底哪份在生效」这个问题的答案,是 $PATH 里谁先被命中——一个从来没人设计过的顺序。
你以为「我装的是哪个版本」是一个事实问题,其实它是一个先后顺序问题。而这台机器上,决定「权威」的那份顺序,是多年里各种安装方式随手写进去的。
到这里,一个「管理 AI 工具」的工具,最讨喜、最好做的做法是什么?是顺手帮你把多份清掉、把过期的升掉、把 PATH 理干净。我今天花了一整天做的,是反过来的事——把这只手绑起来,让这个工具在设计上就「做不了」任何事。
三条铁律,和它换来的三个推论
我给这个工具写死了三条不可协商的规矩:
- 只输出,不执行——不升级、不安装、不改配置、不跑任何变更类命令,执行权永远在用户手上;
- 管信息,不管配置——配置管理交给插件;
- 零执行面——核心不 fork、不 subprocess、不 os.system,一切事实来自文件系统读取和 HTTP 读取。
这三条看起来像洁癖。但每条都不是洁癖,是一个可执行的推论。我把它一个个拆开讲,因为拆开之后才会发现,最反直觉、也最值钱的那一条,藏在最不起眼的地方。
推论一:能不能共享,取决于它能不能不执行
第三条铁律(零执行面)有个副产品,是全文我最满意的一句:
因为读取规则不执行任何东西,所以它可以被学习、被共享、被社区贡献,而不构成信任风险。
原来的设计里,自定义探针 = 可执行代码,意味着别人贡献一段探针,你得先把它放进信任清单——不然就是放一段任意代码进你的机器。这一整块复杂度,在「读取规则变成纯数据」的那一刻,整条作废了。
这就是最反直觉的地方:一个东西能不能安全地共享出去,不取决于它多强大,取决于它能不能不执行。一旦它只会读文件、只产出文本,它就从「需要被审查的代码」降级成了「可以随便传的数据」。信任成本归零。
推论二:纯读,就一定有读不到的,所以「不知道」必须是一等输出
只要你不肯执行命令,就一定有些事实读不到——比如 go 二进制里内嵌的 buildinfo,比如运行期才能拿到的 --version。
一个会执行命令的工具,遇到读不到的,会顺手跑一下把坑填上。一个不肯执行的工具,遇到读不到的,只有两条路:假装知道,或者如实说不知道。
我选后者,而且把它做成了一等公民:needs_inference: [] 这个字段,专门列出它不肯猜的东西。设计文档里的原话是「无 brain 是一等状态:不报错、不猜,只出事实」。
为什么要较这个真?因为模型最危险的习惯,就是替你猜。你问它「这工具什么版本」,它读不到,但为了给你一个完整答案,它会编一个看起来合理的。让「不知道」成为合法出口,就是给「猜」关掉那条最容易溜进去的缝。
推论三:模型的结论只是候选,人签了才叫知识
一个不执行、不猜的工具,判断力也必须外置。所以这条管道是这么走的:
PROMPT="$(am infer)" # am 不跑模型,只出提示词
pi -p "$PROMPT" --no-session --no-tools | am learn propose -
am learn list # 候选 + 证据 + 理由
am learn sign <id 前缀> # 人签 → learned.toml(纯数据)
模型产出的是候选,不是知识。候选的字段本身就是一套署名制:value 旁边必须带 evidence[](读了哪些文件)、proposed_by(哪个模型提的)、proposed_at、status(pending | signed | rejected)。「模型的结论只是候选」这件事,是写进数据结构里的,不是写进文档里的。
人签之后才落进 learned.toml,并且标 source= 和 checked=。三重排序是:事实(实测)永远压过知识,learned(本机签的)压过 shipped(仓库默认的),用户手写的夹在中间。出口标 source,让你知道「这条是仓库说的,还是你本机学的」。checked 是确认日期,过旧就标「知识可能过期」——知识不是永恒命题,是需要复验的东西。
把铁律变成会让 CI 变红的测试
上面这些,如果只是写在 README 里的漂亮话,三个月后就会在某次「顺手优化」里消失。
所以最实的一步是:给不可协商的原则,配一条会让 CI 变红的测试。 我写了一个 test_no_exec.py,用 AST 白名单把「零执行面」从口号变成了断言:
- 新信息层的十三个文件,禁止出现
subprocess、os.system、os.exec*等任何执行调用——出现就红; - 旧的「申报式检查」层(doctor、discovery)还会跑
<tool> --version这类只读命令,这是已知遗留,如实登记进白名单,规则只有一句:只准缩小,不准扩大。
设计文档里专门有一节叫「现状与铁律的落差(如实登记)」。它承认旧层还在跑只读命令,不粉饰,但把它钉死在白名单里——任何新模块想引入执行面,测试立刻变红,逼你显式登记并说明理由。
这一步的意义超过测试本身:一条原则如果不变成会让 CI 变红的测试,它就不存在。 它会变成一句注释、一个 TODO、一个「我们原则上同意」的共识,然后在某次赶进度的时候被静默打破。让它变红,是把「原则」从人的记忆里,搬进机器每次都会执行的检查里。
今天还真的出了个事故,恰好验证了这件事。两个测试用例调 save_candidates() 没传路径,结果写进了真实的 ~/.config/agent-manager/candidates.toml,覆盖了用户真实的候选。修法是加一个 autouse 夹具,把 AM_CONFIG_DIR、XDG_CONFIG_HOME、XDG_CACHE_HOME 全指向临时目录,并且清掉 shell 继承的同名变量——否则测试结果会飘,今天污染、明天又污染。
两句落点,不铺开
执行权的归属,就是裁决权的归属。一个把执行权收走的工具,必须同时把知识变成必须被审查的东西——可执行 ⇒ 需要信任清单 ⇒ 越走越私;把执行权留在使用者手上,知识才第一次成为可共同积累的公共物。这与上一篇讲的「通用能力一旦能被收费就被圈起来」互为表里:这篇说的是,通用知识一旦能被执行,就必须被审查。
四条,今天就能抄
第一,给不可协商的原则配一条会变红的测试。 本篇的形态是 AST 白名单 + 「只准缩小,不准扩大」。换成你,就是把你那条最重要的红线写成断言,让 CI 替你在每次提交时检查。
第二,让「不知道」出口合法。 列 needs_inference,让「我读不到这个字段」成为正常输出,而不是让模型编一个补上。宁可少一个字段,不要一个看起来完整的假答案。
第三,模型的产出只当候选,入库必须人签。 记 proposed_by 和 evidence。一个工程细节:learned 要独立成文件、逐字段合并——否则一次签名会把内置的 strategy/command 冲成空的。今天的沙盒演练就抓到这个 bug:learned 层原来整条替换,只签一个字段会把 shipped 的默认值冲成 unknown。
第四,任何会写配置或知识库的代码,先在沙盒环境变量下跑一遍,再上真机。 今天的污染事故就发生在这一条之前。跑闭环先在 AM_CONFIG_DIR=/tmp/... 里验一遍,确认表格变化无误,再让真实配置被签。
一个管理工具的工具,最难的克制不是「别做太多」,而是「把会做的这只手,在设计上就绑起来」。因为一旦它能做,它总有一天会在你最需要它只是「告诉」你的时候,替你「动手」。