给一个"会自我改进"的 Agent 选基座,最容易犯的错,是从"哪个模型可训练"开始选。
我最近完整走了一遍:打算给自部署的 Agent 上本地模型,拉候选、比显存、查 LoRA 支持,算了一堆账,最后结论是——不上本地,继续用 API。
先划条线。我写过《35B 不等于 35B 显存》,那篇讲"下载前怎么算账":文件大小不等于运行成本。这篇讲"算完账之后怎么决策":本地没上,不是因为装不下,而是因为选型的第一问就问错了。再划一条:这也不是又一篇工具选型——Claude Code 还是 Crush、哪种编程哲学,是工具层的问题;把 LLM 从核心循环里拿出来,是另一个项目的架构理念。这篇说的是工具底下那一层。
自我改进有两种,先确认自己属于哪种
“自我改进的 Agent"这个词有歧义,它至少指两件完全不同的事:
L1,改配置、记忆、插件。 把 llm.model 换掉、把轮询间隔调短、往长期记忆里写一条教训、装卸插件——改的是"机器怎么用模型”,模型本身一动不动。
L2,改权重。 拿运行轨迹当数据做微调、RL、LoRA——改的是模型本身。
只有 L2 才跟"可训练性"沾边。L1 什么都不训练,它只是在用一个现成的推理引擎。
关键动作是复盘,不是表态。我把自己的 Agent 过了一遍:它改的全部落在 L1——配置项、长期记忆、插件装卸,没有一处动权重。确认完这一条,选型问题立刻换了问法:基座等于推理引擎,那就只看三件可测的事——工具调用的 JSON 可靠性、长上下文、成本。“可训练性"对 L1 完全不相关。
但这恰恰是行业默认的第一问。本地 coding 模型的讨论里,“LoRA 吃不吃得下"“微调友不友好"是入场券式的问题。真走 L2 的人问它是生死题;走 L1 的人问它是白算的账——而且多数人没意识到自己在回答哪个问题,被"自我改进"四个字裹着,默认自己是 L2。这跟《83 个测试全绿,0 个用户》是同一个失败模式:拿便宜的近似指标替掉真实判据,那篇是测试绿灯冒充用户价值,这篇是可训练性冒充使用条件。
这个默认不是凭空来的。本地模型圈子的核心用户就是走 L2 的人——评测、教程、硬件推荐全围着微调转,判据在圈子里被同化。走 L1 的人进场,第一眼看到的全是别人的判据,于是把"我能微调它"当成"它适合我”。选型前先回答"我要用这个东西做什么动作”,否则你会直接继承圈子的默认答案。
顺手把 L2 的账晾一句,让"先确认层"从玄学变成省钱:真走 L2,消费级硬件直接出局——Unsloth 官方不建议对 Qwen3.5 做 QLoRA(4-bit) 训练,bf16 LoRA 在 9B 档要 22G 显存,27B 档要 56G。确认自己走 L1,等于省掉一整条错误搜索路径。
顺带记一条可靠性细节:基座用的是 deepseek-flash 而不是 deepseek-chat——旧名被静默路由,按名字调用的东西,实际跑的不一定是那个名字。选基座时,“调用名对得上"也是一件要实测的事。
“本地省钱"放到具体负载上,打平了
“本地免费"是另一个很少被验算的默认前提。放到具体负载上算:
我的 Agent 约 288 次唤醒/天,token 预算 10 万/天。API 大约 ¥3–6/天。本地呢?电费 ¥1–2/天,加显卡折旧——打平,甚至 API 更省。留档里的原话是:“这个价位和电费打平甚至更差。”
为什么电费那么低还会打平?因为"本地省钱"只算了增量账单:电费看得见,显卡折旧看不见——买的时候付过了,平时不走账,但它是真的。反过来 API 是纯增量账单:Agent 停三天,成本就是零;本地卡停三天,折旧照走。对比成本别只比月账单,把账期结构和停用成本也摆进去。
先亮边界:这个数字只对"288 唤醒/天 × 10 万 token"这个负载成立,唤醒频次降一个数量级,结论可能反过来。下面的五维对比也是自评口径,不是 benchmark——它是我自己项目的一笔账:
| 维度 | 对比 | 谁赢 |
|---|---|---|
| 成本 | API ¥3–6/天 vs 电费+折旧 | 打平 |
| 24-7 在场 | 桌面机会休眠,家里 armv7 小主机跑不动 24B | API 大胜 |
| 智力 | 本地 24B 级 vs API 旗舰,代际差距 | API 大胜 |
| 迭代速度 | 本地一轮 3–5 分钟 vs API 十几秒 | API 大胜 |
| 离线/数据自主 | 状态、轨迹、记忆全在本地 | 本地完胜 |
五条里四条指向 API。唯一站得住的本地理由是自主权。对这套架构它不是情怀:一个会自我修改配置的 Agent 7×24 无人值守,每轮把状态、记忆、轨迹发给第三方,这是它特有的风险。
再往下一层,这次决策的骨架其实是道简单的题:这套架构的价值主张——评估独立、知识传承、状态外置——没有一样依赖模型智力;智力却是唯一造不出来、也换不掉的东西。拿本地 24B 换掉 API 旗舰,等于拿唯一稀缺的智力,去换一个本来就不缺的东西。选型的本质不是比参数表,是搞清楚你手里哪样稀缺、哪样富余,然后别拿稀缺换富余。
但这理由背着一个未解前提:谁 24-7 在场? 桌面机得不休眠,或者租一台带卡的云主机。前提不解决,自主权只是一句正确的空话。
所以落点不是"否决本地”,是"延期”:候选留在清单上,标注"不急”。
为不做的事留档,连同前提一起
这里有个比选型更通用的动作:把"为什么不上"连同它的前提,一起写进文件。
留档不是仪式,是给未来的自己省时间。三个月后你又动了"要不要上本地"的念头,不必重算一遍账——读留档,看前提变没变:哪天有了带卡的 24-7 主机,重新评估;没变,关掉文档接着干活。
一份够用的留档装三样东西:判据(为什么按这个标准选)、前提(判据在什么条件下成立)、复核点(哪些条件变了需要重算)。这次的前提就是"谁 24-7 在场”,把复核点写成一句"若出现带卡的常驻主机,重开本文件",延期就自动变成带触发条件的复查机制,而不是一句随口的"以后再说"。
“延期"和"否决"的差别就在这里:否决是一堵墙,延期是一扇带条件的门。
可操作的三件事
- 选底座前,先写下"我的 Agent 改哪一层”。 改 L1,只看三件可测的事:JSON 遵从、长上下文、成本。“可训练性"一个字都不用看。
- 成本对比必须带真实唤醒频次。 把"本地免费"从默认前提里删掉,换成你自己负载算出来的数字。
- 唯一站得住的反对理由,连同未解前提一起留档。 自主权不是结论,“自主权 + 谁 24-7 在场"才是。注明"延期”,不是"否决”。
选型问题有一条共通纪律:把判据提前写下来,让判据去筛选项,而不是对着选项现编理由——这跟《会停手是技能》把"该不该继续"挪进文件是同一条。落到基座这件事上:算力与模型智力都是被定价的商品,当智力可以在 API 侧按量购买,本地部署的辩护就从"省钱"收缩到了"自主"。这是一次真实的取舍,值得被如实记录,而不是被"本地=先进"的叙事抹平。