自我改进」改的是哪一层,决定你按什么标准选基座

给一个"会自我改进"的 Agent 选基座,最容易犯的错,是从"哪个模型可训练"开始选。 我最近完整走了一遍:打算给自部署的 Agent 上本地模型,拉候选、比显存、查 LoRA 支持,算了一堆账,最后结论是——不上本地,继续用 API。 先划条线。我写过《35B 不等于 35B 显存》,那篇讲"下载前怎么算账":文件大小不等于运行成本。这篇讲"算完账之后怎么决策":本地没上,不是因为装不下,而是因为选型的第一问就问错了。再划一条:这也不是又一篇工具选型——Claude Code 还是 Crush、哪种编程哲学,是工具层的问题;把 LLM 从核心循环里拿出来,是另一个项目的架构理念。这篇说的是工具底下那一层。 自我改进有两种,先确认自己属于哪种 “自我改进的 Agent"这个词有歧义,它至少指两件完全不同的事: L1,改配置、记忆、插件。 把 llm.model 换掉、把轮询间隔调短、往长期记忆里写一条教训、装卸插件——改的是"机器怎么用模型”,模型本身一动不动。 L2,改权重。 拿运行轨迹当数据做微调、RL、LoRA——改的是模型本身。 只有 L2 才跟"可训练性"沾边。L1 什么都不训练,它只是在用一个现成的推理引擎。 关键动作是复盘,不是表态。我把自己的 Agent 过了一遍:它改的全部落在 L1——配置项、长期记忆、插件装卸,没有一处动权重。确认完这一条,选型问题立刻换了问法:基座等于推理引擎,那就只看三件可测的事——工具调用的 JSON 可靠性、长上下文、成本。“可训练性"对 L1 完全不相关。 但这恰恰是行业默认的第一问。本地 coding 模型的讨论里,“LoRA 吃不吃得下"“微调友不友好"是入场券式的问题。真走 L2 的人问它是生死题;走 L1 的人问它是白算的账——而且多数人没意识到自己在回答哪个问题,被"自我改进"四个字裹着,默认自己是 L2。这跟《83 个测试全绿,0 个用户》是同一个失败模式:拿便宜的近似指标替掉真实判据,那篇是测试绿灯冒充用户价值,这篇是可训练性冒充使用条件。 这个默认不是凭空来的。本地模型圈子的核心用户就是走 L2 的人——评测、教程、硬件推荐全围着微调转,判据在圈子里被同化。走 L1 的人进场,第一眼看到的全是别人的判据,于是把"我能微调它"当成"它适合我”。选型前先回答"我要用这个东西做什么动作”,否则你会直接继承圈子的默认答案。 顺手把 L2 的账晾一句,让"先确认层"从玄学变成省钱:真走 L2,消费级硬件直接出局——Unsloth 官方不建议对 Qwen3.5 做 QLoRA(4-bit) 训练,bf16 LoRA 在 9B 档要 22G 显存,27B 档要 56G。确认自己走 L1,等于省掉一整条错误搜索路径。 ...

October 15, 2026 · 1 min · 183 words · kwelldo

官方说的「稀疏注意力」,在我机器上根本拿不到——一次视频生成加速的三档实测

我在本地用 ComfyUI 跑视频生成,一镜到底 10 秒,20 步基线一次要 370 秒。为了提速,我去下了一个模型卡上标着「85% 稀疏注意力」的加速版。跑完三档对照,速度确实上来了:20 步 370 秒,8 步 170 秒,4 步 110 秒——最快那档 3.36 倍。但复盘的时候我发现一件反直觉的事:这次加速跟「稀疏注意力」一点关系都没有。标称的稀疏注意力,在我的工具链里根本不存在。 先做一句定位,避免跟我上一篇《35B 不等于 35B 显存》撞车:那篇算的是「能不能跑」,下载之前该算的显存账;这篇算的是「跑得值不值」,运行起来之后该算的时间账、收益账,外加一件事——标签上写的,和你机器上能调用的,是两回事。 一、标签上的能力,只存在于别人的运行时里 那个加速版我 sha256 逐字节比对过:1.96 GB,跟 HF 上完全一致,Apache-2.0 协议,货是真的。 但跑起来之后去查它的实现,才发现那个「85% 稀疏注意力」是 LightX2V 推理引擎里的运行时配置(attn_type: dynamic_sparse_attn)——它是那个特定引擎的开关。我用的是 ComfyUI,这个开关在我这边根本不存在。 所以结论很硬:我测出来的 3.36 倍加速,全部来自「20 步 → 4 步」的蒸馏,跟注意力稀疏无关。 这件事的教训比「踩了个坑」大。同一个权重文件,规格表上写的能力,取决于你用什么推理引擎去跑它。换一套工具链,那个能力就消失了——不是你买错了,是那份能力从来只存在于别人的运行时里,不在你手里的这份权重里。 顺带纠正一个误会:官方承诺的稀疏注意力(「初始开源版只给全注意力,稀疏实现后续单独发布」),到现在也还没发。真正的「Flash」是另一回事——9 月 27 日上线的 M3.1-Flash-Preview,那是文本/代码模型,跟视频生成无关。签到的双倍额度把它俩并列一提,就有人以为 H3 出了 Flash 加速版。没有。 二、跑得值不值,要记一本时间账 加速是真的,但值不值要算。我把三档数据放一起,反推出一个很干净的规律: 耗时 ≈ 固定开销 45 秒 + 每步 16.25 秒 8 步验算:45 + 130 = 175 秒,实测 170 秒,对得上。 ...

October 10, 2026 · 1 min · 143 words · kwelldo

35B 不等于 35B 显存——我只看文件大小下模型,装完才发现装不下

上次我在本机部署 Qwen3.8-27B,前后搭进去一晚上。下载 13 个 G,配 systemd,写 jinja 模板,接进 agent。全部弄完,重启服务,日志里跳出一行:显存不足,OOM。 我第一反应是"不可能"——文件才 13 GB,我显卡 16 GB 显存,怎么会装不下?直到我把账一笔一笔列出来,才发现自己犯了一个很蠢但很典型的错:我把文件大小当成了运行成本。 文件 13 GB,不等于跑起来只要 13 GB。 这句话听着像废话,但你翻一圈本地部署的教程和讨论,绝大多数人踩的就是这个坑:下载之前只看一个数字——模型多少 G,然后拿它跟自己的显存比大小。装完才发现不对,已经晚了:权重下好了,磁盘占了,一晚上搭进去了。 先说一句定位,避免撞车:我之前写过《83 个测试全绿,0 个用户》,那篇拆的是"拿一个便宜的近似指标替掉真实判据"这个失败模式——用测试绿灯冒充用户价值。这篇是同一个模式换了件马甲:用文件大小冒充运行成本。同一颗雷,不同的雷区。 一、能不能跑,不是一本账,是四五本账 以我这次为准,本机显存预算总共 15.34 GiB(16,311 MiB 总显存减去桌面占的 600 MiB)。真正要装进这个数里的,至少有四样东西: 1. 权重张量。 这是文件里最大的一块,但它不等于文件大小。一个 14.25 GB 的文件,真正要上卡的张量表只有 13.264 GiB——GGUF 文件里有元数据、对齐填充,不是每一字节都要进显存。反过来,Q8_0 那个 29.05 GB 的文件,上卡就是 27 GiB,直接出局。 2. KV cache。 这个完全不写在文件里,是运行时按你的上下文长度算出来的。27B 这个模型有 16 层全注意力,每层 4 个 KV 头、head_dim 256,算下来每个 token 要 32,768 个元素。64K 上下文、f16 精度,这就是 4 GiB;压到 q8_0 是 2.12 GiB,q4_0 是 1.12 GiB。KV 才是那个藏起来的大头。 ...

October 8, 2026 · 2 min · 285 words · kwelldo