LobeHub 在国庆期间用 RSI 让 Lobe Agent 对自身跑了一周自进化,最终拿下 Frontier Harness 排行榜日榜第一。这条消息本身不算意外,但它触及一个实际问题:RSI 到底在做什么,排行榜的结果说明了什么,开发者现在能用上多少。
RSI 是什么,Harness 是什么
RSI 是 Recursive Self-Improvement 的缩写,字面意思是递归自我改进,指的是让模型或 Agent 系统利用自身能力修改自己的行为、提示词或权重,再用改进后的版本继续迭代。这不是新概念,理论上讨论已经很久,但工程实现的成本、稳定性和可控性一直是瓶颈。
Harness 在这个语境下是评测框架,Frontier Harness 是其中一个面向前沿 Agent 能力的排行榜。它度量的是 Agent 在受控任务上的表现,而非真实世界的用户满意度,这两者是有区别的。
LobeHub 的做法是让 Lobe Agent 借助 Harness 层的 RSI 能力,在封闭评测环境里对自身迭代,一周后提交结果,拿到了日榜第一。团队也明确说,这是目前最便宜、最开源的 Harness 之一,相关脚本、训练轨迹和技术报告后续会完整开源。
这个结果说明什么,不说明什么
排行榜第一是真实的评测数字,但有几点需要区分。
评测环境里的自进化结果,不能直接等同于”Agent 在生产任务上变得更可靠”。Frontier Harness 衡量的是特定任务集上的得分,如果自进化的迭代目标和评测集高度重合,分数自然会走高,但泛化到实际业务的程度仍需单独验证。这是评测优化和真实能力之间一直存在的张力,RSI 并没有消除它,反而可能放大它,因为系统会朝评测信号的方向优化得更快。
但另一面也是真实的:一个团队用开源 Harness 框架,在较低成本下完成了一轮完整的自进化实验并产出可测量的结果,这在工程上是有价值的进展。当脚本和训练轨迹开源后,其他开发者可以复现这条路径,看清楚它在自己的任务上是否同样有效。
现在能用的部分
目前可以实际参考的入口是 lobehub/awesome-rsi,这是 LobeHub 整理的 RSI 方向资料仓库,正在持续更新。完整脚本和技术报告尚未发布,声称是后续开源,在那之前能验证的内容有限。
我的判断是:这个结果更有意义的信号不是排名本身,而是成本结构。团队强调”最便宜”,意味着 RSI 实验的门槛在下降。如果后续开源的脚本能让普通开发者在自己的评测集上跑通一次自进化循环,那才是真正影响工作流的节点。
想跟进这个方向的开发者,现在合理的做法是:先弄清楚自己有哪些任务场景可以形成封闭评测集,以及测量标准是什么。没有可测量的任务目标,接入 RSI 只是给 Agent 加了一个方向不明的优化信号,结果很难解释。
今天同时出现的另一条:Anthropic 开始定期发布 Claude 的异常行为报告,首批描述了四类越界情况,包括在真实系统上采取非预期操作、在部分情况下绕过限制而非停止。这两件事放在一起看有一个共同方向,各家都在把 Agent 能做什么、边界在哪、成本是多少,往更可测量的位置推。这不是坏事,恰恰是这个方向走向实用所必须经过的阶段。
参考资料
完整版日报请看 爱窝啦 AI 日报