跳到正文
Latent Space· swyx .ai·· 9 小时前AI 评分68

LLM 可直接读写神经网络权重,Weight-Space Programming 提出免训练权重编辑

[AINews] LLMs can read & write neural network weights: "Weight Space Programming" cuts Autoresearch out of the RSI loop

AI 导读

Takehi 等人提出 Weight-Space Programming,让前沿 LLM 从自然语言目标出发直接检查和编辑神经网络权重张量,不依赖梯度下降或训练循环。

摘要与补充说明

演示包括从原始权重识别小模型行为、从零写出小型游戏 MLP、编辑 3.5% 权重修复失败的控制策略,以及编辑 Qwen3.5-0.8B 约 0.016% 权重把 MATH-500 从 7.9% 提到 48.1%。社区质疑这些结果更接近 LLM 辅助的可解释性与消融:前几层和末层权重呈空间结构,QK/OV 分析沿用已有方法,密集中间层表示需模型自建探针才能解读。

此来源暂仅展示摘要。

相关阅读

专题与标签

相关资讯专题