📰 本频道不定期推送科技数码类新资讯,欢迎关注!

©️ 发布的内容不代表本频道立场,和你意见不一样的话欢迎在评论区留言表达,但请注意言辞,面斥不雅。

‼️ 关联群组定期清理不活跃成员和僵尸号,误封请联系管理员。

🔗 博客: https://yummy.best
💬 群组: @GodlyGroup
📬 投稿: @GodlyNewsBot
🪧 广告合作: @yummybest_bot.
MIT CSAIL博士利用 GPT-6 Astra 修改 Qwen3.5-0.8B 的权重,以提升数学能力

MIT CSAIL 是麻省理工学院(MIT)旗下的 计算机科学与人工智能实验室


他表示,只直接改动了 0.016% 的权重,就修复了 0.8B 的推理循环问题,使数学能力最高提升 6 倍,指令遵循能力也提升了 3 倍,而且无需梯度或训练。

修改后,MATH-500成绩从约7.9%提升到48.1%(约6倍),指令跟随(IFEval)也提升约3倍,且这些改进是泛化的。

他将这种方法称之为 Weight-Space Programming(权重空间编程),并表示前沿 LLM 如今已能原生读写神经网络权重。

他还在其他实验介绍道:Astra仅凭权重就能识别游戏策略网络(Breakout、Pong等)、从零写出比PPO训练500M步更强的小游戏网络、以及修复卡在坡道上的小车策略等。

🔗 https://rikiyat.github.io/blog/weight-space-programming/

🗒 标签: #Astra #权重空间编程 #Qwen #MIT
📢 频道: @GodlyNews1
🤖 投稿: @GodlyNewsBot
 
 
Back to Top