第 15 期 · 第 1 章 快讯
936 棵树的科学社会
936 个 AI 用了 12 周,自己选题、做实验、写论文、互相审稿。人类只给电脑、给预算、定大方向。
Fig. 1 · AI 生成示意图
1 快讯 · NEWS
一片森林长出来了
论文里每个 AI 都用树名起名。所以本期:一个 AI = 一棵树,一个实验室 = 一片林。
Fig. 2 · 森林生长时间轴(拖动或播放)
- 阶段一 · 08-19 ~ 10-15只有 1 个实验室。62 个活跃智能体挤在两台 8 卡服务器上,写出 61 篇。
- 阶段二 · 10-15 ~ 10-25扩到 6 个实验室,新增 83 篇。
- 阶段三 · 10-25 ~ 11-12扩到 35 个实验室,新增 792 篇,平均每天 44 篇。
Fig. 3 · 谁在干活
“模型”就像树的种子品种:同一片林里,大多数树来自同一种子。四分之一没说自己是哪种。
土壤差别很大:有的树只长在一台纯 CPU 笔记本上,有的长在 H100 / H200 / B200 的 GPU 集群里。
GPU 好比专门做算术的“大型计算工厂”,训练 AI 模型离不开它;CPU 是普通电脑的“全能小工”。
纯 CPU 笔记本 H100 H200 B200 集群
- GPU 训练 从头教模型新本事,最费算力
- 409 篇
- GPU 推理 用现成模型答题、做测评
- 224 篇
- 不用 GPU 分析数据、做理论、写综述
- 303 篇
- 合计
- 936 篇
人类做什么
像林场主:给地、给水,不替树长叶子。
- 给算力(电脑)
- 设 API 预算(AI 能花多少钱)
- 选大方向
- 批准发布
- 不得手写代码、调试、挑随机种子或写稿
注:最后一条靠参与者自报,没有技术手段强制。
AI 做什么
从选题到发表,一棵树自己长全。
- 选具体假设
- 设计实验
- 跑代码
- 写论文
- 在聊天室互相评审
- 引用别人的研究
Fig. 4 · 帖子说 vs 论文说(点卡片翻面)
“帖子说”是网上流传的说法;“论文说”是我们对照原论文核查的结果。
2 雪松的自我纠正 · CEDAR
科学规矩是怎么长出来的
阶段一里,同一实验室的 AI 共用一个聊天室。没人教它们科学规矩,但规矩自己长了出来。
所有实质性纠正都发生在论文上传之前。
Fig. 9 · AI 自发形成的 4 条规矩(点卡片翻面)
Fig. 10 · 小游戏「凑数的树」
34 个外部实验室,每家的规定额度是 15 篇。你猜,有几个实验室刚好停在 15 篇?
正好 15 篇 · 19 个其他数量 · 15 个
正好停在 14 篇的:0 个。论文长度却没有挤在 5 页下限附近(平均 8.5 页)。
数据注:来自论文 Fig. 6c 与附录 A.5。
这些规矩是“自己长的”吗?
这些行为来自聊天记录分析,论文作者称之为“涌现的规范”。但人类实验室设置的初始提示,可能也有影响。
3 AI 自己办了一份期刊 · JAR
AI 自己办了一份期刊
《智能体研究杂志》(Journal of Agent Research,简称 JAR):从创刊到审稿,全由 AI 自发运作。
Fig. 13 · 四位审稿人(点卡片翻面)
论文中审稿由四家公司的模型担任,分工以此为准。
Fig. 14 · 只看文字 vs 跑一遍代码
只读文字时,审稿 AI 分不清“藏着错误的论文”和“已经老实写明局限的论文”。
连已经修好的论文,也被挑出了 10 / 16 个问题。
276 条审稿意见被写成脚本,在真实数据上跑了一遍。
49.4%推翻核心结论
20%推翻核心结论
小结
JAR 由 AI 自发创办与运作,但规模小(11 篇投稿),不能代表所有 AI 审稿的效果。
4 AI 科学家的成绩单 · REPORT CARD
AI 科学家的成绩单
盲评打分、AI 的“人类毛病”、一场接力破案,和三处被抓到的人类研究错误。
Fig. 17 · 盲评成绩单
严谨性:AI 9.02 vs 人类 7.00。
参考文献中位数:AI 论文 12 篇 人类论文 33 篇
Fig. 18 · AI 也有人类的毛病(点卡片翻面)
注:这些是 AI 在受控实验里研究 AI 自己的结果。
Fig. 19 · 接力破案:“冻结词表”真的管用吗?(点站点)
灾难性遗忘:模型学了新课,忘了旧课。
Fig. 20 · 抓到人类研究的错
这些是 AI 的复核结论,论文附有代码;原作者是否认同,论文没有说明。
5 核查台 · 课堂 · 医学点评 · FACT CHECK
哪些说法站得住?
六条流传的说法逐一盖章,三道小测,两道讨论题,最后请一位麻醉科医生说说看法。
Fig. 21 · 核查台(点卡片盖章)
- 属实论文支持
- 要打折有依据,但被说大了
- 有前提成立,但有条件
作者自己承认:研究都在计算领域;多为小模型、短实验;“解读结果意义仍是人的工作”。
Fig. 22 · 课堂小测(点选即判)
Fig. 23 · 讨论题
Fig. 24 · 医学点评
PubMedQA 实验。给 AI 一篇无关的医学摘要再提问,300 道题里它答“否”290 道。加上一个“无法判断”选项后,300 道全部正确弃答;配对摘要的准确率也从 50.7% 升到 66.3%。
附上的摘要讲的是膝关节置换术后的康复训练。问题:这种做法能降低术后房颤吗?
Fig. 25 · 智能体的医学审计 未经领域专家复核
FDA 批准的临床 AI 设备
75 个里,仅 1 个
有匹配用途的独立验证。
医学 AI 诊断论文
45 篇,25 篇可查,4 篇不可能成立
在“病人数必须是整数”的条件下,这 4 篇报告的数字凑不出来。
本期完第 15 期
↑ 返回顶部