# 张祥雨关于多模态与推理的演讲

关于计算机视觉 -> 多模态 -> 推理的真正启发性观点

Canonical: https://astro-blog-bice-chi.vercel.app/cn/blog/zhangxy-multimodal

Edition: cn · Language: zh-CN · Revision: 2026-10-19

Published: 2025-07-05

核对原访谈、论文版本及课程原始幻灯片；更正讲者姓名、损坏的引用链接与中英限定语。未确认的回忆仍保留为待核实。

这是我在 2025 年 7 月阅读[张祥雨访谈](https://www.xiaoyuzhoufm.com/episode/683d2ceb38dcc57c641a7d0f)后的笔记。他是一位长期从事研究的科学家。 这并非传统意义上的同行评议科学论文，在我看来，这更像是一场更加详尽的、Ilya[^1]级别的演讲。 我强烈建议你在一个非常理性的模式/环境中聆听/阅读它，值得你花时间。

> Podwise[^2] 已经自动生成了许多亮点和摘要 所以我不会在这里复制粘贴。 不过我会列出从这次演讲中得出的最重要的经验，以及与之相关的我的模糊思考

## [1\. 仅依靠图像扩展性较差](https://astro-blog-bice-chi.vercel.app/cn/blog/zhangxy-multimodal#1-%E4%BB%85%E4%BE%9D%E9%9D%A0%E5%9B%BE%E5%83%8F%E6%89%A9%E5%B1%95%E6%80%A7%E8%BE%83%E5%B7%AE)

这实际上是比原始演讲更大的断言，原演讲更多的是关于”图像自监督学习扩展性较差”。 首先，根本不存在所谓的无监督学习。 LLM有两种形式的强监督：1. 语言本身结构良好，2. 选择训练哪些数据本身就是一种标注形式。[^3] 张祥雨的洞察是，视觉中的SSL实际上是有监督的，因此受到开发者制作增强技术知识的限制。更具体地说：

*   对比学习本质上是学习人类对颜色/尺度/长宽比等对象不变性的理解。
*   掩码自编码器本质上是学习遮挡不变性

但我们还希望有更多： 物理学、组合、对象关系、因果效应 我知道我在这里抛出了一些非正交的概念，我只是缺乏更好的词汇 视频中的SSL可能有机会解决这个问题，但时间冗余让我怀疑暴力扩展是否高效。VideoMAE 用很高的掩码比例利用这种冗余[^4]；这并不能证明视频学习存在普遍的上限。更高效的解决方案还有待出现。

现在谈谈我个人对”监督学习同样扩展性较差”这一说法的看法。 Google DeepMind[^5]、Meta[^6] 和 BAAI[^7] 的大型视觉编码器研究确实报告了基准表现的提升。这些研究涉及规模与训练配方的改进，不能一概视为只改变模型规模的对照实验。尽管如此，在我看来，其中一些提升对实际应用仍可能只是锦上添花。 我怀疑它能否将许多应用从不好|好|优秀的使用层级中提升。 我甚至相信图像分辨率（因此利用的token数量）在图像理解中起着更大的作用，至少它确实在整体理解vs定位/OCR权衡中产生了显著差异[^8]

## [2\. LLM逆向扩展现象](https://astro-blog-bice-chi.vercel.app/cn/blog/zhangxy-multimodal#2-llm%E9%80%86%E5%90%91%E6%89%A9%E5%B1%95%E7%8E%B0%E8%B1%A1)

我把逆向扩展研究[^9][^10]与关于“涌现能力”的讨论[^11]联系在一起。按照我对访谈的理解，祥雨提出的直观解释是：更大的模型可能对任务有更强的直觉，却也更倾向于跳步直接回答，而不是一步步求解。所引论文中的 CoT 提示实验能够改善某些扩展曲线，但这并不证明所有推理任务都遵循同一种机制。

这让我想知道视觉是否可以完全通过数据+计算来解决？毕竟，原生视觉模型在你可以通过COT用更多计算进行推理时，并没有动态的”推理电路”。注意：我记得有一个通过自回归图像预测进行推理的例子，但尚未找回对应来源。因此这里保留为一个问题，不把它作为这项判断的证据。

## [3\. 推理模型的力量](https://astro-blog-bice-chi.vercel.app/cn/blog/zhangxy-multimodal#3-%E6%8E%A8%E7%90%86%E6%A8%A1%E5%9E%8B%E7%9A%84%E5%8A%9B%E9%87%8F)

这是演讲中最迷人的部分。这已经不是秘密了

*   什么：RL 在所研究的任务中能改善泛化[^12]
*   如何：DeepSeek-R1 对 GRPO 的应用[^13]使其广泛流行
*   但为什么？：这太简单了，难以置信，为什么没有早点发生

我对祥雨假设的理解是：许多推理模式已存在于预训练中，后训练帮助引出这些模式。我不把它理解为后训练绝不可能引入新知识的证明。在这种解释下，RL 更善于从预训练中引出现有模式（如 CoT），顿悟时刻的词语（等等…）是高质量数学讨论数据中的常见短语。当与测试时计算结合时，允许模型在”思考路径”上动态利用更多token，具有更高的成功率，并且还能适应之前错误选择的路径。

我的直觉是：

*   与其在具有多模态性质和不可约方差的token上猛击，我们更希望监督思考电路
*   RL是比SFT更好的搜索然后引出现有模式的方法
*   用外行的话来说，RL在 模型的观点 RL 术语：同策略（on-policy） 中探索更好的解决方案，并帮助模型在解决方案空间而不是token空间中发展 更好的”直觉” 再次，这是我的直觉，猜猜我是如何发展我的直觉的🤔

> 更新：后来我找到一段讨论 RL 为何值得期待的课程[^14]，很有启发。

![Ernest K. Ryu 的课程幻灯片：用 RL 学习思维链，以及探索因果关系的可能性](https://astro-blog-bice-chi.vercel.app/assets/blog/image-reasoning/RL_is_promising.webp)

Ernest K. Ryu 的课程幻灯片，第 30 页。它提出了对 RL 的两点期待；其中“发现可泛化的知识”仍以可能性表述，并非已证实的普遍结论。[^14]

## [4\. 图像推理的路径](https://astro-blog-bice-chi.vercel.app/cn/blog/zhangxy-multimodal#4-%E5%9B%BE%E5%83%8F%E6%8E%A8%E7%90%86%E7%9A%84%E8%B7%AF%E5%BE%84)

OpenAI O3是[^15]图像推理可能性的活生生的证明。 如果你还没有看过，一定要看看；真正特别，甚至神奇。

需要明确的是，这些是我在 2025 年 7 月的理解；我当时并不了解 o3 的具体训练与实现细节。

祥雨的洞察是，这很可能也可以追溯到预训练

*   有很多关于图像的解释模式
*   这些模式经常涉及标注或简单地缩放到感兴趣的区域，例如修理电子产品、标记工具的特殊用法等。
*   O3的思考模式可以看作是裁剪/缩放/标注模式的成功引出
*   顺便说一句，在所链接的示例中，裁剪操作通过 Python 执行；这能展示工具的使用，却不能揭示模型的训练方式。至于接口设计，我仍觉得更结构化、参数化的函数调用更合适

出处与延伸

## 参考资料

[^1]: Ilya Sutskever, _Why Next-Token Prediction Could Surpass Human Intelligence_（这里用于类比 Ilya 的演讲，不是张祥雨的访谈）: [https://www.youtube.com/watch?v=Yf1o0TQzry8](https://www.youtube.com/watch?v=Yf1o0TQzry8)

[^2]: [Podwise: 张小珺商业访谈录，第 102 期](https://podwise.ai/episodes/4209997)

[^3]: 未核实的回忆：尚未确认原始演讲及讲者，因此这里不作为已确认的引述。

[^4]: VideoMAE: Masked Autoencoders are Data-Efficient Learners for Self-Supervised Video Pre-Training: [arXiv:2203.12602v1](https://arxiv.org/abs/2203.12602v1)

[^5]: SigLIP 2: Multilingual Vision-Language Encoders with Improved Semantic Understanding, Localization, and Dense Features: [arXiv:2502.14786v1](https://arxiv.org/abs/2502.14786v1)

[^6]: Perception Encoder: The best visual embeddings are not at the output of the network: [arXiv:2504.13181v1](https://arxiv.org/abs/2504.13181v1)

[^7]: EVA-CLIP-18B: Scaling CLIP to 18 Billion Parameters: [arXiv:2402.04252v1](https://arxiv.org/abs/2402.04252v1)

[^8]: 有关分辨率与表征取舍的相关证据：Perception Encoder, [arXiv:2504.13181v1](https://arxiv.org/abs/2504.13181v1)。该研究并未证明分辨率普遍比模型规模更重要。

[^9]: Inverse Scaling: When Bigger Isn’t Better: [arXiv:2306.09479v1](https://arxiv.org/abs/2306.09479v1)

[^10]: 逆向扩展可能变成U型：[arXiv:2211.02011v1](https://arxiv.org/pdf/2211.02011v1)

[^11]: [https://www.jasonwei.net/blog/common-arguments-regarding-emergent-abilities](https://www.jasonwei.net/blog/common-arguments-regarding-emergent-abilities)

[^12]: SFT Memorizes, RL Generalizes: A Comparative Study of Foundation Model Post-training: [arXiv:2501.17161v1](https://arxiv.org/abs/2501.17161v1)。结论针对实验中的规则与视觉变体，不是关于 SFT 的普遍定律。

[^13]: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning: [arXiv:2501.12948v1](https://arxiv.org/abs/2501.12948v1)

[^14]: Ernest K. Ryu，_Reinforcement Learning of Large Language Models_（Spring 2025），Chapter 0。[课程页](https://ernestryu.com/courses/RL-LLM.html)、[原始幻灯片，第 30 页](https://ernestryu.com/courses/RL-LLM/chapter0.pdf#page=30)、[视频](https://www.youtube.com/watch?v=q9972BRoXzQ)。

[^15]: [https://simonwillison.net/2025/Apr/26/o3-photo-locations/](https://simonwillison.net/2025/Apr/26/o3-photo-locations/)