多模态推理的演进

1. GRIT：教模型用图像思考

核心问题

传统的多模态模型主要将图像作为输入，仅生成文本响应。这引发了一个关键问题：这些模型是真正在进行视觉推理，还是仅仅在用语言描述图像？

技术方法

1. 三阶段训练流程

• 阶段1 - 定位：学习识别视觉证据（4万个示例）
• 阶段2 - 思考：发展带有基础证据的推理（2万个示例）
• 阶段3 - 整合：结合两种能力

2. 数据合成策略

GRIT不采用人工标注，而是使用GPT-4V生成训练数据，方法是：

1. 独立解决问题
2. 分析其推理过程
3. 识别哪些视觉区域支持每个推理步骤
4. 将图像坐标转换为边界框

结果与验证

在空间推理基准测试中，GRIT增强的模型显示出显著改进：

• VSR：62.5% → 69.4% 准确率
• BLINK：47.3% → 52.4% 准确率
• CV-Bench：在感知任务中持续提升

2. 视频模型作为零样本学习者

范式转变

本文提出了一个激进的想法：视频生成模型（如Veo 3）可以作为零样本视觉推理器，无需任何特定任务的训练。

关键实验

1. 视觉问答

不是用文本回答"汽车是什么颜色？"，而是模型生成一段视频，通过视觉变换展示汽车的颜色。

2. 未来预测

给定初始帧，模型生成合理的延续，展示对物理学和动力学的理解。

3. 视觉推理

对于需要推理的问题（例如"物体会向哪个方向倒下？"），模型生成展示结果的视频序列。

局限与挑战

• 计算成本：视频生成比文本生成昂贵得多
• 评估模糊性：多个有效的视频可以回答同一个问题
• 精细控制：难以指定确切的推理路径

3. ThinkMorph：交错推理中的涌现特性

关键问题

在推理过程中应该如何结合文本和图像？图像应该仅仅说明文本推理，还是应该提供独特的、互补的信息？

数据演化过程

ThinkMorph引入了创建高质量训练数据的系统方法：

阶段1：种子生成

人工设计的提示 → GPT-4生成纯文本推理链

阶段2：视觉注入

GPT-4V识别视觉推理有益的位置，并在战略点插入图像生成提示

阶段3：图像生成

DALL-E 3生成补充文本推理的图像

阶段4：过滤

模型逐步训练，保留能提高性能的数据用于下一次迭代

实验结果

ThinkMorph模型在以下方面表现出色：

• 几何：比纯文本推理提高12%
• 图论：通过视觉图表示提高18%
• 复杂问题解决：在多步问题上保持准确性

4. V-Thinker：交互式视觉思考

关键区别

之前的方法将图像作为推理链的一部分生成，但无法与它们交互。V-Thinker通过端到端强化学习引入了完全交互式视觉思考。

技术架构

1. 双模块系统

• 思维生成器：语言模型决定何时以及生成什么图像
• 图像生成器：Stable Diffusion XL从文本提示创建视觉内容

2. 端到端强化学习

与监督学习不同，V-Thinker使用直接策略优化（DPO），其中：

• 奖励：最终答案的正确性
• 正例：导致正确答案的轨迹
• 负例：导致错误答案的轨迹

渐进式训练课程

V-Thinker使用精心设计的进度：

1. 阶段1：简单视觉推理（几何基础）
2. 阶段2：多步问题（空间变换）
3. 阶段3：复杂整合（结合多个视觉概念）

基准测试：VSTaR

论文引入了VSTaR（通过强化学习进行视觉自我教学），评估：

• 视觉必要性：问题能否在没有图像的情况下解决？
• 推理深度：需要的视觉步骤数量
• 反馈利用：模型是否基于生成的图像进行调整？

结果

• 几何：比纯文本模型提高23%
• 多步推理：在复杂问题上提高35%
• 效率：用更少的推理步骤达到正确答案

5. 用视频思考：统一范式

统一框架

本文将之前的洞察综合为一个单一范式：视频生成是多模态推理的自然媒介。

视觉中心 vs. 文本中心推理

视觉中心任务

示例："如果这个球沿着斜坡滚下会发生什么？"

• 生成显示物理模拟的视频
• 视觉表示就是推理过程
• 答案隐含在视频内容中

文本中心任务

示例："求解：3x + 5 = 14"

• 生成显示逐步代数操作的视频
• 视觉表示补充文本推理
• 每帧显示数学变换

技术实现

1. 训练数据构建

• 4万个带有推理注释的视频序列
• 混合视觉中心（物理、空间）和文本中心（数学、逻辑）任务
• 可验证的真实标注用于客观评估

2. 模型架构

• 基础：基于扩散的视频生成器（CogVideoX）
• 增强：添加推理感知条件
• 输出：4-8帧序列显示推理进展

实验验证

论文引入了涵盖以下内容的综合基准测试：

• 物理推理：预测运动和碰撞
• 空间推理：对象关系和变换
• 数学推理：方程的视觉表示
• 逻辑推理：基于图表的问题解决

跨模态结果

• 视觉中心：比纯文本方法提高45%
• 文本中心：通过视觉脚手架提高12%
• 跨领域：单个模型处理多种推理类型

6. DeepEyesV2：迈向智能体多模态智能

终极前沿：智能体AI

DeepEyesV2代表了这一研究轨迹的高潮：一个在其推理过程中自主集成多种工具的系统。

多工具集成

可用工具

1. 代码执行：用于计算和数据分析的Python解释器
2. 网络搜索：实时信息检索
3. 图像操作：裁剪、过滤、变换

集成挑战

如何训练模型有效使用多种工具，而不提供每种可能组合的详尽示例？

两阶段训练

阶段1：冷启动SFT

• 数据：4万个显示正确工具使用的专家轨迹
• 目标：教模型工具存在以及如何调用它们
• 覆盖范围：每个工具的基本模式

阶段2：强化学习

• 奖励：简单的正确性信号（二元：对/错答案）
• 发现：模型学习何时以及哪些工具使用
• 涌现：训练数据中没有的新工具组合

涌现的智能体行为

1. 任务自适应工具调用

• 感知任务 → 图像操作（例如裁剪）
• 推理任务 → 数值分析

2. 复杂工具组合

强化学习使训练数据中不存在的自发行为成为可能，例如：

• 使用网络搜索查找当前信息
• 执行代码分析检索到的数据
• 生成分析的可视化

3. 上下文感知决策

模型学会基于问题上下文选择性地调用工具，反映自主的智能体推理。

基准测试：MA-Eval

论文引入了MA-Eval（多工具智能体评估），测量：

• 工具选择准确性：模型是否选择合适的工具？
• 组合效率：工具组合是否最小且有效？
• 错误恢复：当初始工具使用失败时，模型能否适应？
• 最终性能：整体任务成功率

结果

• 多步推理：比单工具模型提高34%
• 复杂集成：在68%的适当情况下成功组合3个以上工具
• 涌现行为：23%的成功策略不在训练数据中

这些论文如何相互联系

研究轨迹

共同主题

• 数据效率：所有方法都强调从有限的高质量数据中学习
• 强化学习：大多数使用强化学习来改进工具使用和推理行为
• 涌现特性：复杂行为从相对简单的训练设置中涌现
• 工具集成：逐步向集成的多工具系统发展
• 评估创新：每个都引入新的基准来测量新能力

实践者的关键要点

1. 选择正确的范式

• 对于静态视觉推理：从基础推理开始（GRIT风格）
• 对于动态过程：考虑视频生成方法
• 对于复杂工具集成：构建智能体系统（DeepEyesV2风格）

2. 训练策略很重要

推荐流程：

1. 冷启动SFT：用高质量轨迹建立基本工具使用模式
2. 强化学习：用简单奖励改进和增强行为

3. 数据质量胜于数量

所有论文都展示了用相对较小的数据集（2-4万样本）取得成功，强调：

• 适当的难度（不太容易，不可能）
• 任务和视觉分布的多样性
• 客观评估的可验证格式
• 工具使用能提高性能的证据

4. 互补，而非冗余

设计多模态系统时，确保文本和视觉推理提供不同的、互补的信息，而不是在不同模态中描述相同内容。

5. 评估必须演进

测量单一能力的传统基准是不够的。新系统需要：

• 跨能力集成测试
• 结合感知、搜索和推理的真实场景
• 评估工具使用的有效性，而不仅仅是最终答案

未来方向

开放挑战

• 泛化：用有限数据训练的模型仍然难以应对分布外场景
• 工具可靠性：防止奖励黑客攻击并确保一致、有意义的工具使用
• 计算成本：视频生成和多工具推理成本高昂
• 安全与对齐：具有工具访问权限的智能体模型引发新的安全问题

有前景的研究方向

• 更好的奖励：设计鼓励真正推理而不被黑客攻击的奖励函数
• 效率：降低基于视频的推理的计算要求
• 工具扩展：集成更多样化的工具（如3D渲染、模拟）
• 测试时扩展：在多模态设置中探索自洽性和集成方法
• 人机协作：设计交互式多模态推理的界面