何恺明研究团队推出了一款面向多模态模型的视觉原生框架。
近期，何恺明团队在其新论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中，展示了一套名为VISTA的视觉原生Harness。该框架使现有的多模态模型能够直接观察环境、保存原始画面，并在推理过程中随时回看、放大和检查细节，而无需重新训练。
与传统的将环境抽象为文字或代码的方法不同，VISTA保留了原始的视觉信息。模型可以根据当前问题，将之前观察到的画面重新加载到上下文中，参与当前的判断和推理过程。基于这一方法，视觉经验成为模型可随时调用和反复检查的上下文，多模态模型也获得了围绕视觉记忆构建的原生支持。
在评估方面，结合VISTA，Claude Opus 5.0完成了ARC-AGI-3基准测试中的所有25个公开游戏，相对人类动作效率得分达到满分100，所用游戏动作数比首次游玩的人类基线减少了57.4%。使用GPT-5.6 Sol时，模型同样全部通关，得分达到99。
此外，团队还在浏览器游戏、迷宫和连线题中验证了这一方法，并将更接近物理世界的具身任务列为未来的研究方向。
视觉原生的脚手架
从ResNet、Mask R-CNN到MAE，视觉感知与表征学习一直是何恺明研究的主线。这次，VISTA聚焦于一个新问题：如何让模型在持续交互中积累、保存并利用视觉经验？答案是Harness。
去年11月，Anthropic曾以长时间编程任务为例，介绍Harness如何帮助模型跨越多个上下文窗口，持续推进任务。具体而言，Harness通过任务清单记录未完成事项，通过进度文件和代码记录保存已完成的工作。这样，即使模型进入新的上下文窗口，也能通过读取这些信息，了解之前做了什么以及接下来该做什么。复杂任务因此可以分步执行、检查结果，并在不同上下文窗口之间接续工作。
可以说，这套主要通过文字和代码保存任务状态的Harness，在一定程度上推动了当前Agent能力的爆发。然而，在现实环境中，仅有文字记忆显然不够。因为一旦进入真实的视觉环境，模型不仅需要记住物体的位置和朝向，还要理解每次动作前后环境的变化。而且，模型第一次看到一张图时，未必知道哪个细节会在后面变得重要。同时，这些视觉信息很难提前用文字笔记完整记录，更难保证模型后续执行任务时记录的信息依然足够。
在ARC-AGI-3这样的基准测试中，一种现有思路是先将画面转换为由数字组成的文本网格，再让模型编写程序，模拟环境规则并验证行动方案。但问题在于，环境越复杂，物体的外观、空间关系和动态变化就越难被完整转化为文字和代码。随着交互历史增长，早期画面也会逐渐被移出上下文，或被文字摘要替代。
因此，VISTA的研究问题变为：如何在不额外训练基础模型的情况下，让智能体在推理需要时重新检查过去看到的视觉信息？基于此，VISTA将环境返回的每一帧原样存储到上下文之外，包括动作过程中的动画中间帧，模型需要时再取回。在ARC-AGI-3评估中，它既能比较不同时刻的画面，也能放大局部区域，检查小方块上的朝向标记。
其中，文字笔记记录模型当前的理解，原始画面则保留供其重新判断的证据。研究将这种机制称为对交互历史的显式注意力，模型根据正在思考的问题，选择哪些视觉信息重新进入上下文。要使这种选择成为可能，系统必须保存原始画面，并提供随时调取和检查的工具。
具体实现
为了让模型能够保存并利用过去的视觉经验，VISTA设计了三个核心组件：视觉观测、无损视觉记忆和主动视觉检查。这三个组件各有分工，分别负责让模型看清画面、保存历史以及按需回看。
首先是视觉观测，负责将环境画面提供给模型。 在ARC-AGI-3实验中，VISTA将官方提供的64×64画面放大为512×512的PNG图像，同时保留物体的颜色、外观和空间关系，使模型能够直接观察环境。
其次是无损视觉记忆，负责保存模型看到的画面。 每次执行动作后，VISTA都会完整保存环境返回的所有画面，包括动作过程中的动画中间帧，并按照回合号和帧号建立索引。这样，模型无需提前判断哪些信息值得记住，而是可以先将视觉经验完整保存，留待后续使用。
最后是主动视觉检查，负责让模型按需回看历史画面。 通过inspect工具，模型可以指定某个历史回合，调出对应画面，也可以裁剪、放大局部区域，检查其中的细节。如果想知道某次操作改变了什么，模型还可以一次调出多帧画面，对比动作前后的变化。
整个过程相当于为模型配备了一套可随时翻阅的视觉档案。模型不仅能观察眼前的环境，还能主动回看过去的观察结果，为后续行动提供依据。
这三个组件具体如何配合工作？按照VISTA的执行流程，每个回合开始时，模型会先观察当前画面和可用动作，再结合此前积累的经验，判断环境状态，并提出下一步行动的假设。如果现有信息不足，模型可以调用工具，回看历史画面、放大局部区域，甚至读取像素信息，进一步寻找证据。
找到证据后，模型不会直接行动，而是先预测这次操作可能带来的变化。等动作执行完毕，再将实际结果与预测对比，检查判断是否正确，并据此修正对游戏规则的理解。如此反复，模型就能在持续交互中一边探索环境，一边积累经验。
当然，仅有视觉档案还不够。为了让模型在长时间任务中保持连贯，VISTA还引入了两份文字笔记：GUIDE.md记录不同关卡之间可复用的规则和经验；WORKING.md记录当前关卡的状态、进度和后续计划。当上下文接近上限时，模型会先整理交接摘要，再进入新的上下文窗口继续执行任务。此前的文字笔记、动作历史和视觉档案都会保留。
这里还有一个值得注意的设计：VISTA虽然完整保存了历史画面，但不会将所有图片都塞进模型的上下文。在完整方案中，每次执行动作后，框架默认只向模型展示最后一帧。动作过程中的中间画面则统一保存在视觉档案中，等模型需要时再主动调取。这样既保留了完整的视觉信息，也避免了大量历史图片持续占用上下文空间。
更重要的是，VISTA并未为此额外训练一个新模型。环境理解、行动规划和推理仍由现成的多模态模型完成，Harness则负责执行工具调用、保存视觉历史，并在模型需要时提供相应证据。换句话说，VISTA改变的不是模型本身，而是模型获取、保存和使用视觉信息的方式。
实验验证
除了开头提到的实验外，团队还在GameWorld、AI GameStore和BabyVision三个基准上测试了VISTA，覆盖浏览器游戏、迷宫和连线等任务。使用相同的GPT-5.6 Sol模型，相比官方基础框架，VISTA在GameWorld的170项任务中，将成功率从40.0%提高到63.3%；在AI GameStore的10个游戏中，综合得分从47.3升至140.3，其中人类中位数被归一化为100；在BabyVision选取的39道迷宫与连线题上，准确率从41.0%提高到63.2%。最后这组任务只有静态图片，模型也能通过放大局部、检查像素来改善判断。
这些结果表明，保存原始画面并让模型按需回看，可以进一步发挥现有多模态模型的能力。同一套VISTA框架只需少量适配，就能用于不同的游戏与谜题，也展现了它在更多视觉任务中的应用潜力。在结论上，研究将未来的验证方向指向更接近物理世界的具身任务：让模型在持续变化的环境中，保存、复查并利用自己的视觉经验，决定下一步行动。
作者介绍
最后，介绍这篇工作的作者们。论文的三位共同第一作者为Qiushi Han、胡珂雅和Linlu Qiu，另外两位作者为Cathy Wu和何恺明。
Qiushi Han（Josh Han） 目前是MIT运筹研究中心博士生，导师为Cathy Wu。
胡珂雅（Keya Hu） 目前是MIT电气工程与计算机科学系博士生，由何恺明和Jacob Andreas联合指导。她本科毕业于上海交通大学ACM班，研究兴趣集中在语言与视觉的交叉领域，希望构建数据效率更高、泛化能力更强的智能体。
Linlu Qiu 目前是MIT电气工程与计算机科学系及计算机科学与人工智能实验室的博士生，导师为Yoon Kim和Jacob Andreas。其研究方向包括自然语言处理和机器学习，曾在Google Research及Meta FAIR开展研究。
Cathy Wu 目前是MIT土木与环境工程系、数据系统与社会研究所副教授，研究如何用机器学习和强化学习改进交通等复杂系统。她在MIT获得学士和工程硕士学位，随后在加州大学伯克利分校获得博士学位。
何恺明 目前是MIT电气工程与计算机科学系终身副教授，也是ResNet、Mask R-CNN和MAE等工作的主要作者。他本科毕业于清华大学、博士毕业于香港中文大学，曾任职微软亚洲研究院和FAIR，于2024年加入MIT。
参考链接[1]https://arxiv.org/pdf/2610.02200
本文来自微信公众号“量子位”，作者：henry ，36氪经授权发布。
