本文第一作家为西湖大学科研助理蔺聪明，通信作家为阿里巴巴达摩院算法群众黄念念腾和西湖大学东说念主工智能系副主任王东林。通盘作家均来自西湖大学机器智能实验室（MiLAB）和西湖机器东说念主科技有限公司，团队劳动 ReconVLA 近期取得 AAAI 2026 最好论文奖。

具身智能要想真确在复杂场景中落地，离不开对长程任务（Long-horizon tasks）的踏实实施。联系词，现存的 VLA（视觉-话语-动作）模子大多停留在「动作效法」阶段，穷乏对物理天下动态变换的潜入贯通，在长线操作中极易堕入因果沾污；同期，传统通过径直堆叠多帧图像来引入时候维度的技能，不仅容易引入大批静态配景冗余，更会带来苦难性的推理延长与显存溢出。

为科罚上述挑战，来自西湖大学、浙江大学、西湖机器东说念主等机构的商榷团队提议了一种以畅通（Motion）为中心的全新双向时空推理框架 HiF-VLA。灭亡冗余的像素级输入，HiF-VLA 玄机索求低维紧凑的 Motion 向量手脚动态先验，在一个革命的「汇集群众」模块中，同步完成异日视觉畅通的估量与高精度动作序列的生成。

比拟传统的时空建规范式，HiF-VLA 绝对摈弃了无须的视觉配景打扰，不仅在极长的历史不雅测窗口下依然保捏了恒定、极低的推理延长，更赋予了机器东说念主真确「边想边作念」的物理直观。在 CALVIN 与 LIBERO-LONG 等长程任务评测中，其得胜率显贵卓绝现存 SOTA 技能，为构建真确贯通天下启动法例的 WAM（天下动作模子）斥地了全新旅途。

目下，该劳动已被 CVPR 2026 接受，代码已开源。

论文地址：HiF-VLA: Hindsight， Insight and Foresight through Motion Representation for Vision-Language-Action Models

01 商榷动机：

从「动作效法」到「贯通物理天下」

现时主流的 VLA（视觉-话语-动作）模子，实质上大多是高档的「动作效法」。它们接受现时的图像不雅测，径直映射出对应的动作。

这种范式在短视距任务中尚可支吾，但在实施长程任务时却屡屡翻车。为什么？因为模子穷乏对物理天下「动态变化」的贯通。它们不知说念我方刚才作念了什么，也无法预判现时动作会对环境产生若何的影响，从而极易堕入因果沾污。

要冲破这种「短视」魔咒，模子必须从单纯的「动作效法」走向「物理贯通」。这就条件咱们引入 World Action Model (WAM) 的意见——智能体不仅要会「作念」，还要能在脑海中「想」（推演环境的变化）。

若何赋予机器东说念主「边想边作念」的时空推理才调？最直不雅的目的是把往常帧和异日帧的图像沿路塞进大模子里。但履行是骨感的：图像级别的时空建模不仅会导致算力爆炸，亚搏体育中国官方网站入口还会引入大批的静态配景冗余，使得关键的物理变化被脱色。HiF-VLA 团队找到了一个高效的切入点：畅通（Motion）。

02 核心决策：

HiF-VLA 的「三位一体」时空推理

比拟于冗余的像素，Motion 是捕捉物理天下动态演变最隧说念、最高效、最实质的表征。以 Motion 为中心，HiF-VLA 构建了一个名为 Hindsight-Insight-Foresight (HiF) 的双向时空推理框架。

1. Hindsight（后见之明）：冲破马尔可夫假定的「挂念锚点」

智能体必须领有连贯的自我意志。HiF-VLA 将机器东说念主往常的历史帧通过视频编解码器（H.264、MPEG-4 等）索求为低维且紧凑的 Motion 动态先验。这就像给机器东说念主植入了一个挂念核心，它不需要回看往常的摄像，就能精确感知到「环境刚刚履历了若何的畅通变化」。这个历史高下文，是后续一切推理的基石。

2. Insight（瞻念察目下）和 Foresight（预知之明）：走向 WAM 的「全知视角」

真确的智能，既需要扎根当下，更需要预判异日。在 HiF-VLA 框架中，这两个才调被齐全解耦又精良交汇，共同组成了迈向 WAM（天下动作模子）的核心：

Insight（瞻念察目下）：认真深度明白现时的话语请示和及时视觉不雅测，让机器东说念主感知「我此时此刻面对的是什么环境，需要完成什么具体场地」。

博亚体育中国官网在线入口

Foresight（猜度异日）：基于当下的 Insight，HiF-VLA 在输搬动作的同期，会初方式估量异日的畅通趋势。这十分于在模子里面镶嵌了一个杜撰物理模拟器，轮盘游戏app(中国)官方下载让机器东说念主约略提前推演本人的行径后果。

3. 深度对都：视觉与动作的协同估量

这是 HiF-VLA 最为核心、也最出彩的革命——历史调制的汇集群众（Hindsight-modulated joint expert）。淌若说 Hindsight 和 Foresight 拉长了时候轴，那么汇集群众模块则改革了模子的生成场地。HiF-VLA 合计，视觉与动作的割裂是禁锢模子贯通物理法例的绊脚石，因此假想的汇集群众模块毫不是浅近地将视觉特征和话语请示拼接，而是实施了一个双场地协同的政策：

视觉 Motion 估量 + 动作序列生成：汇集群众在历史信息（Hindsight）的动态调制下，被强制条件同期输出对异日视觉 Motion 的估量以及高精度的实施动作序列。

为什么这很遑急？这种双场地的汇集对都，胁制模子不可只死记硬背动作，而是必须去贯通「我输出这个动作后，物理天下的视觉表征会发生若何的动态变换」。

通过将「估量异日视觉变化（想）」与「策动动作序列（作念）」深度绑定，HiF-VLA 杀青了真确的 Think-while-acting（边想边作念）。它不再是盲目地效法群众轨迹，而是产生了着实的「物理直观」。

03 实验扫尾

❓ Q1：HiF-VLA 与 SOTA 的 VLA 模子比拟较若何？

HiF-VLA 在千般化的短程和长程任务中展现出了庞杂的才调。

团队尤其温存 HiF-VLA 在长程任务上的阐发。在 LIBERO-LONG 任务套件以及 CALVIN ABC-D 长程任务评测中，HiF-VLA 的阐发显贵优于诸多 SOTA 技能。同期，在着实天下的长程任务测试中，HiF-VLA 也展现出愈加踏实且优厚的任务完成性能（更多正式筹画请参阅原论文）。

❓ Q2：HiF-VLA 是否有用地缓解了传统技能中的视觉冗余和低效问题？

❌ 传统作念法的逆境：当浅近残酷地将历史多帧图像塞给模子时，显存片刻爆炸。峰值 GPU 显存径直翻倍飙升至 63.6 GB（涨幅 2.06 倍），推理延长更是暴增到 229.5 ms（高达 3.15 倍）。更令东说念主窒息的是，由于引入了海量冗余的静态配景噪声，模子反而被打扰了视野，平均得胜率（Avg. SR）不升反降。

HiF-VLA 的科罚决策：HiF-VLA 玄机地将历史帧编码为低维、结构化的畅通向量。引入 Hindsight 模块后，模子面对相同长度的历史窗口，峰值显存只是保管在 31.4 GB，相较于 Baseline 险些作念到了「零劳动」（仅增多极细小的 1.02 倍支出）。同期，推理延长（117.7 ms）也远低于传统堆叠技能。最遑急的是，在剔除了视觉冗余后，它让模子能专注贯通物理畅通，得胜将平均得胜率大幅提高。

❓ Q3：跟着时候跨度的增多，HiF-VLA 在推理时的可彭胀性若何？

拒却指数级资本增长，冲破长序列揣度打算瓶颈。

从推理效果对比图不错直不雅看出，跟着历史时候跨度的增多，传统堆叠图像帧的技能会遇到指数级的揣度打算延长暴涨甚而显存溢出（OOM）。而 HiF-VLA 凭借索求低维紧凑的 Motion 特征，绝对冲破了长序列推理的揣度打算瓶颈，跟着历史不雅测窗口变长，都遥远保捏踏实且极低的推理延长，展现出了在处理长程动态变换时庞杂的时候可彭胀性。

❓ Q4：HiF-VLA 所谓的「边想边作念」究竟是若何的经过？

百闻不如一见：motion 估量与 action 实施的时空高度吻合。

从可视化扫尾中不错看到，HiF-VLA 在实施动作的团结时刻，其里面汇集群众模块依然精确估量出了由红色箭头标志的异日视觉体育场。这有劲地证据了模子并非在盲目背诵请示，而是真确杀青了「边想边作念」。它能了了地预判本人动作将激发环境中若何的物理动态变换，从而在复杂任务中展现出精确的「物理直观」。

04 转头

从机械的「动作效法」进化为贯通物理法例的「天下动作模子（WAM）」，HiF-VLA 迈出了至关遑急的一步。它证据了机器东说念主的动作不应只是对请示的盲目反映，而应当是在对往常的瞻念察与对异日的预判交汇下，自联系词然的物理反馈。关于具身智能走向更复杂、更着实的物理天下轮盘游戏App(中国)官方下载，HiF-VLA 无疑提供了一个极具后劲和启发性的全新范式。