Spa-Bench：一个新的真实机器人基准测试，评估语言-视觉-动作模型中的空间参与度。

Spa-Bench 究竟在测试什么？

Spa-Bench 是第一个面向评估语言-视觉-动作 (VLA) 模型中空间参与度的真实机器人基准测试。与其仅仅关注整体操作的成功与否，该研究提出了一个问题：模型如何准确地将空间描述（例如“将杯子向左移动”或“将绿色物体放在红色物体之上”）转化为具体的物理运动？为了验证这一点，研究人员设计了六个桌面任务：对象状态、相对大小、参考描述、关系位置、顺序位置和计数。

该项目的一个重要组成部分是将由于未知对象或动作引起的不确定性与缺乏空间参与度进行分离。为此，研究是在保持训练中使用过的对象、概念和动作可用性的前提下进行的--这排除了错误是由于对物理或运动知识不足的可能性。此外，还引入了四个诊断条件：物理执行测试、对指令措辞的敏感性、任务的对象分配以及识别何时不需要任何操作。这使得能够准确地识别模型的弱点。

研究表明，语言-视觉-动作模型可以在训练条件下（ID）执行基本任务，但其有效性在超出训练范围的情况下（OOD）会显著下降。结果表明，模型无法对超出特定训练示例集之外的空间进行概括理解。这表明它们对空间的抽象能力有限，并且取决于特定的训练条件。

测试结果显示了当前模型的局限性。

对三种最新语言-视觉-动作模型进行的分析显示，在训练条件下（ID）和超出训练范围的情况下（OOD），其有效性存在显着差异。然而，在 OOD 条件下--即空间描述与用于训练的不同时--有效性下降到 40.7% 到 52.0%。这意味着模型无法对超出特定示例集之外的空间进行概括理解。

此外，研究表明，更简单的指令--例如“将杯子移到左边”而不是“做应该做的事情”--可以显著提高性能。引入这些直接命令使效率提高了28.3-40.0个百分点。这表明当前的型号无法自行理解上下文或解释复杂的命令，而无需额外的帮助。缺乏空间参与可能是其局限性的主要原因。

这些结果强调，尽管在语言视觉模型方面取得了进展，但仍然存在一个严重的问题，即空间参与--即忠实地理解和执行物理世界中空间描述的能力。这种限制对于开发通用机器人至关重要，这些机器人需要在多样化且不可预测的环境中运行。

可供研究社区使用的资料和数据

Spa-Bench不仅仅是一个测试--它是一个完整的公共数据集。它包含在SO-101机器人上收集的4,092个剧集：1,200个人工遥操作演示和来自五种最新语言视觉行动模型的2,892个实际测试运行。数据包括视频录制、源代码以及对实验的完整描述。可以通过项目网站访问这些资料，这不仅可以验证结果，还可以开发新的模型并测试其空间参与度。

因此，Spa-Bench成为机器人研究人员的重要工具，他们希望评估模型理解物理世界的程度。它可以作为不同方法之间比较的标准基准，并且支持开发更强大和通用的机器人控制系统。从实际机器人中获取数据可以显著加速该领域的进展，从而消除了对模拟或人工条件的需求。

该项目由研究人员开发并发布在arXiv上。所有资料均可在论文中指定的网址访问，这可确保完全透明且可复制实验。

对未来机器人的意义和前景

Spa-Bench表明，尽管在语言视觉模型方面取得了进展，但仍然存在一个严重的问题，即空间参与--即忠实地理解和执行物理世界中空间描述的能力。这种限制对于开发通用机器人至关重要，这些机器人需要在多样化且不可预测的环境中运行。当前的型号过于依赖于特定的训练示例，并且在最微小的变化时会失去效率。

研究结果表明，未来的解决方案应侧重于更好地理解空间上下文，而不仅仅是处理语言。这可能包括开发具有更强抽象能力的模型、与空间地图集成或激发对何时给定命令在特定情况下没有意义的意识。Spa-Bench提供了一个具体的工具来测试这些解决方案--并且其可用性为研究人员和工程师开辟了新的可能性。

在真实的 SO-101 机器人上进行的研究表明，即使是最新的语言-视觉-动作模型在理解训练范围之外的空间方面也存在明显的不足。这强调了进一步研究空间参与和开发不仅能够解释语言，而且还能以深刻而灵活的方式理解物理世界模型的必要性。