实时监控策略审计
研究人员对自动驾驶中的两个关键任务进行了全面审计：使用 LaneSegNet 模型生成在线矢量地图，以及使用 VAD 进行端到端运动规划。主要目标是验证访问模型的内部状态（潜在空间）是否能提高实时故障监控的效率。该研究包括分析 LaneSegNet 的高 Chamfer 误差和 VAD 的平均 ADE 误差，从而评估在实际条件下预测的准确性。
结果表明，即使没有访问潜在特征，故障监控也可以非常有效。对于 LaneSegNet，仅基于网络预测输出的模型实现了 0.825 的 AUROC 值，这表明它具有很强的识别高 Chamfer 误差的能力。对于 VAD，基于自我车辆数据、驾驶指令和预测轨迹的监视器实现了 0.924 的 AUROC 值，这是一个非常高的分数，在评估规划错误方面具有重要意义。这些结果证实了输入和输出数据包含足够的信息来评估系统的正确性。
研究没有显示出访问潜在空间与不访问之间的监控效率存在显著差异。对于 LaneSegNet，仅基于输出数据的监视器实现了 0.825 的 AUROC 值，而具有潜在特征的模型实现了 0.780 - 这表明添加内部状态不会带来好处。对于 VAD，基于自我车辆数据、驾驶指令和预测轨迹的监视器实现了 0.924 的 AUROC 值，而具有潜在特征的模型实现了 0.868。
访问潜在空间并不能保证获得更好的结果。
研究的主要结论是，将潜在特征添加到基于输出的基本模型中并没有带来统计上显著的监控效率改进。研究人员指出，“将潜在特征添加到任何基本模型都不会导致决定性的改进”。这意味着即使模型具有丰富的内部表示，也不需要使用它来有效检测故障。
重要的是，这种效应已被证实适用于各种规划错误类型，甚至包括那些其标签取决于几何形状的错误，而模型无法访问潜在空间中的几何形状。这表明输入和输出数据包含足够的信息来评估系统的正确性。
研究证实，基于模型内部表示预测故障并不能证明该表示包含超出可观察的输入和输出数据的有用信息。这些结论对于安全系统设计至关重要，因为它们表明，无需访问模型的内部状态即可有效地进行故障监控。
对自主系统的安全性和测试具有重要意义
研究结果对自动驾驶车辆中安全系统的设计具有重要影响。如果故障监控可以在不访问模型内部状态的情况下有效运行，这意味着可以构建更透明、更易于审计的系统。访问潜在空间通常会带来解释和验证模型操作方面的困难--消除它可能会简化测试和验证过程。
研究人员提出了一种新的评估访问潜在空间的附加值的协议，该协议可用于系统地比较不同的方法。所述协议允许单独评估内部表示是否比可观察的数据具有实际价值。这种方法对于开发更有效、更透明和更安全的自主系统至关重要。
在测试方面，研究结果表明，无需访问模型的内部状态即可评估其性能。这可能会带来更简单、更具扩展性的验证方法，而这些方法不需要专门的工具来分析潜在空间。
局限性和前景
该研究仅针对两个特定任务：矢量地图生成和运动规划。不能明确断定这些结果是否会在其他场景中重复出现，例如在高度不确定的情况下或使用不同的模型架构时。此外，该研究未包括在实际道路条件下进行的测试--所有结果均来自模拟和训练数据。
尽管存在局限性，但这项研究是朝着更好地理解如何以及何时利用模型的内部表示迈出的重要一步。它可以帮助创建更有效、更透明和更安全的自主系统。
研究人员强调，他们评估访问潜在空间附加值的协议未来可用于系统地测试不同的方法。这为从事自动驾驶车辆安全研究的 исследователи 和工程师开辟了新的可能性。