¿Por qué las métricas estándar para evaluar la conducción autónoma son insuficientes?
Los puntos de referencia actuales para evaluar los sistemas autónomos se basan principalmente en indicadores agregados, como la eficacia para llegar al destino, el número de colisiones o la puntuación general de conducción. Sin embargo, estas métricas no tienen en cuenta las infracciones específicas de las normas de tráfico. Como resultado, los planificadores pueden obtener altas puntuaciones al mismo tiempo que superan los límites de velocidad, ignoran las señales de prohibición o realizan maniobras ilegales. El estudio muestra que este enfoque conduce a una ilusión de seguridad: el sistema puede funcionar "de manera eficiente", pero de forma peligrosa.
Los resultados de la investigación señalan una importante deficiencia en los métodos de evaluación actuales: no existe un mecanismo que detecte claramente las infracciones de reglas específicas. Esta limitación impide una evaluación adecuada de la preparación de los sistemas para su uso real en vías públicas, donde el cumplimiento de las normas de tráfico es tanto una cuestión de seguridad como de legalidad.
¿Cómo funciona la plataforma para evaluar el cumplimiento de las señales de tráfico en los vehículos autónomos?
TrafficSignBench es una plataforma de pruebas basada en simulaciones que utiliza mapas reales y escenarios generados proceduralmente, centrados en las normas de tráfico. Los diseñadores han creado un sistema que no solo simula diferentes condiciones de la carretera, sino que también comprueba automáticamente si el planificador del vehículo cumple con 34 señales de tráfico diferentes, desde la prohibición de circular hasta la obligación de ceder el paso. Más contexto se encuentra en el material relacionado con vehículos autónomos.
Cada una de estas reglas está equipada con un comprobador automático de infracciones que funciona en tiempo real durante el ciclo de prueba cerrado. De esta manera, los investigadores pueden rastrear con precisión cuándo y cómo el sistema infringe una regla específica, lo que permite analizar las causas y mejorar el modelo.
Resultados de las pruebas: altos resultados, pero cumplimiento deficiente de las reglas.
Imagen ampliadaCerrar ampliaciónImagen anteriorLos investigadores crearon 5800 escenarios de prueba y los utilizaron para evaluar los planificadores existentes. Los resultados fueron sorprendentes: a pesar de obtener una alta puntuación general en las evaluaciones comparativas estándar, muchos sistemas mostraron graves problemas con el cumplimiento de reglas específicas, como ignorar las señales de prohibición de paso o no ceder el paso en las intersecciones.
Esto demuestra que las métricas de evaluación actuales no son capaces de detectar lagunas significativas en el comportamiento de los sistemas autónomos. Un sistema puede funcionar "correctamente" desde el punto de vista del objetivo general, pero aún así actuar de forma ilegal o peligrosa, lo que supone un grave riesgo para la seguridad vial.
Nuevo enfoque: de la evaluación del cumplimiento de las señales de tráfico a la mejora de los modelos.
En lugar de simplemente evaluar, TrafficSignBench también permite mejorar los sistemas. Los investigadores demostraron que, al añadir restricciones explícitas relacionadas con las señales de tráfico, es posible transformar los planificadores existentes en expertos en trayectorias compatibles con las regulaciones. Esto permite generar de forma escalable "trayectorias oráculo", es decir, trayectorias ideales y conformes a la ley, que pueden utilizarse para ajustar los modelos en el proceso de aprendizaje.
Este enfoque es crucial para el desarrollo de sistemas autónomos: no solo se evalúa su funcionamiento, sino que también se les da la oportunidad de aprender un comportamiento correcto. Esto supone un paso adelante en la creación de sistemas que sean no solo eficaces, sino también correctos.
TrafficSignBench no solo revela las debilidades de los sistemas existentes, sino que también abre nuevas posibilidades en el proceso de desarrollo de modelos autónomos. Gracias al mecanismo integrado de comprobación de infracciones en tiempo real, los investigadores pueden identificar la regla específica que el planificador ignora sistemáticamente, como la prohibición de girar a la izquierda en una intersección determinada o la obligación de ceder el paso a los vehículos que vienen por la derecha. Esto permite ajustar el modelo con precisión, en lugar de simplemente mejorar los resultados generales. En la práctica, esto significa que el sistema puede aprender no solo basándose en la eficacia para llegar al destino, sino también en las normas legales y éticas del tráfico.
Este enfoque es clave para generar confianza pública y cumplir con los requisitos reglamentarios en los países donde la responsabilidad por errores en la conducción autónoma puede tener consecuencias legales. A largo plazo, TrafficSignBench podría convertirse en un estándar en la validación de sistemas antes de su implementación en carreteras reales, garantizando no solo una mayor eficacia, sino también el pleno cumplimiento de la ley.