Pourquoi les métriques d'évaluation standard pour la conduite autonome sont-elles insuffisantes?
Les benchmarks actuels pour l'évaluation des systèmes autonomes reposent principalement sur des indicateurs agrégés, tels que l'efficacité de l'atteinte de l'objectif, le nombre de collisions ou le score global de conduite. Ces métriques ne tiennent cependant pas compte des violations spécifiques des règles de circulation. Par conséquent, les planificateurs peuvent obtenir des scores élevés tout en dépassant la limite de vitesse, en ignorant les panneaux d'interdiction ou en effectuant des manœuvres illégales. L'étude montre que cette approche conduit à une illusion de sécurité - le système peut fonctionner « efficacement », mais de manière dangereuse.
Les résultats de la recherche indiquent un manque important dans les méthodes d'évaluation actuelles: il n'existe pas de mécanisme qui détecte clairement les violations de règles spécifiques. Cette limitation empêche une évaluation fiable de la préparation des systèmes à être utilisés réellement sur les routes publiques, où le respect des règles de circulation est non seulement une question de sécurité, mais aussi de légalité.
Comment fonctionne la plateforme d'évaluation du respect des panneaux de signalisation dans les véhicules autonomes?
TrafficSignBench est une plateforme de test basée sur la simulation, utilisant des cartes routières réelles et des scénarios générés de manière procédurale, axés sur les règles de circulation. Les concepteurs ont créé un système qui simule non seulement différentes conditions routières, mais vérifie également automatiquement si le planificateur du véhicule respecte 34 panneaux de signalisation différents - allant de l'interdiction de circuler à l'obligation de céder le passage. Plus de contexte est fourni dans le document concernant les véhicules autonomes.
Chaque règle est dotée d'un vérificateur automatique des violations, qui fonctionne en temps réel pendant les tests en boucle fermée. Cela permet aux chercheurs de suivre précisément quand et comment le système enfreint une règle spécifique, ce qui facilite l'analyse des causes et l'amélioration du modèle.
Résultats des tests : bons résultats globaux, mais faible respect des règles.
Image agrandieFermer l'agrandissementImage précédenteLes chercheurs ont créé 5 800 scénarios de test et les ont utilisés pour évaluer les planificateurs existants. Les résultats ont été surprenants : malgré un score global élevé dans les benchmarks standard, de nombreux systèmes présentaient des problèmes importants en matière de respect de règles spécifiques, par exemple en ignorant les panneaux d'interdiction ou en ne cédant pas la priorité aux intersections.
Cela montre que les métriques d'évaluation actuelles sont incapables de détecter les lacunes importantes dans le comportement des systèmes autonomes. Un système peut fonctionner « correctement » du point de vue de l'objectif général, mais continuer à fonctionner illégalement ou dangereusement, ce qui constitue un risque important pour la sécurité routière.
Nouvelle approche : passer de l'évaluation du respect des panneaux de signalisation à l'amélioration des modèles.
Au lieu de simplement évaluer, TrafficSignBench permet également d'améliorer les systèmes. Les chercheurs ont démontré qu'en ajoutant des contraintes explicites liées aux panneaux de signalisation, il est possible de transformer les planificateurs existants en experts en matière de trajectoires conformes à la réglementation. Cela permet de générer de manière évolutive des trajectoires « oraculaires », c'est-à-dire des chemins idéaux et légaux, qui peuvent être utilisés pour affiner les modèles dans le processus d'apprentissage.
Cette approche est essentielle au développement des systèmes autonomes : elle ne se contente pas d'évaluer leur fonctionnement, mais leur donne également la possibilité d'apprendre à adopter un comportement correct. C'est une avancée vers la création de systèmes non seulement efficaces, mais aussi conformes.
TrafficSignBench révèle non seulement les faiblesses des systèmes existants, mais ouvre également de nouvelles possibilités dans le processus de développement des modèles autonomes. Grâce à un mécanisme intégré de vérification des violations en temps réel, les chercheurs peuvent identifier la règle spécifique que le planificateur ignore systématiquement, par exemple l'interdiction de tourner à gauche à une intersection donnée ou l'obligation de céder le passage aux véhicules venant de droite. Cela permet d'affiner précisément le modèle, et pas seulement d'améliorer globalement les résultats. En pratique, cela signifie que le système peut être entraîné non seulement en fonction de son efficacité pour atteindre un objectif, mais aussi en fonction des règles juridiques et éthiques du code de la route.
Une telle approche est essentielle pour instaurer la confiance du public et répondre aux exigences réglementaires dans les pays où la responsabilité des erreurs de conduite autonome peut avoir des conséquences juridiques. À l'avenir, TrafficSignBench pourrait devenir une norme pour la validation des systèmes avant leur déploiement sur des routes réelles, garantissant non seulement une efficacité accrue, mais également une conformité totale avec la loi.