Warum sind die Standardmetriken zur Bewertung autonomer Fahrten unzureichend?
Die derzeitigen Benchmarks zur Bewertung autonomer Systeme basieren hauptsächlich auf aggregierten Indikatoren wie der Effizienz beim Erreichen des Ziels, der Anzahl der Kollisionen oder dem Gesamtergebnis der Fahrt. Diese Metriken berücksichtigen jedoch nicht die konkreten Verstöße gegen die Verkehrsregeln. Infolgedessen können Planer hohe Bewertungen erzielen und gleichzeitig Geschwindigkeitsbegrenzungen überschreiten, Verbotsschilder ignorieren oder rechtswidrige Manöver durchführen. Die Studie zeigt, dass dieser Ansatz zu einer Illusion von Sicherheit führt - das System kann „effizient“ funktionieren, ist aber gefährlich.
Die Forschungsergebnisse weisen auf eine wesentliche Lücke in den derzeitigen Bewertungsmethoden hin: Es gibt keinen Mechanismus, der eindeutig Verstöße gegen bestimmte Regeln erkennen würde. Diese Einschränkung verhindert eine zuverlässige Bewertung der Bereitschaft von Systemen für den tatsächlichen Einsatz auf öffentlichen Straßen, wo die Einhaltung der Verkehrsregeln nicht nur eine Frage der Sicherheit, sondern auch der Legalität ist.
Wie funktioniert die Plattform zur Bewertung der Einhaltung von Verkehrszeichen in autonomen Fahrzeugen?
TrafficSignBench ist eine Testplattform, die auf Simulationen basiert und reale Straßenkarten sowie prozedural generierte Szenarien verwendet, die sich auf Verkehrsregeln konzentrieren. Die Entwickler haben ein System entwickelt, das nicht nur verschiedene Straßenbedingungen simuliert, sondern auch automatisch überprüft, ob der Planer des Fahrzeugs 34 verschiedene Verkehrsschilder beachtet - von Fahrverboten bis hin zur Vorfahrtsregel. Weitere Informationen finden Sie in dem Material über autonome Fahrzeuge.
Jede dieser Regeln ist mit einer automatischen, in Echtzeit arbeitenden Regelverletzungsprüfung ausgestattet, die während eines geschlossenen Testlaufs verwendet wird. Auf diese Weise können Forscher genau verfolgen, wann und wie das System eine bestimmte Regel verletzt - was die Analyse der Ursachen und die Verbesserung des Modells ermöglicht.
Testergebnisse: hohe Ergebnisse, aber schlechte Einhaltung der Regeln
Vergrößertes Bild.Vergrößerung schließen.Vorheriges Bild.Die Forscher erstellten 5800 Testszenarien und nutzten diese zur Bewertung bestehender Planer. Die Ergebnisse waren überraschend: Trotz hoher Gesamtwerte in Standard-Benchmarks zeigten viele Systeme ernsthafte Probleme bei der Einhaltung bestimmter Regeln - z. B. ignorierten sie Verbotsschilder oder hielten an Kreuzungen nicht den Vorrang.
Dies zeigt, dass die derzeitigen Bewertungsmethoden nicht in der Lage sind, wesentliche Lücken im Verhalten autonomer Systeme zu erkennen. Ein System kann aus Sicht eines allgemeinen Ziels „korrekt“ funktionieren, aber dennoch illegal oder gefährlich handeln - was ein ernsthaftes Risiko für die Verkehrssicherheit darstellt.
Neuer Ansatz: von der Bewertung der Einhaltung von Verkehrszeichen zur Verbesserung von Modellen
Anstatt nur zu bewerten, ermöglicht TrafficSignBench auch die Verbesserung von Systemen. Die Forscher zeigten, dass durch das Hinzufügen expliziter Beschränkungen im Zusammenhang mit Verkehrszeichen bestehende Planer in Experten für regelkonforme Trajektorien umgewandelt werden können. Dies ermöglicht eine skalierbare Generierung von „orakelhaften“ Trajektorien - d. h. idealen, gesetzeskonformen Pfaden -, die zur Anpassung von Modellen im Lernprozess verwendet werden können.
Dieser Ansatz ist entscheidend für die Entwicklung autonomer Systeme: Es wird nicht nur deren Leistung bewertet, sondern ihnen auch die Möglichkeit gegeben, korrektes Verhalten zu lernen. Dies ist ein Schritt vorwärts bei der Entwicklung von Systemen, die nicht nur effektiv, sondern auch korrekt sind.
TrafficSignBench deckt nicht nur die Schwächen bestehender Systeme auf, sondern eröffnet auch neue Möglichkeiten im Modellentwicklungsprozess. Dank des integrierten Mechanismus zur Echtzeit-Überprüfung von Regelverletzungen können Forscher eine bestimmte Regel identifizieren, die der Planer systematisch ignoriert - z. B. ein Linksabbiegeverbot an einer bestimmten Kreuzung oder die Pflicht, Fahrzeugen von rechts Vorfahrt zu gewähren. Dies ermöglicht eine präzise Anpassung des Modells und nicht nur eine allgemeine Verbesserung der Ergebnisse. In der Praxis bedeutet dies, dass das System nicht nur anhand der Effektivität beim Erreichen eines Ziels, sondern auch anhand der rechtlichen und ethischen Regeln des Straßenverkehrs geschult werden kann.
Dieser Ansatz ist entscheidend für den Aufbau des öffentlichen Vertrauens und die Erfüllung der regulatorischen Anforderungen in Ländern, in denen die Verantwortung für Fehler beim autonomen Fahren rechtliche Konsequenzen haben kann. In Zukunft könnte TrafficSignBench zum Standard bei der Validierung von Systemen vor ihrer Einführung auf realen Straßen werden, um nicht nur eine höhere Effizienz, sondern auch die vollständige Einhaltung der Gesetze zu gewährleisten.