Een nieuwe methode helpt mensen om de fouten van zelfrijdende auto's te voorspellen.

Hoe neemt AI in een zelfrijdende auto beslissingen?

Zelfrijdende auto's zijn gebaseerd op geavanceerde deep learning-modellen die gegevens van camera's en lidar verwerken. Hun 'hersenen', het planningssysteem, nemen real-time beslissingen over manoeuvres. Het probleem is echter dat deze modellen vaak een 'black box' zijn: hun werking is moeilijk te volgen en zelfs voor ingenieurs onduidelijk. Wanneer een voertuig plotseling zonder reden remt - bijvoorbeeld door een weg af te sluiten voor een ambulance - kan de veiligheidschauffeur of passagier verrast worden, wat het risico op een botsing vergroot.

In dergelijke situaties begrijpen mensen niet alleen niet waarom het voertuig is gestopt, maar het is ook moeilijk voor hen om zijn volgende gedrag te voorspellen. Dit vermindert het vertrouwen in de technologie en bemoeilijkt de ontwikkeling ervan. Onderzoek toont aan dat zonder duidelijke uitleg mensen geneigd zijn fouten te interpreteren als onvoorspelbaar of gevaarlijk - zelfs als het systeem correct werkt volgens het algoritme.

Het is belangrijk om op te merken dat dergelijke situaties niet het gevolg zijn van fouten in de werking van AI, maar vaak voortkomen uit de moeilijkheid van AI om ongebruikelijke verkeersomstandigheden te interpreteren. Wanneer een zelfrijdende auto plotseling remt bij een lege stoep, kan dit worden veroorzaakt door een model dat een potentieel gevaar detecteert - bijvoorbeeld de beweging van een persoon op een afstand die niet eenduidig kan worden geïnterpreteerd. Zonder uitleg beschouwen mensen dergelijk gedrag als onjuist, wat leidt tot verwarring en verminderd vertrouwen.

CW-Net: AI vertalen naar menselijke taal.

Om dit probleem op te lossen, hebben onderzoekers van MIT en Motional CW-Net ontwikkeld - een zogenaamde conceptuele wrapper network. Dit is een nieuwe AI-architectuur die in het bestaande planningssysteem van de auto wordt geïntegreerd. In plaats van ondoorzichtig te blijven, begint het model uitleg te genereren op basis van specifieke, begrijpelijke concepten: 'naderen van een stilstaand voertuig', 'in de buurt van een fietser' of 'smalle ruimte'. Deze concepten zijn niet alleen gemakkelijk te begrijpen, maar weerspiegelen ook nauwkeurig de werkelijke redenen voor de beslissing.

Het belangrijkste voordeel van CW-Net is de causale nauwkeurigheid. Het systeem creëert geen valse of vereenvoudigde interpretaties, maar zorgt ervoor dat de uitleg consistent is met het daadwerkelijke besluitvormingsproces van de AI. Dit betekent dat als een auto voor een fietser stopt, dit niet gebeurt omdat hij "iets vreemds ziet", maar omdat het model een specifieke situatie heeft gedetecteerd - en dat is wat het uitlegt.

CW-Net fungeert als een extra interpretatiemechanisme dat de werking van de oorspronkelijke AI niet verandert. Het heeft geen invloed op de prestaties of veiligheid van het voertuig. In plaats daarvan levert het informatie in realtime die veiligheidschauffeurs en passagiers helpt te begrijpen waarom de auto een bepaalde actie uitvoert. Hierdoor kunnen mensen zijn volgende bewegingen beter voorspellen en er adequaat op reageren.

Tests bevestigen de effectiviteit in de praktijk.

CW-Net is getest zowel op een privéterrein als in grootschalige simulaties met niet-experts. In beide gevallen bleek het effectief: veiligheidschauffeurs die realtime uitleg ontvingen, voorspelden het gedrag van het voertuig beter. Dit betekent dat het begrijpen van "waarom" de auto stopt, leidt tot een betere reactie en het voorkomen van botsingen.

In tests op het testcircuit observeerden deelnemers situaties waarin een zelfrijdende auto plotseling remde voor een stilstaand voertuig. Toen ze uitleg kregen zoals "naderen van een stilstaand voertuig", nam hun vermogen om de volgende manoeuvre te voorspellen aanzienlijk toe in vergelijking met de groep zonder informatie.

In simulaties met niet-experts was het effect vergelijkbaar: mensen die interpretatieve concepten zagen, begrepen het gedrag van het voertuig beter en reageerden minder vaak overdreven. Dit bevestigt dat uitleg in begrijpelijke taal de situationele bewustwording verbetert en onzekerheid vermindert.

Waarom is dit belangrijk voor de toekomst van transport?

De CW-Net technologie is niet alleen een hulpmiddel voor het testen, maar kan ook de sleutel zijn tot het opbouwen van vertrouwen tussen mensen en zelfrijdende auto's. Wanneer een passagier weet waarom de auto bij een verkeerslicht stopt en niet bij een lege stoep, neemt zijn ongerustheid af. Dit leidt tot een grotere acceptatie van de technologie en een snellere implementatie op stedelijk niveau.

Voor ingenieurs zijn systemen zoals CW-Net ook waardevol - ze maken het mogelijk om fouten sneller te diagnosticeren, nieuwe scenario's te testen en modellen te verbeteren. In plaats van te raden waarom AI iets vreemds heeft gedaan, kunnen specifieke concepten worden geanalyseerd die de basis vormden voor zijn beslissing.

Op de lange termijn kan CW-Net ook in andere gebieden worden gebruikt waar transparantie van beslissingen cruciaal is - bijvoorbeeld in de geneeskunde, logistiek of systemen voor infrastructuurbeheer. Wanneer mensen kunnen begrijpen waarom AI een bepaalde actie onderneemt, neemt het vertrouwen in de technologie toe en wordt de integratie ervan in het dagelijks leven natuurlijker.

Beperkingen en toekomst van deze technologie.

Hoewel CW-Net veelbelovende resultaten laat zien, is het geen oplossing voor alle problemen. De effectiviteit ervan hangt af van de kwaliteit van de trainingsgegevens en het begrip van het systeem voor specifieke verkeerssituaties. In nieuwe of ongebruikelijke omstandigheden - bijvoorbeeld in onbekend terrein of bij extreme weersomstandigheden - kunnen de uitleg minder nauwkeurig zijn.

Bovendien is het systeem gepubliceerd in Nature en getest in gecontroleerde omgevingen. Er zijn nog geen gegevens beschikbaar over de werking ervan in het echte stadsverkeer, wat vragen oproept over de schaalbaarheid en stabiliteit op lange termijn. In de toekomst kan deze methode worden uitgebreid naar andere AI-systemen - bijvoorbeeld in de geneeskunde of logistiek - waar transparantie van beslissingen even belangrijk is.

Onderzoekers benadrukken dat CW-Net geen volledige modelanalyse vervangt, maar fungeert als een extra interpretatielaag. De ontwikkeling ervan kan leiden tot de creatie van normen voor AI-transparantie in autonome systemen - wat cruciaal is voor hun veilige en ethische ontwikkeling.