Por que as métricas padrão para avaliar a direção autônoma são insuficientes?
Os benchmarks atuais para avaliar sistemas autônomos são baseados principalmente em indicadores agregados, como a eficácia de alcançar um destino, o número de colisões ou uma pontuação geral de direção. No entanto, essas métricas não levam em consideração violações específicas das regras de trânsito. Como resultado, os planejadores podem obter altas pontuações enquanto excedem os limites de velocidade, ignoram sinais de proibição ou executam manobras ilegais. O estudo mostra que essa abordagem leva a uma ilusão de segurança - o sistema pode funcionar de forma "eficiente", mas perigosa.
Os resultados da pesquisa indicam uma lacuna significativa nos métodos atuais de avaliação: não há um mecanismo que detecte claramente violações de regras específicas. Essa limitação impede uma avaliação confiável da prontidão dos sistemas para uso real em vias públicas, onde o cumprimento das regras de trânsito é uma questão de segurança e legalidade.
Como funciona a plataforma para avaliar o cumprimento das regras de trânsito em veículos autônomos?
TrafficSignBench é uma plataforma de teste baseada em simulação que utiliza mapas rodoviários reais e cenários gerados proceduralmente, focando-se nas regras de trânsito. Os criadores desenvolveram um sistema que não apenas simula diferentes condições de estrada, mas também verifica automaticamente se o planejador do veículo cumpre 34 sinais de trânsito diferentes - desde a proibição de passagem até a obrigação de ceder a prioridade. Mais contexto é fornecido no material sobre veículos autônomos.
Cada uma dessas regras foi equipada com um verificador automático de violações que funciona em tempo real durante o ciclo de teste fechado. Desta forma, os pesquisadores podem rastrear com precisão quando e como o sistema viola uma regra específica - o que permite analisar as causas e melhorar o modelo.
Resultados dos testes: altos resultados, mas fraca adesão às regras.
Imagem ampliadaFechar ampliaçãoImagem anteriorOs pesquisadores criaram 5.800 cenários de teste e os usaram para avaliar os planejadores existentes. Os resultados foram surpreendentes: apesar do alto desempenho geral em benchmarks padrão, muitos sistemas apresentaram problemas sérios na adesão a regras específicas - por exemplo, ignorando sinais de proibição de passagem ou não cedendo o direito de passagem em cruzamentos.
Isso mostra que as métricas de avaliação atuais não são capazes de detectar lacunas significativas no comportamento dos sistemas autônomos. Um sistema pode funcionar "corretamente" do ponto de vista do objetivo geral, mas ainda assim operar de forma ilegal ou perigosa - o que representa um sério risco para a segurança do trânsito.
Nova abordagem: da avaliação da adesão aos sinais de trânsito à melhoria dos modelos.
Em vez de apenas avaliar, o TrafficSignBench também permite melhorar os sistemas. Os pesquisadores demonstraram que, ao adicionar restrições explícitas relacionadas aos sinais de trânsito, é possível transformar os planejadores existentes em especialistas em trajetórias compatíveis com as regulamentações. Isso permite a geração escalável de trajetórias "oraculares" - ou seja, caminhos ideais e legais - que podem ser usados para ajustar os modelos no processo de aprendizado.
Essa abordagem é fundamental para o desenvolvimento de sistemas autônomos: não apenas avalia seu desempenho, mas também lhes dá a oportunidade de aprender o comportamento correto. Este é um passo em direção à criação de sistemas que são não apenas eficazes, mas também corretos.
O TrafficSignBench não apenas revela as fraquezas dos sistemas existentes, mas também abre novas possibilidades no processo de desenvolvimento de modelos autônomos. Graças ao mecanismo integrado de verificação de violações em tempo real, os pesquisadores podem identificar a regra específica que o planejador ignora sistematicamente - por exemplo, a proibição de virar à esquerda em um determinado cruzamento ou a obrigação de ceder a passagem aos veículos da direita. Isso permite ajustar o modelo com precisão, e não apenas melhorar o desempenho geral. Na prática, isso significa que o sistema pode ser treinado não apenas com base na eficácia de alcançar o objetivo, mas também com base nas regras legais e éticas do trânsito.
Essa abordagem é fundamental para construir a confiança do público e atender aos requisitos regulatórios em países onde a responsabilidade por erros na condução autônoma pode ter consequências legais. A longo prazo, o TrafficSignBench pode se tornar um padrão na validação de sistemas antes de sua implementação em estradas reais, garantindo não apenas maior eficiência, mas também total conformidade com a lei.