La méthode PDDL-ART permet aux robots de créer automatiquement des plans de manipulation détaillés à partir d'une seule démonstration et d'une description en langage naturel. L'étude a révélé une grande efficacité dans les tâches difficiles qui nécessitent un raisonnement abstrait et une mémoire, grâce à la capacité d'utiliser indépendamment des outils internes VLM.
Une tâche qui ne peut être résolue sans abstraction
De nombreuses tâches de manipulation dans des environnements réels - allant de l'entretien des moteurs à la préparation des repas - nécessitent une planification et une mémoire à long terme. Les robots qui fonctionnent uniquement sur des images perdent souvent le contexte : ils ne comprennent pas ce que signifie « déplacer un bouton » dans une situation où le bouton a l'air identique avant et après l'action. C'est précisément ce problème qui devient un défi majeur pour la robotique symbolique - la nécessité d'une description abstraite des états et des actions qui ne sont pas directement visibles sur les images.
PDDL-ART résout ce problème en intégrant des modèles visuels et linguistiques à une approche formelle de la planification. Au lieu d'apprendre uniquement à partir de données visuelles, le système utilise la capacité du VLM à « penser » - par exemple, en calculant la distance entre les objets ou en analysant la séquence des actions - ce qui lui permet de comprendre les relations qui ne sont pas visibles sur une photo.
Comment PDDL-ART apprend-il à partir d'une seule démonstration
PDDL-ART fonctionne de manière autonome : il reçoit une démonstration des mouvements, une description de la tâche en langage naturel et une liste des actions de haut niveau disponibles. Sur cette base, il génère une description complète du domaine PDDL - c'est-à-dire un ensemble de règles, d'états et d'actions - qui peut être utilisé par un planificateur symbolique. Il est essentiel qu'il ne nécessite aucun modèle ou adaptation : le système découvre lui-même la structure de la tâche.
Le processus ne se limite pas à la génération du code. PDDL-ART lance un processus de correction en plusieurs étapes : il vérifie d'abord la validité syntaxique, puis la validité sémantique (si le plan a du sens), et enfin la validité exécutoire - si le robot peut l'exécuter dans la réalité. À cette dernière étape, le système utilise des outils internes VLM pour résoudre les problèmes géométriques et temporels qui ne sont pas visibles sur les images.
Efficacité : 93,3 % de réussite dans les tâches difficiles
Les recherches menées sur des tâches complexes - tant dans un environnement domestique que dans un atelier de réparation de moteurs - montrent que PDDL-ART atteint un taux de réussite moyen de 93,3 %. Cela signifie que, dans plus de neuf cas sur dix, le robot effectue la tâche correctement. Par rapport à un planificateur de base basé sur VLM, qui n'a obtenu qu'un score de 78,3 %, la différence est significative et montre une réelle avancée.
En particulier, le système gère bien les tâches nécessitant de la mémoire - par exemple, se souvenir où un objet a été placé - ainsi que le raisonnement abstrait, lorsque l'état final ne diffère pas visuellement de l'état initial. Cela montre que PDDL-ART ne se contente pas de "regarder", mais qu'il "comprend" également le contexte et l'objectif de la tâche.
Qu'est-ce que cela signifie pour l'avenir de la robotique ?
PDDL-ART n'est pas un produit prêt à être déployé, mais il démontre le potentiel d'une nouvelle approche : l'intégration de modèles visuels et linguistiques avec une planification symbolique formelle. Si ces systèmes se développent, les robots pourront apprendre des tâches complexes sans avoir besoin qu'ils soient programmés manuellement pour chaque action.
Cependant, il existe des limites : la méthode fonctionne dans des environnements contrôlés et nécessite un accès à un VLM performant. En pratique, cela peut signifier la nécessité de disposer d'une puissance de calcul importante ou d'une connexion au cloud. De plus, le système ne vérifie pas si ses plans sont sûrs dans le monde réel - par exemple, s'ils n'endommageront pas le matériel.
PDDL-ART ouvre de nouvelles possibilités pour la robotique dans l'industrie, la médecine et les foyers. Grâce à sa capacité à générer automatiquement des plans à partir d'une seule démonstration, le système peut considérablement réduire le temps nécessaire au déploiement de nouveaux processus. Dans les usines, où les changements dans la chaîne de production sont fréquents, les robots peuvent rapidement s'adapter aux nouvelles tâches sans avoir besoin d'être programmés manuellement. À la maison, ces solutions peuvent aider les personnes âgées ou handicapées dans leurs activités quotidiennes, par exemple en préparant des repas ou en rangeant une pièce. Bien que le système fonctionne actuellement dans des environnements contrôlés, son concept peut être étendu à des solutions plus flexibles et indépendantes de l'infrastructure.
Il est essentiel que les versions futures prennent également en compte les aspects liés à la sécurité et à l'éthique - par exemple, en empêchant les dommages matériels ou en évitant les actions potentiellement dangereuses pour les personnes. PDDL-ART ne résout pas seulement le problème de la planification abstraite, mais le traduit également en applications pratiques qui peuvent changer la façon dont les robots interagissent avec les humains.
