FineART : un nouveau jeu de données et un modèle pour la manipulation robotique à deux mains.

Une nouvelle norme pour les données de manipulation à deux mains.

FineART est le jeu de données le plus complet à ce jour pour les robots effectuant des tâches à deux mains. Il contient 40 543 épisodes, ce qui correspond à 1 718 heures d'action et à plus de 533 000 sous-tâches réparties sur 151 tâches différentes. Contrairement aux jeux de données précédents, qui contenaient souvent une seule commande de haut niveau par épisode, FineART offre une annotation détaillée de chaque étape - ce qui signifie que chaque mouvement et décision sont enregistrés avec précision. Cela permet aux modèles d'apprendre non seulement « quoi faire », mais aussi « comment le faire » dans le contexte d'une tâche spécifique.

Une telle annotation approfondie est essentielle pour le développement de robots qui doivent fonctionner dans des environnements réels - par exemple. La robotique dans la fabrication additive., la rééducation ou à domicile - où une seule commande ne suffit pas, mais où des actions complexes et multi-étapes sont nécessaires. Le jeu de données a été mis à disposition de la communauté scientifique et sera accessible sur Hugging Face, ce qui permettra aux chercheurs et aux ingénieurs de tester de nouvelles approches sans avoir à collecter leurs propres données.

Modèle FineART-VLA : apprentissage par prédiction des étapes suivantes.

Parallèlement au jeu de données, le modèle FineART-VLA a également été introduit - une politique visuelle, linguistique et actionnelle capable de prédire la sous-tâche suivante pendant l'action. Au lieu d'attendre une commande complète de l'utilisateur, le modèle décide lui-même de ce qu'il faut faire ensuite, en se basant sur l'image et le contexte. Cette approche, connue sous le nom de mid-training, permet un apprentissage beaucoup plus rapide et une meilleure adaptation.

Les recherches ont montré que dans la tâche de raisonnement spatial - où le robot doit déterminer lequel des deux objets similaires doit être déplacé - l'efficacité est passée de 32,0 % à 100,0 %. De plus, après un ajustement minimal sur un nouveau robot, le modèle a besoin de dix fois moins de données que les modèles traditionnels sans mid-training. Cela signifie que le développement de systèmes pour de nouveaux appareils peut être beaucoup plus rapide et moins coûteux.

La généralisation zéro-shot - la clé de la flexibilité des robots.

L'une des réalisations les plus importantes de FineART-VLA est sa capacité à généraliser en mode zero-shot. Le modèle peut fonctionner sur des tâches et avec du matériel entièrement nouveaux sans nécessiter d'apprentissage supplémentaire sur les données de cet appareil. Cela signifie qu'après un seul ajustement, il peut être utilisé dans différents contextes - par exemple, dans une usine, dans une clinique ou à la maison - sans avoir besoin de collecter à nouveau des données.

Une telle flexibilité est essentielle pour le développement de robots qui doivent fonctionner dans des environnements diversifiés et dynamiques. Au lieu de créer des modèles distincts pour chaque appareil ou tâche, il est possible d'utiliser une seule solution qui apprend et s'adapte. Cela réduit les coûts, raccourcit les délais de mise en œuvre et ouvre la voie à des systèmes plus indépendants.

Importance pour l'avenir de la robotique

FineART et FineART-VLA ne sont pas seulement de nouveaux outils de recherche, mais aussi une avancée potentielle dans le développement de robots du monde réel. Grâce aux données détaillées et aux techniques d'apprentissage qui permettent une adaptation rapide à de nouvelles tâches, les systèmes peuvent être plus indépendants et flexibles. Cela peut avoir un impact sur le secteur industriel, où les robots doivent manipuler différents produits, ou dans la réadaptation, où des solutions individuelles sont nécessaires.

Il est toutefois important de se rappeler que le modèle a été testé dans un environnement simulé et sur des tâches spécifiques. Son efficacité dans le monde réel, en particulier dans des conditions imprévisibles, nécessite d'autres recherches. Il ne s'agit pas encore d'un produit prêt à être déployé à grande échelle, mais il constitue une étape importante vers des robots plus intelligents et autonomes.

L'importance de FineART pour l'avenir de la robotique va au-delà des réalisations techniques - c'est un nouveau paradigme dans le développement de systèmes autonomes. Grâce à la possibilité de généralisation en mode zero-shot et aux faibles exigences en matière de données, des modèles tels que FineART-VLA peuvent être rapidement déployés dans différents secteurs, allant de la production industrielle, où les robots doivent manipuler divers produits sans avoir besoin d'une reprogrammation, à la réadaptation, où une approche individualisée du patient nécessite des solutions flexibles. À la maison, ces systèmes peuvent aider les personnes âgées ou handicapées dans leurs tâches quotidiennes, en s'adaptant à leurs besoins sans qu'il soit nécessaire de saisir de nouvelles instructions.

Bien que le modèle ait été testé dans un environnement simulé et sur un ensemble limité de tâches, son potentiel pour fonctionner dans le monde réel est important - en particulier lorsqu'on considère l'évolutivité et la réduction des coûts de déploiement. À l'avenir, cela pourrait conduire à la création de robots universels qui non seulement effectuent des tâches, mais apprennent également à les effectuer d'une manière compréhensible pour l'homme, ce qui ouvre la voie à une collaboration plus naturelle entre les hommes et les machines.