Metoda PDDL-ART umożliwia robotom automatyczne tworzenie szczegółowych planów manipulacyjnych na podstawie jednej demonstracji i opisu w języku naturalnym. Badanie wykazało wysoką skuteczność w trudnych zadaniach wymagających abstrakcyjnego wnioskowania i pamięci, dzięki zdolności do samodzielnego wykorzystania narzędzi wewnętrznych VLM.
Zadanie, które nie da się rozwiązać bez abstrakcji
Wiele zadań manipulacyjnych w rzeczywistych środowiskach - od serwisu silników po przygotowanie jedzenia - wymaga długoterminowego planowania i pamięci. Roboty, które operują tylko na obrazach, często tracą kontekst: nie rozumieją, co oznacza „przestawienie przycisku” w sytuacji, gdy przycisk wygląda tak samo po akcji, jak przed nią. To właśnie taki problem staje się kluczowym wyzwaniem dla robotyki symbolicznej - konieczność abstrakcyjnego opisu stanów i działań, które nie są bezpośrednio widoczne w obrazach.
PDDL-ART rozwiązuje to przez integrację modeli językowo-wizualnych z formalnym podejściem do planowania. Zamiast uczyć się tylko na danych wizualnych, system wykorzystuje zdolność VLM do „myślenia” - np. obliczania odległości między przedmiotami lub analizy kolejności działań - co pozwala mu rozumieć relacje, które nie są widoczne na zdjęciu.
Jak PDDL-ART uczy się z jednej demonstracji
PDDL-ART działa w sposób autonomiczny: dostaje jedną demonstrację ruchów, opis zadania w języku naturalnym i listę dostępnych akcji wysokiego poziomu. Na tej podstawie generuje pełny opis domeny PDDL - czyli zbiór reguł, stanów i działań - który może być użyty przez planer symboliczny. Kluczowe jest to, że nie wymaga żadnych szablonów ani dopasowania modelu - system sam odkrywa strukturę zadania.
Proces nie kończy się na generowaniu kodu. PDDL-ART uruchamia wieloetapowy proces korekty: najpierw sprawdza poprawność składniową, potem semantyczną (czy plan ma sens), a na końcu wykonawczą - czy robot może go wykonać w rzeczywistości. W tym ostatnim etapie system korzysta z narzędzi wewnętrznych VLM do rozwiązywania problemów geometrycznych i czasowych, które nie są widoczne na obrazach.
Skuteczność: 93,3% sukcesu w trudnych zadaniach
Badania przeprowadzone na złożonych zadaniach - zarówno w domowym środowisku, jak i w serwisie silników - pokazują, że PDDL-ART osiąga średni współczynnik sukcesu 93,3%. To oznacza, że w ponad dziewięciu przypadkach na dziesięć robot wykonuje zadanie poprawnie. W porównaniu do podstawowego planera opartego na VLM, który osiągnął tylko 78,3%, różnica jest istotna i pokazuje realny krok naprzód.
W szczególności system radzi sobie z zadaniami wymagającymi pamięci - np. zapamiętania, gdzie został umieszczony przedmiot - oraz z wnioskowaniem abstrakcyjnym, gdy stan końcowy nie różni się wizualnie od początkowego. To pokazuje, że PDDL-ART nie tylko „patrzy”, ale też „rozumie” kontekst i cel zadania.
Co to oznacza dla przyszłości robotyki?
PDDL-ART nie jest produktem gotowym do wdrożenia, ale demonstruje potencjał nowego podejścia: integracja modeli językowo-wizualnych z formalnym planowaniem symbolическим. Jeśli takie systemy będą się rozwijać, roboty mogą uczyć się skomplikowanych zadań bez konieczności ręcznego programowania każdej akcji.
Jednak istnieją ograniczenia: metoda działa w środowiskach kontrolowanych i wymaga dostępu do VLM o wysokiej wydajności. W praktyce to może oznaczać potrzebę silnych obliczeń lub połączenia z chmurą. Ponadto, system nie potwierdza, czy jego plany są bezpieczne w realnym świecie - np. czy nie spowoduje uszkodzenia sprzętu.
PDDL-ART otwiera nowe możliwości dla robotyki w przemyśle, medycynie i domu. Dzięki zdolności do automatycznego generowania planów z jednej demonstracji, system może znacznie skrócić czas potrzebny na wdrażanie nowych procesów. W fabrykach, gdzie zmiany w linii produkcyjnej są częste, roboty mogą szybko przystosować się do nowych zadań bez konieczności programowania ręcznego. W domu, takie rozwiązania mogą wspomagać osoby starsze lub z niepełnosprawnościami w codziennych czynnościach, np. przygotowaniu posiłku czy porządkowaniu pokoju. Choć system działa obecnie w środowiskach kontrolowanych, jego koncepcja może być rozwinięta do bardziej elastycznych i niezależnych od infrastruktury rozwiązań.
Kluczowe jest, by przyszłe wersje uwzględniały również aspekty bezpieczeństwa i etyki - np. zapobieganie uszkodzeniom sprzętu lub unikanie działań potencjalnie niebezpiecznych dla ludzi. PDDL-ART nie tylko rozwiązuje problem abstrakcyjnego planowania, ale także przekłada go na praktyczne zastosowania, które mogą zmienić sposób, w jaki roboty współdziałają z ludźmi.
