Metoda PDDL-ART umožňuje robotům automaticky vytvářet podrobné manipulační plány na základě jedné demonstrace a popisu v přirozeném jazyce. Výzkum prokázal vysokou účinnost ve složitých úlohách vyžadujících abstraktní uvažování a paměť, díky schopnosti samostatně využívat interní nástroje VLM.
Úloha, kterou nelze vyřešit bez abstrakce
Mnoho manipulačních úloh v reálných prostředích - od servisu motorů po přípravu jídla - vyžaduje dlouhodobé plánování a paměť. Roboti, kteří pracují pouze s obrázky, často ztrácejí kontext: nerozumí tomu, co znamená „přestavení tlačítka“ v situaci, kdy tlačítko vypadá stejně po akci jako před ní. To je přesně ten problém, který se stává klíčovou výzvou pro symbolickou robotiku - nutnost abstraktního popisu stavů a akcí, které nejsou přímo viditelné na obrázcích.
PDDL-ART to řeší integrací modelů jazyka a vizuálních informací s formálním přístupem k plánování. Místo toho, aby se systém učil pouze z vizuálních dat, využívá schopnost VLM „myslet“ - například vypočítat vzdálenost mezi objekty nebo analyzovat sekvenci akcí - což mu umožňuje porozumět vztahům, které nejsou viditelné na obrázku.
Jak se PDDL-ART učí z jedné demonstrace
PDDL-ART funguje autonomně: dostane jednu demonstraci pohybů, popis úlohy v přirozeném jazyce a seznam dostupných akcí vysoké úrovně. Na základě toho generuje úplný popis domény PDDL - což je soubor pravidel, stavů a akcí - který může být použit plánovačem symbolů. Klíčové je, že nevyžaduje žádné šablony ani úpravu modelu - systém sám objevuje strukturu úlohy.
Proces nekončí generováním kódu. PDDL-ART spouští vícestupňový proces korekce: nejprve kontroluje syntaktickou správnost, poté sémantickou (zda má plán smysl) a nakonec exekuční - zda jej může robot provést ve skutečnosti. V této poslední fázi systém využívá interní nástroje VLM k řešení geometrických a časových problémů, které nejsou viditelné na obrázcích.
Úspěšnost: 93,3% úspěchů ve složitých úlohách
Výzkum provedený na složitých úkolech - jak v domácím prostředí, tak i při servisu motorů - ukazuje, že PDDL-ART dosahuje průměrné míry úspěšnosti 93,3 %. To znamená, že ve více než devíti případech z deseti robot úkol správně provede. Ve srovnání se základním plánovačem založeným na VLM, který dosáhl pouze 78,3 %, je rozdíl významný a ukazuje reálný krok vpřed.
Konkrétně systém zvládá úkoly vyžadující paměť - například zapamatování si, kam byl předmět umístěn - a abstraktní uvažování, když se konečný stav vizuálně neliší od počátečního. To ukazuje, že PDDL-ART nejen „vidí“, ale také „rozumí“ kontextu a cíli úkolu.
Co to znamená pro budoucnost robotiky?
PDDL-ART není produkt připravený k nasazení, ale demonstruje potenciál nového přístupu: integrace jazykově-vizuálních modelů s formálním symbolickým plánováním. Pokud se takové systémy budou vyvíjet, roboti se mohou učit složité úkoly bez nutnosti ručního programování každé akce.
Existují však omezení: metoda funguje v kontrolovaných prostředích a vyžaduje přístup k výkonnému VLM. V praxi to může znamenat potřebu silného výpočetního výkonu nebo připojení ke cloudu. Kromě toho systém nepotvrzuje, zda jsou jeho plány bezpečné ve skutečném světě - například, zda nezpůsobí poškození hardwaru.
PDDL-ART otevírá nové možnosti pro robotiku v průmyslu, medicíně a domácnosti. Díky schopnosti automaticky generovat plány z jedné demonstrace může systém výrazně zkrátit dobu potřebnou k implementaci nových procesů. V továrnách, kde jsou časté změny v výrobní lince, se mohou roboti rychle přizpůsobit novým úkolům bez nutnosti ručního programování. V domácnosti mohou tato řešení pomáhat starším lidem nebo lidem s postižením při každodenních činnostech, například při přípravě jídla nebo uklízení pokoje. I když systém v současné době funguje v kontrolovaných prostředích, jeho koncept lze rozvíjet do flexibilnějších a nezávislejších řešení.
Klíčové je, aby budoucí verze zohledňovaly také aspekty bezpečnosti a etiky - například prevenci poškození hardwaru nebo vyhýbání se potenciálně nebezpečným činnostem pro lidi. PDDL-ART nejen řeší problém abstraktního plánování, ale také jej převádí do praktických aplikací, které mohou změnit způsob, jakým roboti interagují s lidmi.
