Метод PDDL-ART дозволяє роботам автоматично створювати детальні плани маніпулювання на основі однієї демонстрації та опису природною мовою. Дослідження показало високу ефективність у складних завданнях, що вимагають абстрактного міркування та пам’яті, завдяки здатності самостійно використовувати внутрішні інструменти VLM.
Завдання, яке неможливо вирішити без абстракції
Багато маніпулятивних завдань у реальних середовищах - від обслуговування двигунів до приготування їжі - вимагають довгострокового планування та пам’яті. Роботи, які оперують лише зображеннями, часто втрачають контекст: вони не розуміють, що означає «переміщення кнопки» в ситуації, коли кнопка виглядає так само після дії, як і до неї. Саме така проблема стає ключовим викликом для символічної робототехніки - необхідність абстрактного опису станів і дій, які не є безпосередньо видимими на зображеннях.
PDDL-ART вирішує це шляхом інтеграції мовних та візуальних моделей із формальним підходом до планування. Замість того, щоб навчатися лише на візуальних даних, система використовує здатність VLM до «мислення» - наприклад, обчислення відстані між об’єктами або аналізу послідовності дій - що дозволяє їй розуміти відносини, які не видно на зображенні.
Як PDDL-ART навчається на основі однієї демонстрації
PDDL-ART працює автономно: він отримує одну демонстрацію рухів, опис завдання природною мовою та список доступних дій високого рівня. На цій основі він генерує повний опис домену PDDL - тобто набір правил, станів і дій - який може бути використаний планувальником символів. Ключовим є те, що він не потребує жодних шаблонів або адаптації моделі - система сама відкриває структуру завдання.
Процес не закінчується на генерації коду. PDDL-ART запускає багатоетапний процес корекції: спочатку перевіряє синтаксичну правильність, потім семантичну (чи має план сенс), а в кінці - виконавчу - чи може робот виконати його в реальності. На цьому останньому етапі система використовує внутрішні інструменти VLM для вирішення геометричних і часових проблем, які не видно на зображеннях.
Ефективність: 93,3% успіху у складних завданнях
Дослідження, проведені на складних завданнях - як у домашньому середовищі, так і в сервісному центрі двигунів, показують, що PDDL-ART досягає середнього коефіцієнта успішності 93,3%. Це означає, що у понад дев’яти випадках з десяти робот виконує завдання правильно. У порівнянні з базовим планувальником на основі VLM, який досяг лише 78,3%, різниця є значною і показує реальний крок вперед.
Зокрема, система добре справляється із завданнями, що вимагають пам’яті - наприклад, запам’ятовування місця розташування об’єкта - та з абстрактним міркуванням, коли кінцевий стан візуально не відрізняється від початкового. Це показує, що PDDL-ART не просто «бачить», але й «розуміє» контекст і мету завдання.
Що це означає для майбутнього робототехніки?
PDDL-ART - це не готовий до впровадження продукт, а демонструє потенціал нового підходу: інтеграція мовно-візуальних моделей із формальним символічним плануванням. Якщо такі системи будуть розвиватися, роботи зможуть вивчати складні завдання без необхідності ручного програмування кожної дії.
Однак існують обмеження: метод працює в контрольованих середовищах і потребує доступу до VLM з високою продуктивністю. На практиці це може означати необхідність потужних обчислень або підключення до хмари. Крім того, система не підтверджує, чи її плани є безпечними в реальному світі - наприклад, чи не спричинять пошкодження обладнання.
PDDL-ART відкриває нові можливості для робототехніки в промисловості, медицині та побуті. Завдяки здатності автоматично генерувати плани з однієї демонстрації, система може значно скоротити час, необхідний для впровадження нових процесів. На фабриках, де зміни у виробничій лінії є частими, роботи можуть швидко адаптуватися до нових завдань без необхідності ручного програмування. Вдома такі рішення можуть підтримувати людей похилого віку або з обмеженими можливостями в повсякденних справах, наприклад, у приготуванні їжі чи прибиранні кімнати. Хоча система зараз працює в контрольованих середовищах, її концепція може бути розвинена до більш гнучких і незалежних від інфраструктури рішень.
Важливо, щоб майбутні версії також враховували аспекти безпеки та етики - наприклад, запобігання пошкодженню обладнання або уникнення дій, потенційно небезпечних для людей. PDDL-ART не лише вирішує проблему абстрактного планування, але й перекладає її на практичні застосування, які можуть змінити спосіб, яким роботи взаємодіють з людьми.
