Новий стандарт у даних для дворучних маніпуляцій
FineART - це найповніший на сьогодні набір даних для роботів, які виконують дворучні завдання. Він містить 40 543 епізоди, що відповідає 1718 годинам роботи та понад 533 тисячам підзадач, розподілених на 151 різні завдання. На відміну від попередніх наборів даних, які часто містили лише одну команду найвищого рівня на епізод, FineART пропонує детальне анотування кожного кроку - це означає, що кожен рух і рішення ретельно записані. Це дозволяє моделям навчатися не тільки «що робити», але й «як це зробити» в контексті конкретного завдання.
Таке глибоке анотування є ключовим для розвитку роботів, які повинні діяти в реальних умовах - наприклад, Робототехніка в адитивному виробництві, реабілітації чи вдома - де недостатньо однієї команди, але потрібні складні багатоетапні дії. Набір даних був відкритий для наукової спільноти і буде доступний на Hugging Face, що дозволяє дослідникам та інженерам тестувати нові підходи без необхідності збору власних даних.
Модель FineART-VLA: навчання шляхом передбачення наступних кроків
Разом із моделлю даних було представлено також FineART-VLA - візуально-лінгвістичну модель дій, яка може передбачати наступну підзадачу під час виконання. Замість того, щоб чекати повної команди від користувача, модель сама вирішує, що робити далі, спираючись на зображення та контекст. Цей підхід, відомий як mid-training, дозволяє значно швидше навчатися та краще адаптуватися.
Дослідження показали, що в завданні просторового розрізнення - де робот повинен визначити, який з двох подібних об’єктів потрібно перемістити - ефективність зросла з 32,0% до 100,0%. Крім того, після мінімального налаштування на новому роботі модель потребує в десять разів менше даних, ніж традиційні моделі без mid-training. Це означає, що розробка систем для нових пристроїв може бути значно швидшою та дешевшою.
Zero-shot генералізація - ключ до гнучкості роботів
Збільшене зображенняЗакрити збільшенняПопереднє зображенняОдним з найважливіших досягнень FineART-VLA є його здатність до узагальнення без додаткового навчання (zero-shot generalization). Модель може працювати з абсолютно новими завданнями та на новому обладнанні без необхідності додаткового навчання на даних із цього пристрою. Це означає, що після одного разу адаптації її можна використовувати в різних контекстах - наприклад, на фабриці, у клініці або вдома - без потреби повторного збору даних.
Така гнучкість є ключовою для розвитку роботів, які повинні працювати в різноманітних і динамічних середовищах. Замість створення окремих моделей для кожного пристрою чи завдання, можна використовувати одне рішення, яке навчається та адаптується. Це зменшує витрати, скорочує час впровадження та відкриває шлях до більш незалежних систем.
Значення для майбутнього робототехніки
FineART і FineART-VLA - це не лише нові дослідницькі інструменти, але й потенційний крок вперед у розвитку реальних роботів. Завдяки детальним даним і технікам навчання, які дозволяють швидко адаптуватися до нових завдань, системи можуть бути більш незалежними та гнучкими. Це може мати значення для промислового сектору, де роботи повинні обробляти різні продукти, або в реабілітації, де потрібні індивідуальні рішення.
Варто пам'ятати, що модель була протестована в змодельованому середовищі та на конкретних завданнях. Її ефективність у реальному світі, особливо в непередбачуваних умовах, потребує подальших досліджень. Це ще не готовий продукт для масового впровадження, але є важливим кроком до більш інтелектуальних і автономних роботів.
Значення FineART для майбутнього робототехніки виходить за рамки технічних досягнень - це нова парадигма в розвитку автономних систем. Завдяки можливості узагальнення без додаткового навчання та низьким вимогам до даних, такі моделі, як FineART-VLA, можуть бути швидко впроваджені в різних секторах, від промислового виробництва, де роботи повинні обробляти різноманітні продукти без необхідності повторного програмування, до реабілітації, де індивідуальний підхід до пацієнта вимагає гнучких рішень. Вдома такі системи можуть допомагати літнім людям або людям з обмеженими можливостями у повсякденних завданнях, адаптуючись до їхніх потреб без необхідності детального введення нових інструкцій.
Хоча модель була протестована в змодельованому середовищі та на обмеженій кількості завдань, її потенціал для роботи в реальному світі є значним - особливо коли розглядається масштабованість і зниження витрат на впровадження. У майбутньому це може призвести до створення універсальних роботів, які не лише виконують завдання, але й навчаються їх виконувати у спосіб, зрозумілий для людини, що відкриває шлях до більш природної співпраці між людьми та машинами.
