Platforma FLARE umožňuje manipulačním robotům samostatně opravovat chyby a zotavovat se po poruchách během náročných úkolů vyžadujících fyzický kontakt, čímž výrazně zlepšuje efektivitu a odolnost při provozu, a to i v nepředvídatelných situacích.
Problém: Robot nemá možnost sám opravovat chyby.
Vizuálně-lingvistické modely akcí (VLAs) jsou v současné době jedním z nejslibnějších přístupů k manipulační robotice. Umožňují obecné porozumění a provádění složitých, víceúrovňových úkolů. Jejich hlavní slabinou je však nízká odolnost vůči chybám při provádění - jsou trénovány pouze na ideálních demonstracích bez chyb. V praxi to znamená, že pokud robot nedokáže uchopit předmět nebo se srazí s překážkou, není schopen se sám zotavit a pokračovat v úkolu.
Toto omezení je zvláště kritické ve složitých scénářích, kde je fyzický kontakt s okolím důležitý - například při skládání předmětů, ukládání nástrojů nebo manipulaci s měkkými objekty. Nedostatek mechanismů pro obnovení způsobuje, že jsou systémy citlivé na sebemenší odchylky a často selhávají.
Řešení: FLARE - framework s mechanismy opakování a resetu pro autonomní zotavení.
FLARE je nový framework navržený speciálně pro řešení problémů v reálném čase. Jeho základem je dvoufázový mechanismus: „Opakování“ a „Reset“. Mechanismus „Opakování“ funguje tak, že zavádí rušení a mezery do tréninkových dat, což odděluje stav robota od stavu prostředí. Díky tomu se model učí nejen provádět úkol, ale také reagovat na odchylky - například pokud se chycení nepodaří napoprvé, může to zkusit znovu s mírnou změnou polohy.
Pro závažnější chyby typu OOD (mimo distribuci), jako je pád předmětu nebo jeho neočekávané posunutí, aktivuje FLARE mechanismus „Reset“. V tomto případě se používá jazykově-matematický model k analýze nahraného videa provedení úkolu a identifikaci kritických stavů. Na základě toho se generuje malá sada specializovaných dovedností pro obnovení, které navracejí prostředí do přijatelného stavu pro další provádění úkolu.
Jak FLARE funguje v praxi?
Zvětšený obrázekZavřít zvětšeníPředchozí obrázekV reálném čase využívá FLARE online MLLM (multimodální velký jazykový model) k monitorování průběhu úkolu. Tento model rozhoduje, zda pokračovat v provádění úkolu, nebo aktivovat postup „Reset“. Rozhodnutí se zakládá na analýze aktuálního stavu prostředí a jeho porovnání s očekáváními modelu. Pokud zjistí odchylku překračující přípustné limity, automaticky spustí odpovídající dovednost pro obnovení.
Integrace těchto mechanismů umožňuje plynulý přechod mezi prováděním úkolu a jeho korekcí. Výzkum provedený na náročných úkolech s velkým podílem fyzického kontaktu ukázal, že FLARE významně zlepšuje účinnost a odolnost - což je klíčové pro nasazení v reálných průmyslových nebo klinických podmínkách.
Význam a omezení metody.
FLARE představuje důležitý krok vpřed ve vývoji autonomní robotiky. Ukazuje, že systémy mohou být nejen inteligentní, ale také odolné - dokážou se zotavit po chybách, což je nezbytné pro jejich využití v dynamických a nepředvídatelných prostředích. To může urychlit nasazení robotů ve výrobě, logistice nebo rehabilitaci.
Je však důležité zdůraznit, že FLARE byl testován pouze na simulovaných modelech a v kontrolovaných podmínkách. Nejsou k dispozici žádná data o jeho fungování v reálných průmyslových instalacích nebo v domácím prostředí. Krom toho závisí účinnost na kvalitě analýzy chyb provedené MLLM - pokud model nerozpozná chybu, nemusí aktivovat odpovídající postup.
Je důležité zdůraznit, že FLARE nejen zlepšuje efektivitu operací, ale také zvyšuje důvěru v roboty v prostředích, kde jsou nepředvídatelné situace běžné. Díky mechanismu „Retry“ se systém učí tolerovat malé odchylky, což je klíčové při manipulaci s přesnými nebo jemnými objekty, jako je sklo nebo elektronické součástky. Mechanismus „Reset“ zase zajišťuje odolnost proti rozsáhlejším poruchám - například když předmět spadne z povrchu nebo ho posune vnější faktor.
V takových případech nejen identifikuje problém, ale také generuje konkrétní strategii pro obnovení původního stavu, což umožňuje pokračovat v úkolu bez zásahu člověka. Ačkoli byl rámec testován hlavně v simulacích, jeho architektura je flexibilní a může být přizpůsobena skutečným systémům se senzory a časovými omezeními. Klíčovou výhodou FLARE je také jeho fungování v reálném čase - díky online MLLM, který monitoruje průběh úkolu, jsou rozhodnutí přijímána bez zpoždění, což je nezbytné v dynamických průmyslových scénářích. Jeho účinnost však závisí na kvalitě analýzy poruch a přesnosti jazykového modelu.
