Uzavřená smyčka na úrovni kódu - nová filozofie robotiky
Mnoho moderních robotických systémů je založeno na jazykově-vizuálních modelech (VLM), které generují řídicí rozhodnutí. Tradičně, aby takové modely fungovaly v praxi, musí být přizpůsobeny konkrétnímu úkolu - proces známý jako jemné doladění. To vyžaduje velké datové sady a čas. VLCP jde jinou cestou: místo toho, aby upravoval model, ponechává jej nezměněn (zmrazený) a používá jej k generování řídicí funkce v jazyce Python. Důležité je, že nepotřebuje příklady ani přerušení tréninku.
Klíčovou inovací je uzavření řídicí smyčky na úrovni samotného kódu, a nikoli na úrovni rozhodnutí nebo dílčího úkolu. Když robot udělá chybu - například nechytne objekt - systém nevybere nový úkol ani neopakuje stejnou funkci. Místo toho model každých několik kroků znovu analyzuje scénu z mnoha perspektiv a přepíše řídicí kód, který právě selhal. To umožňuje opravit chybu během jedné epizody, než se stane nevratnou.
Účinnost: desetkrát více úspěchů než u tradičního přístupu
Výzkum provedený na souboru úkolů MuJoCo/RoboVerse, zahrnujícím 57 různých manipulačních činností, ukázal dramatický nárůst účinnosti. Systém VLCP dosáhl výrazně lepších výsledků než identický systém fungující v režimu s otevřenou smyčkou (s jedním dotazem na epizodu). Tento rozdíl není náhodný - intervaly spolehlivosti se dokonce nepřekrývají ani pro jednotlivé rodiny scén.
Hlavní zlepšení vyplývá z vnitroepizodového vylepšování chyb. Studie ukázala, že systém dokáže obnovit část případů neúspěšného úchopu - tedy těch situací, které tradiční systémy s otevřenou smyčkou považují za konec epizody. Když robot nechytne objekt, VLCP nereaguje na úrovni rozhodnutí, ale přepíše řídicí kód, který může již správně fungovat v nové situaci.
Výpočetní efektivita: nízké náklady a vysoký výkon
Navzdory pokročilé funkci replánování není VLCP výpočetně náročný. Studie ukazuje, že velká část vstupních tokenů se ukládá do mezipaměti (cache), což výrazně snižuje dobu odezvy. Na jednu epizodu stačí přibližně 10 krátkých dotazů - ne více než je potřeba pro jedno úplné zpracování.
Kromě toho jsou kontrolní funkce generované během replánování ukládány do knihovny dovedností, která se používá v následujících epizodách. To znamená, že se systém nejen zlepšuje během provozu, ale také se učí ze svých vlastních zkušeností - což může vést k dlouhodobému rozvoji kompetencí bez nutnosti nového tréninku.
Omezení a význam pro budoucnost robotiky
Výsledky VLCP jsou slibné, ale je třeba mít na paměti, že byly dosaženy v simulaci - na platformě MuJoCo/RoboVerse. To znamená, že zatím neexistuje žádné potvrzení funkčnosti ve skutečném světě s fyzickými roboty a senzorickým šumem. Je také důležité zdůraznit, že systém funguje pouze pro úkoly, které lze popsat jako krátké funkce v Pythonu - což omezuje jeho použití na konkrétní typy manipulací.
Nicméně význam této práce je obrovský. Ukazuje, že roboti mohou nejen provádět úkoly, ale také analyzovat a zlepšovat svůj vlastní kód v reálném čase. To je krok směrem k autonomním systémům, které nejsou omezeny na předem naprogramované akce, ale dokážou se adaptovat na úrovni samotného řízení.
