Ciclo chiuso a livello di codice: una nuova filosofia della robotica
Molti sistemi robotici moderni si basano su modelli linguistico-visivi (VLM) che generano decisioni di controllo. Tradizionalmente, affinché tali modelli funzionino in pratica, devono essere adattati a un compito specifico - un processo noto come fine-tuning. Ciò richiede grandi set di dati e tempo. VLCP adotta un approccio diverso: invece di modificare il modello, lo lascia invariato (congelato) e lo utilizza per generare una funzione di controllo in linguaggio Python. Cosa importante, non ha bisogno di esempi o di interruzioni nell'addestramento.
L'innovazione chiave è chiudere il ciclo di controllo a livello del codice stesso, e non a livello di decisione o sottocompito. Quando un robot commette un errore - ad esempio, non afferra un oggetto - il sistema non seleziona un nuovo compito né ripete la stessa funzione. Invece, ogni pochi passaggi, il modello analizza nuovamente la scena da diverse prospettive e riscrive il codice di controllo che ha fallito. Ciò consente di correggere l'errore durante un singolo episodio, prima che diventi irreversibile.
Efficacia: dieci volte più successi rispetto all'approccio tradizionale
La ricerca condotta su un set di compiti MuJoCo/RoboVerse, comprendente 57 diverse attività di manipolazione, ha mostrato un drastico aumento dell'efficacia. Il sistema VLCP ha ottenuto risultati significativamente migliori rispetto a un sistema identico che opera in modalità aperta (con una singola query per episodio). Questa differenza non è casuale: gli intervalli di confidenza non si sovrappongono nemmeno per le singole famiglie di scenari.
Il miglioramento principale deriva dalla correzione degli errori all'interno dell'episodio. Lo studio ha dimostrato che il sistema è in grado di recuperare parte dei casi di presa fallita, ovvero quelle situazioni che i sistemi aperti tradizionali considerano come la fine dell'episodio. Quando un robot non afferra un oggetto, VLCP non reagisce a livello di decisione, ma riscrive il codice di controllo, che potrebbe ora funzionare correttamente nella nuova situazione.
Efficienza computazionale: basso costo e alta efficienza
Nonostante l'avanzata funzione di riprogrammazione, VLCP non rappresenta un carico computazionale. Lo studio dimostra che una gran parte dei token di input viene memorizzata nella cache, il che riduce significativamente il tempo di risposta. Per un episodio sono sufficienti circa 10 brevi query - non più di quanto necessario per un'elaborazione completa.
Inoltre, le funzioni di controllo generate durante la riprogrammazione vengono archiviate in una libreria di competenze utilizzata negli episodi successivi. Ciò significa che il sistema non solo migliora nel tempo, ma impara anche dalla propria esperienza - il che può portare a uno sviluppo a lungo termine delle competenze senza la necessità di un nuovo addestramento.
Limiti e importanza per il futuro della robotica
I risultati di VLCP sono promettenti, ma è importante ricordare che sono stati ottenuti in una simulazione - sulla piattaforma MuJoCo/RoboVerse. Ciò significa che non vi è ancora alcuna conferma del funzionamento nel mondo reale con robot fisici e rumore sensoriale. Vale anche la pena sottolineare che il sistema funziona solo per attività che possono essere descritte come brevi funzioni Python, il che ne limita l'applicazione a tipi specifici di manipolazione.
Tuttavia, l'importanza di questo lavoro è enorme. Dimostra che i robot non solo possono eseguire compiti, ma anche analizzare e migliorare il proprio codice in tempo reale. Questo è un passo verso sistemi autonomi che non sono limitati ad azioni pre-programmate, ma che possono adattarsi a livello del controllo stesso.
