Metode PDDL-ART memungkinkan robot untuk secara otomatis membuat rencana manipulasi terperinci berdasarkan satu demonstrasi dan deskripsi dalam bahasa alami. Penelitian menunjukkan efektivitas tinggi dalam tugas-tugas sulit yang membutuhkan penalaran abstrak dan memori, berkat kemampuan untuk menggunakan alat internal VLM secara mandiri.
Tugas yang tidak dapat diselesaikan tanpa abstraksi
Banyak tugas manipulasi di lingkungan dunia nyata - mulai dari servis mesin hingga menyiapkan makanan - memerlukan perencanaan jangka panjang dan memori. Robot yang hanya beroperasi pada gambar sering kehilangan konteks: mereka tidak memahami apa artinya "memindahkan tombol" dalam situasi di mana tombol terlihat sama setelah tindakan, seperti sebelum tindakan tersebut. Inilah masalah yang menjadi tantangan utama bagi robotika simbolik - kebutuhan akan deskripsi abstrak tentang keadaan dan tindakan yang tidak secara langsung terlihat dalam gambar.
PDDL-ART memecahkan ini dengan mengintegrasikan model bahasa-visual dengan pendekatan formal untuk perencanaan. Alih-alih hanya belajar dari data visual, sistem menggunakan kemampuan VLM untuk "berpikir" - misalnya, menghitung jarak antara objek atau menganalisis urutan tindakan - yang memungkinkannya untuk memahami hubungan yang tidak terlihat dalam gambar.
Bagaimana PDDL-ART belajar dari satu demonstrasi
PDDL-ART beroperasi secara otonom: ia menerima satu demonstrasi gerakan, deskripsi tugas dalam bahasa alami, dan daftar tindakan tingkat tinggi yang tersedia. Berdasarkan ini, ia menghasilkan deskripsi lengkap domain PDDL - yaitu, kumpulan aturan, keadaan, dan tindakan - yang dapat digunakan oleh perencana simbolik. Kuncinya adalah bahwa ia tidak memerlukan templat atau penyesuaian model - sistem secara mandiri menemukan struktur tugas.
Prosesnya tidak berhenti pada pembuatan kode. PDDL-ART menjalankan proses koreksi multi-tahap: pertama, ia memeriksa kebenaran sintaksis, kemudian semantik (apakah rencana itu masuk akal), dan terakhir eksekusi - apakah robot dapat melaksanakannya dalam kenyataan. Pada tahap terakhir ini, sistem menggunakan alat internal VLM untuk memecahkan masalah geometris dan temporal yang tidak terlihat dalam gambar.
Efektivitas: 93,3% keberhasilan dalam tugas-tugas sulit
Penelitian yang dilakukan pada tugas-tugas kompleks - baik di lingkungan rumah maupun di bengkel mesin - menunjukkan bahwa PDDL-ART mencapai tingkat keberhasilan rata-rata 93,3%. Ini berarti bahwa dalam lebih dari sembilan dari sepuluh kasus, robot menyelesaikan tugas dengan benar. Dibandingkan dengan perencana dasar berbasis VLM, yang hanya mencapai 78,3%, perbedaannya signifikan dan menunjukkan langkah maju yang nyata.
Secara khusus, sistem ini mampu menangani tugas-tugas yang membutuhkan memori - misalnya, mengingat di mana suatu objek telah ditempatkan - serta penalaran abstrak, ketika keadaan akhir tidak berbeda secara visual dari keadaan awal. Ini menunjukkan bahwa PDDL-ART tidak hanya "melihat", tetapi juga "memahami" konteks dan tujuan tugas.
Apa artinya ini bagi masa depan robotika?
PDDL-ART bukanlah produk yang siap untuk diterapkan, tetapi menunjukkan potensi pendekatan baru: integrasi model bahasa-visual dengan perencanaan simbolik formal. Jika sistem seperti itu terus berkembang, robot dapat belajar melakukan tugas-tugas kompleks tanpa perlu pemrograman manual setiap tindakan.
Namun, ada batasan: metode ini bekerja di lingkungan terkontrol dan membutuhkan akses ke VLM berkinerja tinggi. Dalam praktiknya, ini mungkin berarti kebutuhan akan daya komputasi yang kuat atau koneksi cloud. Selain itu, sistem tidak memverifikasi apakah rencananya aman di dunia nyata - misalnya, apakah tidak akan menyebabkan kerusakan pada perangkat keras.
PDDL-ART membuka kemungkinan baru untuk robotika di industri, kedokteran, dan rumah tangga. Berkat kemampuannya untuk secara otomatis menghasilkan rencana dari satu demonstrasi, sistem ini dapat secara signifikan mempersingkat waktu yang dibutuhkan untuk menerapkan proses baru. Di pabrik, di mana perubahan pada lini produksi sering terjadi, robot dapat dengan cepat beradaptasi dengan tugas-tugas baru tanpa perlu pemrograman manual. Di rumah, solusi seperti itu dapat membantu orang tua atau penyandang disabilitas dalam kegiatan sehari-hari, misalnya menyiapkan makanan atau membersihkan ruangan. Meskipun sistem saat ini bekerja di lingkungan terkontrol, konsepnya dapat dikembangkan menjadi solusi yang lebih fleksibel dan independen dari infrastruktur.
Penting bahwa versi mendatang juga mempertimbangkan aspek keamanan dan etika - misalnya, mencegah kerusakan pada perangkat keras atau menghindari tindakan yang berpotensi berbahaya bagi manusia. PDDL-ART tidak hanya memecahkan masalah perencanaan abstrak, tetapi juga menerjemahkannya ke dalam aplikasi praktis yang dapat mengubah cara robot berinteraksi dengan manusia.
