Una nueva forma de entrenar robots cuadrúpedos: un currículo dinámico de actuadores para tareas con previsibilidad limitada.

El problema de las tareas con baja previsibilidad en robótica.

En el aprendizaje por refuerzo para robots cuadrúpedos, existe una serie de tareas que no alcanzan la convergencia - a pesar de un largo entrenamiento. La causa suele ser la finalización temprana de la trayectoria de exploración: la mayoría de los intentos terminan antes de obtener una señal de gradiente útil. Estas tareas, denominadas "narrow-viability", son particularmente difíciles de dominar con algoritmos estándar. Los investigadores identificaron que el problema no radica en la falta de recompensa, sino en las limitaciones físicas y dinámicas del sistema, que impiden largas exploraciones.

En particular, las tareas tipo "transición de caminar sobre cuatro patas a estar de pie sobre las manos" son un ejemplo de estas tareas. En estos casos, incluso los modelos más avanzados no pueden aprender, ya que la mayoría de los intentos terminan en una caída o en exceder los límites de estabilidad antes de obtener cualquier señal de aprendizaje.

Un currículo dinámico de actuadores como solución.

El nuevo enfoque, denominado "Actuator Dynamics Curriculum", consiste en reducir gradualmente la rigidez de la articulación durante el entrenamiento. Inicialmente, se establece una alta rigidez - lo que resulta en una mayor frecuencia natural del bucle cerrado por debajo del amortiguamiento crítico - lo que aumenta el área de previsibilidad de la tarea en el proceso de toma de decisiones de Markov. A medida que los episodios se vuelven más largos, la rigidez se reduce gradualmente a un valor identificado sistemáticamente.

Los investigadores utilizaron un sistema carrusel (cart-pole) como ejemplo representativo y demostraron que esta estrategia amplía el "kernel de monotonización" - es decir, la parte del espacio de estados desde donde la tarea puede ser realizada. Esto permite exploraciones más largas sin una finalización temprana de la trayectoria.

Verificación en robots Boston Dynamics Spot.

El método se aplicó a la difícil tarea de transición de caminar sobre cuatro patas a estar de pie sobre las manos en un robot Boston Dynamics Spot. En condiciones de entrenamiento estándar con rigidez fija, el modelo lograba poco y nunca completaba la transición. Con el uso del currículo dinámico de actuadores, el modelo se entrenó y demostró ser capaz de realizar la transición en simulación en diez conjuntos aleatorios diferentes.

Este resultado confirma que un programa de aprendizaje por refuerzo con un currículo dinámico de actuadores puede resolver problemas que antes eran insuperables. La transición también se ha transferido al hardware, lo que indica su aplicación realista.

Significado y limitaciones del método

Este nuevo enfoque abre nuevas posibilidades para la robótica de patas, especialmente en tareas de alta dificultad y predictibilidad limitada. Demuestra que la dinámica del actuador puede utilizarse como un nuevo tipo de currículo: no solo como un parámetro a optimizar, sino como una herramienta para dar forma al espacio de exploración.

Al mismo tiempo, el método tiene limitaciones: funciona mejor en tareas donde el problema es la finalización temprana de la trayectoria, y no la falta de recompensa. No es un método universal para todas las tareas de aprendizaje por refuerzo. Además, su eficacia depende de la identificación precisa de los parámetros dinámicos del sistema.

La importancia de este método va más allá de las tareas individuales: abre nuevas posibilidades en el diseño de sistemas de aprendizaje para robots que deben hacer frente a condiciones ambientales dinámicas e impredecibles. Al ajustar gradualmente la dinámica de los actuadores, los robots pueden explorar el espacio de estados durante más tiempo, lo que conduce a una mejor integración de las señales de aprendizaje y a una mayor estabilidad durante el entrenamiento. Esto es especialmente importante en aplicaciones del mundo real, donde no es posible simular todas las condiciones extremas. Sin embargo, el método tiene sus límites: funciona mejor cuando el problema es la predictibilidad limitada de la trayectoria, y no la falta de recompensa o la baja sensibilidad del modelo a la señal.

Por lo tanto, su aplicación debe adaptarse a las condiciones específicas de la tarea y requiere una identificación precisa de los parámetros dinámicos del sistema. En el futuro, será posible extender este concepto a otros tipos de robots, por ejemplo, humanoides o robots móviles con múltiples grados de libertad, lo que podría conducir a sistemas autónomos más flexibles y fiables. En el contexto de la robótica global, estos enfoques podrían contribuir a la realización de misiones exploratorias avanzadas.

Cabe destacar que el método del currículo dinámico de actuadores no es una solución para todos los problemas en la robótica autónoma. Su eficacia se limita a las tareas donde el principal obstáculo es la finalización temprana de la trayectoria de exploración, y no la falta de recompensa o la baja sensibilidad del modelo a la señal de aprendizaje. En la práctica, esto significa que esta técnica funciona mejor en tareas de alta dificultad y predictibilidad limitada, como las transiciones entre estados de movimiento y reposo, que requieren una larga exploración sin pérdida de estabilidad.