Crean robot que aprende a caminar por sí solo y también se levanta si se cae

Gracias a la técnica del aprendizaje profundo por refuerzo ahora un robot puede aprender por sí mismo a andar e incluso a levantarse cuando se cae.

Robot
Google

El aprendizaje profundo por refuerzo o Deep Reinforcement Learning, es uno de los campos de investigación más prometedores en el ámbito de la inteligencia artificial. Básicamente, mediante esta técnica el sistema aprende a optimizar un proceso de decisión: si el resultado de esa decisión es beneficioso, el sistema aprende automáticamente a repetir esa acción en el futuro, mientras que si el resultado es perjudicial, evitará volver a tomar la misma acción y la sustituirá por otra diferente.

Mediante este sistema es cómo un grupo de investigadores de Google ha logrado que un robot aprenda a caminar por sí solo, mediante un largo proceso de aciertos y errores.

Este sistema de aprendizaje es el más adecuado en tal situación porque aprender a caminar es un proceso muy complejo y jalonado de innumerables variables. Por esa razón, los investigadores se han fijado en cómo aprenden los niños hacerlo: mediante muchas pruebas y caídas, hasta que lo consiguen.

Deep RL

Uno de los grandes hitos que se ha alcanzado con este desarrollo es que el robot, al caerse, se levanta por sí solo y continúa probando a andar, aprendiendo poco a poco a hacerlo mejor. Por el contrario, los algoritmos desarrollados hasta ahora permitían que los robots aprendieran a caminar, pero necesitaban de la ayuda de un humano para levantarse tras una caída.

De esta forma crearon un sistema de locomoción autónomo que permite que el robot de cuatro patas, gracias al Deep Reinforcement Learning (Deep RL) aprenda a caminar por sí solo.

Para mejorar el algoritmo, los científicos delimitaron el terreno que el robot podía explorar y lo entrenaron en múltiples maniobras simultáneamente. Así el robot volcó 33 veces, cayó 16 veces y se levantó por sí mismo en un ensayo en el que la unidad, si alcanzaba al borde del límite del terreno mientras caminaba hacia adelante, debía cambiar de dirección y empezar a aprender a caminar hacia atrás.

En segundo lugar, los investigadores también restringieron los movimientos de prueba del robot, haciéndolo lo suficientemente cauteloso para minimizar el daño causado por caídas repetidas. Durante los momentos en que el robot inevitablemente cayó de todos modos, agregaron otro algoritmo codificado para ayudarlo a retroceder.

A través de estos diversos ajustes, el robot aprendió a caminar de manera autónoma a través de varias superficies diferentes, que incluyen suelo plano, un colchón de espuma viscoelástica y un felpudo con grietas. El trabajo muestra el potencial para futuras aplicaciones que pueden requerir que los robots naveguen por terrenos difíciles y desconocidos sin la presencia de un ser humano.

Así pues, mediante este proceso autónomo, sin la asistencia de ninguna persona, el robot tardó solo dos horas en aprender a caminar en un terreno plano. Tal y como escriben los investigadores que han desarrollado el sistema:

"Nuestro método puede adquirir una marcha estable desde cero directamente en el mundo real en aproximadamente dos horas, sin depender de ningún modelo o simulación, y la política resultante es robusta a variaciones moderadas en el entorno".

Al permitir que los robots aprendan de manera más autónoma, estarán así más cerca de poder aprender en el mundo real en el que vivimos.

Referencia: Learning to Walk in the Real World with Minimal Human Effort, arXiv:2002.08550 [cs.RO] arxiv.org/abs/2002.08550

Sergio Parra

Sergio Parra

Científico, letraherido, hiperestésico, idiota en el sentido ateniense de la palabra, aún sigo buscando la ballena blanca a sabiendas de que no existe.

Continúa leyendo