CLAP: ¡La IA que enseña a ROBOTS a IMITAR humanos usando videos!

Descubre cómo el revolucionario framework CLAP (Contrastive Latent Action Pretraining) está superando la escasez de datos robóticos al permitir que los modelos de Visión-Lenguaje-Acción (VLA) aprendan habilidades complejas directamente de la abundancia de videos de humanos. A diferencia de métodos anteriores que capturaban ruido visual irrelevante, CLAP utiliza el aprendizaje contrastivo para alinear las transiciones visuales de los videos con un espacio de acciones físicas ejecutables, logrando una transferencia de habilidades precisa y eficiente. En este video, exploramos sus dos variantes principales: CLAP-NTP, ideal para el razonamiento y seguimiento de instrucciones, y CLAP-RF, un controlador de alta frecuencia que permite tareas de manipulación delicada, como doblar ropa, con una latencia de apenas 183 ms. Además, analizamos cómo su estrategia de Knowledge Matching evita que el robot olvide lo aprendido, permitiendo que plataformas como Astribot y AgiBot generalicen el uso de objetos nuevos simplemente observando demostraciones humanas.https://arxiv.org/pdf/2601.04061https://lin-shan.com/CLAP/