IA social: SOTOPIA-RL y el secreto de las conversaciones inteligentes

La inteligencia social es una capacidad crucial para los modelos de lenguaje grandes (LLM), permitiéndoles interactuar eficazmente en tareas del mundo real como la persuasión, la colaboración y la negociación. Sin embargo, el entrenamiento de LLM con aprendizaje por refuerzo (RL) para interacciones sociales enfrenta desafíos clave, como la observabilidad parcial (donde las expresiones tienen efectos indirectos y retrasados) y la multidimensionalidad (donde comportamientos como la construcción de relaciones contribuyen indirectamente al objetivo). Para superar estos obstáculos, SOTOPIA-RL propone un marco innovador que refina la retroalimentación general a nivel de episodio en recompensas multidimensionales a nivel de expresión. Esta asignación de crédito a nivel de expresión aborda la observabilidad parcial al atribuir resultados a expresiones individuales, mientras que las recompensas multidimensionales (incluyendo la finalización del objetivo, el mantenimiento de relaciones y la búsqueda de conocimiento) capturan la riqueza de las interacciones y reducen el reward hacking. Los experimentos en el entorno SOTOPIA demuestran que SOTOPIA-RL logra puntuaciones de vanguardia en la consecución de objetivos sociales y que sus mejoras son genuinas y robustas, no el resultado de un overfitting.https://arxiv.org/pdf/2508.03905