FSDrive: CoT Espacio-Temporal que hace pensar visualmente a VLMs para conducción autónoma

FSDrive propone un revolucionario método de razonamiento Chain-of-Thought (CoT) espacio-temporal que permite a los Modelos de Lenguaje Visual (VLMs) pensar de forma visual, superando las ambigüedades y la pérdida de información del CoT de texto discreto en la conducción autónoma. Este enfoque utiliza el VLM como un modelo mundial para generar un marco de imagen unificado que predice los estados futuros, capturando relaciones espaciales (mediante detección 3D y divisores de carril) y temporales (evolución visual). Al unificar la generación de escenas futuras y los resultados de percepción en formato de imagen, FSDrive establece una pipeline de razonamiento visual de extremo a extremo que mejora la planificación de la trayectoria al actuar como un modelo de dinámica inversa. La eficacia del sistema se sustenta en un paradigma de preentrenamiento unificado para la generación visual y la comprensión de escenas, logrando un rendimiento superior en tareas de planificación de trayectoria y comprensión de escenas en nuScenes y DriveLM.https://arxiv.org/pdf/2505.17685