DEPTH ANYTHING 3: Récord en Geometría 3D y Pose con un Solo Transformer. ¡Mejor que DA2!

Descubre Depth Anything 3 (DA3), el modelo de última generación de ByteDance Seed, que establece un nuevo estado del arte (SOTA) en la recuperación de la geometría visual. DA3 revoluciona la comprensión del espacio 3D al predecir geometría espacialmente consistente a partir de un número arbitrario de entradas visuales, incluyendo imágenes monoculares, multi-vista o secuencias de video, con o sin poses de cámara conocidas. El avance clave radica en su modelado minimalista: utiliza un solo transformer (como el vanilla DINO encoder) como backbone y un objetivo de predicción singular de profundidad-rayo para evitar el aprendizaje complejo de múltiples tareas. Entrenado con un eficaz paradigma teacher-student para unificar datos diversos, DA3 supera el SOTA previo (VGGT) en métricas de precisión de pose y geométrica por un promedio de 35.7% y 23.6%, respectivamente, además de superar a Depth Anything 2 (DA2) en la estimación de profundidad monocular. Explora cómo esta capacidad fundamental potencia otras tareas de visión 3D, como la síntesis de nuevas vistas (FF-NVS) y la generación de 3D Gaussian Splattings (3DGS) de alta fidelidad.https://depth-anything-3.github.io/