Ep. 16: ResNet v2 — ¿Por Qué Importa Dónde Pones el ReLU?

Este episodio es el "sequel" del episodio 10 sobre ResNet. Si en el episodio 10 aprendimos que los skip connections permiten entrenar redes muy profundas, hoy vamos a profundizar en una pregunta aparentemente pequeña que resulta tener implicaciones grandes: ¿ dónde exactamente ponemos el Batch Normalization y el ReLU dentro del bloque residual? La respuesta a esa pregunta permitió entrenar redes de más de 1000 capas y explica por qué ResNet funciona tan bien desde un punto de vista matemático.