Memorizar no es aprender

Un modelo puede puntuar perfecto en los datos con los que entrenó y seguir siendo inútil mañana. Así se detecta, y esto es lo que ayuda de verdad.

15 min · 48 XP

La evaluación te dio la herramienta: un conjunto de prueba sellado y números que describen los errores con honestidad. Esta lección trata del fracaso para el que existe esa herramienta. Un modelo puede ser casi perfecto en sus filas de entrenamiento, horrible en todo lo demás y estar seguro en ambos casos. Eso se llama sobreajuste.

study hours -> exam score, one row per pupil

100 |                                    *
 90 |                              *
 80 |                        *
 70 |                  *
 60 |            *
 50 |      *
 40 |  *
    +----------------------------------------
      1   2   3   4   5   6   7   8   9

a curve through all six dots
same six dots, no room left overLos mismos seis puntos y una curva con flexibilidad suficiente para pasar por cada uno de ellos.

La recta de la lección anterior fallaba algunos puntos y acertaba la tendencia. Ahora permite una forma mucho más flexible y se enhebrará exactamente por los seis puntos. Cada error de entrenamiento pasa a cero. Las notas reales nunca fueron tan ordenadas: alguien durmió mal, alguien acertó por suerte, alguien estuvo enfermo. La curva no ha aprendido la tendencia, ha aprendido esos accidentes. Ha memorizado la hoja de respuestas en lugar de la materia.

+----------------+-----------+-----------------+
| model          | training  | held-back rows  |
+----------------+-----------+-----------------+
| straight line  | 72        | 69              |
| curve, 12 knobs| 100       | 48              |
+----------------+-----------+-----------------+Dos modelos, dos tipos de puntuación. La distancia entre las columnas es la historia.

Esa distancia entre la puntuación de entrenamiento y la de las filas reservadas es todo el diagnóstico. Cuando un modelo saca 100 entrenando y 48 en filas que nunca vio, la flexibilidad no compró nada y costó muchísimo. Fíjate en que el modelo flexible no está roto ni mal escrito: hizo exactamente lo que se le pidió, que era hacer pequeños los errores de entrenamiento. Por eso la puntuación de entrenamiento sola nunca puede ser el objetivo.

El remedio que funciona más a menudo son más datos. Con dos ejemplos, una curva flexible se ajusta a cualquier cosa; con doscientos, cada punto tira poco y la curva se ve obligada hacia la tendencia real. Un segundo remedio es un modelo más simple: menos mandos, menos espacio para memorizar accidentes. Un tercero son mejores características, para que lo que parecía ruido se vuelva explicable. Los tres ayudan más que cualquier cantidad extra de entrenamiento sobre las mismas filas.

ice cream sales and the day of the year

nine points, drawn honestly:

sales
   |   *     *  *        *   *
   | *    *         *  *
   +------------------------------
     Apr    May    Jun    Jul

one question the features never asked:

was it raining that afternoon?Nueve puntos honestos y una cosa que la tabla nunca registró.

Los dos modos de fallo están en extremos opuestos de un mismo mando. Demasiado simple, y el modelo se pierde la estructura real y se equivoca en todas partes. Demasiado flexible, y se ajusta al ruido y se equivoca allí donde el ruido cambia. El ajuste útil está en medio, y la única forma de encontrarlo son las filas reservadas con las que no entrenaste. Ese es el compromiso entre sesgo y varianza, y acabas de conocer sus dos mitades.

complexity -> error

error
  |\                      /
  | \                    /
  |  \                  /  total
  |   \                /
  |    \______________/
  |     \            /
  |      \          /  memorising the noise
  |       \        /
  +------------------------------> knobs in the model
     too simple    about right    too flexible

held-back error at the bottom of the valleyEl error total tiene un fondo, y no está en ninguno de los dos extremos del mando.

Práctica

Para la misma tarea se reportan dos modelos. Modelo uno: 72 por ciento en las filas de entrenamiento y 69 por ciento en las filas reservadas fuera del entrenamiento. Modelo dos: 100 por ciento entrenando y 48 por ciento en las filas reservadas. Cuál pones en producción y por qué?
Pistas
- Compara las dos columnas del informe en lugar del número más alto que aparece en él.
- El segundo modelo es también el que tiene muchos más mandos que girar.
16 XP
Un modelo que predice si un estudiante aprobará funciona mal en uso real. Relaciona cada causa con el síntoma que produce.
Pistas
- Pregúntate quién se encontrará esas filas después: el propio modelo o el mundo.
- La segunda lista describe el mundo real y no aparece en ninguna tabla de entrenamiento.
18 XP
Ordena los pasos para tratar un modelo sobreajustado.
1. 1Detectar la brecha: casi perfecto entrenando, bastante peor en filas que nunca vio
2. 2Hacer el modelo más simple, por ejemplo menos características o una forma menos flexible
3. 3Quedarse con el modelo más simple si la puntuación en filas reservadas deja de mejorar
4. 4Mirar juntas la puntuación de entrenamiento y la de las filas reservadas
5. 5Añadir más filas de entrenamiento, sobre todo parecidas a los casos donde falla
Pistas
- No distingues un ajuste afortunado de uno real hasta que los dos números están uno al lado del otro.
- Hacer el modelo más pequeño es una reacción a un diagnóstico, así que va después de la medición.
18 XP