Auswendig lernen ist kein Lernen

Die Bewertung hat dir das Werkzeug gegeben: eine versiegelte Testmenge und Zahlen, die Fehler ehrlich beschreiben. Diese Lektion handelt von dem Fehlschlag, für den dieses Werkzeug existiert. Ein Modell kann auf seinen Trainingszeilen fast perfekt, auf allem anderen furchtbar und in beiden Fällen völlig überzeugt sein. Das nennt man Überanpassung.

study hours -> exam score, one row per pupil

100 |                                    *
 90 |                              *
 80 |                        *
 70 |                  *
 60 |            *
 50 |      *
 40 |  *
    +----------------------------------------
      1   2   3   4   5   6   7   8   9

a curve through all six dots
same six dots, no room left overDieselben sechs Punkte und eine Kurve, die flexibel genug ist, durch jeden einzelnen zu laufen.

Die Gerade aus der früheren Lektion verfehlte einige Punkte und traf den Trend. Erlaube jetzt eine viel flexiblere Form, und sie fädelt sich exakt durch alle sechs Punkte. Jeder Trainingsfehler wird null. Echte Prüfungsergebnisse waren nie so ordentlich: jemand schlief schlecht, jemand riet richtig, jemand war krank. Die Kurve hat nicht den Trend gelernt, sondern diese Zufälle. Sie hat den Lösungsschlüssel auswendig gelernt statt das Fach.

+----------------+-----------+-----------------+
| model          | training  | held-back rows  |
+----------------+-----------+-----------------+
| straight line  | 72        | 69              |
| curve, 12 knobs| 100       | 48              |
+----------------+-----------+-----------------+Zwei Modelle, zwei Arten von Bewertung. Der Abstand zwischen den Spalten ist die Geschichte.

Dieser Abstand zwischen Trainingsbewertung und Bewertung auf zurückgehaltenen Zeilen ist die ganze Diagnose. Wenn ein Modell im Training 100 erreicht und auf nie gesehenen Zeilen 48, dann hat die Flexibilität nichts gekauft und sehr viel gekostet. Beachte: das flexible Modell ist nicht kaputt und nicht schlecht geschrieben. Es hat genau das getan, worum es gebeten wurde, nämlich die Trainingsfehler klein zu machen. Deshalb kann die Trainingsbewertung allein nie das Ziel sein.

Das Mittel, das am häufigsten hilft, sind mehr Daten. Bei zwei Beispielen passt sich eine flexible Kurve an alles an; bei zweihundert zieht jeder Punkt nur schwach, und die Kurve wird zum echten Trend gezwungen. Ein zweites Mittel ist ein einfacheres Modell: weniger Regler, weniger Platz, Zufälle auswendig zu lernen. Ein drittes sind bessere Merkmale, sodass das, was wie Rauschen aussah, erklärbar wird. Alle drei helfen mehr als jedes zusätzliche Training auf denselben Zeilen.

ice cream sales and the day of the year

nine points, drawn honestly:

sales
   |   *     *  *        *   *
   | *    *         *  *
   +------------------------------
     Apr    May    Jun    Jul

one question the features never asked:

was it raining that afternoon?Neun ehrliche Punkte und eine Sache, die die Tabelle nie festgehalten hat.

Die beiden Fehlschläge sitzen an entgegengesetzten Enden eines Reglers. Zu einfach, und das Modell verpasst echte Struktur und irrt überall. Zu flexibel, und es passt sich dem Rauschen an und irrt überall dort, wo sich das Rauschen ändert. Die nützliche Einstellung liegt dazwischen, und finden lässt sie sich nur über die zurückgehaltenen Zeilen, auf denen du nicht trainiert hast. Das ist der Kompromiss zwischen Verzerrung und Streuung, und du hast gerade beide Hälften kennengelernt.

complexity -> error

error
  |\                      /
  | \                    /
  |  \                  /  total
  |   \                /
  |    \______________/
  |     \            /
  |      \          /  memorising the noise
  |       \        /
  +------------------------------> knobs in the model
     too simple    about right    too flexible

held-back error at the bottom of the valleyDer Gesamtfehler hat einen tiefsten Punkt, und er liegt nicht an den Enden des Reglers.