Eine Gerade durch die Punkte

In der letzten Lektion hast du gesehen, was ein Modell ist. Diese Lektion schraubt eines auf. Wir nehmen das einfachste Modell, das es gibt, eine Gerade, weil du darin jede Zahl von Hand nachvollziehen kannst.

study hours -> exam score

100 |                                    *
 90 |                              *
 80 |                        *
 70 |                  *
 60 |            *
 50 |      *
 40 |  *
    +----------------------------------------
      1   2   3   4   5   6   7   8   9

six pupils, one dot eachSechs Lernende, je ein Punkt: waagerecht die Lernstunden, senkrecht die Prüfungspunktzahl.

Sieh dir diese Punkte an. Mehr Lernstunden gehen mit einer höheren Punktzahl einher, ungefähr, und ungefähr ist hier das wichtige Wort. Die Punkte liegen auf keiner perfekten Geraden. Ein Modell dafür ist eine Gerade, die so nah wie möglich an allen sechs Punkten vorbeiläuft. Bei mehreren Merkmalen wird aus derselben Aussage eine Ebene oder eine Fläche in mehr Dimensionen, als du dir vorstellen kannst. Sonst ändert sich nichts: Merkmale hinein, eine Zahl hinaus.

Die Gerade hat zwei Zahlen zur Auswahl. Das Gewicht sagt, wie stark eine zusätzliche Einheit eines Merkmals die Vorhersage verschiebt. Die andere Zahl ist der Startpunkt bei Merkmal null, du kannst sie als Grundniveau betrachten. Zusammen heißen sie die Parameter des Modells, und nur sie darf das Training anfassen. Ein Gewicht ist Einfluss, und das ist wirklich nützliche Information: es sagt dir, welches Merkmal die Antwort am stärksten schiebt und in welche Richtung.

score = start + weight * hours

try 1:  score = 30 + 6 * hours
   4 h -> 54    real 71    miss 17
   8 h -> 78    real 86    miss 8

try 2:  score = 15 + 10 * hours
   4 h -> 55    real 71    miss 16
   8 h -> 95    real 86    miss 9

try 3:  score = 40 + 5 * hours
   4 h -> 60    real 71    miss 11
   8 h -> 80    real 86    miss 6Drei Kandidatengeraden und wie weit jede Vermutung von den echten Punktzahlen entfernt liegt.

Wie vergleicht man zwei Geraden? Für jede Trainingszeile nehmen wir das echte Label, ziehen die Vorhersage ab, und diese Differenz ist der Fehler in dieser Zeile. Elf Punkte daneben ist in die eine Richtung genau so schlecht wie in die andere, also quadrieren wir jeden Fehler, bevor wir addieren. Das Quadrat bestraft außerdem einen riesigen Fehler stärker als mehrere kleine. Die Summe heißt Kosten, und Training ist die Suche nach den beiden Zahlen, bei denen sie am kleinsten wird.

score = 40 + 5 * hours

+-------------+-------+--------+-------+--------+
| study_hours | score | guess  | error | square |
+-------------+-------+--------+-------+--------+
| 3           | 55    | 55     | 0     | 0      |
| 4           | 71    | 60     | 11    | 121    |
| 5           | 70    | 65     | 5     | 25     |
| 7           | 86    | 75     | 11    | 121    |
+-------------+-------+--------+-------+--------+

sum of squares: 0 + 121 + 25 + 121 = 267Eine Gerade, vier Zeilen und der Preis, den sie für ihr Danebenliegen zahlt.

Warum nicht einfach die Fehler so addieren, wie sie sind? Weil ein Fehler von plus zehn und einer von minus zehn sich aufheben und ein perfektes Modell vortäuschen würden. Das Quadrat hält jeden Fehler sichtbar und macht aus der Summe eine einzige ehrliche Zahl. Verschiedene Formen nutzen leicht andere Kosten, aber die Idee ändert sich nie: Parameter wählen, sie bewerten, die Bewertung senken.