Auswerten und Testen
Wie Sie die Ergebnisse Ihres Modells interpretieren und seine Leistung auswerten
Genauigkeit und Wiedererkennung
Sobald das Modell trainiert ist, sehen Sie eine Zusammenfassung der Modellleistung mit Bewertungen für „Genauigkeit“ und „Wiedererkennung“.
Die Genauigkeit sagt uns, welcher Anteil der vom Modell als positiv identifizierten Bilder tatsächlich als solche hätten kategorisiert werden müssen. Die Wiedererkennung sagt uns stattdessen, welcher Anteil der tatsächlich positiven Bilder korrekt identifiziert wurde.
Unser Modell hat in beiden Kategorien sehr gut abgeschnitten, mit Werten über 97%. Schauen wir uns an, was das im Einzelnen bedeutet.
Auswertung der Modellleistung
Klicken Sie auf „Auswerten“ im oberen Menü und lassen Sie uns die Schnittstelle erkunden. Zunächst zeigt sie uns erneut die Werte für Genauigkeit und Wiedererkennung. In unserem Fall sagt uns der Genauigkeitswert, dass 97% der Testbilder, die das Modell als Beispiele für den Bernsteinabbau identifizierte, tatsächlich Spuren des Bernsteinabbaus aufwiesen.
Der Wiedererkennungswert sagt uns stattdessen, dass 97% der Testbilder, die Beispiele des Bernsteinabbaus zeigen, vom Modell korrekt als solche gekennzeichnet wurden.
Die Vertrauensschwelle ist das Vertrauensniveau, das das Modell haben muss, um eine Kennzeichnung zu erhalten. Je niedriger sie ist, desto mehr Bilder wird das Modell klassifizieren, aber desto höher ist das Risiko, einige Bilder falsch zu klassifizieren.
Wenn Sie tiefer graben und auch die Genauigkeits-Wiedererkennungs-Kurven erforschen möchten, folgen Sie dem Link auf der Benutzeroberfläche, um mehr zu erfahren.
Falsch-Positive und Falsch-Negative
Als nächstes wollen wir uns die Verwirrungsmatrix ansehen. Je höher die Werte auf blauem Hintergrund, desto besser ist die Leistung des Modells. In diesem Beispiel sind die Werte sehr gut.
Alle Bilder, die als Negativ hätten gekennzeichnet werden müssen (kein Bernsteinabbau), wurden vom Modell erkannt, und 82% der Bilder, die Spuren des Bernsteinabbaus enthielten, wurden korrekt als solche gekennzeichnet.
Wir haben keine Falsch-Positive - keine Bilder wurden fälschlicherweise als Beispiele für den Bernsteinabbau gekennzeichnet - und nur 12% Falsch-Negative: Bilder, die Spuren des Bernsteinabbaus zeigen, die das Modell nicht erkannt hat.
Das ist gut für den Zweck unserer Untersuchung des illegalen Bernsteinabbaus: Es ist besser, einige positive Beispiele zu verpassen, als als Beweis für den Bernsteinabbau Bilder vorzulegen, die das eigentlich nicht zeigen.
Klicken Sie auf die linken Filter, wenn Sie sehen möchten, welche Testbilder durch das Modell richtig oder falsch klassifiziert wurden.
Sind Sie noch nicht sicher, ob Sie dem Modell vertrauen können? Wenn Sie auf „Test & Verwendung“ klicken, können Sie nagelneue Satellitenbilder - mit oder ohne Spuren des Bernsteinabbaus - hochladen, um zu sehen, ob das Modell diese korrekt kennzeichnet.
Erneut testen und trainieren
Ein paar letzte Überlegungen, bevor wir zum Schluss kommen:
Sie fragen sich vielleicht, wie das Modell einige falsche Antworten erhält, wenn wir ihm doch von Anfang an alle richtigen Antworten gegeben haben. Wenn ja, sollten Sie die in der vorigen Lektion beschriebene Aufteilung in Trainings-, Validierungs- und Testsätze noch einmal durchgehen.
Für dieses Beispiel wurden fast alle Bilder korrekt klassifiziert. Aber das wird nicht immer der Fall sein. Wenn Sie mit der Leistung Ihres Modells nicht zufrieden sind, können Sie Ihren Datensatz jederzeit aktualisieren und verbessern und das Modell erneut trainieren. Sie könnten sorgfältig analysieren, was im ersten Durchlauf schief gelaufen ist, und z.B. Ihrem Trainingsset weitere Bilder hinzufügen, die denen ähnlich sind, die vom Modell falsch klassifiziert wurden.
So wie für den Menschen ist das Lernen ein sich ständig wiederholender Prozess.
-
![YouTube Thumbnails (19)]()
Erste Schritte mit Google News und Publisher Center
LektionNachrichten auf Google einreichen, verwalten und monetarisieren -
![YouTube Thumbnails (16)]()
-
![image41_3.png]()
Was ist maschinelles Lernen?
LektionMaschinelles Lernen für Journalisten. Was Sie in diesem Kurs lernen werden
