Zum Hauptinhalt springen
Zum Dashboard
Sie wissen nicht, wo Sie anfangen sollen? Nehmen Sie an einem kurzen Quiz teil, um personalisierte Empfehlungen zu erhalten.
Lektion 6 von 7
Auswerten und Testen
Hands-on Machine Learning
Was ist maschinelles Lernen?
Google Cloud AutoML Vision
Datenaufbereitung
Trainieren Sie Ihr Machine Learning-Modell
Auswerten und Testen
check_box_outline_blank Hands-on Machine Learning: Take the Quiz
Kurs
0% abgeschlossen
5 Minuten abzuschließen

Auswerten und Testen

image9_2.png
Wie Sie die Ergebnisse Ihres Modells interpretieren und seine Leistung auswerten
image9_2.png

Genauigkeit und Wiedererkennung

image9_1.png

Sobald das Modell trainiert ist, sehen Sie eine Zusammenfassung der Modellleistung mit Bewertungen für „Genauigkeit“ und „Wiedererkennung“. 


Die Genauigkeit sagt uns, welcher Anteil der vom Modell als positiv identifizierten Bilder tatsächlich als solche hätten kategorisiert werden müssen. Die Wiedererkennung sagt uns stattdessen, welcher Anteil der tatsächlich positiven Bilder korrekt identifiziert wurde.

Unser Modell hat in beiden Kategorien sehr gut abgeschnitten, mit Werten über 97%. Schauen wir uns an, was das im Einzelnen bedeutet.

image9_1.png

Auswertung der Modellleistung

Klicken Sie auf „Auswerten“ im oberen Menü und lassen Sie uns die Schnittstelle erkunden. Zunächst zeigt sie uns erneut die Werte für Genauigkeit und Wiedererkennung. In unserem Fall sagt uns der Genauigkeitswert, dass 97% der Testbilder, die das Modell als Beispiele für den Bernsteinabbau identifizierte, tatsächlich Spuren des Bernsteinabbaus aufwiesen. 


Der Wiedererkennungswert sagt uns stattdessen, dass 97% der Testbilder, die Beispiele des Bernsteinabbaus zeigen, vom Modell korrekt als solche gekennzeichnet wurden. 


Die Vertrauensschwelle ist das Vertrauensniveau, das das Modell haben muss, um eine Kennzeichnung zu erhalten. Je niedriger sie ist, desto mehr Bilder wird das Modell klassifizieren, aber desto höher ist das Risiko, einige Bilder falsch zu klassifizieren.


Wenn Sie tiefer graben und auch die Genauigkeits-Wiedererkennungs-Kurven erforschen möchten, folgen Sie dem Link auf der Benutzeroberfläche, um mehr zu erfahren.

Falsch-Positive und Falsch-Negative

Als nächstes wollen wir uns die Verwirrungsmatrix ansehen. Je höher die Werte auf blauem Hintergrund, desto besser ist die Leistung des Modells. In diesem Beispiel sind die Werte sehr gut. 


Alle Bilder, die als Negativ hätten gekennzeichnet werden müssen (kein Bernsteinabbau), wurden vom Modell erkannt, und 82% der Bilder, die Spuren des Bernsteinabbaus enthielten, wurden korrekt als solche gekennzeichnet.


Wir haben keine Falsch-Positive - keine Bilder wurden fälschlicherweise als Beispiele für den Bernsteinabbau gekennzeichnet - und nur 12% Falsch-Negative: Bilder, die Spuren des Bernsteinabbaus zeigen, die das Modell nicht erkannt hat.


Das ist gut für den Zweck unserer Untersuchung des illegalen Bernsteinabbaus: Es ist besser, einige positive Beispiele zu verpassen, als als Beweis für den Bernsteinabbau Bilder vorzulegen, die das eigentlich nicht zeigen.


Klicken Sie auf die linken Filter, wenn Sie sehen möchten, welche Testbilder durch das Modell richtig oder falsch klassifiziert wurden.


Sind Sie noch nicht sicher, ob Sie dem Modell vertrauen können? Wenn Sie auf „Test & Verwendung“ klicken, können Sie nagelneue Satellitenbilder - mit oder ohne Spuren des Bernsteinabbaus - hochladen, um zu sehen, ob das Modell diese korrekt kennzeichnet.

Erneut testen und trainieren

image29_2.png

Ein paar letzte Überlegungen, bevor wir zum Schluss kommen:


Sie fragen sich vielleicht, wie das Modell einige falsche Antworten erhält, wenn wir ihm doch von Anfang an alle richtigen Antworten gegeben haben. Wenn ja, sollten Sie die in der vorigen Lektion beschriebene Aufteilung in Trainings-, Validierungs- und Testsätze noch einmal durchgehen.

Für dieses Beispiel wurden fast alle Bilder korrekt klassifiziert. Aber das wird nicht immer der Fall sein. Wenn Sie mit der Leistung Ihres Modells nicht zufrieden sind, können Sie Ihren Datensatz jederzeit aktualisieren und verbessern und das Modell erneut trainieren. Sie könnten sorgfältig analysieren, was im ersten Durchlauf schief gelaufen ist, und z.B. Ihrem Trainingsset weitere Bilder hinzufügen, die denen ähnlich sind, die vom Modell falsch klassifiziert wurden.

So wie für den Menschen ist das Lernen ein sich ständig wiederholender Prozess.

image29_2.png
Glückwunsch! Sie haben folgende Lektion abgeschlossen: Auswerten und Testen in progress
Recommended for you
Wie würden Sie diese Lektion bewerten?
Ihr Feedback hilft uns dabei, unsere Lektionen zu verbessern.
Ergebnisse speichern und Fortschritt verfolgen
By leaving this page you will lose all progress on your current lesson. Are you sure you want to continue and lose your progress?