Sie haben ein Modell, und jetzt wollen Sie beurteilen, wie gut es funktioniert. Wie messen Sie die Effektivität des Modells?
Es gibt mehrere Metriken, mit denen Sie beurteilen können, wie gut ein Klassifizierungsmodell ist, von denen die häufigsten Genauigkeit, Präzision und Rückruf sind. Genauigkeit misst, wie viele der Daten Sie korrekt beschriftet haben. Das heißt, Genauigkeit ist das Verhältnis der Anzahl korrekt über die Gesamtzahl beschriftet. Wenn Sie versuchen, nur eine Sache zu klassifizieren (zB, hot dog oder nicht), genauigkeit kann geschrieben werden als(die anzahl der true positive + die anzahl der true negative)/(anzahl der true positive + anzahl der true negative + anzahl der false positive + anzahl der false negative). True Positive sind Beispiele mit einem positiven Etikett, das Sie als positiv gekennzeichnet haben, z. B. Sie haben einen Hot Dog als Hot Dog bezeichnet. In ähnlicher Weise sind echte Negative Beispiele mit einem negativen Etikett, das Sie als negativ bezeichnet haben, z. B. Sie haben eine Katze als keinen Hot Dog bezeichnet. Auf der anderen Seite sind falsch positive Beispiele, die negativ waren, die Sie positiv beschriftet haben, z, du hast eine Katze als Hot Dog bezeichnet (wie konntest du!?) und ähnlich falsch negative sind Beispiele, die positiv waren, dass Sie negativ beschriftet, zB Sie einen Hot Dog als nicht Hot Dog bezeichnet. Das wahr oder falsch in wahr positiv, falsch negativ usw., gibt an, ob Sie es richtig beschriftet haben oder nicht, und positiv oder negativ ist, was Sie es beschriftet haben. Genauigkeit ist also nur die Anzahl der Dinge, die Sie korrekt als positiv und negativ gekennzeichnet haben, geteilt durch die Gesamtzahl der Dinge, die Sie beschriftet haben., In dem Fall, in dem Sie versuchen, viele Dinge anstelle von nur einem zu klassifizieren, ist die Gesamtgenauigkeit nur die Anzahl der Dinge, die Sie in jeder Kategorie korrekt beschriftet haben, geteilt durch die Gesamtzahl der Dinge, die Sie beschriftet haben.
Präzision ist ein Maß, das Ihnen sagt, wie oft das, was Sie als positiv bezeichnen, tatsächlich positiv ist. Formal mit der notation von früher, präzision ist die anzahl der true positive/ (die anzahl der true positive plus die anzahl der false positive). Auf der anderen Seite ist Recall das Maß, das Ihnen den Prozentsatz der Positiven angibt, die Sie korrekt beschriften., Das heißt, recall ist die Anzahl der true positive/(die Anzahl der true positive plus die Anzahl der false Negative). Der Unterschied zwischen Präzision und Rückruf ist irgendwie subtil, also lassen Sie mich wiederholen: Präzision ist die Anzahl der positiven Beispiele, die Sie korrekt beschriftet haben, über die Gesamtzahl der Male, in denen Sie etwas Positives beschriftet haben, während Rückruf die Anzahl der positiven Beispiele ist, die Sie korrekt beschriftet haben die Gesamtzahl der Dinge, die tatsächlich positiv waren. Sie können sich Präzision als den Anteil der Zeiten vorstellen, in denen sie sich tatsächlich als positiv herausstellt, wenn Sie das Positive vorhersagen., Wo as Recall kann als Genauigkeit über nur die Positiven gedacht werden – es ist der Anteil der Male, die Sie positiv richtig über die Menge der Male beschriftet es tatsächlich positiv war.
Im Multi-Label-Fall werden Präzision und Rückruf normalerweise pro Kategorie angewendet. Das heißt, wenn Sie versuchen zu erraten, ob ein Bild eine Katze oder einen Hund oder andere Tiere hat, erhalten Sie Präzision und Rückruf für Ihre Katzen und Hunde separat., Dann ist es wieder nur der binäre Fall – wenn Sie die Genauigkeit für Katzen wollen, nehmen Sie die Anzahl der Male, die Sie richtig erraten haben, dass es Katze war / die Gesamtzahl der Male, die Sie erraten haben, dass etwas eine Katze war. In ähnlicher Weise, wenn Sie Rückruf für Katzen erhalten möchten, nehmen Sie die Anzahl der Male, die Sie richtig erraten haben, dass es eine Katze war, über die Gesamtzahl der Male, in denen es sich tatsächlich um eine Katze handelte.