Hai un modello e ora vuoi giudicare quanto bene funziona. Come si misura l’efficacia del modello?
Esistono diverse metriche che è possibile utilizzare per giudicare quanto è buono un modello di classificazione, le più comuni delle quali sono accuratezza, precisione e richiamo. L’accuratezza misura la quantità di dati etichettati correttamente. Cioè, la precisione è il rapporto il numero etichettato correttamente sul numero totale. Se stai cercando di classificare solo una cosa (ad esempio, hot dog o no), la precisione può essere scritta come(il numero di veri positivi + il numero di veri negativi)/(numero di veri positivi + numero di veri negativi + numero di falsi positivi + numero di falsi negativi). I veri positivi sono esempi con un’etichetta positiva che hai etichettato come positivo, ad esempio hai etichettato un hot dog come hot dog. Allo stesso modo, i veri negativi sono esempi con un’etichetta negativa che hai etichettato come negativo, ad esempio hai etichettato un gatto come non un hot dog. D’altra parte, i falsi positivi sono esempi negativi che hai etichettato come positivi, ad esempio, hai etichettato un gatto come un hot dog (come hai potuto!?) e allo stesso modo falsi negativi sono esempi positivi che hai etichettato negativo, ad esempio hai etichettato un hot dog come non un hot dog. Il vero o falso in vero positivo, falso negativo, ecc., indica se Lei l’ha etichettato correttamente o no, e positivo o negativo è quello che Lei l’ha etichettato. Quindi la precisione è solo il numero di cose che hai correttamente etichettato come positivo e negativo diviso per il numero totale di cose che hai etichettato., Nel caso in cui si stia tentando di classificare molte cose invece di una sola, l’accuratezza complessiva è solo il numero di cose che hai etichettato correttamente in ogni categoria diviso per il numero totale di cose che hai etichettato.
La precisione è una misura che ti dice quanto spesso quel qualcosa che etichetti come positivo è effettivamente positivo. Più formalmente usando la notazione precedente, la precisione è il numero di veri positivi / (il numero di veri positivi più il numero di falsi positivi). D’altra parte, il richiamo è la misura che ti dice la percentuale di positivi che etichetti correttamente., Cioè, il richiamo è il numero di veri positivi / (il numero di veri positivi più il numero di falsi negativi). La differenza tra precisione e richiamo è piuttosto sottile, quindi permettetemi di ribadire: la precisione è il numero di esempi positivi che hai etichettato correttamente sul numero totale di volte in cui hai etichettato qualcosa di positivo, mentre il richiamo è il numero di esempi positivi che hai etichettato correttamente sul numero totale di cose che erano effettivamente positive. Si può pensare di precisione come la proporzione di volte che quando si prevede il suo positivo in realtà risulta essere positivo., Dove come richiamo può essere pensato come accuratezza solo sui positivi-è la proporzione di volte che hai etichettato correttamente positivo rispetto alla quantità di volte in cui è stato effettivamente positivo.
Nel caso multi-label, la precisione e il richiamo vengono solitamente applicati in base alla categoria. Cioè, se stai cercando di indovinare se un’immagine ha un gatto o un cane o altri animali, otterrai precisione e richiamo per i tuoi cani e gatti separatamente., Quindi è solo il caso binario di nuovo-se vuoi la precisione per i gatti, prendi il numero di volte che hai indovinato correttamente che era cat / il numero totale di volte che hai indovinato che qualcosa era un gatto. Allo stesso modo, se vuoi ottenere il richiamo per i gatti, prendi il numero di volte che hai indovinato correttamente che era un gatto rispetto al numero totale di volte in cui era in realtà un gatto.