Du har en modell, og nå ønsker du å bedømme hvor godt det fungerer. Hvordan kan du måle modell effektivitet?
Det er flere beregninger du kan bruke til å bedømme hvor god en klassifisering modellen er den mest vanlige som er nøyaktighet, presisjon og recall. Nøyaktighet mål for hvor mye data du merket på riktig måte. Det er, nøyaktighet er forholdet mellom antall merket riktig over det totale antallet. Hvis du prøver å klassifisere bare en ting (f.eks., hot dog eller ikke), nøyaktigheten kan skrives som (antall sanne positive + antall sanne negative)/(antall sanne positive + antall sanne negativer + antall falske positiver + antall falskt negative). Sanne positive er eksempler på en positiv etikett som du har merket som positive, for eksempel du merket en hot dog som en hot dog. Tilsvarende, sant negative er eksempler på en negativ etikett som du har merket som negative, f.eks. at du merket en katt som ikke er en hot dog. På den annen side, falske positiver, er eksempler som var negative til at du har merket positive, f.eks., du merket en katt som en hot dog (hvordan kunne du!?) og tilsvarende falske negativer er eksempler på det som var positivt at du merket negative, f.eks. at du merket en varm hund som ikke er en hot dog. Sann eller usann i sanne positive, falske negative, etc. angir om du merket at det er riktig eller ikke, og positive eller negative, er det du merket det. Så nøyaktighet er bare antall ting du riktig merket som positive og negative delt på totalt antall ting du merket., I tilfeller der du prøver å klassifisere en masse ting i stedet for bare én, samlet nøyaktighet er bare antall ting du riktig merket i hver kategori, delt på totalt antall ting du merket.
Presisjon er et mål som forteller deg hvor ofte at det er noe du label som positivt er faktisk positivt. Mer formelt ved hjelp av notasjonen fra tidligere, presisjon er antall sanne positive/ (antall sanne positive pluss antall falske positive). På den annen side, husker er tiltak som forteller deg prosent av positive du etiketten på riktig måte., Det er, husker er antall sanne positive/(antall sanne positive pluss antall falskt negative). Forskjellen mellom presisjon og recall er en slags subtil, så la meg gjenta: presisjon er antall positive eksempler du merket på riktig måte over totalt antall ganger du merket noe positivt, mens recall er antall positive eksempler du merket riktig over det totale antall av ting som faktisk var positive. Du kan tenke av presisjon som andel av ganger at når du forutsi sin positive det faktisk viser seg å være positive., Der som husker kan bli tenkt på som nøyaktighet over bare det positive – det er andelen av ganger du merket positiv forståelse over hvor mye tid det faktisk var positive.
I multi-label tilfelle, presisjon og recall er vanligvis brukt på en per kategori basis. Det er, hvis du prøver å gjette om et bilde har en katt eller hund eller andre dyr, vil du få presisjon og recall for katter og hunder separat., Deretter er det bare den binære saken igjen – hvis du vil presisjonen for katter, tar du antall ganger du gjettet riktig at det var katt / totalt antall ganger som du gjettet, noe som var en katt. Tilsvarende, hvis du ønsker å få recall for katter, må du ta ut det antallet ganger som du har gjettet riktig, det var en katt over det totale antallet ganger det var faktisk en katt.