masz model, a teraz chcesz ocenić, jak dobrze się sprawuje. Jak mierzyć skuteczność modelu?
istnieje kilka wskaźników, których możesz użyć, aby ocenić, jak dobry jest model klasyfikacji, z których najczęstsze to dokładność, precyzja i przypomnienie. Dokładność mierzy, ile danych oznaczono poprawnie. Oznacza to, że dokładność jest stosunkiem liczby oznaczonej poprawnie do liczby całkowitej. Jeśli próbujesz sklasyfikować tylko jedną rzecz (np., hot dog czy nie), dokładność można zapisać jako (liczba prawdziwych pozytywów + liczba prawdziwych negatywów)/(liczba prawdziwych pozytywów + liczba prawdziwych negatywów + liczba fałszywych pozytywów + liczba fałszywych negatywów). Prawdziwe pozytywy to przykłady z pozytywną etykietą, którą oznaczono jako pozytywną, np. oznaczono hot doga jako hot doga. Podobnie, prawdziwe negatywy są przykładami z negatywną etykietą, która została oznaczona jako negatywna, np. Z drugiej strony, fałszywe pozytywy są przykładami negatywnymi, które nazwałeś pozytywem, np., nazwałeś kota hot dogiem (jak mogłeś!?) i podobnie fałszywe negatywy są przykładami pozytywnymi, które oznaczałeś negatywem, np. oznaczałeś hot doga jako nie hot doga. Prawdziwe lub fałszywe w prawdziwym pozytywnym, fałszywym negatywnym itp., wskazuje, czy oznaczono go poprawnie, czy nie, a pozytywne lub negatywne jest to, co oznaczono. Tak więc dokładność to tylko liczba rzeczy, które poprawnie oznaczyłeś jako pozytywne i negatywne, podzielona przez całkowitą liczbę rzeczy, które oznaczyłeś., W przypadku, gdy próbujesz sklasyfikować wiele rzeczy zamiast tylko jednego, ogólna dokładność to tylko liczba rzeczy poprawnie oznaczonych w każdej kategorii podzielona przez całkowitą liczbę rzeczy oznaczonych.
precyzja jest miarą, która mówi ci, jak często to, co oznaczasz jako pozytywne, jest rzeczywiście pozytywne. Bardziej formalnie używając notacji z wcześniej, precyzja jest liczbą true positives/ (liczba true positives plus liczba false positives). Z drugiej strony, Przypomnienie jest miarą, która mówi procent pozytywnych etykiet poprawnie., Oznacza to, że Przypomnienie jest liczbą prawdziwych pozytywów/(liczba prawdziwych pozytywów plus liczba fałszywych negatywów). Różnica między precyzją a przypomnieniem jest trochę subtelna, więc powtórzę: precyzja to liczba pozytywnych przykładów, które poprawnie oznaczyłeś ponad całkowitą liczbę razy, które oznaczyłeś coś pozytywnego, podczas gdy Przypomnienie to liczba pozytywnych przykładów, które poprawnie oznaczyłeś ponad całkowitą liczbę rzeczy, które były rzeczywiście pozytywne. Można myśleć o precyzji jako proporcji razy, że kiedy przewidujesz jego pozytywne to rzeczywiście okazuje się być pozytywne., Gdzie jako przypomnienie można uznać za dokładność nad tylko pozytywami – jest to proporcja razy, które poprawnie oznaczyłeś pozytywem nad ilością razy, które faktycznie były pozytywne.
w przypadku wielu etykiet precyzja i przypomnienie są zwykle stosowane w zależności od kategorii. Oznacza to, że jeśli próbujesz odgadnąć, czy zdjęcie ma kota, psa lub inne zwierzęta, uzyskasz precyzję i przypomnienie dla swoich kotów i psów osobno., Potem znowu sprawa binarna – jeśli chcesz precyzji dla kotów, bierzesz liczbę razy, które odgadłeś poprawnie, że to był kot / całkowitą liczbę razy, że odgadłeś cokolwiek było kotem. Podobnie, jeśli chcesz uzyskać przypomnienie dla kotów, bierzesz liczbę razy odgadłeś poprawnie, że był to kot ponad całkowitą liczbę razy, że był to rzeczywiście kot.