dobra nauka wymaga ważnych środków. Stwierdzenie to nie budzi kontrowersji. Nic dziwnego, że wszyscy autorzy jakiegoś środka psychologicznego twierdzą, że ich środek jest ważny. Badania walidacyjne są jednak kosztowne i trudne do opublikowania w prestiżowych czasopismach. W rezultacie Nauka psychologiczna ma kryzys ważności., Wiele miar jest używanych w setkach artykułów bez jasnych definicji konstruktów i bez ilościowych informacji o ich ważności (Schimmack, 2010).
Implicit Association Test (AT) nie jest wyjątkiem. IAT został wprowadzony w 1998 z silnymi i wysoce powtarzalnych dowodów, że średnie postawy wobec par obiektów (np. kwiaty vs. pająki) mogą być mierzone z czasów reakcji w zadaniu klasyfikacji (Greenwald et al., 1998)., Chociaż tytuł artykułu zapowiadał miarę różnic indywidualnych, głównymi dowodami w artykule były średnie różnice między grupami. W związku z tym oryginalny artykuł dostarczył niewiele dowodów na to, że IAT jest miarą różnic indywidualnych.
wykorzystanie IAT jako miary indywidualnych różnic w postawach wymaga dowodów naukowych, że wyniki testów są powiązane ze zmiennością postaw., Kluczowe dowody na ważność testu to wiarygodność, zbieżność, dyskryminacyjna ważność i przyrostowa Ważność predykcyjna (Campbell & Fiske, 1959).
Ważność IAT jako miary postaw musi być badana indywidualnie, ponieważ związek między skojarzeniami a postawami może się różnić w zależności od przedmiotu postawy. W przypadku obiektów postawy, takich jak napoje pop, Cola vs. Pepsi, skojarzenia mogą być silnie związane z postawami., W rzeczywistości IAT ma dobrą predykcyjną ważność dla wyborów między dwoma napojami pop (Hofmann, Gawroński, Gschwendner, & Schmitt, 2005). Jednak nie ma zbieżnej ważności, gdy jest używany do pomiaru samooceny (Bosson & Swan, & Pennebaker, 2000).
IAT jest najbardziej znany jako miara uprzedzeń, uprzedzeń rasowych lub postaw białych Amerykanów wobec Afroamerykanów. Z jednej strony, wynalazca IAT, Greenwald, twierdzi, że IAT rasy ma predykcyjną Ważność (Greenwald et al., 2009)., Inni kwestionują dowody: „Ukryte wyniki testów asocjacyjnych nie pozwoliły na przewidywanie zachowań na poziomie indywidualnym „(Blanton et al. 567); „IAT zapewnia niewielki wgląd w to, kto kogo dyskryminuje, i nie zapewnia większego wglądu niż wyraźne miary stronniczości” (Oswald et al., 2013).
dziewięć lat później Greenwald i współpracownicy przedstawiają nową metaanalizę predykcyjnej ważności IAT (Kurdi et al., 2018) na podstawie 217 raportów z badań i całkowitej wielkości próby N = 36 071 uczestników. Wyniki tej metaanalizy przedstawiono w streszczeniu.,
znaleźliśmy znaczące korelacje implicit– criterion (ICCs) i explicit– criterion correlations (ECCs), z unikalnym wkładem implicit (beta = .14) i miary jawne (beta = .11) ujawnione przez modelowanie równań strukturalnych.
problem z metaanalizami polega na tym, że agregują one informacje za pomocą różnych metod, miar i zmiennych kryterium, a metaanaliza wykazała dużą zmienność w trafności predykcyjnej. W związku z tym nagłówek nie dostarcza informacji o predykcyjnej ważności IAT rasy., Jak zauważyli autorzy, „statystycznie wysoki stopień heterogeniczności sugeruje, że każdy pojedynczy punktowy Estymator implicit-criterion byłby mylący” (s. 7).
innym problemem metaanalizy jest to, że trudno jest znaleźć wiarygodne zmienne moderatora, jeśli oryginalne badania mają małe próbki i duży błąd próbkowania. W rezultacie nieistotny efekt moderatora nie może być interpretowany jako dowód na to, że wyniki są jednorodne. Tak więc lepszym sposobem na zbadanie predykcyjnej ważności IAT rasy jest ograniczenie metaanalizy do badań, które wykorzystywały IAT rasy.,
innym problemem małych badań jest to, że wprowadzają dużo hałasu, ponieważ szacunki punktowe są tendencyjne przez błąd próbkowania. Stanley, Jarrell, and Doucouliagos (2010) przedstawili pomysłową propozycję ograniczenia metaanalizy do 10% najlepszych badań o największych rozmiarach próbek. Ponieważ badania te mają mały błąd pobierania próbek na początek, agregowanie ich spowoduje oszacowania z jeszcze mniejszym błędem pobierania próbek i włączenie wielu małych badań o wysokiej heterogeniczności nie jest konieczne., Mniejsza liczba badań ułatwia również ocenę jakości badań i analizę źródeł niejednorodności w poszczególnych badaniach. Wykorzystałem to podejście do zbadania predykcyjnej ważności IAT rasy za pomocą badań zawartych w Kurdi et al.”s (2018) metaanaliza (dane).
Opis danych
plik danych zawierał zmienną groupStemCat2, która kodowała grupy porównywane w IAT. Wybrano tylko badania sklasyfikowane jako groupStemCat2 = = „Afroamerykanie i Afrykanie”, pozostawiając 1328 pozycji (wierszy)., Następnie wybrałem tylko badania z korelacją kryterium IAT, pozostawiając 1004 wpisy. Następnie wybrałem tylko pozycje o minimalnej wielkości próby N = 100, pozostawiając 235 pozycji (ponad 10%).
235 wpisów zostało opartych na 21 badaniach, co wskazuje, że metaanaliza zakodowała średnio ponad 10 różnych efektów dla każdego badania.
mediana korelacji kryterium IAT we wszystkich 235 badaniach wynosiła r = .070. Dla porównania mediana r dla 769 badań z N < 100 wynosiła r=.044., Tak więc wybór do badań z dużym N nie zmniejszył oszacowania wielkości efektu.
Kiedy po raz pierwszy obliczyłem medianę dla każdego badania, a następnie medianę w różnych badaniach, uzyskałem podobną medianę korelacji r = .065. Nie stwierdzono istotnej korelacji pomiędzy wielkością próby a medianą korelacji kryterium ICC w 21 badaniach, r=.12. W związku z tym nie ma dowodów na stronniczość publikacji.
przeglądam teraz 21 badań w kolejności malejącej mediany korelacji kryterium IAT. Oceniam jakość badań z 1 do 5 gwiazdek od najniższej do najwyższej jakości., Ponieważ niektóre badania nie miały być badaniami walidacyjnymi, ocena ta nie odzwierciedla jakości badania jako takiego. Ocena opiera się na zdolności badania do walidacji IAT jako miary uprzedzeń rasowych.
1. * Ma i in. (Badanie 2), N = 303, r = .34
(2012) wykorzystał kilka MSZ do przewidzenia zamiarów głosowania w wyborach prezydenckich w USA w 2012 roku. Co ważne, badanie 2 nie obejmowało IAT rasy użytej w badaniu 1 (#15, mediana r = .03). Zamiast tego, iat wyścigu został zmodyfikowany, aby zawierać zdjęcia dwóch kandydatów Obama i Romney., Chociaż interesujące jest to, że IAT, który wymaga klasyfikacji ras kandydatów przewidywał zamiary głosowania, badanie to nie może być wykorzystane do twierdzenia, że iat rasy jako miara uprzedzeń rasowych ma predykcyjną ważność, ponieważ iat mierzy konkretne postawy wobec kandydatów, a nie postawy wobec Afroamerykanów w ogóle.
2. *** Knowles et al., N = 285, r = .26
, Głównym stwierdzeniem było to, że IAT wyścigu był znaczącym predyktorem intencji głosowania (stosunek kursów = .61; r = .20) i że związek ten pozostał znaczący po włączeniu Nowoczesnej skali rasizmu jako predyktora (stosunek kursów = .67, Rozmiar efektu r = .15). Korelacja jest podobna do wyniku uzyskanego w następnym badaniu z większą próbką.
3. ***** Greenwald i in. (2009), N = 1,057, r = .17
najbardziej rozstrzygające wyniki pochodzą z Greenwald et al.”s (2009) study with the largest sample size of all studies., W próbie N = 1057 uczestników, wyścig iat przewidywał zamiary głosowania w wyborach w 2008 roku w USA (Obama vs. McCain), r = .17. Jednak w modelu, który obejmował orientację polityczną jako predyktor intencji głosowania, tylko wyraźne miary postawy dodawały przyrostową Ważność predykcyjną, b = .10, SE = .03, t = 3,98, ale IAT Nie, b=.00, SE = .02, t = 0,18.
4. * Cooper et al., N = 178, r = .12
wielkość próby w metaanalizie nie odpowiada wielkości próby w pierwotnym badaniu., Mimo, że wzięło w nim udział 269 pacjentów, iat rasy podano 40 klinikom podstawowej opieki zdrowotnej. W związku z tym trafność prognostyczną można ocenić jedynie na małej próbie N = 40 lekarzy, którzy uzyskali niezależne wyniki IAT. Tabela 3 wymienia siedem zmiennych zależnych i pokazuje dwa znaczące wyniki (p = .02, p = .02) dla czarnych pacjentów.
5. * Biernat i in. (Badanie 1), N = 136, r = .10
Ujemna zależność nie była znacząca (wielkość efektu r = .05)., Metaanaliza obejmowała również zmienną standardową przesunięcia (wielkość efektu r = .14). Przesunięcie standardów odnosi się do stopnia, w jakim uczestnicy zmienili standardy w swoich ocenach umiejętności akademickich czarnych i białych celów. Głównym punktem artykułu było to, że zmiana standardów, a nie implicit attitude measures predict racial bias in actual behavior. „W trzech badaniach tendencja do zmiany standardów była nieskorelowana z innymi środkami uprzedzeń, ale przewidywała zmniejszoną alokację środków na czarną organizację studencką.,”Tak więc, wydaje się dyskusyjne stosowanie standardów przesunięcia jako kryterium walidacji dla iat wyścigu, ponieważ kluczową zmienną kryterium były darowizny, podczas gdy standardy przesunięcia były konkurencyjną pośrednią miarą uprzedzeń.
6. ** Zhang et al. (Badanie 2), N = 196, r = .10
„W dwóch programach nie stwierdzono statystycznie istotnych relacji między naturą myśli a wynikami IAT, F (2, 85) = 2.4, p <.,11 dla programu 1, oraz F(2, 84) = 1.98, p < .53 dla programu 2.”Głównym ograniczeniem tego badania jest to, że listy myśli nie są prawdziwym zachowaniem społecznym. Ponieważ wielkość efektu dla tego badania jest zbliżona do mediany, wykluczając, że nie ma znaczącego wpływu na wynik końcowy.
7. * Ashburn et al., N = 300, r = .09
tytuł tego artykułu to ” rasa a zdrowie psychiczne Afroamerykanów.”Próbka składa się z 300 afroamerykańskich uczestników., Chociaż interesujące jest zbadanie postaw rasowych Afroamerykanów, badanie to nie odnosi się do pytania, czy IAT rasy jest ważną miarą uprzedzeń wobec Afroamerykanów.
8. *** Eno i in. (Badanie 1), N = 105, r = .09
Ten artykuł analizuje odpowiedzi na film z epoki Praw Obywatelskich; ” Remember the Titans.”Po obejrzeniu filmu uczestnicy dokonali kilku ocen dotyczących interpretacji wydarzeń. Tylko jedno zdarzenie, przypisujące działania Emmy wypadkowi, wykazało znaczącą korelację z IAT, r = .,20, ale przypisanie do rasizmu również wykazało korelację w tym samym kierunku, r = .10. W przypadku innych wydarzeń przypisania miały tę samą nieistotną wielkość efektu, odsetek dziewcząt r = .12, Girls race, r = .07; ceglany rasizm, r = -.10, Brick Black Coach ' s actions, r= -.10.
9. *** Aberson & Haag, N = 153, r = .07
Abserson i Haag podali iat wyścigu do 153 uczestników i zadawali pytania dotyczące ilości i jakości kontaktu z Afroamerykanami. Znaleziono nieistotne korelacje z ilością, r= -.12 i jakość, r = -.,10, oraz znacząca dodatnia korelacja z interakcją, r = .17. Pozytywny efekt interakcji sugeruje, że osoby z niskim kontaktem, co oznacza również kontakt o niskiej jakości, nie różnią się od osób z częstym kontaktem o wysokiej jakości.
10. * Hagiwara et al., N = 106, r = .07
Głównym ograniczeniem jest to, że było tylko 14 lekarzy i tylko 2 były białe.
11. **** Bar-Anan & Nosek, N = 397, r = .,06
w badaniu wykorzystano kontakt jako kryterium walidacji. Iat rasy wykazał korelację r= -.14 z grupą kontaktową. , N w zakresie od 492 do 647. Krótki IAT pokazał praktycznie ten sam związek, r= -.13. Dodatek informuje, że kontakt był silniej skorelowany z wyraźnymi miarami; termometr r = .27, preferencja r = .31. Korzystając z modelowania równań strukturalnych, zgodnie z zaleceniem Greenwalda i współpracowników, nie znalazłem dowodów na to, że IAT ma unikalną Ważność predykcyjną w przewidywaniu kontaktu, gdy wyraźne miary zostały włączone jako predyktory, b = .03, SE = .,07, t = 0,37.
12. *** Aberson & 05
10, r = -.01, odpowiednio. Korelacje z miarą wyraźną były znacznie silniejsze, r = .38, r = -.Odpowiednio 35. Wyniki te odzwierciedlają wyniki przedstawione powyżej.
13. * Orey et al., N = 386, mediana r = .04
w badaniu tym zbadano postawy rasowe wśród czarnych respondentów., Chociaż jest to interesujące pytanie, dane nie mogą być wykorzystane do zbadania prognostycznej ważności IAT rasy jako miary uprzedzeń.
14. * Krieger et al., N = 708, mediana r=.04
Chociaż jest to wartościowy temat badawczy, wyniki nie mogą być wykorzystane do oceny ważności IAT rasy jako miary uprzedzeń.
15. *** Ma i in. (Badanie 1), N = 335, mediana r = .,03
Badanie nie wykazało istotnego związku. „Jednak żadne środki na poziomie kategorii nie były związane z zamiarem głosowania na Obamę (rs ≤.06, ps ≥ .26)” (s. 31). Metaanaliza zarejestrowała korelację r = .045, na podstawie korespondencji mailowej z autorami. Nie jest jasne, dlaczego wyścig IAT nie przewidywał intencji głosowania w 2012, gdy nie przewidywał intencji głosowania w 2008., Jedną z możliwości jest to, że Obama był teraz postrzegany jako jednostka, a nie jako członek określonej grupy, tak że ogólne postawy wobec Afroamerykanów nie wpływały już na intencje głosowania. Bez względu na powód, badanie to nie dostarcza dowodów na predykcyjną Ważność IAT rasy.
16. **** Oliver i inni, N = 105, mediana r = .02
w badaniu online uczestniczyło 543 lekarzy medycyny rodzinnej i Chorób Wewnętrznych. Ukończyli wyścig IAT i dali zalecenia leczenia dla hipotetycznego przypadku. Rasa pacjenta była eksperymentalnie manipulowana., Streszczenie stwierdza, że „lekarze posiadali wyraźne i ukryte uprzedzenia rasowe, ale uprzedzenia te nie przewidywały
zaleceń leczenia” (str. 177). Wielkość próby w metaanalizie jest mniejsza, ponieważ całkowita próbka została podzielona na mniejsze podgrupy.
17. * Nosek & 01
badanie to nie zawierało jasnego kryterium walidacji. Celem było zbadanie związku między IAT rasy i wiedzy kulturowej na temat stereoetypów., „W siedmiu badaniach (158 próbek, N = 107,709) IAT był wiarygodnie i zmiennie związany z postawami wyraźnymi, a postawy jednoznaczne stanowiły związek między IAT a wiedzą kulturową.”Miary wiedzy kulturowej były używane jako zmienne kryterium. Stosunek dodatni, r = .10, został uzyskany za pozycję ” jeśli dany wybór, kto większość pracodawców wybrać do zatrudnienia, Czarny Amerykanin lub biały Amerykanin? (1 zdecydowanie biały do 7 zdecydowanie Czarny).”Stosunek ujemny, r= -.,09, został uzyskany za pozycję ” kto jest bardziej prawdopodobne, aby być celem dyskryminacji, Czarny Amerykanin czy biały Amerykanin? (1 zdecydowanie biały do 7 zdecydowanie Czarny).”
18. * Plant et al., N = 229, mediana r = .00
w tym artykule przeanalizowano zamiary głosowania na próbie 229 uczniów. Wyniki nie są podane w artykule. Metaanaliza wykazała dodatni r = .04 i ujemne r = -.04 dla dwóch oddzielnych wpisów o różnych jawnych miarach, co musi być błędem kodowania., Ponieważ zachowanie głosowania zostało zbadane w większych i bardziej reprezentatywnych próbkach (#3, #15), wyniki te mogą być ignorowane.
19. * Krieger et al. (2011), N = 503, r = .00
w badaniu wzięło udział 504 Afroamerykanów i 501 białych Amerykanów. Wszyscy uczestnicy ukończyli wyścig. Badanie nie zawierało jednak jasnych kryteriów walidacji. W metaanalizie jako kryterium walidacji wykorzystano zgłoszone przez siebie doświadczenia dyskryminacji. Ważne jest jednak pytanie, czy rasowe IAT przewiduje zachowania osób dyskryminujących, a nie doświadczenia ofiar dyskryminacji.,
20. * Fiedorowicz, N = 257, r= -.01
opracowanie to jest rozprawą doktorską, a kryterium walidacji był fundamentalizm religijny.
21. * Heider & Skowroński, N = 140, r = -.02
Kryterium było spółdzielcze zachowanie w grze z dylematem więźnia. Wyniki wykazały, że ” zarówno IAT (b= -.21, t = -2,51, p = .013) oraz Pro-Black subscore (b = .17, t = 2,10, p = .,037) były znaczącymi prognostykami ściślejszej współpracy z czarnymi Konfederatami. Jednak wyniki te były fałszywe i zostały skorygowane (patrz Carlsson et al., 2018, do szczegółowej dyskusji).
Heider, J. D.,& Skowroński, J. J. (2011). Dodatek do Heidera i Skowrońskiego( 2007): Poprawa predykcyjnej ważności ukrytego testu asocjacyjnego., North American Journal of Psychology, 13, 17-20
dyskusja
podsumowując, szczegółowe badanie badań IAT rasy zawarte w metaanalizie pokazuje znaczną niejednorodność w jakości badań i ich zdolność do badania predykcyjnej ważności IAT rasy. Najlepszym badaniem jest Greenwald et al.”s (2009) badanie z dużą próbką i głosowaniem w wyścigu Obama vs McCain jako zmienną kryterium. Jednak inne badanie dotyczące głosowania nie powtórzyło tych ustaleń w 2012 roku., Drugim najlepszym badaniem było badanie Baranana i Nosek z kontaktem międzygrupowym jako kryterium walidacji, ale nie wykazało przyrostowej prognostycznej ważności IAT.
badania z lekarzami nie wykazują wyraźnych dowodów na uprzedzenia rasowe. Może to wynikać z profesjonalizmu lekarzy, a wyniki nie powinny być uogólniane do ogólnej populacji. Pozostałe badania uznano za nieodpowiednie do badania trafności prognostycznej. Na przykład niektóre badania z udziałem Afroamerykanów nie wykorzystywały IAT do pomiaru uprzedzeń.,
na podstawie tych ograniczonych dowodów nie można wyciągnąć mocnych wniosków na temat prognostycznej ważności IAT rasy. Moja ocena dowodów jest raczej zgodna z autorami metaanalizy, którzy stwierdzili, że „z 2240 ICC zawartych w tej metaanalizie, były tylko 24 wielkości efektów z 13 badań, które (a) miały związek między ukrytym Poznaniem i zachowaniem jako ich głównym celem” (str. 13).,
to potwierdza moją obserwację we wstępie, że psychologia ma kryzys walidacji, ponieważ naukowcy rzadko prowadzą badania walidacji. W rzeczywistości, pomimo wszystkich obaw dotyczących replikacji, brak badań replikacji jest znacznie liczniejszy niż badania walidacyjne. Konsekwencją kryzysu walidacji jest to, że psychologowie rutynowo wysuwają teoretyczne twierdzenia oparte na środkach o nieznanej ważności. Jak pokazano tutaj, dotyczy to również IAT., Obecnie nie można wysuwać opartych na dowodach twierdzeń dotyczących ważności IAT, ponieważ nie wiadomo, co iat mierzy i jak dobrze mierzy to, co mierzy.
teoretyczne zamieszanie na temat Implicit Measures
brak teoretycznego zrozumienia IAT jest widoczny w ostatnim artykule Greenwald and Banaji (2017), gdzie sugerują, że ” implicit cognition wpływa na explicit cognition, które z kolei napędza zachowanie „(Kurdi et al., s. 13)., Model ten oznaczałby, że implicit miary, takie jak IAT nie mają bezpośredniego związku z zachowaniem, ponieważ świadome procesy ostatecznie determinują działania. Ten model spekulacyjny jest zilustrowany danymi Bar-anana i Nosek ' a (#11), które nie wykazały przyrostowej ważności prognostycznej przy kontakcie. Model może zostać przekształcony w łańcuch przyczynowy poprzez zmianę ścieżki bidiretional w zakładany związek przyczynowy między postawami implicit i explicit.,
możliwe jest jednak również przekształcenie modelu w model pojedynczego czynnika, który traktuje unikalną wariancję w miarach implicit i explicit jako zwykłą wariancję metody.
tak więc wszelkie twierdzenia dotyczące stronniczości ukrytej i stronniczości jawnej są przedwczesne, ponieważ istniejące dane są zgodne z różnymi modelami teoretycznymi., Aby wysuwać naukowe twierdzenia o ukrytych formach uprzedzeń rasowych, konieczne byłoby uzyskanie danych, które mogą empirycznie odróżnić modele pojedynczego konstruowania i podwójnego konstruowania.
podsumowanie
wyścig IAT ma 20 lat. Został on użyty w setkach artykułów do wysuwania empirycznych twierdzeń na temat uprzedzeń. Zamieszanie między miarami i konstrukcjami stworzyło dyskurs publiczny na temat domniemanych uprzedzeń rasowych, które mogą wystąpić poza świadomością. Dyskurs ten jest jednak usunięty z empirycznych faktów., Najważniejszym stwierdzeniem ostatniej metaanalizy jest to, że staranne przeszukanie literatury odkryło tylko kilka poważnych badań walidacyjnych, a wyniki tych badań są sugestywne w najlepszym razie. Nawet jeśli przyszłe badania dostarczyłyby bardziej rozstrzygających dowodów na przyrostową Ważność predykcyjną, stwierdzenie to byłoby niewystarczające, aby twierdzić, że IAT jest miarą domniemanego uprzedzenia. IAT może mieć przyrostową Ważność predykcyjną, nawet jeśli byłaby tylko komplementarną miarą świadomie dostępnego uprzedzenia, która nie dzieli wariancji metody z miarami jawnymi., Metoda multi-method jest potrzebna do zbadania trafności konstrukcji IAT jako miary implicit Race bias. Takie dowody po prostu nie istnieją. Greenwald i współpracownicy mieli 20 lat i wystarczające fundusze na przeprowadzenie takich badań walidacyjnych, ale nie udało im się tego zrobić. Natomiast ich artykuły konsekwentnie mylą środki i konstrukcje i sprawiają wrażenie, że IAT mierzy nieświadome procesy, które są ukryte przed introspekcją („świadome doświadczenie zapewnia tylko małe okno na to, jak działa umysł”,”kliknij tutaj, aby odkryć swoje ukryte myśli”).,
Greenwald i Banaji doskonale zdają sobie sprawę, że ich roszczenia mają znaczenie. „Badania nad ukrytym poznaniem społecznym były świadkiem wyższego poziomu uwagi zarówno ze strony ogółu społeczeństwa, jak i podmiotów rządowych i komercyjnych, dzięki czemu regularne raportowanie tego, co jest znane, staje się dodatkową odpowiedzialnością” (Kurdi et al., 2018, s. 3). Zgadzam się. Nie wierzę jednak, aby ich metaanaliza spełniała tę obietnicę., Bezstronna ocena dowodów nie wykazuje przekonujących dowodów na to, że IAT rasy jest ważną miarą ukrytej uprzedzeń rasowych; a bez ważnej miary ukrytej uprzedzeń rasowych niemożliwe jest składanie naukowych stwierdzeń na temat ukrytej uprzedzeń rasowych. Myślę, że opinia publiczna zasługuje, by to wiedzieć. Niestety, nie ma potrzeby dowodów naukowych na to, że uprzedzenia i dyskryminacja nadal istnieją., Idealnie, psychologowie będą spędzać więcej wysiłku w opracowywaniu ważnych środków rasizmu, które mogą dostarczyć wiarygodnych informacji na temat różnic w poszczególnych osób, regionów geograficznych, grup i czasu. Wiele osób uważa, że psychologowie już to robią, ale ten przegląd literatury pokazuje, że tak nie jest. Najwyższy czas zrobić to, czego oczekuje od nas opinia publiczna.