Dobrá věda vyžaduje platná opatření. Toto tvrzení je stěží kontroverzní. Není divu, že všichni autoři nějakého psychologického opatření tvrdí, že jejich opatření je platné. Validační výzkum je však drahý a obtížně publikovatelný v prestižních časopisech. V důsledku toho má Psychologická věda krizi platnosti., Mnoho opatření se používá ve stovkách článků bez jasných definic konstruktů a bez kvantitativních informací o jejich platnosti (Schimmack, 2010).
implicitní asociační Test (AT) není výjimkou. IAT byl představen v roce 1998 se silným a vysoce opakovatelný důkaz, že průměrné postoje k dvojici objektů (např. květiny vs. pavouci) lze měřit reakční časy v klasifikační úloha (Greenwald et al., 1998)., Ačkoli název článku sliboval míru individuálních rozdílů, hlavními důkazy v článku byly průměrné rozdíly mezi skupinami. Původní článek tedy neposkytl malý důkaz, že IAT je platným měřítkem individuálních rozdílů.
použití IAT jako míry individuálních rozdílů v postojích vyžaduje vědecké důkazy o tom, že výsledky testů jsou spojeny s variací postojů., Klíčové důkazy pro platnost testu jsou spolehlivost, konvergentní validita, diskriminační validita a prediktivní validita inkrementální (Campbell & Fiske, 1959).
platnost IAT jako míry postojů musí být zkoumána případ od případu, protože souvislost mezi asociacemi a postoji se může lišit v závislosti na objektu postoje. U postojových objektů, jako jsou popové nápoje, koks vs. Pepsi, mohou být asociace silně spjaty s postoji., Ve skutečnosti, IAT má dobrou prediktivní validitu metody volby mezi dvěma pop nápoje (Hofmann, Gawronski, Gschwendner, & Schmitt, 2005). Postrádá však konvergentní platnost, pokud se používá k měření sebeúcty (Bosson & Swan, & Pennebaker, 2000).
IAT je nejlépe známý jako míra předsudků, rasové zaujatosti nebo postojů bílých Američanů vůči Afroameričanům. Na jedné straně vynálezce IAT, Greenwald, tvrdí, že rasa IAT má prediktivní platnost (Greenwald et al., 2009)., Jiní se zabývají důkazy: „výsledky implicitních asociačních testů neumožnily predikci chování na individuální úrovni“ (Blanton et al., 2009, s. 567); „IAT poskytuje malý vhled do toho, kdo koho diskriminuje, a neposkytuje více vhledu než explicitní opatření zaujatosti“ (Oswald et al., 2013).
o devět let později Greenwald a jeho kolegové představují novou metaanalýzu prediktivní platnosti IAT (Kurdi et al., 2018) na základě 217 výzkumných zpráv a celkové velikosti vzorku n = 36 071 účastníků. Výsledky této metaanalýzy jsou uvedeny v abstraktu.,
našli jsme významné korelace implicitních kritérií (ICCs) a explicitních kritérií (ECCs) s jedinečnými příspěvky implicitních (beta = .14) a explicitní opatření (beta = .11) odhaleno modelováním strukturních rovnic.
problém s meta-analýzy je, že shromažďují informace pomocí různých metod, opatření, a kritérium proměnných, a meta-analýza ukázala vysoká variabilita v prediktivní platnost. Hlavní zjištění tedy neposkytuje informace o prediktivní platnosti IAT závodu., Jak poznamenali autoři, „statisticky vysoký stupeň heterogenity naznačuje, že jakýkoli bodový odhad vztahu implicitně– kritérium by byl zavádějící“ (s. 7).
dalším problémem metaanalýzy je, že je obtížné najít spolehlivé moderátorské proměnné, pokud původní studie mají malé vzorky a velkou chybu vzorkování. Výsledkem je, že nevýznamný moderátorský efekt nelze interpretovat jako důkaz, že výsledky jsou homogenní. Lepší způsob, jak prozkoumat prediktivní platnost IAT závodu, je tedy omezit metaanalýzu na studie, které používaly IAT race.,
dalším problémem malých studií je to, že zavádějí hodně hluku, protože odhady bodů jsou zkresleny chybou odběru vzorků. Stanley, Jarrell a Doucouliagos (2010) učinili geniální návrh omezit metaanalýzu na 10% studií s největšími velikostmi vzorků. Jak tyto studie mají malé výběrové chyby chcete-li začít s, agregace nich bude produkovat odhady s ještě menší výběrová chyba a začlenění mnoha malých studií s vysokou heterogenitu není nutné., Menší počet studií také usnadňuje hodnocení kvality studií a zkoumání zdrojů heterogenity napříč studiemi. Tento přístup jsem použil ke zkoumání prediktivní platnosti závodu IAT pomocí studií zahrnutých v Kurdi et al.’s (2018) metaanalýza (data).
popis dat
datový soubor obsahoval proměnnou groupStemCat2, která kódovala skupiny ve srovnání s IAT. Byly vybrány pouze studie klasifikované jako groupStemCat2 = = „Afroameričané a Afričané“, přičemž bylo ponecháno 1328 záznamů (řádků)., Dále jsem vybral pouze studie s korelací kritérií IAT, přičemž jsem ponechal 1004 záznamů. Dále jsem vybral pouze položky s minimální velikostí vzorku N = 100, přičemž 235 záznamů (více než 10%).
235 záznamů bylo založeno na 21 studiích, což naznačuje, že metaanalýza kódovala v průměru více než 10 různých účinků pro každou studii.
střední korelace mezi kritérii IAT ve všech 235 studiích byla r = .070. Ve srovnání s mediánem R pro 769 studií s n < 100 byl r = .044., Výběr studií s velkým N tedy nesnížil odhad velikosti účinku.
Když jsem poprvé vypočítal medián pro každou studii a poté medián napříč studiemi, získal jsem podobnou střední korelaci r = .065. Mezi 21 studiemi nebyla signifikantní korelace mezi velikostí vzorku a střední korelací kritéria ICC, r = .12. Neexistují tedy žádné důkazy o publikační zaujatosti.
nyní přezkoumávám 21 studií v sestupném pořadí podle mediánové korelace IAT-criterion. Hodnotím kvalitu studií s 1 až 5 hvězdičkami od nejnižší po nejvyšší kvalitu., Jelikož některé studie neměly být validačními studiemi, toto hodnocení neodráží kvalitu samotné studie. Hodnocení je založeno na schopnosti studie ověřit IAT jako míru rasové zaujatosti.
1. * Ma et al. (Studie 2), N = 303, r =.34
ma et al . (2012) použil několik IAT k předpovídání volebních záměrů v amerických prezidentských volbách v roce 2012. Důležité je, že studie 2 nezahrnula rasu IAT, která byla použita ve studii 1 (#15, medián r = .03). Místo toho byl závod IAT upraven tak, aby obsahoval obrázky obou kandidátů Obamy a Romneyho., I když je zajímavé, že IAT, který vyžaduje závodu klasifikace kandidátů předpověděl volební úmysly, se této studie nemohou být použity k tvrzení, že závod IAT jako míra rasové zaujatosti má prediktivní validitu, protože IAT opatření specifického postoje vůči kandidáty, spíše než postoje vůči Afrických Američanů obecně.
2. *** Knowles et al., N = 285, r = .26
tato studie použila race IAT k předpovídání volebních záměrů a schválení Obamových reforem ve zdravotnictví., Hlavním zjištěním bylo, že závod IAT byl významným prediktorem volebních záměrů (kurzový poměr = .61; r = .20 )a že tento vztah zůstal významný po zahrnutí moderní rasistické stupnice jako prediktor (poměr kurzů=.67, Velikost efektu r = .15). Korelace je podobná výsledku získanému v další studii s větším vzorkem.
3. ***** Greenwald et al. (2009), N = 1,057, r = .17
nejvíce přesvědčivé výsledky pocházejí z Greenwald et al.“s (2009) studie s největší velikostí vzorku všech studií., Ve vzorku n = 1 057 účastníků předpovídal závod IAT volební úmysly v amerických volbách v roce 2008 (Obama vs. McCain), r = .17. V modelu, který zahrnoval politickou orientaci jako prediktor volebních záměrů, však pouze explicitní postojová opatření přidávala přírůstkovou prediktivní platnost, b = .10, SE = .03, t = 3,98, ale IAT ne, b = .00, SE = .02, t = 0,18.
4. * Cooper et al., N = 178, r = .12
velikost vzorku v metaanalýze neodpovídá velikosti vzorku původní studie., Přestože se jednalo o 269 pacientů, race IAT byl podán 40 klinickým lékařům primární péče. Prediktivní platnost lze tedy posoudit pouze na malém vzorku lékařů n = 40, kteří poskytli nezávislé skóre IAT. Tabulka 3 uvádí sedm závislých proměnných a vykazuje dva významné výsledky (p = .02, p = .02) pro černé pacienty.
5. * Biernat et al. (Studie 1), N = 136, r =.10
studie 1 zahrnovala race IAT a dary černé vs. jiné studentské organizace jako proměnnou kritéria. Negativní vztah nebyl významný (velikost efektu r = .05)., Metaanalýza také zahrnovala posunutí standardní proměnné (velikost efektu r = .14). Posunutí standardů se týká toho, do jaké míry účastníci posunuli standardy ve svých úsudcích o akademických schopnostech Black versus White targets. Hlavním bodem článku bylo, že posunutí standardů spíše než implicitní postojová opatření předpovídají rasovou zaujatost ve skutečném chování. „Ve třech studiích byla tendence k posunu standardů nesouvisející s jinými opatřeními předsudků, ale předpovídala snížené přidělování finančních prostředků černošské studentské organizaci.,“Tak, zdá se, že sporné použití posouvá standardy jako ověřovací kritérium pro závod IAT, protože klíčovým kritériem proměnné byly dary, zatímco posouvá standardy byly konkurenční nepřímé měření předsudků.
6. ** Zhang et al. (Studie 2), N = 196, r =.10
tato studie zkoumala seznamy myšlenek poté, co účastníci sledovali zločin spáchaný černým pachatelem v oblasti práva a pořádku. „Po celé dva programy, žádné statisticky významné vztahy mezi povahou myšlenek a skóre na IAT bylo zjištěno, F(2, 85) = 2.4, p < .,11 Pro program 1 A F (2, 84) = 1.98, p < .53 pro program 2.“Hlavním omezením této studie je, že výpisy myšlenek nejsou skutečným sociálním chováním. Vzhledem k tomu, že velikost účinku pro tuto studii je blízká mediánu, vyloučení nemá žádný významný vliv na konečný výsledek.
7. * Ashburn et al., N = 300, r = .09
název tohoto článku je “ rasa a psychické zdraví Afroameričanů.“Vzorek se skládá z 300 afroamerických účastníků., I když je zajímavé zkoumat rasové postoje Afroameričanů, tato studie neřeší otázku, zda rasa IAT je platným měřítkem předsudků vůči Afroameričanům.
8. *** Eno et al. (Studie 1), N = 105, r =.09
tento článek zkoumá reakce na film nastavený během éry občanských práv; “ pamatujte na Titány.“Po sledování filmu účastníci provedli několik hodnocení o interpretacích událostí. Pouze jedna událost, která přičítala emminy činy nehodě, ukázala významnou korelaci s IAT, r = .,20, ale připisování rasismu také ukázalo korelaci stejným směrem, r = .10. U ostatních událostí měly atributy stejnou nevýznamnou velikost efektu, dívky zájmy r = .12, dívčí závod, r = .07; cihlový rasismus, r = -.10, akce Brick Black coach, r = -.10.
9. *** Aberson & Haag, N = 153, r = .07
Abserson a Haag podáván závod IAT 153 účastníků a dotazy týkající se množství a kvalita kontaktu s Africkými Američany. Našli nevýznamné korelace s množstvím, r = -.12 a kvalita, r = -.,10 a významná pozitivní korelace s interakcí, r = .17. Pozitivní interakční efekt naznačuje, že jedinci s nízkým kontaktem, což znamená i kontakt s nízkou kvalitou, se neliší od jedinců s častým vysoce kvalitním kontaktem.
10. * Hagiwara et al., N = 106, r = .07
tato studie je další studií černých pacientů a Nečerného lékaře. Hlavním omezením je, že bylo pouze 14 lékařů a pouze 2 byli bílí.
11. **** Bar-Anan & Nosek, N = 397, r = .,06
tato studie použila kontakt jako ověřovací kritérium. Závod IAT ukázal korelaci r = -.14 se skupinovým kontaktem. , N v rozmezí 492-647. Krátký IAT ukázal prakticky stejný vztah, r = -.13. Dodatek uvádí, že kontakt byl silněji korelován s explicitními opatřeními; teploměr r = .27, preference r = .31. Pomocí modelování strukturálních rovnic, jak doporučuje Greenwald a jeho kolegové, jsem nenašel žádný důkaz, že IAT má jedinečnou prediktivní platnost v predikci kontaktu ,když byla explicitní opatření zahrnuta jako prediktory, b =.03, SE = .,07, t = 0,37.
12. *** Aberson & Gaffney, N = 386, medián R = .05
tato studie vztahovala rasu IAT k opatřením pozitivního a negativního kontaktu, r = .10, r = -.01, resp. Korelace s explicitním opatřením byly podstatně silnější, r = .38, r = -.35, resp. Tyto výsledky odrážejí výše uvedené výsledky.
13. * Orey et al., N = 386, medián r = .04
tato studie zkoumala rasové postoje mezi černými respondenty., I když se jedná o zajímavou otázku, data nelze použít ke zkoumání prediktivní platnosti IAT závodu jako míry předsudků.
14. * Krieger et al., N = 708, medián r = .04
tato studie používala závod IAT se 442 černými účastníky a kritériovými opatřeními vnímané diskriminace a zdraví. Ačkoli se jedná o hodnotné výzkumné téma, výsledky nelze použít k vyhodnocení platnosti IAT závodu jako míry předsudků.
15. *** Ma et al. (Studie 1), n = 335, medián R = .,03
tato studie použila závod IAT k předpovídání záměrů voličů v prezidentských volbách v roce 2012. Studie nezjistila žádný významný vztah. „Ani jedno opatření na úrovni kategorií však nesouviselo s úmyslem hlasovat pro Obamu (rs).06, ps ≥ .26) “ (s. 31). Metaanalýza zaznamenala korelaci r = .045, na základě e-mailové korespondence s autory. Není jasné, proč by závod IAT nepředpovídal volební úmysly v roce 2012, kdy předpovídal volební úmysly v roce 2008., Jedna možnost je, že Obama byl nyní viděn jako jednotlivec, nikoli jako člen určité skupiny tak, že obecné postoje k Afričtí Američané již ovlivnil hlasování úmysly. Bez ohledu na to, jaký je důvod, tato studie neposkytuje důkazy o prediktivní platnosti IAT závodu.
16. **** Oliver et al., N = 105, medián r = .02
tato studie byla na on-line studii 543 rodinných a interních lékařů. Dokončili závod IAT a poskytli doporučení pro hypotetický případ. Rasa pacienta byla experimentálně manipulována., Abstrakt uvádí ,že“ lékaři měli explicitní a implicitní rasové předsudky, ale tato zkreslení nepředpovídala doporučení léčby
“ (s. 177). Velikost vzorku v metaanalýze je menší, protože celkový vzorek byl rozdělen na menší podskupiny.
17. * Nosek & Hansen, N = 207, medián r = .01
tato studie neobsahovala jasné kritérium validace. Cílem bylo prozkoumat vztah mezi rasou IAT a kulturními znalostmi o stereoetypech., „V sedm studií (158 vzorků, N = 107,709), IAT byl spolehlivě a variabilně související s explicitní postoje, a explicitní postoje představovaly vztah mezi IAT a kulturní znalosti.“Opatření kulturní znalosti byly použity jako kritérium proměnných. Pozitivní vztah, r = .10, byl získán pro položku “ pokud je dána volba, kdo by se většina zaměstnavatelů rozhodla najmout, černý Američan nebo bílý Američan? (1 rozhodně bílá až 7 rozhodně Černá).“Negativní vztah, r = -.,09, byl získán pro položku “ Kdo je pravděpodobnější, že bude terčem diskriminace, černý Američan nebo bílý Američan? (1 rozhodně bílá až 7 rozhodně Černá).“
18. * Plant et al., N = 229, medián r = .00
tento článek zkoumal úmysly hlasování ve vzorku 229 studentů. Výsledky nejsou uvedeny v článku. Metaanalýza vykázala pozitivní r = .04 a negativní r = -.04 pro dva samostatné položky s různými explicitními opatřeními, což musí být chyba kódování., Volební chování bylo zkoumáno ve větší a více reprezentativní vzorky (#3, #15), tyto výsledky mohou být ignorovány.
19. * Krieger et al. (2011), N = 503, r = .00
tato studie přijala 504 Afroameričanů a 501 bílých Američanů. Všichni účastníci dokončili závod IAT. Studie však neobsahovala jasná kritéria validace. Metaanalýza použila jako validační kritérium vlastní zkušenosti s diskriminací. Důležitou otázkou však je, zda rasa IAT předpovídá chování lidí, kteří diskriminují, nikoli zkušenost obětí diskriminace.,
20. * Fiedorowicz, N = 257, r = -.01
tato studie je disertační práce a kritériem validace byl náboženský fundamentalismus.
21. * Heider & Skowronski, N = 140, r = -.02
tato studie oddělila měření předsudků od IAT závodu a měření proměnných kritérií o několik týdnů. Kritériem bylo kooperativní chování ve hře o vězeňské dilema. Výsledky ukázaly, že “ IAT (b = -.21, t = -2,51, p = .013) a pro-černý subscore (b = .17, t = 2.10, p = .,037) byly významnými prediktory větší spolupráce s černou konfederací. Tyto výsledky však byly nepravdivé a byly opraveny (viz Carlsson et al., 2018, pro podrobnou diskusi).
Heider, JD, & Skowronski, JJ (2011). Dodatek k Heiderovi a Skowronskému (2007): zlepšení prediktivní platnosti implicitního asociačního testu., North American Journal of Psychologie, 13, 17-20
Diskuse
stručně řečeno, podrobné zkoumání závod IAT studií zahrnutých do meta-analýzy ukazují značnou různorodost v kvalitě studia a jejich schopnost posoudit prediktivní platnost závodu IAT. Nejlepší studie je Greenwald et al.s (2009) studie s velkým vzorkem a hlasování v závodě Obama vs. McCain jako kritérium variabilní. Další hlasovací studie však v roce 2012 tato zjištění neopakovala., Druhou nejlepší studií byla barananova a Nosekova studie s intergroup contact jako validačním kritériem, ale neprokázala Inkrementální prediktivní platnost IAT.
studie s lékaři nevykazují žádné jasné důkazy o rasové zaujatosti. To by mohlo být způsobeno profesionalitou lékařů a výsledky by neměly být zobecněny na obecnou populaci. Zbývající studie byly považovány za nevhodné ke zkoumání prediktivní platnosti. Například některé studie s afroamerickými účastníky nepoužily IAT k měření předsudků.,
Na základě tohoto omezeného důkazu není možné vyvodit silné závěry o prediktivní platnosti IAT závodu. Mé hodnocení důkazů je spíše v souladu se autoři meta-analýzy, která zjistila, že „z 2,240 ICCs zahrnuty v této metaanalysis, byly tam jen 24 vliv velikosti od 13 studií, že (a) měli vztah mezi implicitní kognice a chování, jako jejich primární zaměření“ (str. 13).,
to potvrzuje mé pozorování v úvodu, že psychologická věda má validační krizi, protože vědci zřídka provádějí validační studie. Ve skutečnosti, navzdory všem obavám o opakovatelnost, nedostatek replikačních studií je mnohem početnější než validační studie. Důsledky validační krize spočívají v tom, že psychologové běžně uplatňují teoretické nároky na základě opatření s neznámou platností. Jak je ukázáno zde, platí to i pro IAT., V současné době není možné uplatňovat tvrzení založená na důkazech o platnosti IAT, protože není známo, co opatření IAT a jak dobře měří to, co měří.
Teoretické Nejasnosti o Implicitní Opatření
nedostatek teoretické znalosti z IAT je evidentní v Greenwald a Banaji (2017) nedávný článek, kde se uvádí, že „implicitní kognice vlivy explicitní poznání, které, podle pořadí, řídí chování“ (Kurdi et al., s. 13)., Tento model by znamenal, že implicitní opatření, jako je IAT, nemají přímou vazbu na chování, protože vědomé procesy nakonec určují akce. Tento spekulativní model je ilustrován pomocí dat Bar-Anan a Nosek (#11), které nevykazovaly žádnou Inkrementální prediktivní platnost při kontaktu. Model může být přeměněn na kauzální řetězec změnou bidiretické cesty na předpokládaný kauzální vztah mezi implicitními a explicitními postoji.,
Nicméně, to je také možné změnit model do jediného modelu faktor, který považuje za jedinečný rozptyl v implicitní a explicitní opatření, jako pouhou metodu rozptylu.
to Znamená, jakékoliv tvrzení o implicitní předsudky a explicitní zaujatost je předčasné, protože stávající údaje jsou v souladu s různými teoretickými modely., Aby se vědecké tvrzení o implicitních forem rasové předsudky, by bylo nutné získat data, která lze empiricky rozlišit mezi jeden konstrukci a dual-postavit modely.
závěr
závod IAT je 20 let starý. Používá se ve stovkách článků k empirickým tvrzením o předsudcích. Zmatek mezi opatřeními a konstrukty vytvořil veřejný diskurz o implicitní rasové zaujatosti, ke které může dojít mimo povědomí. Tento diskurz je však odstraněn z empirických faktů., Nejdůležitějším zjištěním nedávné metaanalýzy je, že pečlivé hledání literatury odhalilo pouze hrst vážných validačních studií a že výsledky těchto studií jsou přinejlepším sugestivní. I kdyby budoucí studie poskytly přesvědčivější důkazy o přírůstkové prediktivní platnosti, toto zjištění by nestačilo tvrdit, že IAT je platným měřítkem implicitní zaujatosti. IAT by mohla mít Inkrementální prediktivní platnost, i kdyby se jednalo pouze o doplňkové opatření vědomě přístupných předsudků, které nesdílí rozptyl metod s explicitními opatřeními., K prozkoumání platnosti konstrukce IAT jako míry implicitní rasové zaujatosti je nutný přístup s více metodami. Takové důkazy prostě neexistují. Greenwald a jeho kolegové měli 20 let a dostatek finančních prostředků na provádění takových validačních studií, ale neudělali to. V kontrastu, jejich články důsledně zmást opatření a konstrukce, a dát dojem, že IAT opatření nevědomé procesy, které jsou skryté od introspekce („vědomé zkušenosti poskytuje pouze malé okno, do toho, jak funguje mysl“, „klikněte zde objevit své skryté myšlenky“).,
Greenwald a Banaji si dobře uvědomují, že na jejich nárocích záleží. „Výzkum na implicitní sociální kognice byla svědkem vyšší úrovně pozornosti jak ze strany široké veřejnosti a z vládní a komerční subjekty, dělat pravidelné hlášení, co je známo přidanou odpovědnost“ (Kurdi et al., 2018, s. 3). Souhlasím. Nevěřím však, že jejich metaanalýza tento slib splňuje., Objektivní posouzení důkazů nevykazuje žádný přesvědčivý důkaz, že rasa IAT je platným měřítkem implicitní rasové zaujatosti; a bez platné míry implicitní rasové zaujatosti není možné učinit vědecká prohlášení o implicitní rasové zaujatosti. Myslím, že široká veřejnost si to zaslouží vědět. Bohužel není třeba vědeckých důkazů, že předsudky a diskriminace stále existují., V ideálním případě, psychologové se bude věnovat více úsilí v rozvojových platná opatření rasismu, který může poskytnout důvěryhodné informace o odchylkách mezi jednotlivci, regiony, skupiny a času. Mnoho lidí se domnívá, že psychologové to již dělají, ale tento přehled literatury ukazuje, že tomu tak není. Je nejvyšší čas skutečně dělat to, co od nás široká veřejnost očekává.