The race IAT: A Case Study of the Validity Crisis in Psychology: (Português)

Good science requires valid measures. Esta afirmação não é controversa. Não surpreendentemente, todos os autores de alguma medida psicológica afirmam que a sua medida é válida. No entanto, a investigação de validação é dispendiosa e difícil de publicar em revistas de prestígio. Como resultado, a ciência psicológica tem uma crise de validade., Muitas medidas são usadas em centenas de artigos sem definições claras de Construções e sem informações quantitativas sobre sua validade (Schimmack, 2010).

O teste implícito de associação (AT) não é excepção. O IAT foi introduzido em 1998 com evidências fortes e altamente replicáveis de que atitudes médias em relação aos pares de objetos (por exemplo, flores vs. aranhas) podem ser medidas com tempos de reação em uma tarefa de classificação (Greenwald et al., 1998)., Embora o título do artigo prometesse uma medida de diferenças individuais, a principal evidência no artigo era as diferenças entre grupos. Assim, o artigo original forneceu pouca prova de que a IAT é uma medida válida de diferenças individuais. a utilização do IAT como medida das diferenças individuais de atitudes requer provas científicas de que as pontuações dos testes estão ligadas à variação de atitudes., As principais evidências para a validade de um teste são a confiabilidade, a validade convergente, a validade discriminante e a validade preditiva incremental (Campbell & Fiske, 1959).

a validade do IAT como uma medida de atitudes tem de ser examinada caso a caso, uma vez que a ligação entre associações e atitudes pode variar dependendo do objecto da atitude. Para objetos de atitude como bebidas pop, Coke vs. Pepsi, associações podem estar fortemente relacionadas com atitudes., Na verdade, o IAT tem boa validade preditiva para escolhas entre duas bebidas pop (Hofmann, Gawronski, Gschwendner, & Schmitt, 2005). No entanto, não tem validade convergente quando é usado para medir a auto-estima (Bosson & Swan, & Pennebaker, 2000). o IAT é mais conhecido como uma medida de preconceito, preconceito racial ou atitudes dos brancos americanos em relação aos afro-americanos. Por um lado, o inventor da IAT, Greenwald, argumenta que a raça IAT tem validade preditiva (Greenwald et al., 2009)., Outros discordam da evidência: “as pontuações implícitas dos testes de associação não permitiam a previsão de comportamentos individuais” (Blanton et al., 2009, p. 567); “the IAT provides little insight into who will discriminate against whom, and provides no more insight than explicit measures of bias” (Oswald et al., 2013).nove anos depois, Greenwald e colegas apresentam uma nova meta-análise da validade preditiva da IAT (Kurdi et al., 2018) com base em 217 relatórios de investigação e uma amostra total de n = 36.071 participantes. Os resultados desta meta-análise são relatados no resumo.,

encontramos correlações significantes implícitas de critérios (ICCs) e correlações explícitas de critérios (ECCs), com contribuições únicas de implícitas (beta = .14) e medidas explícitas (beta = .11) revealed by structural equation modeling.

o problema com meta-análises é que eles agregam informações com diversos métodos, medidas e variáveis de critério, e a meta-análise mostrou alta variabilidade na validade preditiva. Assim, a descoberta de manchetes não fornece informações sobre a validade preditiva da RACE IAT., Como observado pelos autores, “Estatisticamente, o alto grau de heterogeneidade sugere que qualquer estimativa pontual da relação implícito– critério seria enganosa” (p. 7).

outro problema da meta-análise é que é difícil encontrar variáveis moderadoras confiáveis se os estudos originais têm pequenas amostras e grande erro de amostragem. Como resultado, um efeito moderador não significativo não pode ser interpretado como evidência de que os resultados são homogêneos. Assim, uma melhor maneira de examinar a validade preditiva do IAT da raça é limitar a meta-análise a estudos que usaram o IAT da raça., outro problema dos pequenos estudos é que eles introduzem muito ruído porque as estimativas pontuais são distorcidas por erro de amostragem. Stanley, Jarrell e Doucouliagos (2010) fizeram a engenhosa sugestão de limitar a meta-análise aos 10% de estudos com os maiores tamanhos de amostra. Como estes estudos têm um pequeno erro de amostragem para começar, agregá-los irá produzir estimativas com um erro de amostragem ainda menor e a inclusão de muitos pequenos estudos com alta heterogeneidade não é necessária., Um número menor de estudos também facilita a avaliação da qualidade dos estudos e a análise de fontes de heterogeneidade entre os estudos. Eu usei esta abordagem para examinar a validade preditiva da raça IAT usando os estudos incluídos em Kurdi et al.”s (2018) meta-análise (dados).

descrição dos dados

o ficheiro de dados continha a variável groupStemCat2 que codificou os grupos comparados no IAT. Apenas estudos classificados como groupStemCat2 == “afro-americanos e africanos” foram selecionados, deixando 1328 entradas (linhas)., Em seguida, eu selecionei apenas estudos com uma correlação IAT-criterion, deixando 1004 entradas. Em seguida, selecionei apenas entradas com um tamanho mínimo de amostra de N = 100, deixando 235 entradas (mais de 10%). as 235 entradas basearam-se em 21 estudos, indicando que a meta-análise codificou, em média, mais de 10 efeitos diferentes para cada estudo. a correlação mediana do critério IAT em todos os 235 estudos foi r=.070. Em comparação, a mediana r para os 769 estudos com n < 100 foi r = .044., Assim, a seleção para estudos com N grande não reduziu a estimativa do tamanho do efeito. quando calculei pela primeira vez a mediana para cada estudo e depois a mediana entre os estudos, obtive uma correlação mediana semelhante de r = .065. Não houve correlação significativa entre o tamanho da amostra e a correlação mediana do critério ICC nos 21 estudos, r = .12. Assim, não há evidência de viés de publicação. revejo agora os 21 estudos por ordem decrescente da correlação mediana entre critério IAT. Eu avalio a qualidade dos estudos com 1 a 5 estrelas que vão da mais baixa à mais alta qualidade., Dado que alguns estudos não se destinavam a ser Estudos de validação, esta avaliação não reflecte a qualidade de um estudo per se. A avaliação é baseada na capacidade de um estudo para validar o IAT como uma medida de preconceito racial.

1. * Ma et al. (Estudo 2), N = 303, r = .34

Ma et al. (2012) used several IATs to predict voting intentions in the 2012 US presidential election. O importante é que o estudo 2 não incluiu a prova IAT utilizada no estudo 1 (#15, mediana r = .03). Em vez disso, a prova IAT foi modificada para incluir fotos dos dois candidatos Obama e Romney., Embora seja interessante que um IAT que requer classificações raciais de candidatos previu intenções de voto, este estudo não pode ser usado para afirmar que o IAT raciais como uma medida de preconceito racial tem validade preditiva porque o IAT mede atitudes específicas para os candidatos, em vez de atitudes para com os afro-americanos em geral. 2. *** Knowles et al., N = 285, r=.26

Este estudo usou a prova IAT para prever intenções de voto e endosso das reformas de Obama na saúde., A principal conclusão foi que a prova IAT era um preditor significativo de intenções de voto (razão de Probabilidades = .61; r = .20) e que esta relação permaneceu significativa depois de incluir a escala de racismo moderna como predictor (razão de Probabilidades = .67, effect size r = .15). A correlação é semelhante ao resultado obtido no próximo estudo com uma amostra maior.

3. ***** Greenwald et al. (2009), N = 1.057, r = .17

os resultados mais conclusivos provêm de Greenwald et al.estudo s (2009) com a maior dimensão da amostra de todos os estudos., Em uma amostra de N = 1.057 participantes, a corrida IAT previu intenções de voto na eleição de 2008 nos EUA (Obama vs. McCain), r = .17. No entanto, em um modelo que incluía orientação política como preditor de intenções de voto, apenas medidas de atitude explícita adicionaram validade preditiva incremental, b = .10, SE=.03, t = 3,98, mas o IAT Não, b = .00, SE = .02, t = 0,18.

4. * Cooper et al., N = 178, r=.12

a dimensão da amostra na meta-análise não corresponde à dimensão da amostra do estudo original., Apesar de 269 doentes estarem envolvidos, a prova IAT foi administrada a 40 clínicos de cuidados primários. Assim, a validade preditiva só pode ser avaliada em uma pequena amostra de N = 40 médicos que forneceram pontuações IAT independentes. A tabela 3 Lista sete variáveis dependentes e mostra dois resultados significativos (p = .02, p = .02) para doentes Negros.

5. * Biernat et al. (Estudo 1), n = 136, r = .10

O Estudo 1 incluiu a prova IAT e doações para uma organização de estudantes contra negros como a variável critério. A relação negativa não foi significativa (effect size r = .05)., A meta-análise também incluiu a variável padrão shifting (effect size r = .14). Shifting standards refere-se à medida em que os participantes deslocaram padrões em seus julgamentos de alvos Negros versus brancos’ capacidade acadêmica. O ponto principal do artigo era que os padrões de mudança ao invés de medidas de atitude implícita predizem o viés racial no comportamento real. “Em três estudos, a tendência a mudar padrões não foi correlacionada com outras medidas de preconceito, mas previu redução da alocação de fundos para uma organização estudantil Negra.,”Assim, parece discutível usar padrões de mudança como um critério de validação para a prova IAT porque a variável critério chave foram as doações, enquanto padrões de mudança foram uma medida indireta concorrente de preconceito.

6. ** Zhang et al. (Estudo 2), N = 196, r = .10

Este estudo examinou listas de pensamentos após os participantes assistirem a um crime cometido por um criminoso Negro na lei e ordem. “Através de dois programas, não foram encontradas relações estatisticamente significativas entre a natureza dos pensamentos e as pontuações no IAT, F(2, 85) = 2,4, p < .,11 for program 1, and F(2, 84) = 1,98, p < .53 para o programa 2.”A principal limitação deste estudo é que listagens de pensamentos não são um comportamento social real. Como o tamanho do efeito deste estudo é próximo da mediana, excluindo-se que não tem nenhum efeito notável no resultado final.

7. * Ashburn et al., N = 300, r=.09

o título deste artigo é ” Raça e saúde psicológica dos afro-americanos.”A amostra é composta por 300 participantes afro-americanos., Embora seja interessante examinar as atitudes raciais dos afro-americanos, este estudo não aborda a questão se a raça IAT é uma medida válida de preconceito contra os afro-americanos.

8. *** Eno et al. (Estudo 1), n = 105, r = .09

este artigo examina as respostas a um filme definido durante a Era dos Direitos Civis; ” lembre-se dos Titãs. Depois de assistir ao filme, os participantes fizeram várias avaliações sobre interpretações de eventos. Apenas um evento, atribuindo as ações de Emma a um acidente, mostrou uma correlação significativa com a IAT, r = .,20, mas as atribuições ao racismo também mostraram uma correlação na mesma direção, r = .10. Para os outros eventos, as atribuições tiveram o mesmo tamanho de efeito não significativo, as meninas interesses r = .12, Girls race, r = .07; Brick racism, r = -.10, Brick Black coach’s actions, r = -.10. 9. *** Aberson & Haag, N = 153, r=.07

Abserson e Haag administraram a prova a 153 participantes e fizeram perguntas sobre a quantidade e qualidade do contato com afro-americanos. Eles encontraram correlações não significativas com a quantidade, r = -.12 e qualidade, r = -.,10, e uma correlação positiva significativa com a interação, r = .17. O efeito de interação positiva sugere que os indivíduos com baixo Contato, o que implica contato de baixa qualidade também, não são diferentes dos indivíduos com contato freqüente de alta qualidade.

10. *Hagiwara et al., N = 106, r=.Este estudo é outro estudo de doentes de Raça Negra e de médico não Negro. A principal limitação é que havia apenas 14 médicos e apenas 2 eram brancos.

11. **** Bar-Anan & Nosek, N = 397, r = .,06

Este estudo utilizou o contacto como critério de validação. A prova IAT mostrou uma correlação de r= -.14 com contacto em grupo.
= = ligações externas = = O breve IAT mostrou praticamente a mesma relação, r = -.13. O apêndice relata que o contato estava mais fortemente correlacionado com as medidas explícitas; Termômetro r = .27, preference r = .31. Usando modelagem de equações estruturais, como recomendado por Greenwald e colegas, eu não encontrei nenhuma evidência de que o IAT tem validade preditiva única na previsão de contato quando medidas explícitas foram incluídas como predictores, b = .03, SE=.,07, t = 0.37.

12. *** Aberson & Gaffney, N = 386, mediana r = .05

Este estudo relacionou a prova IAT com medidas de contacto positivo e negativo, r = .10, r = -.01, respectivamente. Correlações com uma medida explícita foram consideravelmente mais fortes, r = .38, r = -.35, respectivamente. Estes resultados espelham os resultados apresentados acima.

13. * Orey et al., N = 386, mediana r=.Este estudo examinou as atitudes raciais entre os respondentes Negros., Embora esta seja uma questão interessante, os dados não podem ser usados para examinar a validade preditiva da prova IAT como uma medida de preconceito.

14. * Krieger et al., N = 708, mediana r=.Este estudo utilizou a prova IAT com 442 participantes negros e medidas de critério de percepção de discriminação e saúde. Embora este seja um tópico de pesquisa válido, os resultados não podem ser usados para avaliar a validade da prova como uma medida de preconceito.

15. *** Ma et al. (Estudo 1), N = 335, mediana r = .,03

Este estudo utilizou a prova IAT para prever as intenções dos eleitores na eleição presidencial de 2012. O estudo não encontrou nenhuma relação significativa. “No entanto, nenhuma das medidas de nível de categoria estava relacionada com a intenção de votar em Obama (rs≤.06, ps ≥ .26) ” (p. 31). A meta-análise registrou uma correlação de r = .045, baseado em correspondência por e-mail com os autores. Não é claro por que o IAT da corrida não iria prever intenções de voto em 2012, quando previu intenções de voto em 2008., Uma possibilidade é que Obama foi visto agora como um indivíduo e não como um membro de um grupo particular de modo que as atitudes gerais em relação aos afro-americanos não mais influenciaram as intenções de voto. Não importa qual seja a razão, este estudo não fornece evidência para a validade preditiva da prova IAT.

16. **** Oliver et al., N = 105, mediana r=.02

Este estudo foi realizado em linha com 543 médicos da família e da medicina interna. Eles completaram a prova IAT e deram recomendações de tratamento para um caso hipotético. A raça do paciente foi experimentalmente manipulada., The abstract states that “physicians possessed explicit and implícito racial biases, but those biases did not predicted
treatment recommendations” (p. 177). O tamanho da amostra na meta-análise é menor porque a amostra total foi dividida em subgrupos menores.

17. * Nosek & Hansen, N = 207, mediana r = .01

Este estudo não incluiu um critério de validação claro. O objectivo era examinar a relação entre a raça e o conhecimento cultural sobre os estereótipos., Em sete estudos (158 amostras, N = 107.709), o IAT foi confiável e variavelmente relacionado a atitudes explícitas, e atitudes explícitas explicaram a relação entre o IAT e o conhecimento cultural.”As medidas de conhecimento cultural foram usadas como variáveis de critério. Uma relação positiva, r = .10, was obtained for the item ” If given the choice, who would most employers choose to hire, a Black American or a White American? (1 definitivamente branco a 7 definitivamente Preto).”A negative relation, r = -.,09, foi obtido para o item ” quem é mais provável ser um alvo de discriminação, um negro americano ou um branco americano? (1 definitivamente branco a 7 definitivamente Preto).”

18. * Plant et al., N = 229, mediana r=.Este artigo examinou as intenções de voto numa amostra de 229 estudantes. Os resultados não são relatados no artigo. A meta-análise revelou um r positivo .04 e a Negativo r = -.04 para duas entradas separadas com medidas explícitas diferentes, o que deve constituir um erro de codificação., Como o comportamento de votação foi examinado em amostras maiores e mais representativas (#3, # 15), estes resultados podem ser ignorados.

19. * Krieger et al. (2011), N = 503, r = .Este estudo recrutou 504 afro-americanos e 501 brancos americanos. Todos os participantes completaram a prova. No entanto, o estudo não incluiu critérios de validação claros. A meta-análise utilizou como critério de validação as experiências de discriminação auto-comunicadas. No entanto, a questão importante é se o IAT de raça prevê comportamentos de pessoas que discriminam, não a experiência das vítimas de discriminação.,

20. *Fiedorowicz, n = 257, r= -.Este estudo é uma dissertação e o critério de validação foi o fundamentalismo religioso.

21. * Heider & Skowronski, N = 140, r = -.02

Este estudo separou a medição do preconceito com a prova IAT e a medição das variáveis de critério por várias semanas. O critério era o comportamento cooperativo num jogo de dilema de prisioneiros. The results showed that ” both the IAT (b = -.21, t = -2.51, p = .013) e o subescoro pró-Negro (b = .17, t = 2.10, p = .,037) foram indicadores significativos de maior cooperação com o confederado Negro. No entanto, estes resultados foram falsos e foram corrigidos (ver Carlsson et al., 2018,para uma discussão detalhada).
Heider, J. D., & Skowronski, J. J. (2011). Addendum to Heider and Skowronski (2007): Improving the predictive validity of the implícito Association Test., Norte-Americano Journal of Psychology, 13, 17-20

Discussão

Em resumo, um exame detalhado da corrida IAT estudos incluídos na meta-análise mostra considerável heterogeneidade da qualidade dos estudos e a sua capacidade para examinar a validade preditiva da corrida IAT. O melhor estudo é Greenwald et al.’s (2009) estudo com uma grande amostra e votação na raça Obama vs. McCain como a variável critério. No entanto, outro estudo de votação não replicou esses achados em 2012., O segundo melhor estudo foi o estudo de BarAnan e Nosek com o contato intergrupos como um critério de validação, mas não conseguiu mostrar a validade previsiva incremental da IAT. estudos com médicos não mostram evidência clara de preconceito racial. Isto pode ser devido ao profissionalismo dos médicos e os resultados não devem ser generalizados para a população em geral. Os restantes estudos foram considerados inadequados para examinar a validade preditiva. Por exemplo, alguns estudos com participantes afro-americanos não usaram o IAT para medir o preconceito.,

com base nesta evidência limitada é impossível tirar conclusões fortes sobre a validade preditiva da prova IAT. Minha avaliação da evidência é bastante coerente com os autores da meta-análise, que considerou que “fora da 2,240 ICCs incluídos nesta metanálise, havia apenas 24 tamanhos de efeito a partir de 13 de estudos que (a) tinha a relação entre implícita a cognição e o comportamento como seu foco principal” (p. 13)., isto confirma a minha observação na introdução de que a ciência psicológica tem uma crise de validação porque os investigadores raramente conduzem estudos de validação. De fato, apesar de todas as preocupações sobre replicabilidade, a falta de estudos de replicação é muito mais numerosa do que estudos de validação. As consequências da crise de validação é que psicólogos rotineiramente fazem reivindicações teóricas baseadas em medidas com validade desconhecida. Como mostrado aqui, isso também é verdade para o IAT., Actualmente, é impossível fazer alegações com base em elementos de prova sobre a validade da IAT, porque não se sabe quais as medidas da IAT e qual a sua eficácia.

confusão teórica sobre medidas implícitas

a falta de compreensão teórica do IAT é evidente no recente artigo de Greenwald e Banaji (2017), onde sugerem que “a cognição implícita influencia a cognição explícita que, por sua vez, impulsiona o comportamento” (Kurdi et al., p. 13)., Este modelo implicaria que medidas implícitas como a IAT não têm uma ligação direta com o comportamento porque os processos conscientes, em última análise, determinam ações. Este modelo especulativo é ilustrado com dados de Bar-Anan e Nosek (#11) que não mostraram uma validade preditiva incremental no contato. O modelo pode ser transformado em uma cadeia causal, mudando o caminho bidirecional em uma relação causal assumida entre atitudes implícitas e explícitas.,

No entanto, também é possível mudar o modelo em um modelo de fator único, que considera variância única em medidas implícitas e explícitas como mera variância de método.

assim, quaisquer alegações sobre viés implícito e viés explícito são prematuras porque os dados existentes são consistentes com vários modelos teóricos., Para fazer afirmações científicas sobre formas implícitas de preconceito racial, seria necessário obter dados que possam distinguir empiricamente entre modelos de construção única e de construção dual.

Conclusion

The race IAT is 20 years old. Tem sido usado em centenas de artigos para fazer afirmações empíricas sobre preconceito. A confusão entre medidas e construções criou um discurso público sobre o preconceito racial implícito que pode ocorrer fora da consciência. No entanto, este discurso é removido dos fatos empíricos., A descoberta mais importante da meta-análise recente é que uma pesquisa cuidadosa da literatura descobriu apenas um punhado de estudos de validação sérios e que os resultados destes estudos são sugestivos na melhor das hipóteses. Mesmo que estudos futuros fornecessem evidências mais conclusivas de validade previsiva incremental, esta conclusão seria insuficiente para afirmar que a IAT é uma medida válida de viés implícito. O IAT poderia ter uma validade preditiva incremental mesmo que fosse apenas uma medida complementar de preconceito conscientemente acessível que não compartilha variância de método com medidas explícitas., A multi-method approach is needed to examine the construct validity of the IAT as a measure of implit race bias. Tais provas simplesmente não existem. Greenwald e colegas tiveram 20 anos e amplo financiamento para realizar tais estudos de validação, mas eles não conseguiram fazê-lo. Em contraste, os seus artigos confundem consistentemente medidas e Construções e dão a impressão de que a IAT mede processos inconscientes que estão escondidos da introspecção (“a experiência consciente fornece apenas uma pequena janela de como a mente funciona”, “Clique aqui para descobrir os seus pensamentos ocultos”).,

Greenwald e Banaji estão bem cientes de que suas alegações assunto. “A pesquisa sobre cognição social implícita tem testemunhado níveis mais elevados de atenção tanto do público em geral quanto de entidades governamentais e comerciais, fazendo relatórios regulares do que é conhecido uma responsabilidade adicional” (Kurdi et al., 2018, p. 3). Concordo. No entanto, não acredito que a meta-análise deles cumpra esta promessa., Uma avaliação imparcial das evidências não mostra nenhuma evidência convincente de que o IAT racial é uma medida válida de preconceito racial implícito; e sem uma medida válida de preconceito racial implícito é impossível fazer afirmações científicas sobre preconceito racial implícito. Penso que o público em geral merece saber isto. Infelizmente, não há necessidade de provas científicas de que o preconceito e a discriminação ainda existem., Idealmente, os psicólogos irão gastar mais esforço no desenvolvimento de medidas válidas de racismo que possam fornecer informações confiáveis sobre a variação entre indivíduos, regiões geográficas, grupos e tempo. Muitas pessoas acreditam que os psicólogos já estão fazendo isso, mas esta revisão da literatura mostra que não é esse o caso. É mais do que tempo de fazer o que o público em geral espera de nós.