La buona scienza richiede misure valide. Questa affermazione è difficilmente controversa. Non sorprende che tutti gli autori di alcune misure psicologiche affermino che la loro misura è valida. Tuttavia, la ricerca di convalida è costosa e difficile da pubblicare su riviste prestigiose. Di conseguenza, la scienza psicologica ha una crisi di validità., Molte misure sono utilizzate in centinaia di articoli senza definizioni chiare di costrutti e senza informazioni quantitative sulla loro validità (Schimmack, 2010).
Il test di associazione implicita (AT) non fa eccezione. Lo IAT è stato introdotto nel 1998 con prove forti e altamente replicabili che gli atteggiamenti medi verso le coppie di oggetti (ad esempio, fiori vs ragni) possono essere misurati con i tempi di reazione in un compito di classificazione (Greenwald et al., 1998)., Sebbene il titolo dell’articolo promettesse una misura delle differenze individuali, le prove principali nell’articolo erano differenze medie tra i gruppi. Pertanto, l’articolo originale forniva poche prove che lo IAT fosse una misura valida delle differenze individuali.
L’uso dello IAT come misura delle differenze individuali negli atteggiamenti richiede prove scientifiche che i punteggi dei test siano collegati alla variazione degli atteggiamenti., Le prove chiave per la validità di un test sono l’affidabilità, la validità convergente, la validità discriminante e la validità predittiva incrementale (Campbell & Fiske, 1959).
La validità dello IAT come misura degli atteggiamenti deve essere esaminata caso per caso perché il legame tra associazioni e atteggiamenti può variare a seconda dell’oggetto dell’atteggiamento. Per gli oggetti attitude come le bevande pop, Coke vs. Pepsi, le associazioni possono essere fortemente correlate agli atteggiamenti., In effetti, lo IAT ha una buona validità predittiva per le scelte tra due bevande pop (Hofmann, Gawronski, Gschwendner, & Schmitt, 2005). Tuttavia, manca di validità convergente quando viene utilizzato per misurare l’autostima (Bosson & Swan, & Pennebaker, 2000).
Lo IAT è meglio conosciuto come una misura di pregiudizio, pregiudizi razziali o atteggiamenti degli americani bianchi nei confronti degli afroamericani. Da un lato, l’inventore della IAT, Greenwald, sostiene che la gara IAT ha validità predittiva (Greenwald et al., 2009)., Altri contestano le prove: “I punteggi dei test di associazione implicita non permettevano la previsione di comportamenti a livello individuale” (Blanton et al., 2009, p. 567); “lo IAT fornisce poche informazioni su chi discriminerà contro chi, e non fornisce più informazioni di esplicite misure di bias” (Oswald et al., 2013).
Nove anni dopo, Greenwald e colleghi presentano una nuova meta-analisi della validità predittiva dello IAT (Kurdi et al., 2018) sulla base di 217 rapporti di ricerca e una dimensione totale del campione di N = 36.071 partecipanti. I risultati di questa meta-analisi sono riportati in astratto.,
Abbiamo trovato significative correlazioni implicite-criterion (ICs) e correlazioni esplicite– criterion (ECCs), con contributi unici di implicito (beta = .14) e misure esplicite (beta = .11) rivelato dalla modellazione delle equazioni strutturali.
Il problema delle meta-analisi è che aggregano le informazioni con diversi metodi, misure e variabili di criterio e la meta-analisi ha mostrato un’elevata variabilità nella validità predittiva. Pertanto, la scoperta del titolo non fornisce informazioni sulla validità predittiva della gara IAT., Come notato dagli autori, “Statisticamente, l’alto grado di eterogeneità suggerisce che qualsiasi stima puntuale della relazione implicita– criterio sarebbe fuorviante” (p. 7).
Un altro problema della meta-analisi è che è difficile trovare variabili moderatrici affidabili se gli studi originali hanno piccoli campioni e grandi errori di campionamento. Di conseguenza, un effetto moderatore non significativo non può essere interpretato come prova che i risultati sono omogenei. Quindi, un modo migliore per esaminare la validità predittiva della gara IAT è limitare la meta-analisi agli studi che hanno utilizzato la gara IAT.,
Un altro problema di piccoli studi è che introducono molto rumore perché le stime puntuali sono distorte dall’errore di campionamento. Stanley, Jarrell e Doucouliagos (2010) hanno formulato l’ingegnoso suggerimento di limitare la meta-analisi al 10% superiore degli studi con le dimensioni del campione più grandi. Poiché questi studi hanno un piccolo errore di campionamento per cominciare, aggregandoli produrranno stime con errori di campionamento ancora più piccoli e l’inclusione di molti piccoli studi con elevata eterogeneità non è necessaria., Un numero minore di studi rende anche più facile valutare la qualità degli studi e esaminare le fonti di eterogeneità tra gli studi. Ho usato questo approccio per esaminare la validità predittiva della gara IAT utilizzando gli studi inclusi in Kurdi et al.’s (2018) meta-analisi (dati).
Descrizione dei dati
Il file di dati conteneva la variabile groupStemCat2 che codificava i gruppi confrontati nello IAT. Solo gli studi classificati come groupStemCat2 == “African American and Africans” sono stati selezionati, lasciando 1328 voci (righe)., Successivamente, ho selezionato solo studi con una correlazione IAT-criterion, lasciando 1004 voci. Successivamente, ho selezionato solo le voci con una dimensione minima del campione di N = 100, lasciando 235 voci (più del 10%).
Le 235 voci erano basate su 21 studi, indicando che la meta-analisi codificava, in media, più di 10 effetti diversi per ogni studio.
La correlazione mediana dei criteri IAT in tutti i 235 studi era r = .070. In confronto, la mediana r per i 769 studi con N < 100 era r = .044., Pertanto, la selezione per gli studi con grande N non ha ridotto la stima delle dimensioni dell’effetto.
Quando ho calcolato per la prima volta la mediana per ogni studio e quindi la mediana tra gli studi, ho ottenuto una correlazione mediana simile di r = .065. Non vi è stata alcuna correlazione significativa tra la dimensione del campione e la correlazione mediana del criterio IC tra i 21 studi, r = .12. Pertanto, non ci sono prove di pregiudizi sulla pubblicazione.
Rivedo ora i 21 studi in ordine decrescente della correlazione mediana IAT-criterion. Valuto la qualità degli studi con 1 a 5 stelle che vanno dalla più bassa alla più alta qualità., Poiché alcuni studi non erano destinati a essere studi di convalida, questa valutazione non riflette la qualità di uno studio di per sé. La valutazione si basa sulla capacità di uno studio di convalidare lo IAT come misura del pregiudizio razziale.
1. * Ma et al. (Studio 2), N = 303, r = .34
Ma et al. (2012) ha utilizzato diversi IAT per prevedere le intenzioni di voto nelle elezioni presidenziali statunitensi del 2012. È importante sottolineare che lo Studio 2 non ha incluso la gara IAT utilizzata nello studio 1 (#15, mediana r = .03). Invece, la gara IAT è stato modificato per includere le immagini dei due candidati Obama e Romney., Anche se è interessante che un IAT che richiede classificazioni di razza dei candidati predetto intenzioni di voto, questo studio non può essere utilizzato per affermare che la gara IAT come misura del pregiudizio razziale ha validità predittiva perché la IAT misura atteggiamenti specifici verso i candidati piuttosto che atteggiamenti verso gli afroamericani in generale.
2. *** Knowles et al., N = 285, r = .26
Questo studio ha utilizzato la gara IAT per prevedere le intenzioni di voto e l’approvazione delle riforme sanitarie di Obama., La scoperta principale era che la gara IAT era un predittore significativo delle intenzioni di voto (Odds Ratio = .61; r = .20) e che questa relazione è rimasta significativa dopo aver incluso la scala del razzismo moderno come predittore (Odds Ratio = .67, dimensione effetto r = .15). La correlazione è simile al risultato ottenuto nel prossimo studio con un campione più grande.
3. ***** Greenwald et al. (2009), N = 1.057, r = .17
I risultati più conclusivi provengono da Greenwald et al.’s (2009) studio con la più grande dimensione del campione di tutti gli studi., In un campione di N = 1.057 partecipanti, la gara IAT ha predetto le intenzioni di voto nelle elezioni americane del 2008 (Obama vs. McCain), r = .17. Tuttavia, in un modello che includeva l’orientamento politico come predittore delle intenzioni di voto, solo le misure di atteggiamento esplicito hanno aggiunto una validità predittiva incrementale, b = .10, SE = .03, t = 3.98, ma lo IAT no, b = .00, SE = .02, t = 0,18.
4. * Cooper et al . , N = 178, r = .12
La dimensione del campione nella meta-analisi non corrisponde alla dimensione del campione dello studio originale., Sebbene siano stati coinvolti 269 pazienti, la gara IAT è stata somministrata a 40 medici di assistenza primaria. Pertanto, la validità predittiva può essere valutata solo su un piccolo campione di medici N = 40 che hanno fornito punteggi IAT indipendenti. La tabella 3 elenca sette variabili dipendenti e mostra due risultati significativi (p = .02, p = .02) per i pazienti neri.
5. * Biernat et al. (Studio 1), N = 136, r = .10
Lo studio 1 includeva la gara IAT e le donazioni a un nero rispetto ad altre organizzazioni studentesche come variabile di criterio. La relazione negativa non era significativa (dimensione dell’effetto r = .05)., La meta-analisi includeva anche la variabile standard di spostamento (dimensione dell’effetto r = .14). Lo spostamento degli standard si riferisce alla misura in cui i partecipanti hanno spostato gli standard nei loro giudizi sulla capacità accademica degli obiettivi neri rispetto a quelli bianchi. Il punto principale dell’articolo era che gli standard mutevoli piuttosto che le misure di atteggiamento implicito predicono pregiudizi razziali nel comportamento reale. “In tre studi, la tendenza a spostare gli standard non era correlata ad altre misure di pregiudizio, ma prevedeva una ridotta allocazione di fondi a un’organizzazione studentesca nera.,”Pertanto, sembra discutibile utilizzare gli standard di spostamento come criterio di convalida per la gara IAT perché la variabile di criterio chiave erano le donazioni, mentre gli standard di spostamento erano una misura indiretta concorrente di pregiudizio.
6. ** Zhang et al. (Studio 2), N = 196, r = .10
Questo studio ha esaminato gli elenchi di pensiero dopo che i partecipanti hanno visto un crimine commesso da un criminale nero su legge e ordine. “In due programmi, non sono state trovate relazioni statisticamente significative tra la natura dei pensieri e i punteggi su IAT, F(2, 85) = 2.4, p < .,11 per il programma 1, e F(2, 84) = 1.98, p < .53 per il programma 2.”La limitazione principale di questo studio è che gli elenchi di pensiero non sono un vero comportamento sociale. Poiché la dimensione dell’effetto per questo studio è vicina alla mediana, l’esclusione non ha alcun effetto notevole sul risultato finale.
7. * Ashburn et al., N = 300, r = .09
Il titolo di questo articolo è “La razza e la salute psicologica degli afroamericani.”Il campione è composto da 300 partecipanti afroamericani., Sebbene sia interessante esaminare gli atteggiamenti razziali degli afroamericani, questo studio non affronta la questione se la razza IAT sia una valida misura di pregiudizio nei confronti degli afroamericani.
8. *** En et al. (Studio 1), N = 105, r = .09
Questo articolo esamina le risposte a un film ambientato durante l’era dei diritti civili; “Ricorda i Titani.”Dopo aver visto il film, i partecipanti hanno fatto diverse valutazioni sulle interpretazioni degli eventi. Solo un evento, attribuendo le azioni di Emma a un incidente, ha mostrato una correlazione significativa con lo IAT, r = .,20, ma anche le attribuzioni al razzismo hanno mostrato una correlazione nella stessa direzione, r = .10. Per gli altri eventi, attribuzioni avevano la stessa dimensione effetto non significativo, Ragazze interessi r = .12, Ragazze gara, r = .07; Razzismo mattone, r = -.10, Azioni di Brick Black coach, r = -.10.
9. *** Aberson & Haag, N = 153, r = .07
Abserson e Haag hanno amministrato la gara IAT a 153 partecipanti e hanno posto domande sulla quantità e la qualità del contatto con gli afroamericani. Hanno trovato correlazioni non significative con la quantità, r = -.12 e qualità, r = -.,10, e una significativa correlazione positiva con l’interazione, r = .17. L’effetto positivo dell’interazione suggerisce che gli individui con basso contatto, che implica anche un contatto di bassa qualità, non sono diversi dagli individui con frequenti contatti di alta qualità.
10. * Hagiwara et al., N = 106, r = .07
Questo studio è un altro studio su pazienti neri e medico non nero. La limitazione principale è che c’erano solo 14 medici e solo 2 erano bianchi.
11. **** Bar-Anan& Nosek, N = 397, r = .,06
Questo studio ha utilizzato il contatto come criterio di convalida. La gara IAT ha mostrato una correlazione di r = -.14 con contatto di gruppo. , N nell’intervallo da 492-647. Il breve IAT ha mostrato praticamente la stessa relazione, r = -.13. L’appendice riporta che il contatto era più fortemente correlato con le misure esplicite; termometro r = .27, preferenza r = .31. Usando la modellazione delle equazioni strutturali, come raccomandato da Greenwald e colleghi, non ho trovato prove che lo IAT abbia una validità predittiva unica nella previsione del contatto quando sono state incluse misure esplicite come predittori, b = .03, SE = .,07, t = 0,37.
12. *** Aberson& Gaffney, N = 386, mediana r = .05
Questo studio ha correlato la gara IAT a misure di contatto positivo e negativo, r = .10, r = -.01, rispettivamente. Le correlazioni con una misura esplicita erano considerevolmente più forti, r = .38, r = -.35, rispettivamente. Questi risultati rispecchiano i risultati presentati sopra.
13. * Orey et al., N = 386, mediana r = .04
Questo studio ha esaminato gli atteggiamenti razziali tra gli intervistati neri., Anche se questa è una domanda interessante, i dati non possono essere utilizzati per esaminare la validità predittiva della gara IAT come misura di pregiudizio.
14. * Krieger et al., N = 708, mediana r = .04
Questo studio ha utilizzato la gara IAT con 442 partecipanti neri e misure di criterio di discriminazione percepita e salute. Anche se questo è un argomento di ricerca utile, i risultati non possono essere utilizzati per valutare la validità della gara IAT come misura di pregiudizio.
15. *** Ma et al. (Studio 1), N = 335, mediana r = .,03
Questo studio ha utilizzato la gara IAT per prevedere le intenzioni degli elettori nelle elezioni presidenziali del 2012. Lo studio non ha trovato alcuna relazione significativa. “Tuttavia, né le misure a livello di categoria erano legate all’intenzione di votare per Obama (rs ≤ .06, ps ≥ .26” “(pag. 31). La meta-analisi ha registrato una correlazione di r = .045, sulla base di corrispondenza e-mail con gli autori. Non è chiaro il motivo per cui la gara IAT non avrebbe predire le intenzioni di voto nel 2012, quando ha fatto prevedere le intenzioni di voto nel 2008., Una possibilità è che Obama è stato ora visto come un individuo, piuttosto che come un membro di un particolare gruppo in modo che gli atteggiamenti generali verso gli afro-americani non è più influenzato intenzioni di voto. Non importa quale sia la ragione, questo studio non fornisce prove per la validità predittiva della gara IAT.
16. **** Oliver et al., N = 105, mediana r = .02
Questo studio era su studio online di 543 medici di famiglia e di medicina interna. Hanno completato la gara IAT e ha dato raccomandazioni di trattamento per un caso ipotetico. La razza del paziente è stata manipolata sperimentalmente., L’abstract afferma che ” i medici possedevano pregiudizi razziali espliciti e impliciti, ma quei pregiudizi non prevedevano
raccomandazioni di trattamento” (p. 177). La dimensione del campione nella meta-analisi è minore perché il campione totale è stato suddiviso in sottogruppi più piccoli.
17. * Nosek & Hansen, N = 207, mediana r = .01
Questo studio non ha incluso un chiaro criterio di validazione. L’obiettivo era quello di esaminare il rapporto tra la razza IAT e la conoscenza culturale sugli stereoetipi., “In sette studi (158 campioni, N = 107.709), lo IAT era correlato in modo affidabile e variabile ad atteggiamenti espliciti, e gli atteggiamenti espliciti rappresentavano la relazione tra lo IAT e la conoscenza culturale.”Le misure di conoscenza culturale sono state utilizzate come variabili di criterio. Una relazione positiva, r = .10, è stato ottenuto per la voce ” Se data la scelta, chi sarebbe la maggior parte dei datori di lavoro scelgono di assumere, un americano nero o un americano bianco? (1 sicuramente bianco a 7 sicuramente nero).”Una relazione negativa, r = -.,09, è stato ottenuto per la voce ” Chi è più probabile che sia un bersaglio di discriminazione, un americano nero o un americano bianco? (1 sicuramente bianco a 7 sicuramente nero).”
18. * Plant et al., N = 229, mediana r = .00
Questo articolo ha esaminato le intenzioni di voto in un campione di studenti 229. I risultati non sono riportati nell’articolo. La meta-analisi ha riportato un r = positivo .04 e un negativo r = -.04 per due voci separate con diverse misure esplicite, che deve essere un errore di codifica., Poiché il comportamento di voto è stato esaminato in campioni più grandi e più rappresentativi (#3, #15), questi risultati possono essere ignorati.
19. * Krieger et al. (2011), N = 503, r = .00
Questo studio ha reclutato 504 afroamericani e 501 americani bianchi. Tutti i partecipanti hanno completato la gara IAT. Tuttavia, lo studio non includeva criteri di convalida chiari. La meta-analisi ha utilizzato esperienze di discriminazione auto-riportate come criterio di convalida. Tuttavia, la questione importante è se la gara IAT predice comportamenti di persone che discriminano, non l’esperienza delle vittime di discriminazione.,
20. * Fiedorowicz, N = 257, r= -.01
Questo studio è una tesi e il criterio di convalida era il fondamentalismo religioso.
21. * Heider& Skowronski, N = 140, r = -.02
Questo studio ha separato la misurazione del pregiudizio con la gara IAT e la misurazione delle variabili di criterio di diverse settimane. Il criterio era il comportamento cooperativo in un gioco dilemma prigioniero. I risultati hanno mostrato che ” sia la IAT (b = -.21, t = -2,51, p = .013) e il subscore Pro-Nero (b = .17, t = 2,10, p = .,037) erano predittori significativi di una maggiore cooperazione con il confederato nero. Tuttavia, questi risultati erano falsi e sono stati corretti (vedi Carlsson et al., 2018, per una discussione dettagliata).
Heider, JD,& Skowronski, JJ (2011). Addendum a Heider e Skowronski (2007): Migliorare la validità predittiva del test di associazione implicita., North American Journal of Psychology, 13, 17-20
Discussione
In sintesi, un esame dettagliato della gara IAT studi inclusi nella meta-analisi mostra una notevole eterogeneità nella qualità degli studi e la loro capacità di esaminare la validità predittiva della gara IAT. Il miglior studio è Greenwald et al.’s (2009) studio con un grande campione e il voto nella corsa Obama vs. McCain come variabile di criterio. Tuttavia, un altro studio di voto non è riuscito a replicare questi risultati nel 2012., Il secondo miglior studio è stato lo studio di BarAnan e Nosek con il contatto intergruppo come criterio di convalida, ma non è riuscito a mostrare la validità predittiva incrementale dello IAT.
Gli studi con i medici non mostrano una chiara evidenza di pregiudizi razziali. Ciò potrebbe essere dovuto alla professionalità dei medici e i risultati non dovrebbero essere generalizzati alla popolazione generale. I restanti studi sono stati considerati inadatti ad esaminare la validità predittiva. Ad esempio, alcuni studi con partecipanti afroamericani non hanno utilizzato lo IAT per misurare il pregiudizio.,
Sulla base di questa evidenza limitata è impossibile trarre conclusioni forti sulla validità predittiva della gara IAT. La mia valutazione delle prove è piuttosto coerente con gli autori della meta-analisi, che hanno scoperto che “dei 2.240Cs inclusi in questa metaanalisi, c’erano solo 24 dimensioni di effetto da 13 studi che (a) avevano la relazione tra cognizione implicita e comportamento come loro obiettivo primario” (p. 13).,
Questo conferma la mia osservazione nell’introduzione che la scienza psicologica ha una crisi di validazione perché i ricercatori raramente conducono studi di validazione. Infatti, nonostante tutte le preoccupazioni circa la replicabilità, la mancanza di studi di replicazione sono molto più numerosi di studi di validazione. Le conseguenze della crisi di convalida è che gli psicologi fanno abitualmente affermazioni teoriche basate su misure con validità sconosciuta. Come mostrato qui, questo vale anche per lo IAT., Allo stato attuale, è impossibile fare affermazioni basate su prove sulla validità dell’IAT perché non si sa cosa misure l’IAT e quanto bene misura ciò che misura.
Confusione teorica sulle misure implicite
La mancanza di comprensione teorica dello IAT è evidente nel recente articolo di Greenwald e Banaji (2017), dove suggeriscono che “la cognizione implicita influenza la cognizione esplicita che, a sua volta, guida il comportamento” (Kurdi et al., pag. 13)., Questo modello implicherebbe che le misure implicite come lo IAT non hanno un collegamento diretto al comportamento perché i processi coscienti determinano in ultima analisi le azioni. Questo modello speculativo è illustrato con i dati di Bar-Anan e Nosek (#11) che non hanno mostrato alcuna validità predittiva incrementale al contatto. Il modello può essere trasformato in una catena causale cambiando il percorso bidirezionale in una presunta relazione causale tra atteggiamenti impliciti ed espliciti.,
Tuttavia, è anche possibile modificare il modello in un modello a fattore singolo, che considera la varianza unica nelle misure implicite ed esplicite come semplice varianza di metodo.
Pertanto, qualsiasi affermazione su bias implicito e bias esplicito è prematura perché i dati esistenti sono coerenti con vari modelli teorici., Per fare affermazioni scientifiche su forme implicite di pregiudizi razziali, sarebbe necessario ottenere dati in grado di distinguere empiricamente tra modelli a costrutto singolo e doppio costrutto.
Conclusione
La gara IAT ha 20 anni. È stato usato in centinaia di articoli per fare affermazioni empiriche sul pregiudizio. La confusione tra misure e costrutti ha creato un discorso pubblico su pregiudizi razziali impliciti che possono verificarsi al di fuori della consapevolezza. Tuttavia, questo discorso è rimosso dai fatti empirici., La scoperta più importante della recente meta-analisi è che un’attenta ricerca della letteratura ha scoperto solo una manciata di seri studi di validazione e che i risultati di questi studi sono suggestivi al meglio. Anche se studi futuri fornissero prove più conclusive della validità predittiva incrementale, questa scoperta sarebbe insufficiente per affermare che lo IAT è una misura valida del pregiudizio implicito. Lo IAT potrebbe avere una validità predittiva incrementale anche se fosse solo una misura complementare di pregiudizio consapevolmente accessibile che non condivide la varianza del metodo con misure esplicite., È necessario un approccio multi-metodo per esaminare la validità del costrutto dello IAT come misura del pregiudizio razziale implicito. Tali prove semplicemente non esistono. Greenwald e colleghi avevano 20 anni e ampi finanziamenti per condurre tali studi di convalida, ma non ci sono riusciti. Al contrario, i loro articoli confondono costantemente misure e costrutti e danno l’impressione che lo IAT misuri processi inconsci che sono nascosti dall’introspezione (“l’esperienza cosciente fornisce solo una piccola finestra su come funziona la mente”, “clicca qui per scoprire i tuoi pensieri nascosti”).,
Greenwald e Banaji sono ben consapevoli che le loro affermazioni contano. “La ricerca sulla cognizione sociale implicita ha visto livelli più elevati di attenzione sia da parte del pubblico in generale che da parte di enti governativi e commerciali, rendendo la segnalazione regolare di ciò che è noto una responsabilità aggiuntiva” (Kurdi et al., 2018, pag. 3). Concordo. Tuttavia, non credo che la loro meta-analisi soddisfi questa promessa., Una valutazione imparziale delle prove non mostra prove convincenti che la gara IAT è una misura valida di pregiudizi razziali impliciti; e senza una misura valida di pregiudizi razziali impliciti è impossibile fare dichiarazioni scientifiche su pregiudizi razziali impliciti. Penso che il grande pubblico meriti di saperlo. Sfortunatamente, non c’è bisogno di prove scientifiche che il pregiudizio e la discriminazione esistano ancora., Idealmente, gli psicologi spenderanno più sforzo nello sviluppo di misure valide di razzismo che possono fornire informazioni affidabili sulla variazione tra individui, regioni geografiche, gruppi e tempo. Molte persone credono che gli psicologi lo stiano già facendo, ma questa recensione della letteratura dimostra che non è così. È giunto il momento di fare ciò che il grande pubblico si aspetta da noi.