Acessibilidade / Reportar erro

Invariância fatorial da versão abreviada da Escala de Discriminação Explícita em adultos do sul do Brasil

RESUMO

Objective

A Escala de Discriminação Explícita (EDE) foi desenvolvida para avaliar experiências com discriminação em inquéritos epidemiológicos no Brasil. Embora análises prévias tenham revelado boas propriedades configurais, métricas e escalares do instrumento, nenhum estudo examinou sua invariância. Este trabalho objetivou examinar a invariância fatorial de duas versões abreviadas da EDE, considerando cor/raça, sexo, posição socioeconômica e suas intersecções.

Métodos:

Utilizaram-se dados do Estudo EpiFloripa Adulto, que encerra uma amostra representativa de residentes de uma capital do sul do Brasil (n=1.187). Cerca de 57% da amostra foi constituída por mulheres e 90% dos entrevistados se declararam brancos; a média de idade dos participantes foi de 39 anos. Duas versões abreviadas da EDE, com sete e oito itens, foram examinadas por meio de Análises Fatoriais Confirmatórias Multigrupo e o método Alignment.

Resultados:

As duas versões da escala produziram estimativas comparáveis de discriminação entre grupos definidos por cor/raça, sexo, posição socioeconômica e suas intersecções. Na versão reduzida de sete itens, apenas um parâmetro apresentou violação de invariância (limiar do item i13; i.e., chamado por nomes que não gosta), especificamente no grupo de respondentes negros com menos de 12 anos de escolaridade.

Conclusão:

Os resultados mostraram que a EDE é capaz de produzir estimativas de discriminação válidas, confiáveis e comparáveis entre diversos segmentos da população, incluindo aqueles situados na intersecção de cor/raça, sexo e posição socioeconômica. Contudo, pesquisas futuras são necessárias para verificar se os padrões identificados aqui podem ser confirmados em outros domínios populacionais.

Palavras-chave:
Psicometria; Enquadramento interseccional; Discriminação percebida; Brasil

ABSTRACT

Objective

The Explicit Discrimination Scale (EDS) was developed to assess experiences with discrimination in Brazilian epidemiologic surveys. Though previous analyses have demonstrated that the EDS has good configural, metric, and scalar properties, its invariance has not yet been investigated. In this study, we examined the factorial invariance of two abridged versions of the EDS, according to skin color/ethnicity, sex, socioeconomic status, and their intersections.

Methods:

Data from the EpiFloripa Adult Study were used, which include a representative sample of adults residing in a state capital of southern Brazil (n=1,187). Over half of the respondents were women, and around 90% identified as white; the mean age of the participants was 39 years. Two abridged versions of the EDS were analyzed, with seven and eight items, using Multigroup Confirmatory Analysis and the Alignment method.

Results:

The two versions of the scale may be used to provide estimates of discrimination that are comparable across skin color/ethnicity, sex, socioeconomic status, and their intersections. In the seven-item version of the scale, only one parameter lacked invariance (i.e., threshold of item i13 – called by names you do not like), specifically among black respondents with less than 12 years of formal education.

Conclusion:

The EDS may provide researchers with valid, reliable, and comparable estimates of discrimination between different segments of the population, including those at the intersections of skin color/ethnicity, sex, and socioeconomic status. However, future research is needed to determine whether the patterns we identified here are consistent in other population domains.

Keywords:
Psychometrics; Intersectional framework; Perceived discrimination; Brazil

INTRODUÇÃO

Até a década de 1990, as pesquisas sobre discriminação e seus impactos na saúde das populações eram escassas11. Krieger N. Discrimination and health inequities. In: Berkman LF, Kawachi I, Glymour MM, eds. Social epidemiology. Oxford: Oxford University Press; 2015. https://doi.org/10.1093/med/9780195377903.003.0003
https://doi.org/10.1093/med/978019537790...
. Desde os anos 2000, evidências sobre as relações entre discriminação, condições adversas de saúde e iniquidades relacionadas vêm se acumulando22. Krieger N. Measures of racism, sexism, heterosexism, and gender binarism for health equity research: from structural injustice to embodied harm-an ecosocial analysis. Annu Rev Public Health 2020; 41: 37-62. https://doi.org/10.1146/annurev-publhealth-040119-094017
https://doi.org/10.1146/annurev-publheal...
. O impacto da discriminação inclui danos à saúde física e mental33. Pascoe EA, Richman LS. Perceived discrimination and health: a meta-analytic review. Psychol Bull 2009; 135(4): 531-54. https://doi.org/10.1037/a0016059
https://doi.org/10.1037/a0016059...
,44. Paradies Y, Ben J, Denson N, Elias A, Priest N, Pieterse A, et al. Racism as a determinant of health: a systematic review and meta-analysis. PLoS One 2015; 10(9): e0138511. https://doi.org/10.1371/journal.pone.0138511
https://doi.org/10.1371/journal.pone.013...
, além da adoção de comportamentos de risco e menor engajamento com atividades de promoção da saúde55. Williams DR, Lawrence JA, Davis BA, Vu C. Understanding how discrimination can affect health. Health Serv Res 2019; 54(Suppl 2): 1374-88. https://doi.org/10.1111/1475-6773.13222
https://doi.org/10.1111/1475-6773.13222...
. No entanto, o conhecimento na área tem sido limitado pela insuficiência de pesquisas realizadas fora dos Estados Unidos da América44. Paradies Y, Ben J, Denson N, Elias A, Priest N, Pieterse A, et al. Racism as a determinant of health: a systematic review and meta-analysis. PLoS One 2015; 10(9): e0138511. https://doi.org/10.1371/journal.pone.0138511
https://doi.org/10.1371/journal.pone.013...
, ausência de análises sobre discriminação em grupos definidos por sexo, classe social, raça/etnia, entre outros11. Krieger N. Discrimination and health inequities. In: Berkman LF, Kawachi I, Glymour MM, eds. Social epidemiology. Oxford: Oxford University Press; 2015. https://doi.org/10.1093/med/9780195377903.003.0003
https://doi.org/10.1093/med/978019537790...
,66. Harnois CE, Ifatunji M. Gendered measures, gendered models: Toward an intersectional analysis of interpersonal racial discrimination. Ethnic and Racial Studies 2011; 34(6): 1006-28. https://doi.org/10.1080/01419870.2010.516836
https://doi.org/10.1080/01419870.2010.51...
ou ênfase em uma única forma de discriminação, principalmente a racial77. Lewis TT, Cogburn CD, Williams DR. Self-reported experiences of discrimination and health: scientific advances, ongoing controversies, and emerging issues. Annu Rev Clin Psychol 2015; 11: 407-40. https://doi.org/10.1146/annurev-clinpsy-032814-112728
https://doi.org/10.1146/annurev-clinpsy-...
. A literatura na área frequentemente desconsidera que determinados grupos sociais se encontram na intersecção de múltiplos eixos de opressão, os quais moldam, de maneira complexa, suas experiências e visões de mundo88. Cole ER. Intersectionality and research in psychology. Am Psychol 2009; 64(3): 170-80. https://doi.org/10.1037/a0014564
https://doi.org/10.1037/a0014564...
.

A interseccionalidade é uma abordagem analítica que busca problematizar o entrecruzamento de diferentes formas de marginalização. Na área da saúde coletiva, uma abordagem interseccional destaca que as injustiças sociais não se manifestam isoladamente, mas se produzem e se reforçam mutuamente, resultando em efeitos sobre condições de saúde com significados e intensidades diversos para os variados grupos populacionais66. Harnois CE, Ifatunji M. Gendered measures, gendered models: Toward an intersectional analysis of interpersonal racial discrimination. Ethnic and Racial Studies 2011; 34(6): 1006-28. https://doi.org/10.1080/01419870.2010.516836
https://doi.org/10.1080/01419870.2010.51...
,99. Crenshaw K. Mapping the margins: intersectionality, identity politics, and violence against women of color. Stanford Law Rev 1991; 43(6): 1241-99. https://doi.org/10.2307/1229039
https://doi.org/10.2307/1229039...

10. Collins PH. Intersectionality’s definitional dilemmas. Annu Rev Sociol 2015; 41: 1-20. https://doi.org/10.1146/annurev-soc-073014-112142
https://doi.org/10.1146/annurev-soc-0730...
-1111. Scheim AI, Bauer GR. The Intersectional Discrimination Index: development and validation of measures of self-reported enacted and anticipated discrimination for intercategorical analysis. Soc Sci Med 2019; 226: 225-35. https://doi.org/10.1016/j.socscimed.2018.12.016
https://doi.org/10.1016/j.socscimed.2018...
. Ademais, as posições e identidades (definidas por classe social, raça, sexo etc.) moldam subjetividades, o que pode conferir aos indivíduos sentidos e percepções distintos sobre as experiências de discriminação1212. Monteiro SS, Vieira WV, Soares PS. É inerente ao ser humano! A naturalização das hierarquias sociais frente às expressões de preconceito e discriminação na perspectiva juvenil. Physis 2014; 24(2): 421-40. https://doi.org/10.1590/S0103-73312014000200006
https://doi.org/10.1590/S0103-7331201400...
. Dessa forma, analisar a relação entre injustiças sociais e iniquidades em saúde sob uma perspectiva interseccional implica desenvolver instrumentos capazes de mensurar a discriminação em diferentes grupos interseccionais.

A construção e a avaliação de um instrumento englobam desde a formulação do arcabouço teórico subjacente até a meticulosa apreciação de suas propriedades psicométricas. Na análise psicométrica, as estruturas configural, métrica e escalar devem ser examinadas para corroborar a validade interna do instrumento. Além de analisar as diversas propriedades dessas estruturas no conjunto da amostra, cabe investigar sua invariância em diferentes grupos sociais1313. Leitgöb H, Seddig D, Asparouhov T, Behr D, Davidov E, De Roover K, et al. Measurement invariance in the social sciences: historical development, methodological challenges, state of the art, and future perspectives. Soc Sci Res 2023; 110: 102805. https://doi.org/10.1016/j.ssresearch.2022.102805
https://doi.org/10.1016/j.ssresearch.202...
,1414. Reichenheim M, Bastos JL. What, what for and how? Developing measurement instruments in epidemiology. Rev Saude Publica 2021; 55: 40. https://doi.org/10.11606/s1518-8787.2021055002813
https://doi.org/10.11606/s1518-8787.2021...
. É a constatação de que essas três estruturas são invariantes entre os grupos comparados que permite afirmar que as diferenças observadas entre eles são factuais, e não devidas a problemas internos aos instrumentos1414. Reichenheim M, Bastos JL. What, what for and how? Developing measurement instruments in epidemiology. Rev Saude Publica 2021; 55: 40. https://doi.org/10.11606/s1518-8787.2021055002813
https://doi.org/10.11606/s1518-8787.2021...

15. Damasio BF. Contribuições da Análise Fatorial Confirmatória Multigrupo (AFCMG) na avaliação de invariância de instrumentos psicométricos. Psico-USF 2013; 18: 211-20. https://doi.org/10.1590/S1413-82712013000200005
https://doi.org/10.1590/S1413-8271201300...
-1616. Brown TA. Confirmatory factor analysis for applied research. 2nd ed. New York: The Guilford Press; 2015.. Em outras palavras, a invariância é condição sine qua non para se afirmar que os instrumentos de aferição estão medindo o mesmo construto, na mesma extensão e na mesma intensidade entre os variados segmentos populacionais. Quando isso não ocorre ou os itens estão sendo interpretados de maneira heterogênea, a validade e a comparabilidade de suas estimativas se tornam duvidosas1717. Boer D, Hanke K, He J. On detecting systematic measurement error in cross-cultural research: a review and critical reflection on equivalence and invariance tests. J Cross Cult Psychol 2018; 49(5): 713-34. https://doi.org/10.1177/0022022117749042
https://doi.org/10.1177/0022022117749042...
.

A violação de invariância se apresenta, assim, como um importante problema que pode, em parte, explicar incoerências observadas nos achados de estudos prévios. Na pesquisa de Bernardo, Bastos e Moretti-Pires1818. Bernardo FR, Bastos JL, Moretti-Pires R. O. Dancing with numbers: measuring experiences with among multiply marginalized groups. Cad Saude Publica 2018; 34(11): e00167117. https://doi.org/10.1590/0102-311X00167117
https://doi.org/10.1590/0102-311X0016711...
, por exemplo, mulheres negras de posição socioeconômica elevada apresentaram a menor média de discriminação percebida entre todos os subgrupos de estudantes universitários analisados. Em outro estudo, Lee e Turney1919. Lee H, Turney K. Investigating the relationship between perceived discrimination, social status, and mental health. Soc Ment Health 2012; 2(1): 1-20. https://doi.org/10.1177/2156869311433067
https://doi.org/10.1177/2156869311433067...
constataram que os homens tiveram médias maiores de discriminação do que as mulheres, inclusive as hispânicas.

A Escala de Discriminação Explícita (EDE)2020. Bastos JL, Faerstein E, Celeste RK, Barros AJ. Explicit discrimination and health: development and psychometric properties of an assessment instrument. Rev Saude Publica 2012; 46(2): 269-78. https://doi.org/10.1590/s0034-89102012000200009
https://doi.org/10.1590/s0034-8910201200...
é um instrumento que investiga a percepção de discriminação interpessoal. A EDE oferece três principais vantagens: primeiro, aborda um número substancial de situações potencialmente discriminatórias; segundo, permite que os entrevistados atribuam suas experiências com tratamento diferencial (maus-tratos) a um ou mais fatores, simultaneamente; e, terceiro, assume que os maus-tratos e sua interpretação como um evento discriminatório são construtos relacionados, mas distintos entre si.

A escala é originalmente constituída por 18 itens, em que os entrevistados que indicam ter percebido tratamento diferencial são solicitados a responder mais três subitens complementares:

  1. As motivações atribuídas ao evento, tais como cor/raça, idade, classe social, entre outras;

  2. O grau de desconforto relacionado com sua percepção; e

  3. A interpretação do evento como discriminatório ou não.

Desde sua elaboração inicial, a EDE vem sendo submetida a diversas avaliações psicométricas1818. Bernardo FR, Bastos JL, Moretti-Pires R. O. Dancing with numbers: measuring experiences with among multiply marginalized groups. Cad Saude Publica 2018; 34(11): e00167117. https://doi.org/10.1590/0102-311X00167117
https://doi.org/10.1590/0102-311X0016711...
,2020. Bastos JL, Faerstein E, Celeste RK, Barros AJ. Explicit discrimination and health: development and psychometric properties of an assessment instrument. Rev Saude Publica 2012; 46(2): 269-78. https://doi.org/10.1590/s0034-89102012000200009
https://doi.org/10.1590/s0034-8910201200...

21. Bastos JL, Reichenheim ME, Celeste RK, Faerstein E, Barros AJD, Paradies YC. Perceived discrimination south of the equator: Reassessing the Brazilian Explicit Discrimination Scale. Cultur Divers Ethnic Minor Psychol 2019; 25(3): 413-23. https://doi.org/10.1037/cdp0000246
https://doi.org/10.1037/cdp0000246...
-2222. Bastos JL, Reichenheim ME, Paradies YC. Scaling up research on discrimination and health: The abridged Explicit Discrimination Scale. J Health Psychol 2022; 27(9): 2041-55. https://doi.org/10.1177/13591053211018806
https://doi.org/10.1177/1359105321101880...
. Em conjunto, esses estudos sugerem que a escala tem propriedades configurais, métricas e escalares robustas. Os itens carregam consistentemente em suas respectivas dimensões com alta confiabilidade, posicionando efetivamente os respondentes ao longo do continuum do traço latente. As pesquisas também demonstram que a estrutura fatorial da EDE é consistente em diversas populações, desde estudantes de graduação até adultos da comunidade. Essa consistência vale tanto para sua versão autoadministrada quanto para aquela aplicada face a face.

Recentemente, Bastos et al.2323. Bastos JL, Reichenheim ME, Bernardo FR. One step further in mistreatment research: assessing the scalar properties of the Explicit Discrimination Scale among working-age adult respondents. J Comm Psychol 2024. In press. mostraram que duas versões abreviadas da EDE, de sete e oito itens, apresentaram boas propriedades configurais, métricas e escalares. A principal diferença entre elas reside no fato de que a versão com oito itens tem uma melhor cobertura do traço latente, mapeando melhor o continuum de intensidade em questão. Entretanto, não há pesquisas que avaliaram a invariância da EDE em diferentes grupos sociais. Assim, desconhece-se em que medida a EDE é adequada para mensurar a percepção de discriminação entre grupos e estabelecer comparações válidas entre eles. Esta pesquisa tem por objetivo avaliar a invariância fatorial das duas versões abreviadas da EDE em diferentes grupos sociais, considerando cor/raça, sexo, posição socioeconômica e suas intersecções.

MÉTODOS

O presente estudo utilizou dados da segunda onda da pesquisa EpiFloripa Adulto, realizada em 2012. O EpiFloripa objetivou investigar determinantes sociais da saúde em uma amostra representativa de adultos (20–59 anos) da zona urbana de Florianópolis, sul do Brasil. O processo de seleção da amostra na linha de base (2009) foi realizado por conglomerados, em dois estágios, sendo a amostra final constituída por 1.720 participantes. Em 2012, todos os integrantes da linha de base foram convidados a participar de nova etapa do estudo, dos quais 1.187 foram efetivamente entrevistados.

Nas duas ondas da pesquisa, a coleta de dados se deu por meio de entrevistas face a face, conduzidas por entrevistadores previamente treinados. Para otimizar e refinar o processo, foi executado um estudo-piloto com aproximadamente 100 adultos em dois setores censitários que não fizeram parte da amostra final. O controle de qualidade foi realizado através da revisão e checagem de 15% das entrevistas, selecionadas aleatoriamente. Todas as entrevistas foram realizadas no domicílio dos participantes e as respostas, registradas com o auxílio de Personal Digital Assistants. Informações detalhadas sobre a coleta de podem ser encontradas em publicação anterior2424. Boing AC, Peres KG, Boing AF, Hallal PC, Silva NN, Peres MA. EpiFloripa Health Survey: the methodological and operational aspects behind the scenes. Rev Bras Epidemiol 2014; 17(1): 147-62. https://doi.org/10.1590/1415-790x201400010012eng
https://doi.org/10.1590/1415-790x2014000...
.

Variáveis do estudo

A amostra foi analisada segundo sexo, cor/raça, escolaridade e intersecções dessas variáveis. Utilizou-se sexo para caracterizar os participantes em homens ou mulheres. A variável cor/raça foi coletada segundo as categorias do Instituto Brasileiro de Geografia e Estatística: branca, preta, parda, amarela e indígena. Os respondentes classificados como amarelos (i.e., segmento populacional de origem asiática) e indígenas foram excluídos da análise, enquanto pardos e pretos foram agrupados numa única categoria, doravante denominada “negros”. A escolaridade foi categorizada em dois estratos de 0–11 e 12+ anos de estudo por representarem a divisão entre ensino médio e superior no Brasil. As intersecções entre essas variáveis foram avaliadas à confluência dos três grupos, sendo que as categorias decorrentes corresponderam à combinação dos respectivos estratos: intersecção de sexo e escolaridade (Homens/>11 anos de estudo; Homens/<12 anos de estudo; Mulheres/>11 anos de estudo; Mulheres/<12 anos de estudo); intersecção de cor/raça e escolaridade (Brancos/>11 anos de estudo; Brancos/<12 anos de estudo; Negros/>11 anos de estudo; Negros/ <12 anos de estudo) e intersecção de cor/raça e sexo (Brancos/Homens; Brancos/Mulheres; Negros/Homens; Negros/Mulheres).

Nossas análises têm como foco as versões abreviadas da EDE com sete e oito itens2323. Bastos JL, Reichenheim ME, Bernardo FR. One step further in mistreatment research: assessing the scalar properties of the Explicit Discrimination Scale among working-age adult respondents. J Comm Psychol 2024. In press.. A versão de sete itens contém os seguintes: i2 (tratado com desrespeito em lugares públicos); i6 (tratado como não inteligente na escola/universidade); i7 (tratado como pouco inteligente no estágio ou trabalho); i9 (avaliado injustamente em estágio ou trabalho); i13 (chamado por nomes que não gosta); i14 (excluído por amigos na escola ou universidade); e i16 (excluído por pessoas na vizinhança). Por sua vez, a versão de oito itens inclui também o i15 (excluído por colegas no estágio ou trabalho). Todas as respostas aos itens da escala foram dicotomizadas em “sim”, quando o respondente indicou a percepção de tratamento diferencial e o atribuiu à discriminação; em todos os outros casos, os itens foram categorizados como “não”.

Análises estatísticas

A invariância da EDE foi examinada utilizando-se duas abordagens complementares: Análises Fatoriais Confirmatórias Multigrupo (AFCMG) e o método Alignment. As análises baseadas nas intersecções de sexo, cor/raça e escolaridade foram conduzidas somente com o Alignment. De acordo com achados psicométricos prévios2020. Bastos JL, Faerstein E, Celeste RK, Barros AJ. Explicit discrimination and health: development and psychometric properties of an assessment instrument. Rev Saude Publica 2012; 46(2): 269-78. https://doi.org/10.1590/s0034-89102012000200009
https://doi.org/10.1590/s0034-8910201200...
,2121. Bastos JL, Reichenheim ME, Celeste RK, Faerstein E, Barros AJD, Paradies YC. Perceived discrimination south of the equator: Reassessing the Brazilian Explicit Discrimination Scale. Cultur Divers Ethnic Minor Psychol 2019; 25(3): 413-23. https://doi.org/10.1037/cdp0000246
https://doi.org/10.1037/cdp0000246...
, assumiu-se que os itens da EDE refletem uma estrutura configural unidimensional.

A AFCMG foi conduzida em três etapas1616. Brown TA. Confirmatory factor analysis for applied research. 2nd ed. New York: The Guilford Press; 2015.,2525. Wang J, Wang X. Structural equation modeling: applications using Mplus. 2nd ed. New Jersey: Wiley; 2020.. Na primeira, foram estimados modelos basilares separadamente para cada grupo de interesse (i.e., homens, mulheres, brancos, negros etc.) e avaliados os índices de ajuste global RMSEA (Root Mean Square Error of Approximation), CFI (Bentler’s comparative fit index) e TLI (Tucker-Lewis index)1616. Brown TA. Confirmatory factor analysis for applied research. 2nd ed. New York: The Guilford Press; 2015.,2525. Wang J, Wang X. Structural equation modeling: applications using Mplus. 2nd ed. New Jersey: Wiley; 2020.. Valores de RMSEA abaixo de 0,06 sugerem bom ajuste; valores acima de 0,10 indicam ajuste inadequado, aconselhando a rejeição do modelo. Estimativas de CFI e TLI acima ou igual a 0,95 indicam um ajuste aceitável1616. Brown TA. Confirmatory factor analysis for applied research. 2nd ed. New York: The Guilford Press; 2015.. Correlações residuais entre pares de itens foram estimadas livremente à luz dos diagnósticos interinos sugeridos pelos índices de modificação (univariate Lagrange multiplier), de modo a prover um melhor ajuste dos respectivos modelos basilares.

Na segunda etapa, testou-se a invariância configural, estimando-se livremente as cargas fatoriais e os limiares em cada grupo (modelo configural). A média do fator foi fixada em zero e o fator da escala, em 1, em todos os grupos. Essa última restrição foi imposta para permitir a identificação dos modelos. A terceira etapa consistiu na comparação do modelo configural com o modelo escalar, em que as cargas fatoriais e os limiares foram fixados entre os grupos. Tendo em vista que os itens da EDE eram categóricos em dois níveis, empregou-se o estimador Weighted Least Squares Mean and Variance (WLSMV) adjusted2626. Finney SJ, DiStefano C. Structural equation modeling: a second course. 2nd ed. Carolina do Norte: Information Age Publishing; 2013.. É importante mencionar que o modelo métrico não é identificado quando os itens são binários. Isso impossibilita o teste de invariância métrica e implica que a comparação entre o modelo configural e o plenamente restrito (i.e., escalar) se dê diretamente2727. Wu H, Estabrook R. Identification of confirmatory factor analysis models of different levels of invariance for ordered categorical outcomes. Psychometrika 2016; 81(4): 1014-45. https://doi.org/10.1007/s11336-016-9506-0
https://doi.org/10.1007/s11336-016-9506-...
. Os modelos aninhados menos e mais restritos foram comparados pela estatística de qui-quadrado robusta, ajustada pela média e variância2828. Asparouhov T, Muthén, B. Robust chi square difference testing with mean and variance adjusted test statistics [Internet]. Mplus Web Notes No. 10. 2006 [cited on July 15, 2022]. Available at: https://www.statmodel.com/download/webnotes/webnote10.pdf
https://www.statmodel.com/download/webno...
. Um p-valor menor do que 0,05 sugere que o pressuposto da invariância entre os grupos seja rejeitado. A variação nos valores de CFI também foi tomada como indicativo de violação da invariância, quando observadas reduções acima de 0,002 na comparação de um modelo menos restritivo com um mais restritivo2626. Finney SJ, DiStefano C. Structural equation modeling: a second course. 2nd ed. Carolina do Norte: Information Age Publishing; 2013.,2929. Meade AW, Johnson EC, Braddy PW. Power and sensitivity of alternative fit indices in tests of measurement invariance. J Appl Psychol 2008; 93(3): 568-92. https://doi.org/10.1037/0021-9010.93.3.568
https://doi.org/10.1037/0021-9010.93.3.5...
.

Conforme indicado, a invariância da EDE também foi analisada segundo o método Alignment3030. Asparouhov, T, Muthén, B. Multiple group alignment for exploratory and structural equation models. Struct Equ Modeling 2023; 30(2): 169-91.. Executaram-se as análises com a opção Fixed, recomendada ao se comparar poucos grupos. Existem duas parametrizações disponíveis com o estimador WLSMV: Theta (não padronizada) e Delta (padronizada). Visando alcançar o melhor alinhamento (de fatores a serem comparados) com um mínimo de violações (i.e., o máximo de itens plenamente invariantes), Asparouhov e Muthén3030. Asparouhov, T, Muthén, B. Multiple group alignment for exploratory and structural equation models. Struct Equ Modeling 2023; 30(2): 169-91. propõem que se faça as análises usando ambas as parametrizações, escolhendo aquela que oferece menos hits de não invariância. Tendo em vista que os resultados foram intercambiáveis do ponto de vista de invariância, optou-se por apresentar somente os dados obtidos com a parametrização Theta. Os modelos foram avaliados de acordo com os mesmos índices de ajuste usados na AFCMG, descritos anteriormente. Os itens com p>0,001 na comparação das cargas e limiares entre os grupos analisados foram considerados invariantes3030. Asparouhov, T, Muthén, B. Multiple group alignment for exploratory and structural equation models. Struct Equ Modeling 2023; 30(2): 169-91..

O processamento do banco de dados e a descrição da amostra foram realizados em Stata, versão 16.2. A AFCMG e o Alignment foram executados em Mplus, versão 8.8. Todas as análises estatísticas foram replicadas para as versões de sete e oito itens da EDE e levaram em conta o desenho da amostragem complexa (por conglomeração e pesos amostrais desiguais). Os scripts das análises estão disponíveis no material suplementar.

Aspectos éticos

O EpiFloripa foi aprovado pelo seu respectivo comitê de ética, sob o Protocolo no 1772/11. A participação na pesquisa foi voluntária e todos os entrevistados assinaram o Termo de Consentimento Livre e Esclarecido.

RESULTADOS

Conforme pode ser observado na Tabela 1, a amostra foi constituída por 56,9% de mulheres; cerca de 89,7% dos entrevistados se declararam brancos; e 55,3% dos entrevistados tinham até 11 anos de educação formal. Para os estratos resultantes do cruzamento de sexo, cor/raça e escolaridade, destaca-se que a maior parcela dos entrevistados (46,6%) é formada por brancos com até 11 anos de estudo. No que tange à intersecção de cor/raça e sexo e à intersecção de sexo e escolaridade, observa-se predomínio das mulheres autodeclaradas brancas (51,7%) e com até 11 anos de estudo (31,6%). Homens e mulheres autodeclarados negros (5,1% em cada grupo) foram pouco frequentes, principalmente, os de maior escolaridade (>11 anos). Esse último grupo correspondeu a apenas 1,8% do total da amostra.

Tabela 1
Distribuição dos respondentes conforme sexo, cor/raça e escolaridade. Florianópolis (SC), 2012.

A AFCMG da versão de oito itens da EDE indicou que o modelo unifatorial teve bom ajuste aos dados em todos os subgrupos analisados, com CFI≥0,95, TLI≥0,95 e RMSEA<0,06, exceto nos participantes com 12 ou mais anos de estudo. Ao revisar os valores contidos na Tabela 2, observa-se que esse último modelo apresentou TLI limítrofe, mesmo após inclusão da correlação residual entre os itens i13 e i14. O teste de diferença do χ2 comparando os modelos configural e escalar entre participantes brancos e negros indicou que a restrição à igualdade de cargas e limiares resultou em um aumento não significativo do χ2. A variação de CFI também foi examinada, não sendo observada qualquer redução na passagem entre modelos mais e menos restritivos. Para sexo, a comparação dos modelos configural e escalar também não foi estatisticamente significante, segundo o χ2. No entanto identificou-se uma redução do CFI de 0,003. Na comparação entre participantes com até 11 e 12 ou mais anos de estudo, o teste χ2 não foi significativo, com uma variação de CFI de 0,002. Os índices de modificação não indicaram itens violando invariância em nenhum grupo analisado.

Tabela 2
Ajustes da Análise Fatorial Confirmatória Multigrupo para a Escala de Discriminação Explícita, de acordo com cor/raça, sexo e escolaridade. Florianópolis (SC), 2012.

Conforme mostra a Tabela 3, os resultados obtidos com o Alignment foram consistentes com os da AFCMG, sugerindo invariância nos grupos definidos por sexo, cor/raça e escolaridade, separadamente. Os modelos apresentaram um bom ajuste, com CFI≥0,95, TLI≥0,95 e RMSEA<0,06, exceto no grupo com 12 ou mais anos de educação formal. Esse último modelo apresentou TLI limítrofe de 0,930. No entanto, após inclusão da correlação residual entre os itens i13 e i14, o valor de TLI foi de 0,955. O item i9 não pôde ser analisado com o Alignment nos grupos de cor/raça devido a problemas de estimação entre negros. Esse item apresentou cargas não padronizadas e limiares não admissíveis do ponto de vista interpretativo em função da baixa frequência de respostas positivas e do pequeno tamanho desse grupo na análise.

Tabela 3
Cargas fatoriais e limiares da Escala de Discriminação Explícita. Florianópolis (SC), 2012.

Os dados da Tabela 4 mostram que não há qualquer violação de invariância nas intersecções de cor/raça e escolaridade, cor/raça e sexo, sexo e escolaridade com a versão reduzida da EDE de oito itens. Na intersecção entre “cor/raça e escolaridade”, o subgrupo de negros com mais de 12 anos de educação formal foi retirado das análises. A amostra substancialmente pequena (21 participantes) para esse grupo ocasionou problemas de estimação, com cargas e limiares não admissíveis do ponto de vista interpretativo e tabelas de contingências sem informação.

Tabela 4
Cargas fatoriais e limiares da Escala de Discriminação Explícita, de acordo com intersecções. Florianópolis (SC), 2012.

As análises descritas anteriormente foram replicadas para a versão de sete itens da EDE. Na AFCMG, os modelos basilares de cada grupo também apresentaram ajuste aceitável, com CFI≥0,95, TLI≥0,95 e RMSEA<0,06. O item i9 apresentou novamente problemas de estimação no modelo configural para os negros. O teste para comparar os modelos configural e escalar (χ2diff=11,666; Δdf=5; p=0,04) entre participantes brancos e negros mostrou um aumento significativo no qui-quadrado, sendo também observada uma redução no CFI de 0,004 entre os modelos mais e menos restritos. Para sexo e escolaridade, o teste de χ2 comparando os modelos configural e escalar não foi estatisticamente significante, mas o CFI apresentou reduções de, respectivamente, 0,004 e 0,005. Os índices de modificação foram examinados, não sendo identificados itens com violação de invariância (ver Tabela 1, material suplementar).

O método de Alignment também foi utilizado para avaliar a versão reduzida de sete itens da escala. Os ajustes dos modelos foram aceitáveis, com CFI≥0,95, TLI≥0,95 e RMSEA<0,06. Os valores de cargas e limiares não foram significativamente diferentes entre brancos e negros, indicando invariância entre os grupos de cor/raça. Contudo, o item i9 apresentou o mesmo problema da versão de oito itens, não sendo passível de apreciação para a comparação em questão. Para sexo e escolaridade, todos os sete itens foram considerados invariantes (ver Tabela 2, material suplementar). Os achados também mostram que os sete itens foram invariantes entre todos os subgrupos interseccionais analisados (ver Tabela 3, material suplementar), com exceção do i13 (chamado por nomes que não gosta), que foi considerado não invariante para a intersecção “cor/raça e escolaridade” entre o subgrupo de participantes negros com menos de 12 anos de escolaridade. O problema de estimação das cargas fatoriais não padronizadas e limiares do i9 (i.e., avaliado injustamente em estágio ou trabalho) se manteve na versão de sete itens.

A Figura 1 oferece uma síntese dos achados deste estudo, ilustrando que as versões abreviadas da EDE com sete e oito itens se mostraram invariantes, sendo os resultados da AFCMG e do método de Alignment amplamente consistentes.

Figura 1
Síntese dos testes de invariância da Escala de Discriminação Explícita.

DISCUSSÃO

As experiências discriminatórias e seus impactos sobre a saúde de variados grupos sociais vêm sendo captados por algumas escalas disponíveis na literatura2020. Bastos JL, Faerstein E, Celeste RK, Barros AJ. Explicit discrimination and health: development and psychometric properties of an assessment instrument. Rev Saude Publica 2012; 46(2): 269-78. https://doi.org/10.1590/s0034-89102012000200009
https://doi.org/10.1590/s0034-8910201200...
. A EDE, em particular, tem sido utilizada em estudos brasileiros3131. Bastos JL, Barros AJD, Celeste RK, Paradies Y, Faerstein E. Age, class and race discrimination: their interactions and associations with mental health among Brazilian university students. Cad Saude Publica 2014; 30(1): 175-86. https://doi.org/10.1590/0102-311x00163812
https://doi.org/10.1590/0102-311x0016381...
,3232. Bastos JL, Harnois CE, Bernardo CO, Peres MA, Paradies YC. When does differential treatment become perceived discrimination? An intersectional analysis in a Southern Brazilian Population. Sociol Race Ethn 2017; 3(3): 301-18. https://doi.org/10.1177/2332649216681167
https://doi.org/10.1177/2332649216681167...
e avaliações psicométricas anteriores apontam para sua validade e confiabilidade2020. Bastos JL, Faerstein E, Celeste RK, Barros AJ. Explicit discrimination and health: development and psychometric properties of an assessment instrument. Rev Saude Publica 2012; 46(2): 269-78. https://doi.org/10.1590/s0034-89102012000200009
https://doi.org/10.1590/s0034-8910201200...

21. Bastos JL, Reichenheim ME, Celeste RK, Faerstein E, Barros AJD, Paradies YC. Perceived discrimination south of the equator: Reassessing the Brazilian Explicit Discrimination Scale. Cultur Divers Ethnic Minor Psychol 2019; 25(3): 413-23. https://doi.org/10.1037/cdp0000246
https://doi.org/10.1037/cdp0000246...
-2222. Bastos JL, Reichenheim ME, Paradies YC. Scaling up research on discrimination and health: The abridged Explicit Discrimination Scale. J Health Psychol 2022; 27(9): 2041-55. https://doi.org/10.1177/13591053211018806
https://doi.org/10.1177/1359105321101880...
. Ainda assim, o pressuposto fundamental de invariância de seus itens em diferentes grupos sociais e interseccionais permaneceu, até agora, sem qualquer apreciação crítica. Neste estudo, as duas versões da EDE avaliadas apresentaram invariância configural e escalar entre grupos definidos por sexo, cor/raça e escolaridade, indicando que o instrumento permite estimações de discriminação comparáveis. Nossos achados sugerem, ainda, que as duas versões abreviadas da EDE apresentam invariância em diferentes grupos interseccionais formados pelos cruzamentos de sexo, cor/raça e escolaridade. Os resultados revelaram apenas um parâmetro não invariante (limiar; item i13, chamado por nomes que não gosta) na versão de sete itens, indicando que a versão de oito itens é mais adequada para utilização. Isso se justifica, sobretudo, pela sua maior abrangência do traço latente, conforme evidenciado em estudo anterior2323. Bastos JL, Reichenheim ME, Bernardo FR. One step further in mistreatment research: assessing the scalar properties of the Explicit Discrimination Scale among working-age adult respondents. J Comm Psychol 2024. In press..

Os resultados foram consistentes ao se empregar duas abordagens metodológicas distintas (AFCMG e Alignment). As poucas exceções se referem ao i9 na comparação por cor/raça; intersecção “cor/raça e sexo” e “cor/raça e escolaridade”. A baixa porcentagem de respostas positivas para alguns itens já havia sido observada em publicação prévia2020. Bastos JL, Faerstein E, Celeste RK, Barros AJ. Explicit discrimination and health: development and psychometric properties of an assessment instrument. Rev Saude Publica 2012; 46(2): 269-78. https://doi.org/10.1590/s0034-89102012000200009
https://doi.org/10.1590/s0034-8910201200...
. Essa questão se mostrou ainda mais problemática na AFCMG, especialmente em um estrato esparso, como o dos negros no domínio populacional em que o estudo foi realizado. Além do problema de rarefação envolvendo o i9, para seguir com as análises de invariância, foi estimada a correlação residual entre o i14 e i13 para os grupos com mais de 11 anos de estudo; brancos com mais de 11 anos de estudo e mulheres com mais de 11 anos de estudo. Na AFCMG, também foi identificada a correlação residual entre os itens i9 e i7 para os brancos, sendo esta última observada apenas na versão de sete itens. Isso posto, nossos resultados demonstram que os dois métodos utilizados nas análises se amparam mutuamente. Contudo, o ideal seria replicar nossas análises em novo estudo, preferencialmente com tamanho amostral maior para lidar com o problema da rarefação de dados.

Em conjunto, nossos resultados dão suporte às duas versões abreviadas da EDE para investigar discriminação em diferentes grupos, definidos por sexo, cor/raça e escolaridade. Ainda assim, duas questões devem ser consideradas e enfrentadas em estudos futuros: primeiro, a proporção relativamente pequena de negros na amostra impactou as análises estatísticas; segundo, os dados analisados aqui são oriundos de adultos do município de Florianópolis, havendo, pois, a necessidade de se conduzir pesquisas adicionais para determinar se os padrões identificados emergem e se confirmam em outros domínios populacionais. O Brasil apresenta ampla diversidade cultural e sociodemográfica em toda sua extensa área territorial. Portanto, as percepções e as experiências de discriminação podem ser marcadamente diferentes em outras localidades do país, com implicações para como devem ser aferidas a partir de escalas psicométricas.

Apesar das limitações citadas e da necessidade de testes suplementares, as estratégias aqui empregadas nos permitiram concluir que as versões reduzidas da escala, propostas por Bastos et al.2323. Bastos JL, Reichenheim ME, Bernardo FR. One step further in mistreatment research: assessing the scalar properties of the Explicit Discrimination Scale among working-age adult respondents. J Comm Psychol 2024. In press., são invariantes entre os grupos examinados. Dessa forma, espera-se que o presente estudo contribua para a construção de uma ferramenta de qualidade que propicie a mensuração da discriminação no Brasil e no mundo em patamares mais rigorosos de validade, confiabilidade e comparabilidade.

AGRADECIMENTOS:

O presente trabalho foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior − Brasil (Capes) – Código de Financiamento 001. JL Bastos foi parcialmente apoiado pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (Processo de número: 303775/2021-1).

REFERENCES

  • 1.
    Krieger N. Discrimination and health inequities. In: Berkman LF, Kawachi I, Glymour MM, eds. Social epidemiology. Oxford: Oxford University Press; 2015. https://doi.org/10.1093/med/9780195377903.003.0003
    » https://doi.org/10.1093/med/9780195377903.003.0003
  • 2.
    Krieger N. Measures of racism, sexism, heterosexism, and gender binarism for health equity research: from structural injustice to embodied harm-an ecosocial analysis. Annu Rev Public Health 2020; 41: 37-62. https://doi.org/10.1146/annurev-publhealth-040119-094017
    » https://doi.org/10.1146/annurev-publhealth-040119-094017
  • 3.
    Pascoe EA, Richman LS. Perceived discrimination and health: a meta-analytic review. Psychol Bull 2009; 135(4): 531-54. https://doi.org/10.1037/a0016059
    » https://doi.org/10.1037/a0016059
  • 4.
    Paradies Y, Ben J, Denson N, Elias A, Priest N, Pieterse A, et al. Racism as a determinant of health: a systematic review and meta-analysis. PLoS One 2015; 10(9): e0138511. https://doi.org/10.1371/journal.pone.0138511
    » https://doi.org/10.1371/journal.pone.0138511
  • 5.
    Williams DR, Lawrence JA, Davis BA, Vu C. Understanding how discrimination can affect health. Health Serv Res 2019; 54(Suppl 2): 1374-88. https://doi.org/10.1111/1475-6773.13222
    » https://doi.org/10.1111/1475-6773.13222
  • 6.
    Harnois CE, Ifatunji M. Gendered measures, gendered models: Toward an intersectional analysis of interpersonal racial discrimination. Ethnic and Racial Studies 2011; 34(6): 1006-28. https://doi.org/10.1080/01419870.2010.516836
    » https://doi.org/10.1080/01419870.2010.516836
  • 7.
    Lewis TT, Cogburn CD, Williams DR. Self-reported experiences of discrimination and health: scientific advances, ongoing controversies, and emerging issues. Annu Rev Clin Psychol 2015; 11: 407-40. https://doi.org/10.1146/annurev-clinpsy-032814-112728
    » https://doi.org/10.1146/annurev-clinpsy-032814-112728
  • 8.
    Cole ER. Intersectionality and research in psychology. Am Psychol 2009; 64(3): 170-80. https://doi.org/10.1037/a0014564
    » https://doi.org/10.1037/a0014564
  • 9.
    Crenshaw K. Mapping the margins: intersectionality, identity politics, and violence against women of color. Stanford Law Rev 1991; 43(6): 1241-99. https://doi.org/10.2307/1229039
    » https://doi.org/10.2307/1229039
  • 10.
    Collins PH. Intersectionality’s definitional dilemmas. Annu Rev Sociol 2015; 41: 1-20. https://doi.org/10.1146/annurev-soc-073014-112142
    » https://doi.org/10.1146/annurev-soc-073014-112142
  • 11.
    Scheim AI, Bauer GR. The Intersectional Discrimination Index: development and validation of measures of self-reported enacted and anticipated discrimination for intercategorical analysis. Soc Sci Med 2019; 226: 225-35. https://doi.org/10.1016/j.socscimed.2018.12.016
    » https://doi.org/10.1016/j.socscimed.2018.12.016
  • 12.
    Monteiro SS, Vieira WV, Soares PS. É inerente ao ser humano! A naturalização das hierarquias sociais frente às expressões de preconceito e discriminação na perspectiva juvenil. Physis 2014; 24(2): 421-40. https://doi.org/10.1590/S0103-73312014000200006
    » https://doi.org/10.1590/S0103-73312014000200006
  • 13.
    Leitgöb H, Seddig D, Asparouhov T, Behr D, Davidov E, De Roover K, et al. Measurement invariance in the social sciences: historical development, methodological challenges, state of the art, and future perspectives. Soc Sci Res 2023; 110: 102805. https://doi.org/10.1016/j.ssresearch.2022.102805
    » https://doi.org/10.1016/j.ssresearch.2022.102805
  • 14.
    Reichenheim M, Bastos JL. What, what for and how? Developing measurement instruments in epidemiology. Rev Saude Publica 2021; 55: 40. https://doi.org/10.11606/s1518-8787.2021055002813
    » https://doi.org/10.11606/s1518-8787.2021055002813
  • 15.
    Damasio BF. Contribuições da Análise Fatorial Confirmatória Multigrupo (AFCMG) na avaliação de invariância de instrumentos psicométricos. Psico-USF 2013; 18: 211-20. https://doi.org/10.1590/S1413-82712013000200005
    » https://doi.org/10.1590/S1413-82712013000200005
  • 16.
    Brown TA. Confirmatory factor analysis for applied research. 2nd ed. New York: The Guilford Press; 2015.
  • 17.
    Boer D, Hanke K, He J. On detecting systematic measurement error in cross-cultural research: a review and critical reflection on equivalence and invariance tests. J Cross Cult Psychol 2018; 49(5): 713-34. https://doi.org/10.1177/0022022117749042
    » https://doi.org/10.1177/0022022117749042
  • 18.
    Bernardo FR, Bastos JL, Moretti-Pires R. O. Dancing with numbers: measuring experiences with among multiply marginalized groups. Cad Saude Publica 2018; 34(11): e00167117. https://doi.org/10.1590/0102-311X00167117
    » https://doi.org/10.1590/0102-311X00167117
  • 19.
    Lee H, Turney K. Investigating the relationship between perceived discrimination, social status, and mental health. Soc Ment Health 2012; 2(1): 1-20. https://doi.org/10.1177/2156869311433067
    » https://doi.org/10.1177/2156869311433067
  • 20.
    Bastos JL, Faerstein E, Celeste RK, Barros AJ. Explicit discrimination and health: development and psychometric properties of an assessment instrument. Rev Saude Publica 2012; 46(2): 269-78. https://doi.org/10.1590/s0034-89102012000200009
    » https://doi.org/10.1590/s0034-89102012000200009
  • 21.
    Bastos JL, Reichenheim ME, Celeste RK, Faerstein E, Barros AJD, Paradies YC. Perceived discrimination south of the equator: Reassessing the Brazilian Explicit Discrimination Scale. Cultur Divers Ethnic Minor Psychol 2019; 25(3): 413-23. https://doi.org/10.1037/cdp0000246
    » https://doi.org/10.1037/cdp0000246
  • 22.
    Bastos JL, Reichenheim ME, Paradies YC. Scaling up research on discrimination and health: The abridged Explicit Discrimination Scale. J Health Psychol 2022; 27(9): 2041-55. https://doi.org/10.1177/13591053211018806
    » https://doi.org/10.1177/13591053211018806
  • 23.
    Bastos JL, Reichenheim ME, Bernardo FR. One step further in mistreatment research: assessing the scalar properties of the Explicit Discrimination Scale among working-age adult respondents. J Comm Psychol 2024. In press.
  • 24.
    Boing AC, Peres KG, Boing AF, Hallal PC, Silva NN, Peres MA. EpiFloripa Health Survey: the methodological and operational aspects behind the scenes. Rev Bras Epidemiol 2014; 17(1): 147-62. https://doi.org/10.1590/1415-790x201400010012eng
    » https://doi.org/10.1590/1415-790x201400010012eng
  • 25.
    Wang J, Wang X. Structural equation modeling: applications using Mplus. 2nd ed. New Jersey: Wiley; 2020.
  • 26.
    Finney SJ, DiStefano C. Structural equation modeling: a second course. 2nd ed. Carolina do Norte: Information Age Publishing; 2013.
  • 27.
    Wu H, Estabrook R. Identification of confirmatory factor analysis models of different levels of invariance for ordered categorical outcomes. Psychometrika 2016; 81(4): 1014-45. https://doi.org/10.1007/s11336-016-9506-0
    » https://doi.org/10.1007/s11336-016-9506-0
  • 28.
    Asparouhov T, Muthén, B. Robust chi square difference testing with mean and variance adjusted test statistics [Internet]. Mplus Web Notes No. 10. 2006 [cited on July 15, 2022]. Available at: https://www.statmodel.com/download/webnotes/webnote10.pdf
    » https://www.statmodel.com/download/webnotes/webnote10.pdf
  • 29.
    Meade AW, Johnson EC, Braddy PW. Power and sensitivity of alternative fit indices in tests of measurement invariance. J Appl Psychol 2008; 93(3): 568-92. https://doi.org/10.1037/0021-9010.93.3.568
    » https://doi.org/10.1037/0021-9010.93.3.568
  • 30.
    Asparouhov, T, Muthén, B. Multiple group alignment for exploratory and structural equation models. Struct Equ Modeling 2023; 30(2): 169-91.
  • 31.
    Bastos JL, Barros AJD, Celeste RK, Paradies Y, Faerstein E. Age, class and race discrimination: their interactions and associations with mental health among Brazilian university students. Cad Saude Publica 2014; 30(1): 175-86. https://doi.org/10.1590/0102-311x00163812
    » https://doi.org/10.1590/0102-311x00163812
  • 32.
    Bastos JL, Harnois CE, Bernardo CO, Peres MA, Paradies YC. When does differential treatment become perceived discrimination? An intersectional analysis in a Southern Brazilian Population. Sociol Race Ethn 2017; 3(3): 301-18. https://doi.org/10.1177/2332649216681167
    » https://doi.org/10.1177/2332649216681167
  • FONTE DE FINANCIAMENTO: nenhuma.

Datas de Publicação

  • Publicação nesta coleção
    15 Jul 2024
  • Data do Fascículo
    2024

Histórico

  • Recebido
    02 Nov 2023
  • Revisado
    08 Mar 2024
  • Aceito
    10 Abr 2024
Associação Brasileira de Saúde Coletiva Av. Dr. Arnaldo, 715 - 2º andar - sl. 3 - Cerqueira César, 01246-904 São Paulo SP Brasil , Tel./FAX: +55 11 3085-5411 - São Paulo - SP - Brazil
E-mail: revbrepi@usp.br