Open-access Adaptação cultural para o Brasil e desempenho psicométrico do “Evidence-Based Practice Questionnaire

Resumos

Objetivo  Adaptar culturalmente o instrumento EBPQ para a língua portuguesa e avaliar suas qualidades psicométricas.

Métodos  Foram seguidos os passos de adaptação cultural de instrumentos de medida. Foi verificada a confiabilidade por meio da avaliação da consistência interna e da estabilidade pelo teste-reteste e a validade de constructo com abordagem de grupos contrastados.

Resultados  Obteve-se Coeficiente Alfa de Cronbach elevado em todos os domínios (0,91 – 0,68) e Coeficiente de Correlação Intraclasse satisfatório (0,90). Na avaliação da validade de constructo, houve diferença significativa entre os grupos de enfermeiros com diferentes formações.

Conclusão  As etapas de adaptação cultural de instrumentos de medida foram concluídas com sucesso. A versão brasileira obtida apresenta propriedades psicométricas confiáveis para a sua utilização nessa população.

Pesquisa em enfermagem; Pesquisa em enfermagem clínica; Enfermagem baseada em evidências; Psicometria


Objectives  To culturally adapt the instrument “Evidence-Based Practice Questionnaire” (EBPQ) to the Portuguese language and assess its psychometric qualities.

Methods  The steps of cultural adaptation of measurement instruments were followed. Reliability was verified through internal consistency, stability by test-retest, and construct validity by the contrasted groups approach.

Results  High Cronbach’s alpha (0.91 to 0.68) and satisfactory Intraclass Correlation Coefficient (0.90) were obtained in all domains. In assessing construct validity, significant differences were found between groups of nurses with different backgrounds.

Conclusion  The steps of cultural adaptation of measurement instruments have been successfully completed. The Brazilian version obtained presents reliable psychometric properties for its use in this population.

Nursing research; Clinical nursing research; Evidence-based nursing; Psychometric


Introdução

A prática baseada em evidências (PBE) é uma tecnologia que vem ganhando popularidade a fim de melhorar a efetividade clínica. Seu exercício implica no uso da melhor evidência clínica disponível sobre o cuidado individual ao paciente e implica na integração do conhecimento clínico profissional com os achados científicos mais consistentes e confiáveis, resultantes do avanço da investigação clínica.(1)

O processo da prática baseada em evidências é atualmente incorporado em cinco passos: 1. converter a necessidade de informação em uma questão de pesquisa que pode ser respondida; 2. encontrar a melhor evidência para responder a questão clínica; 3. avaliar criticamente a evidência segundo sua validade, aplicabilidade e impacto; 4. integrar a evidência com o conhecimento clínico, os valores dos clientes e circunstâncias e informações do contexto prático; e 5. avaliar a efetividade e a eficiência da informação encontrada com a aplicação dos passos 1 a 4 e pensar em formas de melhorar o desempenho profissional.(2)

No contexto da enfermagem, a prática baseada em evidências surgiu, aparentemente, com o Grupo Cochrane, jornais como Evidence-Based Nursing e centros como o Joanna Briggs Institute for Evidence-Based Nursing.(3) A enfermagem baseada em evidências é definida como “o cuidado relativo à incorporação da evidência de pesquisa com o conhecimento clínico e preferências do paciente dentro das decisões da saúde individual dos pacientes.(4)

Entretanto, na enfermagem, a assistência clínica parece não ter sido beneficiada com a produção de conhecimentos. Ainda encontram-se dificuldades pessoais como motivação e divulgação de achados científicos e situacionais, como limitação de recursos e organização inadequada do tempo.(1,5-7) Para a Prática baseada em evidências ser bem-sucedida, são necessárias estratégias individuais e organizacionais, dirigidas aos fatores que interferem na sua utilização.(8)

Com relação à produção de conhecimento da enfermagem acerca da PBE e sua aplicação, diversos instrumentos de medida tem sido desenvolvidos com o objetivo de avaliar a utilização e as barreiras existentes para a adoção da prática baseada em evidências.(9)

Uma avaliação sobre prática baseada em evidências foi proposta em 1998 por meio do instrumento denominado “Evidence-Based Practice Questionnaire” (EBPQ). Este instrumento foi desenvolvido no Reino Unido com a finalidade de avaliar atitudes, conhecimento e implantação da prática baseada em evidências de médicos e outros profissionais da área da saúde.(10) A análise das propriedades psicométricas do EBPQ foi posteriormente realizada em uma amostra de enfermeiros de vários níveis de formação e mostrou ser uma ferramenta válida e confiável.(11) Trata-se de um questionário auto-respondido rápido e de fácil entendimento que explora o uso da prática baseada em evidências no cotidiano por profissionais da saúde.

Esse instrumento tem sido utilizado em pesquisas internacionais, com o objetivo de avaliar a prática, os conhecimentos e atitudes de enfermeiros assistenciais e estudantes. Os resultados mostram informações relevantes sobre a adoção da prática baseada em evidências entre esses profissionais e apontam estratégias para sua disseminação.(12-15)

O EBPQ foi adaptado e validado recentemente para a língua espanhola, obtendo-se uma versão reduzida, porém adequada para a utilização nesta cultura.(13) Esta versão foi utilizada em estudo na Espanha para diagnosticar os fatores que enfermeiros percebem como facilitadores para a prática baseada em evidências.(16)

Considerando a inexistência de instrumentos no Brasil destinados à avaliação da prática Baseada em Evidências entre enfermeiros e a importância desta informação para investigar a sua aplicação no cuidado clínico como uma ferramenta que proporciona qualidade à assistência, esse estudo objetiva disponibilizar uma versão do Evidence-based Practice Questionnaire (EBPQ) para a população brasileira por meio do processo de adaptação cultural do instrumento, bem como da avaliação de suas propriedades de medida.

Métodos

O Evidence-Based Practice Questionnaire (EBPQ) possui 24 itens pontuados numa escala de um a sete (escala tipo Likert). O escore do instrumento é calculado somando-se os valores das respostas de cada uma das questões, totalizando 168 pontos, com a maior pontuação indicando atitudes mais positivas em relação à prática baseada em evidências. Os escores podem ser avaliados, ainda, por domínios, calculando-se a média aritmética. Os itens são caracterizados em três dimensões:

  1. Prática da Enfermagem Baseada em Evidências: seis questões ou 42 pontos;

  2. Atitudes relacionadas à Prática Baseada em Evidências: quatro questões ou 28 pontos;

  3. Conhecimentos e habilidades associados à Prática Baseada em Evidências: 14 questões ou 98 pontos.

No final, o instrumento apresenta questões relacionadas à caracterização dos sujeitos da pesquisa quanto aos aspectos sociodemográficos e dados relacionados à formação, experiência profissional e área de atuação.

No estudo original, o instrumento apresentou alfa de Cronbach de 0,87 no instrumento como um todo e validade convergente satisfatória (p<0,001).(11)

Após o consentimento do autor, foram seguidos os passos essenciais de adaptação cultural, recomendados por publicações especializadas a fim de assegurar a sua qualidade.(17)

Primeiramente, foi realizada a tradução por dois tradutores e de forma independente. Um dos tradutores estava ciente dos objetivos e conceitos que envolvem o instrumento a ser traduzido e o outro tradutor realizou a tradução sem conhecimento prévio destes conceitos e objetivos. As duas versões traduzidas do instrumento foram confrontadas pelo orientador, pesquisador e um mediador, após a identificação de discrepâncias, obtendo uma única versão do instrumento, a versão síntese.

Posteriormente, a versão obtida na síntese foi vertida novamente para o inglês por dois tradutores que não participaram da primeira etapa e cuja língua materna é a mesma do instrumento de origem, obtendo assim a retro-tradução 1 e a retro-tradução 2. Esses tradutores não receberam informações sobre os conceitos e propósitos do instrumento.

Terminada a fase de retro-tradução, um comitê composto por sete pessoas bilíngües e especialistas da área de pesquisa em enfermagem consolidaram todas as versões produzidas em uma única versão que foi utilizada no pré-teste. Foi construído um instrumento específico para a realização dessa avaliação contendo as versões: original, síntese das traduções e retro-traduções. O comitê avaliou as equivalências semântica, idiomática, cultural e conceitual de cada item ou questão do EBPQ.

Para calcular o índice de concordância entre o comitê de juízes foi utilizado o Índice de Validade de Conteúdo (IVC).(18) Foi considerado satisfatório um Índice de concordância igual ou acima de 90%.(19) Desta forma, por meio da avaliação do comitê de juízes pode-se verificar a validade de conteúdo do questionário.

A realização do Pré-teste envolveu uma amostra de 30 enfermeiros de um Hospital Público. Nesta fase, foi avaliada a compreensão do instrumento, identificando conceitos ou questões de difícil entendimento.

Fizeram parte deste estudo enfermeiros de um Hospital Público de uma Universidade Pública, situados no interior do Estado de São Paulo, Brasil. Para análise dos dados, os sujeitos foram divididos em dois grupos. No Grupo 1 foram incluídos os enfermeiros, alunos e docentes que já concluíram o Mestrado ou com Doutorado concluído ou em andamento de ambas as instituições. No Grupo 2 foram incluídos os enfermeiros que possuíam somente graduação e que não estavam cursando qualquer curso de pós-graduação no momento da coleta de dados.

Foram excluídos os enfermeiros que possuíam curso de especialização latu sensu concluído ou em andamento. Também foram excluídos os sujeitos que estavam em férias ou licença durante o período de coleta de dados.

Foi realizada uma amostragem por conveniência, de modo que o número de sujeitos de cada grupo grupos ficasse equivalente. O tamanho amostral foi obtido por meio do cálculo de tamanho amostral para o alfa de Cronbach, totalizando aproximadamente 160 indivíduos.(20)

A confiabilidade foi avaliada por meio da consistência interna e da estabilidade. Para a avaliação da consistência interna, foi utilizado o Coeficiente alfa de Cronbach. Para a estabilidade, avaliada por meio do teste-reteste, no qual o questionário foi aplicado em duas ocasiões distintas com intervalo de 10 a 15 dias, utilizou-se o Coeficiente de Correlação Intraclasse.(21)

Foi verificada a validade de constructo com abordagem de grupos conhecidos, a fim de determinar o grau em que o instrumento demonstrou pontuações diferentes para grupos cada grupo. Esperou-se encontrar maiores escores do instrumento no grupo 1, de enfermeiros com Mestrado ou Doutorado em relação aos enfermeiros com Graduação completa. A validade foi avaliada por meio do teste não-paramétrico de Mann-Whitney.

O desenvolvimento do estudo atendeu as normas nacionais e internacionais de ética em pesquisa envolvendo seres humanos.

Resultados

Após a avaliação das Equivalências Semântico-idiomática, Conceitual e Cultural do EBPQ pelos juízes, mudanças mínimas relacionadas aos termos traduzidos foram sugeridas, como a substituição da palavra “persevero” por “mantenho”.

Na avaliação da equivalência, os itens 1 e 14 obtiveram um percentual de concordância de 57%; o item 18, de 71% e os itens 3, 4, 7, 9, 12, 16, 19, 20, 23, 28 e 29 obtiveram percentual de 85%. As sugestões foram analisadas em uma reunião de discussão com a pesquisadora, a orientadora e membros do grupo de pesquisa na área de adaptação cultural de instrumentos de medida. Todos os outros itens obtiveram um percentual de concordância acima de 90%.

Participaram do pré-teste 30 enfermeiros de um Hospital Público que exerciam atividades de assistência e/ou gerência em enfermagem. Verificou-se que o tempo médio de preenchimento do questionário foi de nove minutos, sendo que o tempo mínimo foi de seis e o máximo de 21 minutos.

Sete enfermeiros apresentaram dificuldade de entendimento na questão 01, em relação à palavra “lacuna”. Essa dificuldade foi revista, sendo decidido acrescentar a palavra “falta”, como sinônimo de lacuna para melhor interpretação da questão.

Participaram do estudo 158 enfermeiros, sendo 81 do grupo 1 (enfermeiros com pós-graduação em Mestrado ou Doutorado) e 77 do grupo 2 (enfermeiros do Hospital Público sem pós-graduação). Os sujeitos apresentaram idade entre 23 e 66 anos, sendo 148 (84%) mulheres e 10 homens (16%). O tempo de formação dos profissionais variou de 01 a 43 anos. No grupo 1, a maioria dos sujeitos era proveniente da Faculdade de Enfermagem, 64,2% possuíam Mestrado, 29,6% tinham Doutorado e 6,2%, Pós-doutorado. No grupo 2, todos os enfermeiros trabalhavam no Hospital Público, sendo que 70 (90,9%) exerciam funções assistenciais e 7 (9,0%) eram gerentes de unidades (Tabela 1).

Tabela 1
Caracterização sócio-demográfica, segundo a divisão em grupos (n=158)

Descrição dos dados do questionário de Prática Baseada em Evidências

A pontuação média final para a escala de Prática Baseada em Evidências e Efetividade Clínica para enfermeiros foi de 129,15 para o Grupo 1 (enfermeiros com pós-graduação em Mestrado ou Doutorado) e de 111,24 para o Grupo 2 (enfermeiros do Hospital Público com Graduação completa).

Nos dois grupos, o domínio que apresentou maior pontuação média por item foi o Domínio 2 - Atitudes relacionadas à Prática Baseada em Evidências (5,92 e 5,35, para os Grupos 1 e 2, respectivamente), seguido do Domínio 1 - Prática da Enfermagem Baseada em Evidências (5,38 e 4,54) e por último, Domínio 3 - Conhecimentos e habilidades (5,22 e 4,46).

Confiabilidade

Consistência Interna

Quanto à consistência interna, foi avaliada a confiabilidade de cada questão em relação ao domínio do instrumento primeiramente para todos os sujeitos (n=156) e, posteriormente, para cada grupo de enfermeiros.

O instrumento apresentou valores satisfatórios para avaliação da consistência interna. Na amostra geral, o domínio 3 apresentou o valor de alfa de Cronbach mais elevado (0,92), que avalia os Conhecimentos e Habilidades associados à prática baseada em evidências. O domínio 1, que avalia a prática da Enfermagem Baseada em Evidências entre os enfermeiros, mostrou alfa de Cronbach de 0,86. As questões que indagam as atitudes relacionadas à PBE (domínio 2) obtiveram o valor mais baixo (0,68).

Estabilidade (teste-reteste)

Para avaliação da confiabilidade no que se refere à estabilidade temporal, foi utilizada uma amostra de 50 enfermeiros. Observou-se elevada estabilidade do questionário para todos os domínios e para o instrumento como um todo (ICC=0,90) (Tabela 2).

Tabela 2
Coeficientes de correlação intraclasse (ICC) e respectivos intervalos de confiança (IC 95%) (n=50)

A avaliação da validade de constructo por meio da abordagem de grupos conhecidos mostrou que os sujeitos do grupo 1 (Mestrado ou Doutorado) apresentaram médias significativamente maiores quando comparados com os sujeitos do grupo 2 (Graduação). Considerando a pontuação total do instrumento, o grupo 1 também apresentou maiores valores quando comparados com os do grupo 2. Com isso, observa-se que o instrumento foi capaz de demonstrar diferenças nos escores entre os grupos conhecidos (Tabela 3).

Tabela 3
Comparação entre os escores médios dos itens e da pontuação dos domínios

Discussão

Como outros estudos de validação, o estudo realizado tem limitações no que se refere à validade de medidas auto-relatadas, pela impossibilidade de se agregar medidas diretas da prática baseada evidências, como a observação da prática dos profissionais de acordo com seus achados de pesquisa. Além disso, por se tratar de um primeiro estudo no Brasil a utilizar um instrumento de medida para avaliação das práticas baseadas em evidências entre os enfermeiros, outros estudos sobre o EBPQ devem ser produzidos na realidade nacional, a fim de garantir maior validade por meio de outras abordagens metodológicas, da ampliação dos locais e do número e características dos enfermeiros.

No entanto, a análise individual e organizacional sobre as barreiras na incorporação da tomada de decisão sobre o cuidar individual do paciente, por meio da utilização do EBPQ, pode facilitar o entendimento e o direcionamento da formação de habilidades tecnológicas necessárias para a escolha assistencial cientificamente adequada. O estudo realizado disponibilizou um instrumento adaptado culturalmente para a língua portuguesa com avaliação satisfatória de validade e confiabilidade a fim de criar uma ferramenta para o desenvolvimento e a avaliação da implementação da Prática Baseada em Evidências em programas ou iniciativas educacionais e por instituições interessadas em reconhecer o seu uso ou conhecimento pelos profissionais.

Para a realização da adaptação cultural, foram empregadas as etapas recomendadas por protocolos internacionais.(22) Na avaliação pelo comitê de juízes, constatou-se um percentual de concordância (IVC) acima de 90% para a maioria dos itens.

As pontuações médias por domínios encontradas na versão brasileira foram semelhantes com as pontuações de outros estudos que utilizaram o EBPQ.(23) O estudo realizado obteve maior pontuação média por item no domínio relacionado à opiniões e atitudes relacionadas à Prática Baseada em Evidências, o que representa boa aceitabilidade e opiniões positivas sobre o tema entre os enfermeiros nacionais. Estudo realizado com enfermeiros da Califórnia e com diversos níveis de formação também encontrou a maior pontuação média neste domínio.(12)

As menores médias de pontuação foram encontradas no domínio de conhecimentos e habilidades relacionadas à Prática baseada em evidências Os itens questionam a frequência de avaliação crítica da literatura e a elaboração de questões de pesquisa. Esse dado corrobora com outras pesquisas que também utilizaram o EBPQ para avaliar a percepção de enfermeiros sobre o tema.(13)

Com relação à avaliação das propriedades psicométricas do EBPQ, este apresentou valores elevados para a consistência interna na análise do instrumento como um todo, com maior precisão para o domínio de conhecimentos e habilidades (0,92), seguido do domínio sobre a aplicação das práticas baseadas em evidências (0,86) e, por último, das atitudes (0,68). A pontuação do alfa de Cronbach para o domínio sobre atitudes justifica-se pelo baixo número de itens do mesmo. Resultados semelhantes foram encontrados em estudos internacionais e nos estudo original.(9,12,24)

Na análise da confiabilidade por meio da estabilidade, obteve-se ICC de 0,90 para o questionário como um todo, o que demonstra a estabilidade temporal do instrumento.

A avaliação da validade de constructo indicou diferenças significativas entre os grupos para os domínios de prática, atitudes e conhecimentos sobre a prática baseada evidências (p<0,0001). Esse resultado representa que a utilização da prática baseada em evidências ainda é uma realidade acadêmica e científica e a aplicação do trabalho em pesquisa no campo de atuação prático ainda é imaturo.

Estudo encontrou pontuações mais elevadas do EBPQ entre enfermeiros com Mestrado, Doutorado, enfermeiros gestores e educadores e pontuações mais baixas entre os domínios do instrumento e enfermeiros graduados. Maiores níveis educacionais e de formação, como Mestrado tendem a mostrar resultados mais satisfatórios em relação ao conhecimento e utilização da prática baseada evidências.(7,13,14,24,25)

Finalizadas as etapas necessárias para a disponibilização do questionário para o contexto brasileiro, sugere-se que possa ser uma ferramenta útil para avaliações de estratégias educacionais e de instituições de saúde preocupadas com a qualidade da assistência. Além disso, a utilização do instrumento pode ser uma medida de avaliação pessoal dos profissionais sobre sua prática, despertando o pensamento crítico sobre a qualidade de sua prática.

Conclusão

Conclui-se que o processo de adaptação cultural foi realizado com sucesso o que o Questionário de Prática Baseada em Evidências e Efetividade Clínica apresenta resultados satisfatórios de validade e confiabilidade.

Referências bibliográficas

  • 1 Evidence-Based Medicine Working Group. Evidence-based medicine: a new approach to teaching the practice of medicine. JAMA. 1992; 268(17):2420-5.
  • 2 Hoffmann T, Bennett S, Del Mar C. Evidence-based practice across the health professions. Australia: Elsevier; 2010. Introduction to evidence-based practice.p.16-37.
  • 3 Estabrooks CA. Will Evidence-based nursing practice make practice perfect? Can J Nurs Res. 1998; 30(1):15-36.
  • 4 Mulhall A. Nursing, research, and the evidence. Evid Based Nurs. 1998;1:4-6.
  • 5 Ribas CR, Zanetti ML, Caliri MH. A arte da comunicação do conhecimento científico. Rev Eletron Enf. 2009;11(3):712-6.
  • 6 Polit DF, Beck CT. Nursing Research: Generating and assessing evidence for nursing practice. Lippincott Williams & Wilkins: Philadelphia; 2008.
  • 7 Dalhein A, Harthug S, Nilsen RM, Nortvedt MW. Factors influencing the development of evidence-based practice among nurses: a self report survey. BMC. 2012;12:367.
  • 8 Bostrom AM, Rudman A, Ehrenberg A, Gustavsson JP, Wallin L. Factors associated with evidence-based practice among registered nurses in Sweden: a national cross-sectional study. BMC. 2013; 13:165.
  • 9 Thorsteinsson HS. Translation and validation of two evidence-based nursing practice instruments. Int Nurs Rev. 2012; 59(2): 259-65.
  • 10 Upton D, Lewis B. Clinical effectiveness and EBP: design of a questionnaire. Int J Ther Rehab. 1998; 5(12):647-50.
  • 11 Upton D, Upton P. Development of an evidence-based practice questionnaire for nurses. J Adv Nurs. 2006; 54(4): 454-8.
  • 12 Brown CE, Wickline MA, Ecoff L, Glaser D. Nursing practice, knowledge, attitudes and perceived barriers to evidence-based practice at an academic medical center. J Adv Nurs. 2008;65(2):371-81.
  • 13 Koehn Ml, Lehman K. Nurse´s perceptions of evidence-based nursing practice. J Adv Nurs. 2008; 62(2): 209-15.
  • 14 Prior PM, Wilkinson J, Neville S. Practice nurse use of evidence in clinical practice: a descriptive survey. Nurs Prax N Z. 2010;26(2):14-25.
  • 15 Pedro-Gómez JP, Morales-Asencio JM, Abad AS, Veny MB, Roman MJ, Ronda FM. Validación de la Española Del cuestionario sobre la Práctica Basada em la Evidencia em enfermería. Rev Esp Salud Pública. 2008; 83(4):577-86.
  • 16 Pedro-Gómez JP, Morales-Asencio JM, Abad AS, Veny MB, Vives GA, Campaner CP. Entorno de prática de los profesionales de enfermería y competência para la oncorporación de la evidencia a lãs decisiones: situación em las Islas Baleares. Gac Sanit. 2011;25(3):191-7.
  • 17 Beaton D, Bombardier C, Guillemin F, Ferraz MB. Recommendations for the Cross-Cultural Adaptation of the DASH & quick DASH Outcome Measures. Institute for Work & Health; 2007. p. 3-45.
  • 18 Alexandre NM, Coluci MZ. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Cien Saúde Colet. 2011;16(7):3061-8.
  • 19 Polit DF, Beck CT. The content validity index: are you sure you know what’s being reported? Critique and recomendations. Res Nurs Health. 2006;29(5):489-49.
  • 20 Bonett D. Sample Size Requirements for Testing and Estimating Coefficient Alpha. J Educ Behav Stat. 2002;27(4):335-340.
  • 21 Alexandre NM, Gallasch CH, Lima MH, Rodrigues RC. A confiabilidade no desenvolvimento e avaliação de instrumentos de medida na área da saúde. Rev Eletr Enferm. 2013;15(3):802-9.
  • 22 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-cultural a daptation of self-report measures. Spine. 2000; 25(24):3186-91.
  • 23 González-Torrente S, Pericas-Beltrán J, Bennasar-Veny M, Adrover-Barceló R, Morales-Acensio J, Pedro-Goméz J. Perception of evidence-based practice and the Professional environment of Primary Health Care nurses in the Spanish context: a cross-sectional study. BMC. 2012;12:227.
  • 24 Brown CE, Ecoff L, Kim SC, Wickline MA, Rose B, Klimpel K, et al. Multi-institutional study of barriers to research utilization and evidence-based practice among hospital nurses. J Clin Nurs. 2010;19(13-14): 1944-51.
  • 25 Eizenberg MM. Implementation of evidence-based nursing practice: nurse´s personal anr professional factors? J Adv Nurs. 2011; 67(1):33-42.

Datas de Publicação

  • Publicação nesta coleção
    Sep-Oct 2014

Histórico

  • Recebido
    12 Mar 2014
  • Aceito
    29 Jul 2014
location_on
Escola Paulista de Enfermagem, Universidade Federal de São Paulo R. Napoleão de Barros, 754, 04024-002 São Paulo - SP/Brasil, Tel./Fax: (55 11) 5576 4430 - São Paulo - SP - Brazil
E-mail: actapaulista@unifesp.br
rss_feed Acompanhe os números deste periódico no seu leitor de RSS
Acessibilidade / Reportar erro