Open-access ANÁLISE DAS VERSÕES DO INSTRUMENTO WHOQOL-DIS FRENTE AOS ASPECTOS QUE MOTIVARAM SUA CRIAÇÃO: PARTICIPAÇÃO E AUTONOMIA1

ANALYSIS OF WHOQOL-DIS INSTRUMENT VERSIONS TOWARDS THE ASPECTS THAT MOTIVATED ITS CREATION: PARTICIPATION AND AUTONOMY

RESUMO

O número de pessoas com deficiência no Brasil e no mundo tem crescido substancialmente nas últimas décadas. Essa realidade tem fomentado o debate sobre as necessidades específicas dessa população e também influenciado a criação de instrumentos de avaliação da qualidade de vida diretamente direcionados a esse cenário particular. O presente estudo tem por objetivo analisar a adequação do WHOQOL-DIS, instrumento de avaliação da qualidade de vida de pessoas com deficiência, aos princípios que determinaram a sua construção. A pesquisa é de natureza qualitativa. O procedimento técnico adotado para o tratamento dos dados é a análise de conteúdo. A referida análise foi direcionada às diretrizes teóricas que sustentam o interesse da Organização Mundial da Saúde na construção do WHOQOL-DIS. Com a análise de conteúdo buscou-se, nos princípios da criação desse instrumento, dados para a avaliação das duas versões do instrumento: a versão internacional e a versão brasileira. Os resultados mostram que há quatro questões presentes na versão brasileira que não estão disponibilizadas na versão internacional. Uma dessas quatro questões está diretamente relacionadas à base da evolução conceitual da deficiência: a acessibilidade e a autonomia. Com sustentação na documentação investigada, cabe argumentar que a ausência dessa questão na versão internacional sugere distanciamento do objetivo inicial. Conclui-se que, entre a versão brasileira e a versão internacional do WHOQOL-DIS, a diferença é a perda, no segundo, daquilo que é o mais importante em um instrumento como este: a valoração daquilo que é significativo para o público ao qual está destinado.

PALAVRAS-CHAVE: Educação Especial; Qualidade de vida; Autonomia; Pessoa com Deficiência; Instrumentos de Avaliação

ABSTRACT

The number of people with disabilities in Brazil and worldwide has grown substantially in recent decades. This reality has stimulated the discussion concerning the specific needs of this population and has influenced the creation of quality of life assessment instruments directly related to this particular scenario. This study aims to analyze the adequacy of WHOQOLDIS, quality of life assessment instrument in persons with disabilities, to the principles that led to its construction. The research is qualitative in nature. Content analysis was the technical procedure adopted for data processing. This analysis was directed to the theoretical guidelines that support the interest of World Health Organization in the construction of WHOQOL-DIS. With content analysis, we sought, on the principles of creation of this instrument, data to assess the two versions of the instrument: the international version and the Brazilian version. Results showed that there are four issues present in the Brazilian version that are not available in the international version. One of these four questions is directly related to the underlying conceptual evolution of disability: accessibility and autonomy. Based on the investigated documentation, it is possible to argue that the absence of this question in the international version suggests distancing from the initial goal. In conclusion, the difference between the Brazilian version and the international version of WHOQOL-DIS is the loss, in the latter, of what the most important is in such an instrument: the valuation of what is meaningful to the audience to whom the instrument is designed.

KEYWORDS: Special Education; Quality of life; Autonomy; People with Disabilities; Assessment Instruments

1 INTRODUÇÃO

A década de 1970 registrou avanços significativos em torno dos direitos e da igualdade de condições das pessoas com deficiência (PCD). Assinala, também, a evolução conceitual dos debates sobre deficiência, sobretudo aqueles impulsionados pela The Union of the Physically Impaired Against Segregation (UPIAS) (UPIAS, 1975, 1981; UPIAS; ALLIANCE, 1997), constituindo-se uma forma de lastro para a evolução de estudos direcionados a essa população. Entre os estudos, os destinados a avaliação da qualidade de vida (QV) desenvolvidos pela Organização Mundial da Saúde (OMS) (POWER; GREEN, 2010; THE-WHOQOLDIS-GROUP, 2011).

Na história recente de estruturação de uma área de atenção às PCD, a UPIAS caracteriza-se como uma referência significativa. O foco dessa Organização era a luta contra a segregação das PCD, e não apenas a defesa da "Integração", que já era bastante defendida na época (GMCDP, 2010). Foi uma das primeiras organizações de PCD com objetivos eminentemente políticos, e não apenas assistenciais, como era o caso das instituições para PCD anteriormente criadas (UPIAS, 1975; UPIAS; ALLIANCE, 1997; MEDEIROS; DINIZ, 2004). Outro fato bastante peculiar da UPIAS é que era composta por PCD, o que lhe creditava conhecimento de causa a respeito das necessidades e anseios daqueles a quem representava (GMCDP, 2010).

A UPIAS coloca em curso outra interpretação a respeito da deficiência, a qual evidencia o papel da acessibilidade para a efetivação, ou não, da deficiência. Tal visão é uma releitura do contexto da deficiência, com a qual entra em cena o modelo social da deficiência, que amparado em políticas de bem-estar e de justiça social, reforça o entendimento de que a tradicional explicação para a deficiência - pelo modelo biomédico - já não é mais suficiente. A base teórica do referido modelo supõe que a deficiência não surge puramente do indivíduo e de sua limitação física, mas da resultante da interação entre as características corporais do indivíduo e as condições da sociedade em que vive, ou seja, da combinação das limitações impostas pelo corpo - resultado de algum tipo de perda ou redução de funcionalidade - e da organização social pouco sensível à diversidade corporal (UPIAS, 1975, 1981; MEDEIROS; DINIZ, 2004).

Para evidenciar este contexto, a UPIAS oferece, a partir da visão/sensação das PCD, a conceituação de dois termos: imparidade "ausência parcial ou total de um membro, órgão ou existência de um mecanismo corporal defeituoso"; e deficiência "desvantagem ou restrição de atividade provocada pela organização social contemporânea que pouco ou nada considera aqueles que possuem limitações físicas e, portanto, os exclui da participação das principais atividades da vida social" (UPIAS, 1975, p.14; UPIAS, 1981, p.4).

Essa mudança em relação à percepção da deficiência e, consequentemente, do modelo conceitual da deficiência, provocou reestruturações sociais e de base teórica. Entre as reestruturações encaminhadas está a elaboração e, subsequentemente, reformulação da Internacional Classification of impairments, disabilities, and handicaps: a manual of classification relating to the consequences of disease (ICIDH).

A ICIDH, elaborada pela OMS em 1976, foi concebida para ser um manual de classificação das deficiências. O instrumento trouxe contribuições significativas, apesar de que ainda reforçava o enfoque biomédico de compreensão da deficiência, fundamentado na ideia de que a incapacidade/desabilidade é o resultado direto da doença ou desordem. Tal fato resultou em críticas a essa classificação, amparadas no fato de que: estabelecia uma relação causal e unidirecional entre imparidade, deficiência e desvantagem; centrava-se nas limitações da pessoa (enquanto situações intrínsecas) e apenas em seus aspectos negativos; não contemplava o papel determinante dos fatores ambientais e sociais (FARIAS; BUCHALLA, 2005; ZOLA, 2005; MÂNGIA; MURAMOTO; LANCMAN, 2008).

Tais críticas evidenciaram a descontextualização da ICIDH em relação ao modelo social da deficiência. Frente a este fato, a OMS, em 2001, revisou a ICIDH - que passou a ser chamada de "preliminar" -, e a partir dessa revisão, elaborou um novo documento, denominado International Classification of Functioning, Disability and Health (ICF), também chamada, pela OMS, de ICIDH2. Com a ICF, a OMS busca adequar-se efetivamente à perspectiva do modelo social da deficiência (WHO, 2001; MEDEIROS; DINIZ, 2004).

A ICF adota como base conceitual o modelo biopsicossocial, uma síntese do modelo médico e das abordagens sociais da deficiência (BICKENBACH et al., 1999; FARIAS; BUCHALLA, 2005; MÂNGIA; MURAMOTO; LANCMAN, 2008). Nesse modelo, cada dimensão da deficiência é conceituada a partir da interação entre as características intrínsecas do indivíduo e os seus ambientes físico e social, aos quais é creditado papel fundamental na efetivação da deficiência. Nessa nova organização são consideradas duas esferas: Funcionalidades e Deficiências (dividida em "Funções e Estruturas do Corpo" e "Atividades e Participação"); e Fatores Contextuais (dividida em "Fatores Ambientais" e "Fatores Pessoais") (WHO, 2001).

Após a adequação conceitual da ICIDH, a OMS também percebe a necessidade da adequação dos instrumentos de avaliação da QV direcionados para as PCD. Frente a tal constatação, se lança ao desafio de elaborar um instrumento pautado em tais encaminhamentos conceituais (POWER; GREEN, 2010; THE-WHOQOL-DIS-GROUP, 2011). De tal encaminhamento teórico surge o WHOQOL-DIS, instrumento de avaliação da QV diretamente direcionado às PCD.

Atualmente, existem duas versões do WHOQOL-DIS: a versão internacional e a versão brasileira. A diferença das duas versões é a existência de um módulo adicional na versão brasileira, chamado de módulo local, composto de quatro questões. Considerando essas versões, o objetivo do presente estudo é analisar a adequação do WHOQOL-DIS aos princípios que determinaram a sua construção.

2 A AVALIAÇÃO DA QUALIDADE DE VIDA DE PESSOAS COM DEFICIÊNCIA

Pouco antes da OMS elaborar o ICIDH2, em 2001, a organização se dedicou ao estudo da QV. A partir desses estudos, foram construídos instrumentos genéricos para a avaliação da QV: o WHOQOL-100 e o WHOQOL-bref (WHOQOL-GROUP, 1995, 1998; WHOQOL, 1996; FLECK et al., 1999a; FLECK et al., 1999b; FLECK, 2000; FLECK et al., 2000). A OMS também elaborou um conceito sobre QV, definindo-a como "a percepção do indivíduo de sua condição na vida, frente ao contexto da cultura e sistema de valores em que vive e em relação aos seus objetivos, expectativas, padrões e preocupações". É um conceito ainda aferido pela condição pessoal de saúde física, estado psicológico, nível de independência, relações sociais, crenças e relação com as características de seu ambiente (WHO, 1997, p.2).

Essa definição indica a valorização de indicadores sociais subjetivos.

Os indicadores sociais subjetivos são baseados na percepção e avaliação individual das condições sociais. A satisfação é o foco desses indicadores: a satisfação no trabalho, a satisfação com a vida, a satisfação com a sua condição. São postos em relevância os domínios relacionados à vida, ao modo de vida, à percepção de justiça distributiva, à percepção de classe. As pesquisas nesta linha buscam a mensuração do bem-estar: o bem estar subjetivo.

Os mais importantes indicadores de bem-estar subjetivo são os índices de satisfação e felicidade (CAMPBELL; CONVERSE; RODGERS, 1976; NOLL, 1996). E o bem-estar é percebido pelos sujeitos, de forma individual, e pode ser melhor julgado por estes. Para Campbell (1972), a QV deve ser considerada a partir do olhar do indivíduo, é nesse olhar que se deve buscar formas de avaliá-la.

A literatura registra ampla utilização de instrumentos genéricos para a avaliação da QV de PCD, como por exemplo, o Medical Outcomes Studies 36- item Short-Form (SF-36), o Índice de Qualidade de Vida de Ferrans e Powerse e os instrumentos da OMS: o WHOQOL-100 e o WHOQOL-bref. Esses instrumentos são aplicados tanto de forma única como associados a outros instrumentos mais específicos (DANTAS; SAWADA; MALERBO, 2003).

Os instrumentos genéricos são desenvolvidos para possibilitar a sua utilização para qualquer população (CAMPOLINA; CICONELLI, 2006; LOPES; CICONELLI; REIS, 2007). Contudo, cabe destacar que a avaliação da QV de PCD envolve particularidades relativas à participação e à autonomia (VOS et al., 2010; OPPEWAL et al., 2014; DEROCHE et al., 2015).

Em estudo sobre avaliações da Qualidade de Vida Relacionada à Saúde (QVRS) das PCD, Andresen e Meyers (2000) relatam alguns problemas de ordem de adequação. O desafio está na adequação da avaliação da QVRS ao mais novo modelo da OMS para a deficiência, a ICF. Para os autores, as muitas avaliações da QVRS não deveriam apenas conter perguntas sobre autocuidado, mas, estruturar as respostas a estas perguntas de forma a conter a imparidade (funcionamento físico a nível corporal), o efeito do ambiente pessoal (uma casa com boas condições para banho e higiene pessoal) e participação em eventos sociais (mais fácil, ou mais difícil, em razão de fatores ambientais).

A utilização de instrumentos genéricos para a avaliação da QV de PCD não alcança domínios específicos da vida dessas pessoas, os quais poderiam acrescentar maior eficiência aos instrumentos ao avaliarem a QV das mesmas (POWER; GREEN, 2010; POWER; GREEN; GROUP, 2010; LUCAS-CARRASCO et al., 2011).

Objetivando alcançar essa especificidade e maior eficiência, a OMS deu início ao Projeto DIS-QOL (Qualidade da Assistência e Qualidade de Vida das Pessoas com Deficiências Intelectuais e Físicas: Integração, Inclusão Social e Participação do Usuário de Serviços) destinado a desenvolver um instrumento com melhor adequação à avaliação da QV das PCD (POWER; GREEN, 2010; THE-WHOQOL-DIS-GROUP, 2011). A base de sustentação deste projeto configura-se na atenção da OMS em adequar seus instrumentos de avaliação da QV à estrutura conceitual das deficiências estabelecida pela ICF (POWER; GREEN, 2010; POWER; GREEN; GROUP, 2010).

3 METODOLOGIA

O presente estudo é de natureza quali-quantitativa. O delineamento é direcionado à análise da adequação do WHOQOL-DIS à releitura conceitual da OMS a respeito da deficiência, a qual resultou na criação desse instrumento.

Para o desenvolvimento do estudo foram interpretados, primeiramente, os documentos que oferecem as diretrizes teóricas que justificam o interesse da OMS na construção do WHOQOL-DIS. Esse conjunto de documentos é composto por três textos da UPIAS (Fundamental Principles of Disability, Discuss Fundamental Principles of Disability e Disability Challenge) e a ICF.

Para a análise de conteúdo adotou-se critérios quantitativos e qualitativos. Quantitativamente, buscou-se a frequência de aparição de temos pertinentes ao objeto em estudo (BARDIN, 2002). Qualitativamente, verificou-se a equivalência dos termos e a associação dos mesmos a um tema identificado como central (BARDIN, 2002).

Para o tratamento documental o procedimento obedeceu aos critérios e cuidados apontados por Smit (1986, p.12) "[...] reunir e organizar para achar". De modo geral, a tarefa é atinente ao tratamento temático da informação, que por sua vez, diz respeito à análise, detalhamento e organização do conteúdo dos documentos, bem como de suas interfaces com as teorias de suporte.

O tratamento temático dos documentos permitiu a elaboração de um quadro de referência. Com esse quadro de referência observou-se os temas centrais presentes no referencial teórico de suporte da OMS para a elaboração do WHOQOL-DIS, o que permitiu a eleição de dois eixos temáticos: participação e autonomia.

A partir dos eixos participação e autonomia foi encaminhado o segundo momento desse estudo: a análise das versões internacional e brasileira do WHOQOL-DIS. Nessa etapa, os domínios e facetas dos referidos instrumentos, assim como cada uma de suas questões, foram examinados com o intuito de verificar a adequação dos instrumentos aos princípios que motivaram sua construção, os quais se baseiam na relevância da participação e da autonomia para vida das PCD.

4 RESULTADOS

4.1 ANÁLISE DE CONTEÚDO DAS DIRETRIZES TEÓRICAS QUE JUSTIFICAM O INTERESSE DA OMS NA CONSTRUÇÃO DO WHOQOL-DIS

A partir da análise de conteúdo dos documentos investigados chegou-se à identificação de dois temas centrais: "Participação" e "Autonomia". Nas Tabelas 1 e 2, o termo empregado é "Participação Ativa". O fato ocorre em razão de ser esse o contexto abordado nos textos da UPIAS. Na ICF, o contexto de utilização do termo é de "Participação", em suas diferentes dimensões e possibilidades. Em essência, os conceitos são associativos. Contudo, a opção foi por manter a originalidade do termo empregado.

Tabela 1
Categorias ligadas à participação ativa presentes nos textos da UPIAS.
Tabela 2
Categorias ligadas à autonomia presentes nos textos da UPIAS.

T2 - Texto Fundamental Principles of Disability

T3 - Texto Disability Challenge

FT - Frequência em que aparecem todos os componentes de cada categoria nos três textos analisados

A Tabela 1 apresenta as categorias associadas ao tema "Participação Ativa" e seus respectivos termos equivalentes, identificados na tabela como componentes. Os dados dessa tabela foram elaborados com a análise de conteúdo realizada nos três textos da UPIAS.

A Tabela 2 apresenta as categorias associadas ao tema "Autonomia" e seus respectivos termos equivalentes, identificados na tabela como componentes. Os dados dessa tabela foram elaborados com a análise de conteúdo realizada nos três textos da UPIAS.

O Gráfico 1 é resultado da junção das categorias associadas aos temas "Participação Ativa" e "Autonomia". A junção das categorias objetiva a elucidação de que nem as categorias e nem os temas são concorrentes e/ou excludentes. A identificação de ambos visa a interpretação da tendência teórica, que a título hipotético constitui-se em influência teórica.

Gráfico 1
Categorias ligadas à participação ativa e à autonomia presentes nos textos da UPIAS. Fonte: UPIAS

A Tabela 3 apresenta as categorias associadas aos temas "Participação" e "Autonomia" e seus respectivos termos equivalentes. Esses dados foram extraídos da análise de conteúdo realizada na ICF.

Tabela 3
Categorias ligadas à autonomia e à participação presentes no ICIDH2.

O Gráfico 2 expõe as categorias associadas aos temas "Participação" e "Autonomia" encontradas na ICF.

Gráfico 2
Categorias ligadas à participação e à autonomia presentes na ICF. Fonte: ICF

4.2 ANÁLISE DA ADEQUAÇÃO DO WHOQOL-DIS ÀS DIRETRIZES TEÓRICAS QUE MOTIVARAM A OMS NA SUA CONSTRUÇÃO

Em relação ao WHOQOL-DIS, inicialmente carregou o título de seu projeto: DISQOL. Para garantir a condição transcultural, o projeto DIS-QOL foi desenvolvido em centros de pesquisa espalhados por diferentes pontos do mundo5. O projeto foi liderado pela Universidade de Edimburgo, e cada centro realizou os mesmos componentes essenciais do projeto ao mesmo tempo (POWER; GREEN, 2010; POWER; GREEN; GROUP, 2010; POWER, 2011). O projeto DIS-QOL objetivou o desenvolvimento de um instrumento que permitisse avaliar a QV tanto das pessoas com deficiência física, quanto das pessoas com deficiência intelectual (POWER; GREEN, 2010; FANG et al., 2011; LUCAS-CARRASCO et al., 2011; THE-WHOQOL-DIS-GROUP, 2011).

O resultado final do trabalho proporcionou a elaboração de três versões: uma para pessoas com deficiência física (WHOQOL-DIS-PD), uma para pessoas com deficiência intelectual (WHOQOL-DIS-ID) e uma para os responsáveis e/ou cuidadores das pessoas com deficiência intelectual (WHOQOL-DIS-ID Proxy); para os casos em que as PCD não tenham condição de responder (THE-WHOQOL-DIS-GROUP, 2011).

A estrutura de domínios, facetas e conteúdo das questões representativas de cada faceta é a mesma para as três versões. Todas as três versões constituem-se em instrumentos caracterizados pela condição de módulo adicional ao WHOQOL-bref6. A estrutura desses módulos é composta por 13 facetas: uma que avalia, de modo geral, o impacto da deficiência na QV da população, e outras 12 subdivididas em três domínios (Quadro 1).

Quadro 1
Domínios e facetas do WHOQOL-DIS. Fonte: WHOQOL-Disabilities module manual (POWER; GREEN, 2010; THE-WHOQOL-DIS-GROUP,2011).

A diferença entre os três instrumentos ocorre em razão de pequenas adequações realizadas no WHOQOL-DIS-ID e no WHOQOL-DIS-ID Proxy. Essas adequações visaram a adaptação dos instrumentos às pessoas com deficiência intelectual e também aos seus cuidadores.

O instrumento WHOQOL-DIS-PD, direcionado às pessoas com deficiência física, segue a mesma estrutura de respostas verificadas nos instrumentos originais de avaliação da QV da OMS, para os quais é utilizado uma escala de Likert de 5 pontos. O WHOQOL-bref também permanece sem alteração para a aplicação a esse grupo.

Já para o instrumento WHOQOL-DIS-ID, destinado às pessoas com deficiência intelectual, a escala de Likert foi alterada de 5 para 3 pontos (POWER; GREEN, 2010; SCHMIDT et al., 2010; FANG et al., 2011; THE-WHOQOL-DIS-GROUP, 2011). As pesquisas que orientaram o Grupo DIS-QOL apontaram para o fato de que a escala de Likert com 5 pontos de resposta não se mostrava indicada para as deficiências intelectuais (FANG et al., 2011). Os estudos realizados mostraram, por exemplo, que as pessoas com baixo grau de alfabetização encontram dificuldade de entendimento dos 5 pontos de resposta da escala de Likert (WILLIAMS; SWANSON, 2001); que as pessoas com deficiência intelectual não têm condição de responder com eficácia a uma escala de cinco pontos (HARTLEY; MACLEAN JR, 2006); e que pessoas com baixo nível educacional não apresentam uma discriminação válida para a escala de respostas de cinco pontos do WHOQOL-bref (CHACHAMOVICH; FLECK; POWER, 2009).

Dessa forma, com base na análise desse conjunto de dados e também a partir do estudo piloto do WHOQOL-DIS, o Grupo chegou à conclusão de que uma estrutura de resposta com uma escala de 3 pontos é mais indicada para a pesquisa com pessoas com deficiência intelectual (POWER; GREEN, 2010; FANG et al., 2011).

Pelo mesmo motivo, o WHOQOL-bref, destinado a esse grupo, também foi alterado de 5 para 3 pontos em sua escala de resposta. Contudo, as questões representativas dos domínios gerais, tanto do WHOQOL-bref, quanto do WHOQOL-DIS-ID, permaneceram com escalas de 5 pontos (THE-WHOQOL-DIS-GROUP, 2011).

Para o instrumento WHOQOL-DIS-ID Proxy, voltado para os responsáveis e/ou cuidadores das pessoas com deficiência intelectual, a escala de Likert não foi alterada, permanecendo com 5 pontos. As questões foram formuladas de forma a se referir ao indivíduo com deficiência. O mesmo ocorreu com o WHOQOL-bref. O conteúdo das questões de ambos os instrumentos permanece o mesmo (SCHMIDT et al., 2010; THE-WHOQOL-DIS-GROUP, 2011).

Para a aplicação ao grupo de pessoas com deficiência intelectual e ao grupo dos cuidadores, o WHOQOL-bref sofreu alteração em sua estrutura, mas não de conteúdo. As questões desse instrumento foram simplificadas, e alguns exemplos foram acrescentados de forma a facilitar o entendimento de ambos os grupos. As novas versões do WHOQOL-bref foram denominadas, respectivamente, WHOQOL-bref-ID e WHOQOL-bref-ID Proxy (THEWHOQOL-DIS-GROUP, 2011).

As escalas de respostas do WHOQOL-DIS também receberam ilustrações. As ilustrações são faces que representam expressões de satisfação e estão presentes nos três módulos (POWER; GREEN, 2010). Para o instrumento WHOQOL-DIS-PD as faces de expressão estão presentes apenas no módulo adicional, não fazendo parte, portanto, do instrumento WHOQOL-bref. No instrumento WHOQOL-DIS-ID e no instrumento WHOQOL-DISID Proxy as faces de expressão estão presentes tanto no módulo quanto no WHOQOL-bref.

O Quadro 2 mostra um exemplo da inserção das faces de expressão para o instrumento WHOQOL-DIS-PD, em que são usadas as escalas de 5 pontos.

Quadro 2
Ilustrações para as escalas de respostas de 5 pontos no WHOQOL-DIS-PD. Fonte: WHOQOL-Disabilities module manual (POWER; GREEN, 2010; THE-WHOQOL-DIS-GROUP, 2011).

O Quadro 3 apresenta um exemplo da inserção das faces de expressão para o instrumento WHOQOL-DIS-ID Proxy - para o qual também é utilizada a escala de 5 pontos - e também da alteração da forma como é apresentada a questão em referência às PCD.

Quadro 3
Ilustrações para as escalas de respostas de 5 pontos no WHOQOL-DIS-ID Proxy. Fonte: WHOQOL-Disabilities module manual (POWER; GREEN, 2010; THE-WHOQOL-DIS-GROUP, 2011).

O Quadro 4 apresenta um exemplo da inserção das faces de expressão para o instrumento WHOQOL-DIS-ID, para o qual é empregada a escala de 3 pontos.

Quadro 4
Ilustrações para as escalas de respostas de 3 pontos WHOQOL-DIS-ID Fonte: WHOQOL-Disabilities module manual (POWER; GREEN, 2010; THE-WHOQOL-DIS-GROUP, 2011).

As questões representativas de cada faceta do WHOQOL-DIS estão dispostas no Quadro 5. A exemplo do WHOQOL-bref esse módulo é constituído de uma questão para cada faceta. Há uma diferença, no entanto, em relação à representação da faceta de ordem geral, na qual, para o WHOQOL-bref existem duas questões, e para o módulo WHOQOL-DIS apenas uma questão.

Quadro 5
Facetas e questões do WHOQOL-DIS. Fonte: WHOQOL-Disabilities module manual (POWER; GREEN, 2010; THE-WHOQOL-DIS-GROUP, 2011).

A estrutura apresentada até aqui é a mesma para a "Versão Internacional" e para a "Versão Brasileira". Esta última, no entanto, é acrescida de um conjunto de questões, que constituem o denominado "módulo local" (Quadro 6 e Quadro 7).

Quadro 6
Questões da Versão Brasileira do WHOQOL-DIS. Fonte: Versão do Centro de Pesquisa de Porto Alegre, Brasil (BREDEMEIER et al., 2014)

Quadro 7
Questões da Versão Teste de Campo Brasileira do WHOQOL-DIS. Fonte: Versão teste de campo do Centro de Pesquisa de Porto Alegre.

O acréscimo desse módulo local, de acordo com o grupo responsável pelo desenvolvimento do instrumento no Brasil, ocorreu em razão da busca por um retrato mais adequado da realidade das PCD no Brasil (BREDEMEIER et al., 2014). O módulo local, presente na Versão Teste de Campo brasileira, é composto de "cinco itens locais: 'adaptações ambientais para limitações', 'barreiras físicas', 'oportunidades de emprego', 'oportunidades de estudo' e 'alimentar'" (BREDEMEIER et al., 2014, p.3).

Contudo, o item "barreiras físicas" (Quadro 7) não aparece no módulo local do artigo de validação da versão brasileira publicado pelo grupo responsável pelo desenvolvimento do instrumento no Brasil (BREDEMEIER et al., 2014). No referido artigo, esse módulo local está constituído por apenas quatro itens (Quadro 6).

Mas, está presente na Versão Teste de Campo brasileira, utilizada em estudos de teses de doutorado vinculados ao grupo responsável pelo desenvolvimento do instrumento no Brasil (CHAVIEIRO, 2011; BREDEMEIER, 2013).

As análises realizadas pelo grupo responsável pelo desenvolvimento do instrumento foram baseadas em métodos psicométricos clássicos e foram conduzidas de forma independente para as duas amostras do estudo: PD e ID. Foram utilizados os testes de Shapiro-Wilk e de Kolmogorov-Smirnov para avaliar a normalidade de distribuição. Utilizou-se os intervalos de confiança de 95% (BREDEMEIER et al., 2014).

A validade foi baseada nas respostas às perguntas: "Você está atualmente doente ou com problemas de saúde?"; e "Você tem uma deficiência [comprometimento ou limitação]?". As respostas "Sim" ou "Não" para a primeira pergunta resultaram na "percepção da saúde" variável. E as respostas "Sim" ou "Não" para a última questão resultaram na "percepção de deficiência" variável (BREDEMEIER et al., 2014).

As variáveis foram analisadas em relação aos domínios do WHOQOL-DIS por meio de Student t-teste para amostras independentes, se normalmente distribuídos, ou o teste de Mann-Whitney U, em caso contrário. Para as duas subamostras foram realizadas a análise fatorial exploratória (BREDEMEIER et al., 2014).

Para a evidência de validade de critério foi utilizado o Student t-teste para amostras independentes (para variáveis de distribuição normal) ou o teste de Mann-Whitney U (para variáveis com uma distribuição assimétrica) (BREDEMEIER et al., 2014).

Para obter provas de confiabilidade para as escalas de instrumentos e subescalas foi calculado o Alpha de Cronbach. Na subamostra ID, a confiabilidade teste-reteste foi analisada por meio do coeficiente de correlação intraclasse (ICC, as medidas de média, de duas vias aleatórias) e de Student t-teste para amostras pareadas (médias de domínio) (BREDEMEIER et al., 2014).

5 DISCUSSÃO

O tema "participação ativa" (Tabela 1) é amplamente debatido nos textos que refletem o foco de interesse dessa Organização. O tema diz respeito à plena participação social das PCD. Essa participação ativa envolve desde atividades de desenvolvimento pessoal, como decisões sobre aquilo que lhe diz respeito, e estudo, até atividades laborais para o auto-sustento. O tema autonomia (Tabela 2) é igualmente debatido. Este tema está vinculado à independência, e diz respeito à estruturação de um ambiente que permita tal condição. Essa estruturação envolve adaptações para a minimização das barreiras, tanto a nível residencial, quanto a tudo que diz respeito ao convívio social.

Assim como as categorias que compuseram os dois eixos temáticos, os eixos não concorrem entre si. Esses temas se complementam, e em conjunto refletem o interesse e objetivos da UPIAS e das PCD. Esses objetivos estão representados no modelo social da deficiência, que simboliza o interesse desse movimento: uma sociedade mais sensível às diferenças e que universalize a condição de participação. No modelo social da deficiência o contexto social tem grande influência na experiência da deficiência.

A análise de dados da ICF mostra que esta, após a reformulação realizada pela OMS, absorveu as ideias contidas no modelo social da deficiência. Na ICF também foram encontradas categorias que justificam a eleição dos mesmos eixos temáticos (Tabela 3). Na ICF, no entanto, não foi atribuído o termo participação ativa ao respectivo eixo temático, e sim, apenas "participação". Essa diferença se dá em relação aos objetivos distintos dos documentos. O Objetivo da UPIAS é de ação política, envolvendo, inclusive, e talvez caiba dizer "sobretudo", condições políticas para o acesso ao trabalho e auto-sustento (UPIAS, 1975, 1981; UPIAS; ALLIANCE, 1997; GMCDP, 2010). Nessa esfera, o termo participação ativa espelha melhor a intenção em curso. O foco da ICF, por sua vez, está na funcionalidade e restrições relativas ao corpo (WHO, 2001). A ICF apresenta dois grandes focos de avaliação: componentes da funcionalidade e deficiência, representados pela funcionalidade do corpo e pela participação e desenvolvimento de atividades; e fatores contextuais, representados por fatores ambientais e fatores pessoais. A análise desses focos de avaliação da ICF mostra a relevância dada pela OMS para os temas autonomia e participação.

Tais dados reforçam o entendimento de que a OMS adequou a ICF ao modelo social da deficiência. Subsequentemente é preciso avaliar se o WHOQOL-DIS atinge o objetivo de ser um instrumento adequado às bases teóricas da ICF e, consequentemente, do modelo biopsicossocial da deficiência.

O Grupo DIS-QOL previa que o WHOQOL-DIS teria impacto significativo devido às vantagens psicométricas de avaliação transcultural e à ampla possibilidade de uso desse instrumento. A perspectiva do Grupo é que o instrumento possa ser usado para a avaliação de diferentes abordagens para o bem estar das PCD, considerando questões sociais e de saúde (POWER, 2011).

O módulo adicional WHOQOL-DIS, de fato, acrescentou especificidade ao contexto da avaliação da QV das PCD. A abordagem específica, como resultado da valoração do impacto da deficiência, da discriminação, da autonomia e da inclusão na QV dessas pessoas confere legitimidade à expectativa do Grupo DIS-QOL. As propriedades psicométricas do instrumento também oferecem provas de sua validade e confiabilidade. Essas provas são representadas pela validade de constructo, realizada por meio de análise fatorial, da consistência interna (alfa de Cronbach), e de teste de hipóteses (grupos de critério); pela validade de critério, realizada por meio de validade concorrente e discriminante; e confiabilidade teste-reteste (BREDEMEIER et al., 2014).

A análise em foco, no entanto, é de adequação ao constructo teórico de suporte. E neste caso, a atenção aos temas participação e autonomia infere relevância e fator de ajustamento aos instrumentos destinados à avaliação da QV de PCD.

Em relação ao tema participação, as questões 34 à 39 dão estrutura ao tema. Essas seis questões, cada uma com sua especificidade, oferecem a condição da avaliação da sensação de participação das PCD.

Em relação ao tema autonomia, as questões 31, 32 e 33 são representativas para essa faceta. Essas questões, no entanto, interrogam o indivíduo sobre a sua autonomia nas grandes decisões referentes a sua vida, como, por exemplo, se ele decide onde mora, como se alimenta ou como gasta o seu dinheiro. A autonomia abordada em tais questões não traz nenhuma inferência à autonomia relativa à condição de ir e vir, ou de realizar as atividades do dia a dia, o que, de certa forma, está relacionada à acessibilidade.

As questões 41 e 44 - presentes apenas na versão brasileira (Quadro 6) e (Quadro 7) - oferecem relação direta com a autonomia relativa à acessibilidade. Essa esfera, não obstante, é representativa de domínios significativos para a QV das PCD (ANDRESEN; MEYERS, 2000; POWER; GREEN, 2010; POWER; GREEN; GROUP, 2010; LUCAS-CARRASCO et al., 2011). E, de certa forma, essa autonomia também está relacionada à condição de participação, pois, sem a condição para o acesso a participação fica comprometida.

Tal contexto permite questionar sobre o fato das duas questões, que se mostram pertinentes à adequação do instrumento à ICF, não fazerem parte da versão internacional. As referidas questões dão atenção particular ao que é defendido no modelo social da deficiência, ou seja, que as deficiências do corpo, ou nível de funcionalidade, se estabelecem mediante a influência do meio em que a pessoa está inserida (UPIAS, 1975, 1981; FARIAS; BUCHALLA, 2005; ZOLA, 2005; MÂNGIA; MURAMOTO; LANCMAN, 2008). Cabe aqui resgatar que essa leitura da deficiência influenciou a OMS na elaboração da ICF (POWER; GREEN, 2010; POWER; GREEN; GROUP, 2010; THE-WHOQOL-DIS-GROUP, 2011).

A deficiência é caracterizada como uma interação entre as características intrínsecas do indivíduo e o seu ambiente físico e social (BICKENBACH et al., 1999; WHO, 2001). Dessa forma, as duas questões - em referência direta à autonomia e à acessibilidade - emprestariam a visão das PCD sobre a influência do ambiente em sua QV. Tal fato justifica lembrar que o bem-estar é percebido pelos sujeitos, de forma individual, e pode ser melhor julgado por estes (CAMPBELL, 1972). A QV, portanto, deve ser considerada a partir do olhar do indivíduo; e é com base neste fator que se deve buscar formas de avaliá-la (CAMPBELL; CONVERSE, 1972).

Cabe ainda resgatar que em publicação do grupo responsável pelo desenvolvimento do WHOQOL-DIS no Brasil, a questão referente ao item "barreiras físicas" (Quadro 7) não está presente (BREDEMEIER et al., 2014). Tal fato pode ter sido um erro na construção da tabela que contém as questões do módulo WHOQOL-DIS. Essa suposição se dá em razão de dois motivos: primeiro, o item é mencionado na referida publicação; e segundo, a existência de estudos, ligados ao Grupo do Brasil (CHAVIEIRO, 2011; FREITAS, 2011; BREDEMEIER, 2013), que contém a referida questão - a questão está presente, inclusive, no material da tese de doutorado da primeira autora da referida publicação (BREDEMEIER, 2013).

6 CONCLUSÃO

A versão internacional do instrumento WHOQOL-DIS, ao não contemplar as questões 41 e 44, que por sua estrutura, estão diretamente relacionadas ao conceito teórico que levou a OMS a sua construção, resulta em menor adequação desse instrumento à ICF e ao modelo psicossocial da deficiência.

Essas questões inferem sobre a influência do ambiente no dia a dia das PCD, e, dessa forma, dizem respeito à autonomia e à acessibilidade. A não inclusão dessas questões desconsidera o fato da acessibilidade e da autonomia estarem conceitualmente relacionadas à efetivação ou não da deficiência. Não é sem motivo que a menção a esses dois componentes é significativa tanto nos documentos da UPUIAS, quanto na ICF. Tal conjunto de fatos induz ao entendimento de que essas duas questões acrescentariam maior proximidade desse instrumento ao conceito e objetivo que o fizeram acontecer.

A presença de questões representativas da autonomia, configurada na condição de acesso, credita à estrutura do WHOQOL-DIS disponibilizada na versão brasileira uma configuração mais adequada aos pressupostos teóricos de sua criação.

Ainda que questões referentes à acessibilidade estejam amplamente resolvidas em países desenvolvidos, um instrumento de avaliação da QV não deve conter, em sua estrutura, questões referentes apenas àquilo que, presumidamente, é falho na vida de seu público alvo. Dessa forma, ainda que a acessibilidade não se configure em problema em tais países, a presença de questões direcionadas a esse tema dariam mostra do quanto tal condição é significativa - na sua forma positiva - para a QV dessa população.

REFERÊNCIAS

  • ANDRESEN, E. M.; MEYERS, A. R. Health-related quality of life outcomes measures. Archives of Physical Medicine and Rehabilitation, v.81, n.Supplement 2, p.S30-S45, 2000.
  • BARDIN, L. Análise de Conteúdo Lisboa: Edições 70, 2002.
  • BICKENBACH, J. E. et al. Models of disablement, universalism and the international classification of impairments, disabilities and handicaps. Social Science & Medicine, v.48, n.9, p.1173-1187, 1999.
  • BREDEMEIER, J. Qualidade de vida, qualidade de cuidado e atitudes frente a incapacidades em pessoas com incapacidades físicas e intelectuais 2013. 257f. Tese (Doutorado) - Faculdade de Medicina, Universidade Federal do Rio Grande do Sul, Porto Alegre, 2013.
  • BREDEMEIER, J. et al. The World Health Organization Quality of Life instrument for people with intellectual and physical disabilities (WHOQOL-Dis): evidence of validity of the Brazilian version. BMC Public Health, v.14, n.1, p.538, 2014.
  • CAMPBELL, A. Aspiration, Satisfaction, and Fulfillment. In: CAMPBELL, A.; CONVERSE, P. E. (Org.). The human meaning of social change 1.ed. New York: Russell Sage Foundation, 1972. p.441-466.
  • CAMPBELL, A.; CONVERSE, P. E. The human meaning of social change 1.ed. New York: Russell Sage Foundation, 1972.
  • CAMPBELL, A.; CONVERSE, P. E.; RODGERS, W. L. The quality of American life: perceptions, evaluations, and satisfactions. 1.ed. New York: Russell Sage Foundation, 1976.
  • CAMPOLINA, A. G.; CICONELLI, R. M. Qualidade de vida e medidas de utilidade: parâmetros clínicos para as tomadas de decisão em saúde. Revista Panamericana de Salud Pública, v.19, n.2, p.128-136, 2006.
  • CHACHAMOVICH, E.; FLECK, M. P.; POWER, M. Literacy affected ability to adequately discriminate among categories in multipoint Likert Scales. J Clin Epidemiol, v.62, n.1, p.37-46, 2009.
  • CHAVIEIRO, N. Qualidade de vida das pessoas surdas que se comunicam pela língua de sinais: construção da versão em libras dos instrumentos WHOQOL-BREF e WHOQOL-DIS. 2011. 252f. Tese (Doutorado em Ciências da Saúde), Universidade Federal de Goiás, Goiás, 2011.
  • DANTAS, R. A. S.; SAWADA, N. O.; MALERBO, M. B. Pesquisas sobre qualidade de vida: revisão da produção científica das universidades públicas do Estado de São Paulo. Revista Latino-Americana de Enfermagem, v.11, n.4, p.532-538, 2003.
  • DEROCHE, C. B. et al. Development of a tool to describe overall health, social independence and activity limitation of adolescents and young adults with disability. Research in Developmental Disabilities, v.38, n.1, p.288-300, 2015.
  • FANG, J. et al. The response scale for the intellectual disability module of the WHOQOL: 5-point or 3-point? Journal of Intellectual Disability Research, v.55, n.6, p.537-549, 2011.
  • FARIAS, N.; BUCHALLA, C. M. A classificação internacional de funcionalidade, incapacidade e saúde da organização mundial da saúde: conceitos, usos e perspectivas. Revista Brasileira de Epidemiologia, v. 8, n.2, p. 187-193, 2005.
  • FLECK, M. P. A. O instrumento de avaliação de qualidade de vida da Organização Mundial da Saúde (WHOQOL-100): características e perspectivas. Ciência & Saúde Coletiva, v.5, n.1, p.33-38, 2000.
  • FLECK, M. P. A. et al. Desenvolvimento da versão em português do instrumento de avaliação de qualidade de vida da OMS (WHOQOL-100). Revista Brasileira de Psiquiatria, v.21, n.1, p.19-28, 1999a.
  • FLECK, M. P. A. et al. Aplicação da versão em português do instrumento de avaliação de qualidade de vida da Organização Mundial da Saúde (WHOQOL-100). Revista de Saúde Pública, v.33, n.2, p.198-205, 1999b.
  • FLECK, M. P. A. et al. Aplicação da versão em português do instrumento abreviado de avaliação da qualidade de vida "WHOQOL-bref". Revista de Saúde Pública, v.34, n.2, p.178-183, 2000.
  • FREITAS, A. R. D. Análise por grupos focais do Instrumento para Avaliação da Qualidade de Vida de Pessoas com Deficiências Intelectuais e Físicas (WHOQOL-DIS) traduzido para a língua brasileira de sinais 2011. 138f. Dissertação (Mestrado em Ciências da Saúde) - Faculdade de Medicina, Universidade Federal de Goiás, Goiânia, 2011.
  • GMCDP. UPIAS (The Union of the Physically Impaired Against Segregation). Greater Manchester Coalition of Disabled People, Manchester, 2010. Disponível em: <http://gmcdp.com/our-history>. Acesso em: 27 jul. 2012.
    » http://gmcdp.com/our-history
  • HARTLEY, S. L.; MACLEAN JR, W. E. A review of the reliability and validity of Likert-type scales for people with intellectual disability. J Intellect Disabil Res, v.50, n.11, p.813-827, 2006.
  • LOPES, A. D.; CICONELLI, R. M.; REIS, F. B. D. Medidas de avaliação de qualidade de vida e estados de saúde em ortopedia. Revista Brasileira de Ortopedia, v.42, n.11-12, p.355-359, 2007.
  • LUCAS-CARRASCO, R. et al. The Quality of Care and Support (QOCS) for people with disability scale: development and psychometric properties. Research in Developmental Disabilities, v.32, n.3, p.1212-1225, 2011.
  • MÂNGIA, E. F.; MURAMOTO, M. T.; LANCMAN, S. Classificação Internacional de Funcionalidade e Incapacidade e Saúde (CIF): processo de elaboração e debate sobre a questão da incapacidade. Revista de Terapia Ocupacional da Universidade de São Paulo, v.19, n.2, p.121-130, 2008.
  • MEDEIROS, M.; DINIZ, D. Envelhecimento e deficiência. In: CAMARANO, A. A. (Org.). Os novos idosos brasileiros: muito além dos 60? Rio de Janeiro: IPEA, 2004. p.107-120.
  • NOLL, H. Social Indicators and Social Reporting -The international Experience. In: Canadian Council on Social Development: Symposium on Measuring Well-being and Social Indicators. 1996, Ottawa. Anais... Ontário: Canadian Council on Social Development, p. 2.
  • OPPEWAL, A. et al. Physical fitness is predictive for a decline in daily functioning in older adults with intellectual disabilities: results of the HA-ID study. Research in developmental disabilities, v.35, n.10, p.2299-2315, 2014.
  • POWER, M. Final Report Summary - DIS-QOL (Quality of care and quality of life for people with intellectual and physical disabilities). The University of Edinburgh, Edinburgh, 2011. Disponível em: <http://cordis.europa.eu/search/index.cfm?fuseaction=result.document&RS_LANG=EN&RS_RCN=12949207&q=>. Acesso em: 11 ago. 2012.
    » http://cordis.europa.eu/search/index.cfm?fuseaction=result.document&RS_LANG=EN&RS_RCN=12949207&q=
  • POWER, M. J.; GREEN, A. M. Development of the WHOQOL disabilities module. Qual Life Res, v.19, n.4, p. 571-584, 2010.
  • POWER, M. J.; GREEN, A. M.; GROUP, T. W. D. The Attitudes to Disability Scale (ADS): development and psychometric properties. Journal of Intellectual Disability Research, v.54, n.9, p.860-874, 2010.
  • SCHMIDT, S. et al. Self and proxy rating of quality of life in adults with intellectual disabilities: Results from the DISQOL study. Research in Developmental Disabilities, v.31, n.5, p.1015-1026, 2010.
  • SMIT, J. W. O que é documentação 1.ed. São Paulo: Brasiliense, 1986.
  • THE-WHOQOL-DIS-GROUP. WHOQOL-Disabilities module manual Geneva: World Health Organization, 2011.
  • UPIAS. Fundamental principles of disability. ed., London: Union of the Physically Impaired Against Segregation, 1975.
  • UPIAS. Disability Challenge London: Union of The Physically Impaired Against Segregation, 1981.
  • UPIAS; ALLIANCE, T. D. Discuss Fundamental Principles of Disabillity London: Union of the Physically Impaired Against Segregation & The Disability Alliance, 1997.
  • VOS, P. et al. What makes them feel like they do? Investigating the subjective well-being in people with severe and profound disabilities. Research in developmental disabilities, v.31, n 6, p.1623-1632, 2010.
  • WHO. ICIDH-2: International Classification of Functioning, Disability and Health - FINAL DRAFT, Full Version. Geneva: World Health Organization, 2001.
  • WHOQOL-GROUP. The World Health Organization Quality of Life assessment (WHOQOL): position paper from the World Health Organization. Soc Sci Med, v.41, n.10, p.1403-1409, 1995.
  • WHOQOL-GROUP. Development of the World Health Organization WHOQOL-BREF quality of life assessment. The WHOQOL Group. Psychol Med, v.28, n.3, p.551-558, 1998.
  • WHOQOL. WHOQOL-bref: introduction, administration, scoring and generic version of assessment. Geneva: World Health Organizatio, 1996.
  • WILLIAMS, S. A.; SWANSON, M. S. The effect of reading ability and response formats on patients' abilities to respond to a patient satisfaction scale. J Contin Educ Nurs, v.32, n.2, p. 60-67, 2001.
  • ZOLA, I. K. Toward the Necessary Universalizing of a Disability Policy. The Milbank Quarterly, v.83, n.4, p.1-27, 2005.
  • 1
    http://dx.doi.org/10.1590/S1413-65382115000400007
  • 5
    O estudo envolveu uma parceria entre 15 diferentes centros de pesquisa na Europa, Ásia e América do Sul, todos sob a supervisão da OMS, Genebra. Os locais em que o projeto foi desenvolvido foram: Edimburgo, Reino Unido; Barcelona, Espanha; Paris, França; Praga, República Checa; Tromso, Noruega; Izmir, Turquia; Vilnius, Lituânia; Sicília, Itália; Hamburgo, Alemanha; Tilburg, Holanda; Guangzhou, na China; Porto Alegre, Brasil; Montevidéu, Uruguai; Auckland, na Nova Zelândia; Budapeste, Hungria.
  • 6
    O WHOQOL-bref é a versão abreviada do WHOQOL-100 - o primeiro instrumento da OMS direcionado à avaliação da QV. Esta versão foi desenvolvida com o objetivo de disponibilizar um instrumento que demandasse um tempo menor para o preenchimento e que mantivesse as características psicométricas satisfatórias. Essa versão abreviada do instrumento de avaliação da QV da OMS é composta por 26 questões. Duas questões são direcionadas ao contexto geral da QV. As outras 24 questões representam cada uma das 24 facetas que estruturam o instrumento original. No WHOQOL-bref - diferentemente do WHOQOL-100, em que cada uma das facetas é avaliada por quatro questões - cada faceta é avaliada por apenas uma questão. As questões foram selecionadas segundo um critério conceitual e psicométrico. Conceitualmente, foi definido que o caráter abrangente do instrumento original seria preservado, o que justifica a representação de cada uma das 25 facetas do WHOQOL-100 (WHOQOL-GROUP, 1998; FLECK et al., 2000).

Datas de Publicação

  • Publicação nesta coleção
    Dez 2015

Histórico

  • Recebido
    21 Abr 2015
  • Revisado
    12 Nov 2015
  • Aceito
    13 Nov 2015
location_on
Associação Brasileira de Pesquisadores em Educação Especial - ABPEE Av. General Rondon, 1799, Centro, Zip Code: 79331-030 - Corumbá - MS - Brazil
E-mail: revista.rbee@gmail.com
rss_feed Acompanhe os números deste periódico no seu leitor de RSS
Acessibilidade / Reportar erro