Avaliação de quarta geração: contribuições metodológicas para avaliação de serviços de saúde mental

Fourth-generation evaluation: methodological contributions for evaluating mental health services

Evaluación de cuarta generación: contribuciones metodológicas para evaluación de servicios de salud mental

ARTIGOS

Avaliação de quarta geração - contribuições metodológicas para avaliação de serviços de saúde mental

Fourth-generation evaluation - methodological contributions for evaluating mental health services

Evaluación de cuarta generación - contribuciones metodológicas para evaluación de servicios de salud mental

Luciane Prado Kantorski^I; Christine Wetzel^II; Agnes Olschowsky^II; Vanda Maria da Rosa Jardim^II; Valquiria de Lurdes Machado Bielemann^III; Jacó Fernando Schneider^III

^IFaculdade de Enfermagem e Obstetrícia, Universidade Federal de Pelotas. Rua XV de Novembro, 209, Pelotas, RS, Brasil. 96.020-250. [e-mail]

^IIDepartamento de Assistência e Orientação Profissional, Escola de Enfermagem, Universidade Federal do Rio Grande do Sul

^IIIFaculdade de Enfermagem e Obstetrícia, Universidade Federal de Pelotas

RESUMO

Este artigo relata o percurso teórico-metodológico da avaliação dos Centros de Atenção Psicossocial da região sul do Brasil, desenvolvida a partir da Avaliação de Quarta Geração. A coleta de dados foi realizada por meio da observação e de entrevistas com usuários, familiares e equipe; e a primeira etapa de análise ocorreu concomitante à coleta, permitindo que os resultados fossem apresentados ao final da mesma aos sujeitos do estudo em oficinas de negociação. Na segunda etapa, foram realizadas oficinas com os pesquisadores, visando construir um processo coletivo de análise de dados. Como contribuições da Avaliação de Quarta Geração, destacamos o seu caráter participativo e a sua dimensão formativa, possibilitando aos grupos de interesse uma capacidade de análise e de intervenção mais qualificada para a melhoria do serviço. Como limite, destacamos o grande volume de dados obtidos no processo e a necessidade de priorização de questões mediante a negociação com os grupos de interesse.

Palavras-chave: Avaliação em saúde. Serviços de saúde. Saúde mental. Pesquisa qualitativa

ABSTRACT

This paper reports on the theoretical-methodological course of the evaluation of Psychosocial Care Centers in southern Brazil, developed starting from fourth-generation evaluation. The data collection was carried out through observations and interviews among users, family members and the team. The first stage in the analysis took place alongside data collection, thereby allowing the results to be presented to the study subjects at the end of data collection, in negotiation workshops. In the second stage, workshops were held with the researchers, with the aim of constructing a collective data analysis process. Among the contributions towards fourth-generation evaluation, we highlight its participative nature and formative dimension. This makes it possible for interest groups to have better-qualified capacity for data analysis and intervention, to improve the service. As a limitation, we highlight the great volume of data obtained in the process and the need to prioritize questions through negotiation with interest groups.

Keywords: Health evaluation. Healthcare services. Mental health. Qualitative research

RESUMEN

Este artículo relata el trayecto teórico-metodológico de la evaluación de los Centros de Atención Psico-social de la región sur de Brasil, desarrollada a partir de la Evaluación de Cuarta Generación. La recolección de datos se ha realizado a través de la observación y de entrevistas con usuarios, familiares y equipo; y la primera etapa de análisis ocurrió concomitante a la recolección, permitiendo que los resultados se presentaran luego a los sujetos de estudio en talleres de negociación. En una segunda etapa se realizaron talleres con los investigadores con vistas a construir un proceso colectivo de análisis de datos. Como contribuciones de la Evaluación de Cuarta Generación destacamos su carácter participativo y su dimensión formativa, posibilitando a los grupos de interés una capacidad de análisis y de intervención más calificada para la mejora del servicio. Como límite destacamos el gran volumen de datos obtenidos en el proceso y la necesidad de prioridad de cuestiones a través de la negociación con los grupos de interés.

Palabras clave: Evaluaoión en salud. Servicios de salud. Salud mental. Investigación cualitativa

Introdução

Este artigo tem como objetivo descrever o percurso metodológico de um processo de avaliação qualitativa de serviços, desde as concepções teóricas iniciais, passando pelo delineamento, trabalho de campo e processo de análise de dados da pesquisa de Avaliação dos Centros de Atenção Psicossocial (CAPS) da região sul do Brasil, conhecido como CAPSUL. O projeto CAPSUL foi apoiado financeiramente pelo MCT-CNPq e Ministério da Saúde por meio do Edital MCT-CNPq 07/2005.

Os CAPS, serviços estratégicos, integram a rede de serviços substitutivos implementados a partir da transformação da assistência em saúde mental no Brasil. Essas transformações tiveram maior visibilidade a partir da década de 1980, tendo como ator principal o denominado Movimento Nacional de Luta Antimanicomial, que, no cenário de um país em processo de democratização e de reformulação no sistema de saúde, questionava os saberes e práticas psiquiátricas e o espaço do hospital psiquiátrico como o lócus do tratamento. Esse movimento foi protagonizado por diferentes atores, e o tema, até então discutido por experts, sobretudo na sua dimensão teórico-técnica, passou a introduzir questões da esfera político-ideológica, entre as quais cidadania, direitos e ética.

O Movimento Nacional de Luta Antimanicomial destinou-se à transformação do modelo hospitalocêntrico de atenção, substituindo-o por uma rede de atenção integral à saúde mental; conferiu-lhe maior resolubilidade, reduzindo a necessidade de internação, intervindo nas situações que produzem exclusão, promovendo a inclusão social dos portadores de sofrimento psíquico e qualificando a sua existência.

Os novos dispositivos de atenção em saúde mental, segundo Rottelli et al. (1990), propõem tirar o foco da doença, e o objeto passa a ser a existência-sofrimento dos pacientes e sua relação com o corpo social. Esse enfoque não busca meramente modernizar as tecnologias de atenção psiquiátrica e difundi-las, mas "redescrever, reconstruir as relações entre a sociedade e seus loucos. Não se trata de secundarizar a questão técnica, assistencial, mas de redefinir seu lugar numa estratégia mais ampla de ação" (Bezerra Júnior, 1994, p.181).

No Brasil, segundo Desviat (1999), o Ministério da Saúde procura utilizar tanto o financiamento federal quanto sua capacidade normativa para modificar esse cenário da atenção a saúde mental. Surgem, então, os CAPS como proposta de espaços de cuidado mais adequados aos princípios e diretrizes explicitados. Esses serviços, formalmente definidos como unidades locais/regionalizadas, contam com uma população adscrita definida pelo nível local e oferecem atendimento por equipe multiprofissional, prioritariamente, a pacientes com transtornos mentais severos e persistentes (Brasil, 2004).

De acordo com Carvalho e Amarante (1996), esses serviços encontram-se incorporados como política pública de saúde mental de referência para todo o país, e se inscrevem em um contexto que pretende desenvolver novas tecnologias em saúde mental que respeitem o usuário no seu direito de cidadania e que se diferenciem do modelo manicomial excludente dominante.

Os direitos de cidadania correspondem, sobretudo, a uma mudança de posição dos usuários, que deixam de ser um objeto dessas tecnologias e passam a ter respeitados seus desejos, sua palavra, sua liberdade de ir e vir, de posicionar-se e de participar das decisões sobre sua própria vida.

A expansão da rede de CAPS indica a capacidade do Ministério da Saúde, enquanto indutor de mudança das práticas, por meio da implantação de novos serviços e a institucionalização dos mecanismos de pagamento por produção, de recursos de manutenção e pela mobilização de forças locais do movimento antimanicomial. Mediante as transformações práticas produzidas a partir da expansão dos CAPS, entendemos que elas têm potencial para impactar as realidades locais, configurando-se como um dos equipamentos centrais na implantação do Sistema Local de Saúde Mental. Por outro lado, as diversidades contextuais não permitem que esse processo ocorra de forma linear e homogênea, sendo condicionada a sua implementação por fatores técnicos, políticos, econômicos, culturais, entre outros.

Os CAPS surgem no interior de um modelo de atenção em saúde mental que busca uma abordagem integral dos indivíduos e de suas famílias. A mudança do enfoque discutida anteriormente exige a implantação de uma diversidade de serviços que respondam aos diferentes momentos e necessidades da pessoa. Nessa direção, um processo avaliativo deve considerar a política de gestão, tendo em vista que o desejável e o esperado de um equipamento variam conforme os valores por ela delineados.

Trajetória teórico-metodológica do estudo de avaliação qualitativa de CAPS

Há certa relação histórica entre o desenvolvimento da avaliação enquanto campo de investigação científica e o desenvolvimento das políticas públicas de saúde, educação e bem-estar social que surgiram nos Estados Unidos logo após a Segunda Guerra Mundial. Naquele contexto, surgiu o conceito de avaliação dos programas públicos, em que pesquisadores dedicaram-se à tarefa de comprovar o sucesso desses programas, verificando a eficácia do uso de recursos do Estado (Contandriopoulos et al., 2000; Denis, Champagne, 2000; Patton, 1997).

Observa-se uma grande diversidade de abordagens e modalidades classificatórias no campo da avaliação, tendo em vista seu interesse prático: de acordo com o momento, com a função, com a procedência dos avaliadores e com os aspectos do programa que são objeto da avaliação (Aguilar, Ander-Egg, 1994).

Contandriopoulos et al. (2000), em relação a essa diversidade conceitual e metodológica, afirmam que não é possível estabelecer uma definição absoluta e universal da avaliação, mas definem, como objeto de um amplo consenso, o fato de que avaliar consiste em fazer um julgamento de valor a respeito de uma intervenção ou sobre qualquer um de seus componentes, com o objetivo de ajudar na tomada de decisões.

Guba e Lincoln (1989) dividem a história da avaliação em quatro gerações, das quais três estão descritas a seguir: 1ª geração - da mensuração, na qual o papel do avaliador era o de um técnico que tinha de saber construir e usar os instrumentos, de modo que qualquer variável a ser investigada pudesse ser medida; 2ª geração - da descrição, em que o enfoque estava na descrição do processo, e não somente na medição dos resultados, como na geração anterior; 3ª geração - do julgamento, na qual o avaliador assumia o papel de juiz, mesmo retendo a função técnica e descritiva anterior.

As três gerações representaram avanços, mas também apresentam limitações: a tendência à supremacia da visão gerencial; a incapacidade de acomodar o pluralismo de valores; a hegemonia do paradigma positivista; a desconsideração com o contexto; a grande dependência de medições quantitativas, eliminando caminhos alternativos para se pensar o objeto da avaliação; e a não-responsabilização moral e ética do avaliador, pois nenhuma das três primeiras gerações torna o avaliador responsável pelo que emerge da avaliação ou pelo uso dos seus resultados (Guba, Lincoln, 1989).

A Avaliação de Quarta Geração, desenvolvida por Guba e Lincoln (1989, 1988), adaptada por Wetzel (2005), norteou o processo teórico-metodológico da pesquisa. A Avaliação de Quarta Geração é proposta como alternativa às avaliações anteriores, sendo implementada por meio dos pressupostos metodológicos do paradigma construtivista. Trata-se de uma avaliação responsiva, em que as reivindicações, preocupações e questões dos grupos de interesse servem como foco organizacional (a base para determinar que informação seja necessária). Nos modelos tradicionais, os parâmetros e limites são definidos a priori e a avaliação responsiva os determina por intermédio de um processo interativo e de negociação que envolve grupos de interesse (Guba, Lincoln, 1989).

O termo grupos de interesse designa organizações, grupos ou indivíduos potencialmente vítimas ou beneficiários do processo avaliativo. Esses grupos são formados por pessoas com características comuns, que têm algum interesse no desempenho, no produto ou no impacto do objeto da avaliação - estão, de alguma maneira, envolvidos ou potencialmente afetados pelo serviço e pelas eventuais consequências do processo avaliativo (Guba, Lincoln, 1988).

Existem diferentes grupos de interesse. Guba e Lincoln (1988) identificaram três: os agentes - as pessoas envolvidas em produzir e implementar o serviço; os beneficiários - todas as pessoas que se beneficiam, de alguma forma, com o uso do serviço; as vítimas - as pessoas que são afetadas negativamente pelo serviço.

De acordo com a classificação apresentada por Guba e Lincoln (1989), entende-se que os componentes da equipe são os agentes. Quanto aos usuários e familiares, podem ser tanto beneficiários quanto vítimas, pois, mesmo estando inseridos no serviço com vistas ao seu benefício, na dinâmica do cotidiano podem sofrer efeitos negativos; tanto no que se refere ao atendimento propriamente dito pela forma como o serviço se organiza ou, ainda, por ocuparem uma posição de pouco poder.

Neste estudo, o envolvimento dos grupos de interesse teve tanto o objetivo de buscar questões mais pertinentes dentro do contexto do serviço e que tivessem significado para eles, como de potencializar a possibilidade de que o processo aumentasse e aprimorasse a capacidade de ação desses grupos. Essa dimensão formativa destina-se a aumentar o poder de contratualidade dos grupos diretamente envolvidos no serviço, potencializando a ação de usuários, familiares e equipe na esfera política.

Os instrumentos de coleta de dados foram entrevistas com os grupos de interesse (equipe, usuários e familiares) e observação, tendo por objetivo apreender a dinâmica do serviço, a forma com que os atores interagem e os sentidos que constroem em sua relação com a prática.

A avaliação qualitativa do CAPSUL emergiu de uma pesquisa do tipo estudo de caso, cujas características, conforme Lüdke e André (1986), são: buscar a descoberta; enfatizar a interpretação do contexto; buscar retratar a realidade de forma completa e profunda; usar uma variedade de fontes de informação; revelar experiências de vida e permitir generalizações naturalísticas; procurar representar os diferentes e, às vezes, conflitantes pontos de vista presentes em uma situação social; utilizar uma linguagem e uma forma mais acessível do que os outros relatórios de pesquisa.

A importância dos estudos de caso na pesquisa avaliativa evidencia sua potencialidade em descrever o contexto real em que ocorre a intervenção e a sua capacidade em explorar situações específicas, permitindo a identificação, na realidade estudada, de inter-relações entre pressupostos e práticas concretas (Yin, 2005).

O projeto CAPSUL foi encaminhado ao Comitê de Ética e Pesquisa da Faculdade de Medicina/Universidade Federal de Pelotas, tendo parecer favorável Of. 074/05 de 11 de novembro de 2005.

A preparação para o trabalho de campo iniciou em julho de 2006, ao se realizar uma oficina de capacitação para o estudo qualitativo, perfazendo quarenta horas, sendo dez horas de estudo e trinta horas presenciais, com seminários, discussões em grupo, exercícios práticos e debates em plenária. A capacitação - da qual participaram todos os pesquisadores que foram a campo, além de bolsistas de iniciação científica - focalizou a metodologia de Avaliação de Quarta Geração, os principais conceitos, os métodos de coleta e análise de dados. Durante essa oficina, definiram-se as estratégias de operacionalização do trabalho de campo e, na sequência, elaborou-se um manual que detalhava as principais orientações relacionadas a: contato prévio com o campo, cronograma de trabalho, apresentação da proposta de trabalho aos sujeitos, roteiro de observação e entrevista, registro em diário de campo, identificação dos informantes, condução das entrevistas, sistematização dos dados e organização para apresentação nas oficinas de negociação.

Em uma escolha intencional, foram selecionados cinco CAPS, tendo como parâmetro os dados obtidos na primeira etapa da pesquisa CAPSUL, que consistiu no estudo quantitativo de abordagem epidemiológica, no qual se obtiveram dados referentes à estrutura, ao processo e ao resultado da atenção em trinta CAPS da região sul do Brasil.

A seleção desses CAPS partiu dos seguintes critérios: tempo de funcionamento do serviço; disponibilidade dos grupos de interesse em aderir à proposta de avaliação; adequação à normatização definida na Portaria 336/2002; incluir um CAPS da capital de um dos estados; ser CAPS de referência no sul do Brasil, e um CAPS em processo de consolidação. Atendidos esses critérios, avaliaram-se os CAPS de: Alegrete (RS), Joinville (SC), São Lourenço do Sul (RS), Porto Alegre (RS), Foz do Iguaçu (PR).

A coleta de dados realizou-se no segundo semestre de 2006, por uma equipe de três a cinco pesquisadores com experiência prévia em trabalho de campo em estudos qualitativos, que permaneceu quatro semanas nesses municípios.

Guba e Lincoln (1989) propõem o processo hermenêutico dialético como um caminho para a realização de uma avaliação com enfoque construtivista e responsivo. É hermenêutico porque tem caráter interpretativo, e dialético porque implica comparação e contraste de diferentes pontos de vista, objetivando alto nível de síntese. Os autores afirmam que a proposta desse processo não é justificar uma determinada construção ou atacar as fraquezas de outras, mas construir uma forma de conexão que leve à exploração mútua de todas as partes. O objetivo é alcançar um consenso, quando possível; quando não, expor e esclarecer as diferentes visões. Caso o processo tenha êxito, é porque todas as partes (incluindo o pesquisador) reconstruíram as construções iniciais, permitindo o desenvolvimento e aprimoramento de todos os envolvidos no processo avaliativo. Nessa direção, os procedimentos práticos adotados para a coleta de dados envolveram os seguintes passos:

1 Contato com o campo: contato com as equipes dos CAPS, sendo apresentada e discutida a proposta da pesquisa, momento em que os grupos optaram pela participação. Essa etapa foi (e é) fundamental em uma avaliação participativa, pois os sujeitos negociaram a sua inclusão, a qual não foi demandada e/ou decidida por gestores, coordenadores ou outras pessoas que ocupem cargos de poder junto ao serviço.

2 Organização da avaliação: a principal tarefa foi ganhar o direito de entrada, o que envolveu, sobretudo, a construção de uma relação de confiança. Em uma avaliação em que se espera que os interessados falem sobre seus problemas, é necessário que o avaliador interaja com eles. A primeira semana do trabalho de campo foi dedicada à observação de todas as atividades desenvolvidas pelo serviço. Essa fase propiciou aos avaliadores a vivência e experiência do contexto do serviço, sem, ainda, estarem engajados nas atividades de avaliação, o que Guba e Lincoln (1989) denominam de etnografia prévia.

3 Identificação dos grupos de interesse: esta etapa também foi desenvolvida durante a primeira semana, na qual foram incluídos três grupos de interesse: equipe, usuários e familiares. Os sujeitos que compuseram cada grupo de interesse foram definidos com base nos seguintes critérios:

- Equipe: trabalhadores com vínculo empregatício com o serviço (enfermeiro, assistente social, psicólogo, professor de educação física, técnico de enfermagem, pessoal da recepção, da portaria, pessoal da limpeza, dentre outros), procurando diversificar ao máximo a composição deste grupo, incluindo, no mínimo, um sujeito de cada profissão.

- Usuários: tempo de frequência no serviço de mais de seis meses; boas condições de comunicação; bom vínculo com o serviço e com vínculo ruim ou sem adesão.

- Familiares: boa e má inserção no serviço, incluir familiares de usuários com e sem adesão ao serviço e familiares considerados "difíceis" pela equipe, aqueles que "não colaboram".

4 Desenvolvendo construções conjuntas: a segunda e a terceira semanas do trabalho de campo foram dedicadas à realização das entrevistas, com a aplicação do círculo hermenêutico-dialético (Figura 1) nos três grupos de interesse, mantendo-se uma observação mais pontual de aspectos do funcionamento do serviço, que ainda precisavam ser compreendidos. Iniciou-se com a seleção de um respondente inicial (R1), sendo realizada uma entrevista aberta, pedindo que descrevesse o atendimento do CAPS, incluindo observações sobre os aspectos positivos e negativos do serviço (as questões geradoras encontram-se detalhadas no Quadro 1). Os temas centrais, conceitos, ideias, valores, problemas e questões propostas por R1 foram analisados pelos pesquisadores, em uma formulação inicial da sua construção, designada C1.

A seguir, um segundo respondente (R2) foi convidado a responder as questões da entrevista aberta. Após, introduziram-se os temas da análise de R1, e R2 foi convidado a comentá-los. A entrevista com R2 produziu informações não apenas sobre R2, mas, também, críticas às demandas e construções de R1. O pesquisador completou a segunda análise (C2), surgindo construções baseadas em duas fontes. O processo foi repetido por meio da adição de novos informantes, sendo entrevistados todos os componentes de determinado grupo de interesse. Deste modo, a análise dos dados ocorreu concomitante à coleta.

5 Ampliando as construções conjuntas: mediante a aplicação do círculo hermenêutico-dialético, emergiram construções conjuntas de determinado grupo de interesse, desenvolvidas a partir das construções originais dos participantes individuais do círculo. Outras informações podem ter impacto sobre essas construções, sendo proposta dessa etapa introduzir sistematicamente tal material. As informações adicionais partiram das seguintes fontes: observações de campo levaram questões para a entrevista e, da mesma forma, informações originárias das entrevistas levaram a observações produtivas; literatura profissional o conhecimento já produzido influenciou as construções existentes. Teve-se o cuidado de não tomá-lo como verdade a ser generalizada, mas, sim, como mais um conhecimento a ser considerado de forma crítica em relação ao contexto daquele serviço; a construção ética do avaliador seria ingênuo pensar que o avaliador não tem conhecimento prévio e opiniões sobre o serviço e o seu contexto. Teve-se, contudo, o cuidado de introduzi-las após a etnografia prévia, quando já se havia alcançado uma boa inserção no campo, de forma que a fala dos pesquisadores se somava à dos demais, sofrendo as mesmas críticas.

Nos Quadros 1, 2 e 3 apresentam-se as questões norteadoras iniciais e as questões desdobradas na sequência de entrevistas em cada grupo de interesse por estudo de caso.

6 Preparação da negociação: essa etapa consistiu na organização das construções oriundas de cada grupo de interesse, objetivando a sua apresentação para que usuários, familiares e equipe pudessem ter acesso à totalidade das informações de seu grupo e tivessem a oportunidade de modificá-las ou afirmar a sua credibilidade. Trata-se de uma sessão de negociação, representando um grande arranjo dos participantes, e a sua preparação envolveu as seguintes atividades por parte dos avaliadores:

- Definição de cada núcleo temático nos termos do grupo de interesse que o trouxe à tona, utilizando exemplos, para torná-lo o mais claro possível para todos os envolvidos no momento da negociação;

- Organização do material na forma de um texto, com cópia para cada participante do grupo, de modo que todos pudessem ter acesso a essas informações;

- Preparação do material para exposição ao grupo, mediante a utilização de recursos audiovisuais (projetor multimídia com apresentação em PowerPoint);

- Negociação do dia, horário e local do encontro com todos os participantes.

7 Realização da negociação: para a negociação, realizada mediante a utilização da técnica grupal, convidaram-se todos os entrevistados de determinado círculo, apresentando-lhes o resultado final (provisório) da pré-análise dos dados. Essa etapa ocorreu no final da quarta semana do trabalho de campo. Os encontros ocorreram em salas com privacidade, para que todos se sentissem tranquilos ao expor suas opiniões. Em cada grupo, um dos pesquisadores se encarregou da apresentação do material organizado na etapa anterior e dois pesquisadores atuaram como observadores. Os observadores realizaram o registro do que foi discutido no grupo e, quando necessário, lançavam questões que pudessem esclarecer determinado ponto.

Nessa etapa, apresentaram-se os dados refinados na etapa anterior aos respectivos grupos, dando-lhes acesso à totalidade das informações e a oportunidade de modificá-las ou afirmar a sua credibilidade.

Os eixos temáticos identificados e apresentados na negociação foram os seguintes:

- Grupo de familiares: o cuidado em saúde mental aos usuários (abordando aspectos relacionados ao atendimento à saúde mental no CAPS, na unidade psiquiátrica do hospital geral e em outros serviços de saúde da rede); o cuidado em saúde mental aos familiares (questões sobre o adoecimento e sobrecarga familiar, autonomia e comunicação do CAPS com os familiares); necessidades de melhorias (medicação, usuários que não aderem ao serviço, maior atenção aos usuários pelos profissionais, risco de agressão aos profissionais, atendimento em horários em que o CAPS não funciona, desconstrução de preconceitos); um modelo de atenção ao usuário "em liberdade" (discussões sobre o tratamento fora do hospital e convívio com a diversidade).

- Grupo de usuários: O cuidado em saúde mental aos usuários (pontos em que o CAPS tem se destacado como referência de cuidado em saúde mental, atendimento à saúde mental no CAPS, estrutura do CAPS e gestão).

- Grupo da equipe: atenção psicossocial (discussão sobre redefinição de conceitos e modos de cuidar, movimento interno e externo, cuidado integral e processo de trabalho); gestão (questões relacionadas ao planejamento, avaliação e processo de trabalho).

Ao final da negociação, encerrou-se o trabalho de campo e iniciou-se a análise final dos dados para se elaborar o relatório da pesquisa que envolveu as seguintes atividades: transcrição dos dados empíricos, organização do banco de dados, por estudo de caso, e organização e análise dos dados.

Foram realizadas três oficinas com todos os pesquisadores do CAPSUL, tendo o objetivo de capacitar o grupo para construir um processo coletivo, construtivista e formativo de análise de dados empíricos. Esse processo foi desenvolvido do seguinte modo:

Primeira oficina - 29/09/2007 os pesquisadores foram divididos em grupos de trabalho por cores, conforme o grupo de interesse: usuários, familiares e equipe; e por um número correspondente à cidade estudada. A partir disso, os pesquisadores de cada grupo organizaram-se em duplas, recebendo duas entrevistas, tendo como tarefa identificar e fazer uma síntese das unidades de informação, organizando-as em eixos temáticos. Em seguida, as duplas com cores iguais se reuniam, fazendo uma nova síntese das informações de cada dupla, delimitando o conjunto de informações relacionadas a determinado grupo de interesse.

No final da oficina, uma síntese parcial por grupo de interesse foi apresentada em plenária, conforme exemplifica o Quadro 4.

Estabeleceu-se, então, a tarefa para a próxima oficina. Cada dupla de pesquisadores trabalharia com a totalidade de entrevistas do seu grupo de interesse e caso (ex: todas as entrevistas de usuários do caso 1) e traria quadros com unidades de informação, eixos temáticos e respectivas falas sistematizadas.

Segunda oficina - 20/10/2007 - Em plenária, os integrantes das oficinas se reuniram e cada dupla apresentou o quadro com as unidades de informação extraídas a partir das entrevistas (de usuários, familiares e equipe) de cada caso. Essa apresentação possibilitou a delimitação de unidades temáticas mais abrangentes e a elaboração de uma síntese, exemplificada no Quadro 5.

Foram compostos coletivamente os quadros dos grupos de interesse, por cidade, e definidas as unidades de informação e núcleos temáticos centrais da análise da avaliação qualitativa, gerando um conjunto inicial de marcadores internos e externos. Como tarefa para a próxima oficina, os grupos de pesquisadores desenvolveram estudos e grupos de discussão sobre os marcadores de avaliação. Buscou-se fundamentar teoricamente cada marcador para, na terceira oficina, se estabelecerem as dimensões a serem avaliadas em cada um deles.

Terceira oficina 30/11 e 01/12/2007: no primeiro dia foi apresentada e discutida a conceituação de cada marcador, sendo estabelecido que as análises seguiriam a orientação teórica já utilizada na etapa da avaliação quantitativa da pesquisa CAPSUL, enfocando a estrutura, o processo e os resultados, conforme Donabedian (1984, 1988). A partir desta orientação teórica mais ampla foram desdobrados os marcadores do Quadro 6.

Definiu-se, como marcadores, determinada categoria abstraída dos dados empíricos e que tem a capacidade explicativa de indicar determinado parâmetro de avaliação. Por exemplo: no marcador ambiência, pretende-se que, na realidade de determinado CAPS estudado, se identifiquem quais aspectos (privacidade, cor, som) da ambiência no serviço podem ser evidenciados, qualificando, assim, o cuidado em saúde mental.

No segundo dia da terceira oficina, os pesquisadores foram distribuídos em cinco grupos, por cidade/estudo de caso, nos quais se aglutinaram as duplas que trabalharam os dados dos usuários, familiares e equipe, em cada caso. Cada grupo recebeu: os dados gerais do município (dados demográficos, de saúde da população, mapa, entre outros); o quadro resumo do município, contendo as unidades de informação dos grupos de interesse (usuários, familiares e equipe); o quadro de entrevistas (dos usuários, familiares e equipe) elaborado na primeira oficina e organizado conforme as unidades de informação; os marcadores da avaliação nos diferentes grupos de interesse e as categorias de análise; a íntegra das entrevistas transcritas; e o diário de campo com o registro dos observadores.

A partir dessa oficina, cada grupo de trabalho retomou todo o material pertinente ao caso estudado (entrevistas, diários de campo, documentos, sínteses das oficinas, banco de referências bibliográficas) e procedeu à elaboração escrita do relatório do estudo de caso. O processo desenvolvido ao longo das oficinas, no intervalo entre elas e seu segmento na elaboração do relatório, seguiu rigorosamente a metodologia de Avaliação de Quarta Geração, configurando-se um processo formativo, responsivo e construtivista.

Apresenta-se uma síntese do desenho metodológico da pesquisa CAPSUL no Quadro 7.

Considerações finais

Neste artigo, apresentou-se o detalhamento da construção metodológica de uma pesquisa de avaliação qualitativa mediante a utilização do referencial teórico-metodológico da Avaliação de Quarta Geração, com a realização de cinco estudos de caso, abrangendo os CAPS da região sul do Brasil.

A avaliação de quarta geração fundamenta-se no referencial construtivista, com enfoque responsivo e formativo, trazendo, como contribuição, um delineamento teórico-metodológico sistemático, estruturado em passos que se desenham com base na lógica dialética e da interpretação hermenêutica. Justamente por isto, esse delineamento não é rígido, possuindo flexibilidade suficiente para incorporar novas mudanças, novos sujeitos e novos cenários. Consiste numa avaliação focada mais no processo do que propriamente nos resultados, diferenciando-se de outras abordagens de avaliação participativa. O nível de participação na avaliação de quarta geração merece destaque em relação a outras abordagens, já que extrapola a consulta a informantes e a coleta e análise das informações obtidas, propondo que o avaliador "ganhe o direito de entrada" no campo empírico por meio de uma etnografia prévia e, a partir de então, estabeleça compromissos éticos e pactuações que garantam a participação dos sujeitos nos diferentes momentos da avaliação (no estabelecimento das questões/eixos/marcadores/indicadores e na negociação em relação ao que, como e para que mudar a realidade). Propicia ainda que os sujeitos partilhem decisões, exerçam controle sobre o projeto de avaliação, se apropriem dos diferentes passos da avaliação e que tenham honradas suas participações por intermédio da interpretação hermenêutica e da compreensão dialética que busca trabalhar os conflitos e gerar os consensos possíveis. O caráter formativo desse processo, a busca pela qualificação das informações e o empoderamento dos grupos de interesse destacam-se como contribuições relevantes na avaliação de quarta geração, consistindo em eixos contemplados na sua sistematização. Esses, apesar de também serem importantes em outras abordagens de avaliação participativa, em algumas situações são pouco garantidos na aplicação prática dessas avaliações.

Considera-se que a Avaliação de Quarta Geração propiciou um processo avaliativo participativo, dando voz aos usuários dos serviços, seus familiares e trabalhadores dos CAPS. O processo de transformação atual preconiza o fortalecimento do poder de contratualidade do indivíduo em sofrimento psíquico no cotidiano das práticas dos serviços substitutivos ao manicômio, e que carece de metodologias de pesquisa coerentes com essa demanda, como a detalhada no presente artigo.

O trabalho de campo possibilitou constatar uma forte adesão ao método de Avaliação de Quarta Geração por parte dos grupos de interesse, o qual enfatizou o empoderamento dos familiares, usuários e equipe enquanto protagonistas do processo avaliativo. Já a etapa de negociação dos dados possibilitou momentos de reflexão e debates sobre as questões mais críticas em relação ao modo de atenção psicossocial. Também estabeleceu um espaço de discussão frente às mudanças necessárias para se promoverem avanços nos serviços, reforçando as contribuições da proposta metodológica da Avaliação de Quarta Geração.

Enquanto limitações da metodologia, uma delas refere-se ao fato de que o processo hermenêutico-dialético, que é aberto e não estabelece o foco da avaliação a priori, permitiu que emergisse um grande volume de dados, não sendo possível que todos fossem contemplados devido aos limites de tempo e recursos, inerentes a qualquer pesquisa.

Outra está relacionada ao fato de que a qualificação do processo avaliativo de quarta geração exige que seja desenvolvida a dimensão formativa, de modo que tanto avaliadores como grupos de interesse possam aprimorar sua capacidade de análise, possibilitando o aprofundamento na discussão e delimitação dos temas oriundos da avaliação.

Nesse sentido, essa dimensão teve seus limites atrelados não apenas aos recursos e ao tempo da pesquisa, mas também à pouca tradição que equipe, usuários e familiares têm em discutirem seus problemas e dificuldades de forma coletiva no cotidiano dos serviços. Onde existiam dispositivos de participação - como reuniões, assembléias, conselho gestor local, associações de usuários, entre outros - percebemos maior facilidade dos grupos no levantamento de problemas da sua realidade, discutindo e problematizando os mesmos à luz do paradigma psicossocial.

A Avaliação de Quarta Geração constitui-se como uma importante possibilidade metodológica no campo da avaliação de serviços e programas de saúde, na medida em que possibilita que sejam acessadas dimensões pouco passíveis de serem apreendidas por medições e indicadores e que, no entanto, têm grande influência no que se refere ao seu bom ou mau funcionamento. Além disso, uma metodologia participativa permite um controle do processo e dos resultados da avaliação compartilhados pelos avaliadores e pelos grupos de interesse. Isso acaba por aumentar a possibilidade e o compromisso de utilização desses resultados com vistas à transformação, o que, no campo da saúde mental, exige que um processo avaliativo de quarta geração esteja atrelado, ética e politicamente, à consolidação da transformação do modelo de atenção.

Colaboradores

Luciane Prado Kantorski, Christine Wetzel, Agnes Olschowsky e Vanda Maria da Rosa Jardim trabalharam na concepção teórica, coleta e análise dos dados, elaboração e redação final do texto. Valquiria de Lurdes Machado Bielemann e Jacó Fernando Schneider trabalharam na coleta e análise dos dados, elaboração e redação final do manuscrito.

Recebido em 29/09/08.

Aprovado em 08/03/09.

• AGUILAR, M.J.; ANDER-EGG, E. Avaliação de serviços e programas sociais. Petrópolis: Vozes, 1994.
• BEZERRA JÚNIOR, B. De médico, de louco e de todo mundo um pouco: o campo psiquiátrico no Brasil dos anos 80. In: GUIMARÃES, R.; TAVARES, R.A.W. (Orgs.). Saúde e sociedade no Brasil: anos 80. Rio de Janeiro: Relume-Dumará, 1994. p.171-91.
• BRASIL. Ministério da Saúde. Secretaria Executiva. Legislação em saúde mental 1990 2004 5.ed. Brasília: Ministério da Saúde, 2004.
• CARVALHO, A.L.L.; AMARANTE, P. Avaliação de qualidade dos novos serviços de saúde mental: em busca de novos parâmetros. Saúde em Debate, n.52, p.74-82, 1996.
• CONTANDRIOPOULOS, A-P. et al. A avaliação na área da saúde: conceitos e métodos. In: HARTZ, Z.M.A. (Org.). Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora Fiocruz, 2000. p.29-48.
• DENIS, J-L.; CHAMPAGNE, F. Análise da implantação. In: HARTZ, Z.M.A. (Org.). Avaliação em Saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora Fiocruz, 2000. p.49-88.
• DESVIAT, M. A reforma psiquiátrica Rio de Janeiro: Editora Fiocruz, 1999.
• DONABEDIAN, A. La calidad de la atención medica: definición y metodos de evaluación. México: Ediciones cientificas La Prensa Medica Mexicana, 1984.
• ______. The quality of care: how can it be assessed? JAMA, v.260, n.12, p.1743-8, 1988.
• GUBA, E.; LINCOLN, Y. Effective evalution. San Francisco: Jossey Bass Publishers, 1988.
• ______. Fourth generation evaluation Newbury Park: Sage Publications, 1989.
• LÜDKE, M.; ANDRÉ, M.E.D.A. Pesquisa em educação: abordagens qualitativas. São Paulo: EPU, 1986.
• PATTON, M.Q. Utilization-focused evaluation: the new century text. 3.ed. Thousand Oaks: Sage Publications, 1997.
• ROTTELLI, F.; LEONARDIS, O.; MAURI, D. Desinstitucionalização, uma outra via: a reforma psiquiátrica italiana no contexto da Europa Ocidental e dos "países avançados". In: NICÁCIO, F. (Org.). Desinstitucionalização São Paulo: Hucitec, 1990. p.17-59.
• WETZEL, C. Avaliação de serviços de saúde mental: a construção de um processo participativo. 2005. Tese (Doutorado) - Escola de Enfermagem de Ribeirão Preto, Universidade de São Paulo, Ribeirão Preto, 2005.
• YIN, R.K. Estudo de caso: planejamento e métodos. 3.ed. Porto Alegre: Bookman, 2005.
• KANTORSKI, L.P. et al. - contribuciones metodológicas para evaluación de servicios de salud mental. Interface - Comunic., Saude, Educ., v.13, n.31, p.343-55, out./dez. 2009.

Datas de Publicação

• Publicação nesta coleção
  24 Ago 2012
• Data do Fascículo
  Dez 2009

Histórico

• Recebido
  29 Set 2008
• Aceito
  08 Mar 2009