Participação e interdisciplinaridade: uma abordagem inovadora de meta-avaliação

Participation and interdisciplinarity: a groundbreaking approach of meta-evaluation

Resumos

Apresenta-se meta-avaliação de processo avaliativo sobre moradias de pessoas com transtorno mental grave. A avaliação analisada articulou quatro áreas do conhecimento, objetivando inserir trabalhadores e pacientes na condução do processo. Privilegiamos a meta-avaliação dos aspectos 'interdisciplinaridade' e 'participação'. Utilizou-se a observação participante, entrevistas e grupos focais junto aos pesquisadores e trabalhadores. Concluiu-se efetiva realização de trabalho interdisciplinar e participação restrita a um dos três campos. Finalmente, identificou-se a pertinência da utilização de outros critérios para meta-avaliar além daqueles propostos pela Associação Americana de Avaliação.

Avaliação em saúde; Pesquisa interdisciplinar; Avaliação de programas e projetos de saúde; Saúde mental; Saúde pública

We introduce meta-evaluation as a study of the evaluative process about homes of people with severe mental disruption. The assayed evaluation has articulated four knowledge areas, aiming to insert workers and patients into the conduction of the process. We favoured the meta-evaluation of the 'interdisciplinary' and 'participation' aspects. We used participating observation, interviews and focal groups along with researchers and workers. We conclude an effective achievement of interdisciplinary work and limited involvement to one of the three fields. Finally, we identify the pertinence of the use of other criteria to meta-evaluate beyond those proposed by the American Association of Evaluation.

Health evaluation; Interdisciplinary research; Program evaluation and health projects; Mental health; Public health

O problema

A proliferação de iniciativas de avaliação em saúde no Brasil (FERNANDES; RIBEIRO; MOREIRA, 2011) não tem estado atrelada a mais clareza sobre os referenciais teóricos e às concepções de mundo e de realidade que as sustentam (FURTADO, 2006b). Há significativo distanciamento entre os níveis teórico e prático no campo da avaliação, determinando que reflexões não sejam confrontadas com o mundo das práticas e que exercícios avaliativos prescindam de discussões. Tal situação restringe a profícua interação entre teoria e prática, dificultando o avanço do espaço da avaliação de programas e serviços, condenando-o ao que Dubois e Marceau (2005)caracterizaram como um estado de eterna revolução científica na área, cuja marca seria a incomunicabilidade entre os mundos da formulação e da operacionalização. Ainda que recente em nosso país (FURTADO; LAPERRIÈRE, 2012; ELLIOT, 2011), e com ênfase na Atenção Básica (HARTZ; FELISBERTO; SILVA, 2008), as práticas de meta-avaliação representam instigante caminho para a qualificação de nossas práticas avaliativas, justamente a partir da avaliação de avaliações realizadas. Ou seja, possibilitam que uma dada avaliação possa ser abordada a partir de critérios estabelecidos, permitindo julgar sua qualidade e aprimorar a área a partir da aproximação entre práticas e análises dessas mesmas práticas.

A expressão 'meta-avaliação' foi introduzida por Michael Scrivem no final dos anos 1960 para designar proposta de avaliar um plano de avaliação de produtos educacionais (SCRIVEN, 1969). Nesse mesmo período, avaliadores como Stake e Stufflebeam iniciaram o delineamento de modos sistemáticos e rigorosos de meta-avaliação (LETICHEVSKY ET AL., 2005). Ainda nos Estados Unidos, diferentes associações, sobretudo nos anos 1970, criaram padrões para balizar e avaliar processos avaliativos em distintas áreas do conhecimento, que foram agrupados em quatro grandes diretrizes gerais pelo Joint Committee on Standards for Educational Evaluation, no final dos anos 1980 (WORTHEN; SANDERS; FITZPATRICK, 2004), a saber: utilidade, viabilidade, ética e precisão. Por seu turno, a Associação Americana de Avaliação (AEA) validou os seguintes princípios para a avaliação de práticas avaliativas: investigação sistemática e rigorosa; competência; honestidade; respeito às pessoas; e respeito pelo interesse público. Convergindo princípios da Joint Committee com aqueles estabelecidos pela AEA, Stufflebeam (2001) definiu a meta-avaliação como a obtenção de informações que permitam descrever e julgar a utilidade, viabilidade, ética e precisão de uma avaliação, bem como rigor metodológico, competência em sua condução, honestidade e respeito ao interesse público. Tudo isso para qualificar uma dada avaliação e/ou evidenciar seus pontos fortes e fragilidades.

A meta-avaliação pode contribuir para a aproximação entre reflexão e prática em iniciativas de avaliação, de modo que o intercâmbio entre os planos empírico e abstrato favoreça avanços na área - sobretudo, se consideramos estar a avaliação inserida na fronteira entre a pesquisa e a intervenção (CONTANDRIOPOULOS, 2006; PATTON, 1997). Para Scriven (2005), a meta-avaliação indica que os processos de avaliação são passíveis de questionamentos e reflexões, o que naturalmente inclui os próprios avaliadores e as produções oriundas da prática avaliativa. Este mesmo autor acredita que analisar as próprias produções não é incomum, como ocorre na formação e na certificação de psicanalistas, em que futuros analistas se submetem à psicanálise e às considerações dos pares, por exemplo.

Os parâmetros estabelecidos pela AEA - utilidade, exequibilidade, propriedade e acurácia - delineiam contornos gerais e horizontes éticos do que se pode conceber como uma boa avaliação e são úteis como pano de fundo e como baliza. No entanto, a efetiva aproximação de um caso a ser meta-avaliado exige critérios mais próximos e pertinentes para compreensão, reflexão e julgamento da qualidade da avaliação abordada (FURTADO; LAPERRIÈRE, 2011). Talvez repouse aí um dos grandes desafios da prática da meta-avaliação: considerar as particularidades locais, ao mesmo tempo em que transcende o específico, possibilitando interlocuções entre colegas e autores da área. Nesse sentido, apresentamos aqui meta-avaliação de pesquisa avaliativa utilizando parâmetros e critérios por nós definidos como mais adequados ao estudo empreendido - no caso, 'interdisciplinaridade' e 'participação' - distintos daqueles preconizados pela AEA. O modo de aproximação do objeto, aqui chamado de 'caso avaliado' ou 'meta-avaliando', e os critérios estabelecidos foram desenvolvidos a partir das especificidades do caso e não de parâmetros gerais.

Assim, uma pesquisa avaliativa voltada para as condições de moradias de pessoas com transtorno mental grave no contexto da desinstitucionalização psiquiátrica brasileira constituiu o nosso 'meta-avaliando', sobre o qual desenvolveu-se o presente trabalho. Foram ouvidos trabalhadores dos serviços avaliados e pesquisadores que desenvolveram a referida pesquisa avaliativa. Em decorrência da ênfase dada pelo meta-avaliando à participação de usuários e trabalhadores no processo e à inserção de diferentes áreas do conhecimento, definimos 'participação' e 'interdisciplinaridade' como critérios essenciais para a realização desta meta-avaliação. Interdisciplinaridade aqui compreendida como a colaboração efetiva entre distintas áreas do saber por meio de presença física e troca efetiva entre sujeitos concretos em torno de uma dada problemática (ALMEIDA FILHO, 1997; MACHADO, 1995), e participação entendida como a inserção de não pesquisadores - como trabalhadores e usuários, entre outros - em parte ou em todas as etapas de um processo avaliativo (FURTADO; ONOCKO-CAMPOS, 2008). Este estudo foi financiado pelo CNPq (Processo nº 314870/2009-1) e aprovado pelo comitê de ética da UNIFESP sob o número 0670/10, e não houve qualquer tipo de conflito de interesses.

Metodologia

O aspecto 'participação' foi abordado por meio de dois grupos focais com oito trabalhadores da rede municipal de saúde mental e entrevistas individuais com cinco integrantes do comitê de pesquisa, ambas as estratégias conduzidas por pesquisadores externos à pesquisa avaliada. Com relação à interdisciplinaridade, foram realizadas entrevistas à distância com os pesquisadores das diferentes áreas envolvidas, além de observação participante em seminário presencial e por meio de acompanhamento de comunicação coletiva, a partir de mensagens virtuais sistematicamente trocadas entre os investigadores. A opção pela entrevista à distância dos pesquisadores se deveu à inserção geográfica distinta dos vários envolvidos (em vários estados brasileiros) e da própria entrevistadora (docente em universidade canadense). As entrevistas foram transcritas e analisadas segundo método proposto por Bardin (2011).

As categorias empíricas foram definidas por meio de leitura exaustiva das transcrições. Nomes próprios nas transcrições apresentadas foram substituídos por pseudônimos. A avaliação do componente participação foi realizada com base nas proposições de Ridde (2006) adaptadas em roteiro por Weaver e Cousins (2004). A avaliação do componente interdisciplinaridade baseou-se na proposta de avaliação comunitária (ZÚÑIGA; LULLY, 2005) e nas ideias de relações entre cientistas desenvolvidas por Latour (2004).

O caso avaliado

O estudo Inserção social e habitação: pesquisa avaliativa de moradias de portadores de transtorno mental grave, objeto da presente meta-avaliação, buscou avaliar a situação de moradia de duas clientelas compostas de pessoas com Transtorno Mental Grave (TMG): 1) que tentam ou efetivamente constituem sua própria morada, seja por vontade própria ou por não contarem mais com os familiares e/ou iniciativas oficiais nesse sentido, e que são acompanhados em Centros de Atenção Psicossocial (CAPS); 2) egressos de longas internações psiquiátricas que passaram a morar em grupo com outros egressos, em casas a eles destinadas, chamadas de Serviços Residenciais Terapêuticos (SRT), financiadas pelo Sistema Único de Saúde (SUS), no contexto da reforma psiquiátrica brasileira. A pesquisa avaliativa abordada utilizou referencial qualitativo, interdisciplinar e participativo, tendo como premissa que a existência de moradias na comunidade e os modos como são habitadas constituem fatores decisivos na inserção social de portadores de sofrimento mental grave.

Para a realização do estudo avaliativo (FURTADO ET AL., 2010) foram articulados pesquisadores oriundos de quatro áreas: arquitetura, antropologia, psicanálise e Saúde Coletiva (vide figura 1). As distintas vinculações institucionais dos pesquisadores tornaram o estudo, além de interdisciplinar, também interinstitucional, congregando profissionais de três diferentes universidades. Os trabalhos de campo foram realizados em três diferentes municípios, localizados em distintos estados da federação brasileira. Foram acompanhados portadores de TMG nos SRT e em diversos outros lugares, como na rua, em pensões e albergues, entre outros.

Figura 1
A pesquisa avaliativa de moradias de portadores de TMG meta-avaliada

Fonte: Furtado et al., 2010.

Foi utilizado referencial qualitativo de pesquisa e os trabalhos de campo foram efetivados por meio de observação participante e entrevistas com os usuários, além de grupos focais com os trabalhadores dos SRT e dos Centros de Atenção Psicossocial (CAPS) envolvidos. Essa pesquisa avaliativa previa a implementação de comitês de pesquisa, compostos por trabalhadores e portadores de TMG usuários dos serviços (SRT e CAPS), com a função de acompanhar o desenvolvimento da avaliação, inserir novas questões e processar os resultados da mesma, por meio de reuniões periódicas. Tais comitês deveriam constituir o espaço formal de participação de não avaliadores no processo.

Os trabalhos de campo foram realizados pelos pesquisadores responsáveis e também por pesquisadores contratados, além de alunos da graduação, por meio de iniciação científica. Um ensaio em campo, com representantes das quatro áreas envolvidas, foi realizado antes do efetivo início dos trabalhos empíricos. A partir desse teste, os pesquisadores responsáveis puderam definir melhor os aspectos a serem observados pelos demais colegas nos futuros trabalhos de campo. Essa iniciativa foi importante pelo fato de que o material de campo gerado seria único, a ser posteriormente analisado pelas distintas áreas e seus respectivos referenciais teóricos e categorias empíricas. Após as análises, uma reconstrução do objeto deveria ser feita pelas áreas envolvidas, de modo a concentrar distintos referenciais em um só texto, contendo os julgamentos e recomendações sobre o objeto avaliado.

Resultados

Participação: das proposições às práticas

Para Weaver e Cousins (2004), as diferentes práticas de avaliação participativas poderiam ser analisadas segundo cinco dimensões. Questões como: quem controla o estudo; quais diversidades foram consideradas; que tipo de relação se estabelece (ou se impõe) entre os participantes; qual a flexibilidade da gestão da pesquisa no desenrolar das ações; e em que grau se dá o envolvimento dos participantes, tornam-se fundamentais para delimitar o tipo de participação efetivamente realizada. Abaixo, reproduzimos a tabela contendo as cinco dimensões do processo de avaliação participativa (quadro 1) adaptado por Ridde (2006), valendo-se das ideias originalmente formuladas por Weaver e Cousins (2004).

Quadro 1
Escala de valores das cinco dimensões do processo de avaliação participativa

Dimensão	Questão
Controle de decisões técnicas	Como se compartilham decisões técnicas ligadas ao processo avaliativo?
Grupos de interesse participantes	Qual é a diversidade dos grupos de interesse entre os participantes?
Relação de poder entre os grupos de interesse	Como se deu a participação dos diferentes grupos de interesse?
Plasticidade do processo de gestão da pesquisa	Como se caracteriza a permeabilidade no meio em que ela transcorreu?
Nível de participação	Qual é a profundidade de participação dos não avaliadores no processo?

• Fonte: Elaboração própria

Aos critérios explicitados no quadro 1, acrescentou-se a avaliação da efetiva implementação dos comitês e dos efeitos advindos do processo da avaliação em si, chamado de 'uso do processo' (COUSINS, 2007; PRESKILL; ZUCKERMAN; MATTHEWS, 2003).

Implementação dos comitês

Foram previstos três comitês de pesquisa, mas somente em um dos campos houve o estabelecimento do espaço de participação. No segundo campo, a implementação foi parcial devido à mudança de inserção institucional da pesquisadora responsável pelo mesmo e, no terceiro campo, o comitê não foi constituído por falta de vontade política da gestão municipal. Conforme discutido em outra ocasião (FURTADO, 2012), o envolvimento dos chamados não especialistas em processos avaliativos não é fácil nem simples, e requer estratégias de ordem política e financeira para a sua viabilização. Além de disputar espaço político e institucional com várias outras demandas que atravessam o cotidiano dos trabalhadores e usuários, o convite à participação pode enfrentar resistências provenientes da restrita tradição dessa prática em nosso país e da desconfiança que o termo 'avaliação' suscita (FURTADO, 2006b). Resistências cuja superação exige o estabelecimento do convívio e do vínculo entre os envolvidos, conforme afirmado por Laperrière et al. (2012, p. 14):

A visão de participação baseada em contrato formal supõe o estabelecimento de confiança pelo simples fato de que os parceiros respondem algumas questões. Porém, a construção de parceria interorganizacional exige mais do que a formulação de um contrato. A solidariedade exige confiança oriunda da vivência do compartilhamento (tradução nossa).

Inclusive, para dirimir eventuais experiências consideradas traumáticas pelos trabalhadores, provenientes de iniciativas semelhantes, conforme afirmado por um deles:

Para ser sincero, fui com um pé atrás, porque a gente participou de uma pesquisa, uns anos atrás, das residências, que era uma tese de doutorado, e ela acabou, na tese dela, descendo a lenha no serviço, o que causou constrangimentos. (Entrevistado 1).

Alguns fatores parecem ter favorecido o comitê de pesquisa no único município onde foi implementado: a gestão municipal havia mudado recentemente e o novo governo municipal era totalmente distinto, politicamente, do grupo anterior. Essa situação parece ter minimizado reservas quanto à avaliação, uma vez que o atual governo municipal não era o formulador da obra em questão. Além disso, o pesquisador que inseriu a proposta participativa na pesquisa como um todo, detentor de mais experiência empírica e acúmulo teórico na implementação e na condução desse tipo de fórum, era justamente o responsável por esse comitê. Isto posto, ressalta-se que apenas o comitê efetivamente implementado foi objeto de meta-avaliação.

Grupos de interesses participantes e relações de poder entre eles

Quanto à participação de pacientes no comitê de pesquisa, não havia, por parte dos entrevistados, compreensão precisa sobre o momento em que se decidiu por sua não inclusão. Alguns associavam isso à experiência inicial de participação de um usuário (que também era cuidador em uma das residências) e a impossibilidade de conciliar frequência ao comitê e ao horário de trabalho. No entanto, a inserção de pessoas com transtorno mental, previsivelmente mais complexa, foi descartada nos primeiros encontros do comitê, quando os trabalhadores afirmaram que ficariam mais à vontade somente entre pares. Conforme dito por um entrevistado:

Os usuários não fizeram falta no comitê, mas talvez agora, no próximo capítulo, seja o caso de discutir os resultados com os usuários mesmo. (Entrevistado 1).

Uma questão importante a notar foi a baixa articulação com os tomadores de decisão. Afinal, o comitê se restringiu aos trabalhadores da assistência e à coordenação de um CAPS. A coordenação dos SRTs sofreu inúmeras mudanças e a coordenação geral de saúde mental não esteve presente no comitê. Se, por um lado, a ausência de detentores de mais poder deixou os trabalhadores mais à vontade, por outro, limitou a capacidade desse fórum de tomar decisões, como ilustra o trecho de entrevista abaixo:

Espero que isto aí tudo vá pra frente, chegue em outras esferas, fóruns, debates, sei lá. Eu espero isso, mas a gente sabe que as coisas não acontecem. (Entrevistado 2).

Nível de participação e plasticidade

A participação, nesse caso, se deu, sobretudo, ao longo dos trabalhos de campo. Os agentes foram chamados a participar quando o projeto possuía financiamento aprovado pelo CNPq. Sendo assim, as principais questões técnicas de coleta de dados e categorias analíticas estavam definidas, ou seja, várias das dimensões propostas por Ridde (2006) para qualificar processos participativos já haviam sido definidas com a antecedência necessária para submissão da proposta ao órgão financiador, o que talvez justifique certo distanciamento dos participantes ilustrado na afirmação abaixo:

É como se vocês tivessem feito um apanhado do dia a dia e a gente tivesse discutindo para ver onde estão os pontos falhos, onde não estão, o que poderia melhorar, o que está acontecendo que a gente não percebe (...). (Entrevistado 3).

Tal afirmação parece expressar a ideia de que os pesquisadores coletam dados e informações para apontar eventuais lacunas, excluindo os responsáveis pela condução do serviço de sua legítima função de identificar questões, buscar respostas e implementar mudanças. O comitê de pesquisa abriu-se como cenário para o diálogo e a construção de conhecimentos, subsidiado, em parte, por extratos de observações provenientes do acompanhamento de alguns usuários. À medida que partes das observações eram compartilhadas no comitê, novas questões surgiam, influenciando a condução da pesquisa, dotando-a de real permeabilidade às questões oriundas do meio.

Uso do processo

Para os integrantes ouvidos, o comitê lhes permitiu maior aproximação da realidade da rede de saúde mental, das residências e dos usuários, favorecidos agora por uma posição menos atada aos papéis e às hierarquias. Das entrevistas pode-se depreender o espaço de circulação da palavra constituído pelo comitê, no qual se explicitava o que normalmente não é dito nos serviços. Além disso, a estratégia de compartilhar anotações provenientes do acompanhamento dos pacientes possibilitou o conhecimento de novos aspectos destes.

Tive dois encontros com o pesquisador Daniel. No primeiro, ele trouxe um texto e neste último encontro ele trouxe algumas perguntas. Não, trouxe umas falas de um morador e de um técnico, e colocou em discussão para ver o que cada um falava, e foi produtivo, foi muito legal. (Entrevistado 5).

Esse maior conhecimento de aspectos dos usuários acompanhados trouxe contribuições para a dimensão clínica dos casos. À medida que o itinerário dos pacientes pelas ruas ou nos próprios SRTs eram compartilhados, revelavam-se complexas alianças entre sintoma, circulação pela cidade, moradia, demanda pelos serviços e uso dos SRTs, ampliando a possibilidade de leitura dos casos e, com isso, de desenho de projetos terapêuticos por parte das equipes de saúde.

A equipe começou a ver a paciente Maria de uma forma diferente. (...) A escuta pode não ser condicionada ao dia a dia, ser mais descontaminada. Acho que alguns membros das equipes ganharam esta visão, principalmente a enfermagem. Este foi um tremendo ganho da pesquisa. (Entrevistado 5).

A maior compreensão do serviço e sua inserção na rede, de aspectos subjetivos e sociais dos pacientes, remetem a um importante desdobramento do processo avaliativo. Atestam-se, nesse caso, aprendizagens e mudanças de posição causadas não propriamente pelos achados ou resultados finais da avaliação, mas, sobretudo, pelo processo avaliativo em si, constituindo o que vem sendo chamado de 'uso do processo' ou, originalmente, de 'process use' (PATTON, 1997; PRESKILL; ZUCKERMAN; MATTHEWS, 2003). Nesse sentido, o processo em si gerou efeitos importantes e imediatos, com consequências para as práticas cotidianas no serviço, disparando conversas e mobilizando mais interesse pelo trabalho em rede na saúde mental local:

A partir da pesquisa, a gente consegue tirar uma visão mais ampla do serviço, como se fosse uma supervisão institucional. Não claramente como uma supervisão, mas o pesquisador Daniel chega e nos pontua, e isso, e aquilo, e a gente, se está envolvido demais, não consegue ver. (Entrevistado 4).

Interdisciplinaridade

Para captar aspectos ligados à interdisciplinaridade, optou-se por estratégia que permitisse aos pesquisadores efetuarem verdadeira apreciação da avaliação por eles realizada, na qual os avaliadores analisam o próprio processo, evitando entrevistas direcionadas e fechadas. Desse modo, a meta-avaliação participativa deve colocar a teoria participativa e interdisciplinar em prática, sobretudo se considerarmos que 'a teoria existe na teoria; na prática, ela não existe', como afirmado por Latour (2004).

Um campo virtual

Os pesquisadores em questão passaram por experiência na qual suas pretensões interdisciplinares e participativas foram confrontadas com contextos sociopolíticos reais. Nossa participação no primeiro seminário de pesquisa, que congregou todos os pesquisadores e trabalhadores envolvidos, permitiu o contato pessoal, nos primórdios da pesquisa, no ano de 2009, em Santos (SP). A partir daí, o acompanhamento do cotidiano da pesquisa se deu por meio da análise das interlocuções entre os pesquisadores, com base nos correios eletrônicos trocados em lista virtual de conversações.

A compilação desses correios eletrônicos, trocados entre junho de 2009 e março de 2010, gerou documento de mais de cem páginas, com centenas de mensagens nas quais se discutem temas diversos, que vão do trabalho científico como pesquisador às relações institucionais com os serviços e secretarias municipais de saúde, passando pelo acompanhamento dos estudantes bolsistas, a observação participante, os cuidados para entrada nas moradias e os desafios de incluir os usuários nas decisões e apreciações compartilhadas, entre outros, evidenciando consciência coletiva dos dilemas metodológicos e éticos oriundos da prática no campo.

Entre agosto de 2010 e fevereiro de 2011, contatamos os pesquisadores/avaliadores envolvidos por meio de software para comunicação por voz e imagem, de maneira gratuita, na internet (Skype), durante aproximadamente uma hora cada um. Foram entrevistas semiestruturadas e inspiradas em nossa experiência com os Grupos de Avaliação Partilhada (ZÚÑIGA; LULLY, 2005). As questões examinavam as condições e os determinantes de entrada no projeto, os modos de coordenação do trabalho coletivo, os contatos com os outros membros do grupo de pesquisa, as características do trabalho coletivo e os documentos gerados pela pesquisa avaliativa.

Características do trabalho coletivo

Afinal, como se dava o contato entre as diferentes áreas? Houve um primeiro seminário aberto para expor as diversas perspectivas disciplinares e realizar deliberações coletivas. Na ocasião, contou-se com especialistas de cada área convidados a debater o projeto inicial. No entanto, para o conjunto dos pesquisadores, não houve debate entre as áreas. Cada um apresentou seu modo de analisar em complementaridade ao trabalho coletivo, porém sem confrontar as contradições entre as diversas perspectivas avaliativas. Para que houvesse realmente troca e permeabilidade, alguns entrevistados apontaram a necessidade de mais tempo para a exposição e presença de mediadores. O fato é que, para alguns entrevistados, esse primeiro intercâmbio prescindiu de um debate realmente interativo entre as áreas, que possibilitasse a construção de 'compreensão cruzada'. No entanto, as comunicações virtuais parecem ter suprido parte das limitações do primeiro encontro presencial:

O Skype era a forma de ligar uns aos outros. Se tiver problema, podia discutir com várias pessoas. O Skype permitiu uma plataforma de encontros virtuais, que foi a melhor opção para esta pesquisa em rede.(Entrevistado 8).

A compreensão do objeto

É de se notar que, no geral, os pontos de vista dos pesquisadores ofereceram uma visão mais realista do trabalho empírico interdisciplinar, se levados em conta os ideais de interdisciplinaridade e participação normalmente presentes na literatura e na retórica de congressos e similares. Um pesquisador aponta que as categorias inicialmente utilizadas para definir os usuários a serem acompanhados - mal adaptados e bem adaptados às suas necessidades e condições de moradia, respectivamente - são passíveis de revisão. Afinal, 'pessoa adaptada' frequentemente é compreendida como adequada às normas. Durante a pesquisa, foi necessário empenho para que esses critérios iniciais de discriminação dos usuários acompanhados não redundassem em noções equivocadas de que um sujeito seria melhor do que o outro.

Embora a temática da colaboração entre áreas esteja sempre presente nas recomendações e nos textos sobre interdisciplinaridade, sua efetivação origina dúvidas essenciais: como se faz pesquisa interdisciplinar? Seria estar juntos em todas as etapas? Tudo isso denota a construção de dois objetos de pesquisa que talvez não estivesse tão evidente para os pesquisadores desde o início: os modos de morar e habitar de pessoas com TMG por um lado e, por outro, a reconstrução coletiva e interdisciplinar desse mesmo objeto, que poderíamos aqui caracterizar como um segundo objeto. Ou seja, o relato dos entrevistados parece indicar a existência de um duplo trabalho oriundo da opção claramente interdisciplinar da avaliação empreendida: primeiramente, aproximar-se e analisar o objeto segundo as categorias próprias do campo para, depois, articular esse trabalho com os demais, no esforço de construção de uma compreensão coletivizada e polissêmica.

A coleta e a análise de informações

O trabalho de campo envolveu pesquisadores e, sobretudo, graduandos e profissionais contratados para a realização de observações participantes. Esses últimos privilegiaram a efetividade, seguindo o roteiro preconizado, porém à custa de 'uma atitude distante', segundo alguns pesquisadores, colhendo 'um bom número de dados, mas não em suficiente profundidade'. Em contrapartida, os alunos de graduação se engajaram com especial envolvimento na pesquisa, como afirmado por um entrevistado:

Era emocionante esta forma de se comprometer com a pesquisa e a população, sem a distância científica e uma tomada de posição. Houve implicação do sujeito: a emoção como motor da pesquisa. (Entrevistado 7).

Os graduandos apresentaram uma abordagem mais próxima, um investimento subjetivo maior, de tal maneira que colheram um material enorme e personalizado. Por exemplo, quando notaram que o tema das relações sexuais estava excluído dos questionamentos e inseriram discussões dessa natureza com os usuários acompanhados. Isso levou um pesquisador a questionar: "Qual é, então, a atitude desejável para os assistentes de pesquisa: distante (objetividade) ou engajada (subjetividade)?"

O maior engajamento dos graduandos não foi avaliado igualmente pelos pesquisadores. Parte deles identificou aí a possibilidade de verdadeiro conhecimento das questões que atravessavam o cotidiano dos pacientes acompanhados, sendo que outros investigadores criticaram a falta de distanciamento presente nos relatórios. Porém, permaneceu a questão: afinal, como acompanhar a rotina doméstica de outrem sem proximidade? Proximidade que, frequentemente, suscitou demandas dos usuários e mesmo dos cuidadores endereçadas aos pesquisadores, gerando insegurança nestes últimos sobre a opção em intervir ou não.

Os pesquisadores descrevem diversas maneiras complementares utilizadas para recolher os dados: relatos dos pacientes acompanhados a partir da visão de fotografias de seu local de morada e do entorno; intervenções imprevistas como, por exemplo, as anotações feitas por um morador no caderno de anotações de campo esquecido sobre a mesa; e o uso de interfaces, compreendidas por Baltazar et al. (no prelo) como

(...) instrumentos de mediação, que separam e conectam pessoas e espaços, sem determinar a natureza dessa separação ou conexão. Elas devem possibilitar que os habitantes de um espaço deixem de ser apenas 'usuários' e adquiram maior autonomia nos seus processos cotidianos de produção desse espaço.

Ou seja, o conceito de interface possibilitou acompanhar os desdobramentos de elementos inseridos no contexto como, por exemplo, os modos como foram recebidos e inseridos no espaço da moradia os pequenos vasos de flores com que os pesquisadores presentearam os moradores. A partir daí, pode-se observar os modos de relação com o ambiente, com os outros moradores, o imaginário de casa, dentre outras coisas.

Em certo momento das entrevistas, solicitou-se aos pesquisadores que descrevessem a redação das análises por área e discorressem sobre a relevância dos relatos de campo. Considerando que, no momento das entrevistas, a pesquisa avaliativa abordada estava em curso, emergiram dúvidas sobre a articulação final ou o produto conjunto da mesma: "Tenho dúvida se faremos mesmo uma junção ou apenas análises paralelas", afirmou um entrevistado, refletindo uma dúvida comum sobre como integrar as diferentes áreas em um mesmo texto. Outro desafio relatado provém do fato de que a maior parte do campo foi feito por graduandos ou pesquisadores contratados. De certa forma, isso constituiu fonte secundária para os pesquisadores, uma vez que os mesmos não acompanharam pessoalmente todas as observações participantes, entrevistas e grupos focais.

A pesquisa fica para quando dá tempo

De maneira inesperada, surgiram pontuações, da parte dos entrevistados, sobre o modo como a presente pesquisa foi inserida no contexto geral da vida profissional de cada pesquisador. Via de regra, o desenvolvimento dessa avaliação se somou ao universo maior das muitas atribuições de cada um deles já existente, sem redução das tarefas anteriores, levando-se à constatação de que "o projeto necessitava de mais tempo do que se podia oferecer na real ou que a pesquisa ficava para quando dava tempo".

O envolvimento com o projeto de pesquisa avaliativa relembrou o dilema entre o que o pesquisador quer fazer e a necessidade de produtividade no âmbito acadêmico. "Tinha ingenuidade de imaginar que teria a disponibilidade mais que podia", disse um pesquisador, argumentando que eram incompatíveis o que se esperava dele e o que ele podia fazer realmente. O tempo de investimento exigia muito mais do que as quatro horas fixadas no protocolo inicial da pesquisa.

Desafios metodológicos e interdisciplinares

Durante as observações, um pesquisador tomou consciência das condições de trabalho dos cuidadores: "O projeto tem levado em conta os usuários, todavia tinha que atentar às condições de trabalho dos cuidadores, que se ficam enlouquecidos com a carga". Isso também foi afirmado por outro pesquisador:

Com o tempo, se transforma o olhar sobre o cuidador dentro das moradias. Se, no início, eram vistos como aqueles que reproduziam as condições manicomiais, no meio do caminho, mudamos este julgamento para uma imagem mais nuançada do trabalhador. (Entrevistado 10).

Para outro pesquisador, a própria necessidade da pesquisa avaliativa ficou em questão: "Às vezes, o problema parece tão óbvio, evidente: os cuidadores das unidades são sobrecarregados e mal remunerados. Fazem de faxina a ajuda psicológica para os moradores". Ocorreram ainda dilemas éticos, quando a observação participante capta situações potencialmente obscuras: "Uma vez, vi um morador dar cem reais ao cuidador para comprar uma cerveja. Seria o papel do pesquisador se preocupar sobre o que o cuidador faria com o troco desse dinheiro e julgá-lo?"

Se há interrogação sobre o objeto da pesquisa avaliativa, igualmente há duvidas quanto ao quadro teórico da avaliação: "Muitas vezes, se usam um modelo de pesquisa avaliativa com origem no contexto europeu. Porém, teria uma forma de avaliar para dar conta do contexto social e cultural brasileiro?"

A partir das experiências empíricas, os pesquisadores entrevistados demonstraram lucidez e realismo sobre a intenção teórica de interdisciplinaridade. Como abordar o problema, juntar os métodos de pesquisa, escolher as categorias temáticas privilegiadas para os roteiros de entrevistas e observações? Como estabelecer uma relação entre duas abordagens? Certas disciplinas têm maior proximidade entre si, como a saúde coletiva e a antropologia, o que nao acontece entre a arquitetura e a psicanálise. Para um pesquisador, haveria convergências e divergências entre as disciplinas nas formas de contextualizar e abordar a habitação. "Cada um dá a sua contribuição, mas como as peças se encaixam? Como fabricar um móvel com múltiplos artesãos?", ilustra um pesquisador. A interdisciplinaridade seria assim como um "polígono cujas diferentes faces deverão tornar-se um único plano por meio dos debates entre as áreas?", indaga este mesmo pesquisador.

As dificuldades de articulação se deram, sobretudo, no plano epistemológico, uma vez que não havia propriamente disputas concretas entre as áreas, conforme reconhecem os entrevistados. Essa ausência de conflitos parece provir do fato de que as disciplinas envolvidas situam-se à distância suficiente para evitar disputas, como normalmente acontece entre aquelas cuja relativa proximidade implica superposições entre eventuais clientes ou na produção teórica.

Conclusões

Sob o ponto de vista da participação de não especialistas no processo avaliativo empreendido, a implementação de fórum para efetivação da mesma ficou restrita a um dos três campos nos quais se desenvolveram os trabalhos. O único comitê implementado foi constituído essencialmente por trabalhadores da assistência, prescindido de usuários e outros grupos de interesse, por evidente dificuldade dos profissionais de compartilhar o espaço com os pacientes. Níveis hierárquicos superiores (como a coordenação municipal de saúde mental) também não integraram o comitê por opção própria, diminuindo as chances de efetiva assimilação dos resultados pelos chamados tomadores de decisão. Conforme já afirmado, por um lado, restringiram-se as perspectivas possíveis a um só grupo e, por outro, possibilitou-se que este mesmo grupo aprofundasse as questões que lhe eram próprias. No entanto, deve-se ressaltar que boa parte das questões referentes ao objeto da pesquisa já haviam sido pré-definidas por ocasião do envio do projeto ao CNPq, restando ao fórum agregar novas perguntas e questões, e acompanhar o andamento da pesquisa e seu gradativo processamento. Houve intenso e significativo uso de elementos 'colaterais' do processo avaliativo, como mais conhecimento das necessidades dos pacientes e das questões que eles enfrentam fora dos serviços, com repercussões para a condução clínica dos casos. Houve o fornecimento de subsídios à compreensão e à condução dos casos acompanhados, e especial aproximação da temática da habitação e suas relações por parte dos trabalhadores, configurando importante 'uso do processo', conforme é chamado na literatura especializada (PATTON, 2011; PRESKILL; TORRES, 1999).

Sob o ponto de vista da busca de efetivação de um processo avaliativo interdisciplinar, a inserção de pesquisadores de quatro áreas distintas, da formulação ao término do processo, bem como a estruturação de modo único de formação da informação em campo, gerando um mesmo material utilizado por todos os pesquisadores, constituiu base sólida para a construção de interações interdisciplinares. A partir daí, no entanto, o rompimento de fronteiras disciplinares tornou-se desafio importante, como atesta o primeiro seminário, caracterizado pela pouca troca entre as áreas, segundo os pesquisadores. O trabalho interdisciplinar implicou no estabelecimento de um segundo objeto: para além daquele abordado por cada disciplina, de acordo com suas categorias teóricas e empíricas, constituiu-se novo objeto a ser construído, a partir das distintas contribuições advindas da antropologia, da arquitetura, da psicanálise e da saúde coletiva.

As principais indagações e questões surgidas no processo - sobre como efetivar trabalho interdisciplinar; o receio da perda da identidade disciplinar de alguns trabalhadores de campo; as dúvidas sobre a possibilidade ou não de articular os conhecimentos gerados; e mais ou menos interação entre certas disciplinas, entre outras - só fazem atestar o encontro de intenções interdisciplinares com o mundo das práticas, caracterizando a busca pela realização de colaboração entre as áreas em campo. Ou seja, emergiram questões dessa natureza justamente porque efetivo trabalho interdisciplinar estava em curso.

No último capítulo do relatório final elaborado pelo meta-avaliando, cada uma das áreas, em separado, apresenta suas principais considerações e conclusões, marcando seus contornos e modus operandi, denotando a possibilidade de trabalho conjunto entre diferentes campos. E, neste mesmo capítulo, as quatro áreas convergem e elaboram conjuntamente 13 pontos problemáticos encontrados no objeto avaliado e possíveis meios de superação, indicando capacidade de articulação e convergência. Diferenciação e convergência, delimitação de contornos e capacidade de articulação dessa natureza exibem especial capacidade de levar a bom termo um trabalho avaliativo baseado na cooperação entre áreas distintas.

O desafio de implementar processos avaliativos participativos e interdisciplinares implica na consideração e no enfrentamento de algumas das questões oriundas da avaliação aqui analisada.

• Suporte financeiro: CNPq (processo 314870/2009-1)

Referências

• ALMEIDA FILHO, N. Transdisciplinaridade e saúde coletiva. Ciênc. Saúde Coletiva, Rio de Janeiro, v. 2, n. 1/2, p. 5-20, 1997.
• BALTAZAR, A. M.; KAAP, S.; TUGNY, A. O uso de interfaces como estratégia metodológica. In: FURTADO, J. P.; NAKAMURA, E. De muitas maneiras:inserção social e habitação de pessoas com transtorno mental grave no Brasil. São Paulo: Edunifesp. No prelo.
• BARDIN, L. Análise de conteúdo Lisboa: Edições 70, 2011.
• CONTANDRIOPOULOS, A. P. Avaliando a institucionalização da avaliação. Ciênc. Saúde Coletiva, Rio de Janeiro, v. 11, n. 3, p. 705-711, 2006.
• COUSINS, J. B. Process use in theory, research, and practice. New Directions for Evaluations, San Francisco, v. 116, p. 43-82, 2007.
• DUBOIS, N.; MARCEAU, R. Un état des lieux théoriques de l'évaluation: une discipline à la remorque d'une révolution scientifique qui n'en finit pas. The Can J Program Evaluation, Toronto, v. 20, n. 1, p. 1-36, 2005.
• ELLIOT, L. G. Meta-avaliação: das abordagens às possibilidades de aplicação. Ensaio: Aval. Pol. Públ. Educ., Rio de Janeiro, v. 19, n. 73, p. 941-964, 2011.
• FERNANDES, F. M. B.; RIBEIRO, J. M.; MOREIRA, M. R. Reflexões sobre avaliação de políticas de saúde no Brasil. Cad. Saúde Pública, Rio de Janeiro, v. 27, n. 9, p. 1667-1677, 2011.
• FURTADO, J. P. A avaliação de programas e serviços. In: CAMPOS, G. W. S. (Org). Tratado de Saúde Coletiva, São Paulo: Hucitec, 2006a.
• ______. A avaliação participativa. In: OTERO, M. R. (Org). Contexto e prática da avaliação de iniciativas sociais no Brasil: temas atuais. São Paulo: Petrópolis; 2012. 168p.
• ______. Avaliação para o conhecimento e a transformação. In: BOSI, M. L.; MERCADO, F. (Org.). Avaliação qualitativa de programas de saúde Rio de Janeiro: Vozes, 2006b.
• FURTADO, J. P.; LAPERRIÈRE, H. A avaliação da avaliação. In: FURTADO, J. P.; ONOCKO CAMPOS, R. (Org). Desafios da avaliação de programas e serviços Campinas: Ed. Unicamp; 2011. 280p.
• ______. Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva. Ciênc. Saúde Coletiva, Rio de Janeiro, v. 17, n. 3, p. 695-705, 2012.
• FURTADO, J. P.; ONOCKO-CAMPOS, R. Participação, produção de conhecimento e pesquisa avaliativa: a inserção de diferentes atores em uma investigação em saúde mental. Cad. Saúde Pública, Rio de Janeiro, v. 24, n. 11, p. 2671-2680, 2008.
• HARTZ, Z. M. A.; FELISBERTO, E.; SILVA, L. M. V. Meta-avaliação da atenção à saúde: teoria e prática. Rio de Janeiro: Fiocruz, 2008. 410p.
• LATOUR, B. Politics of nature: how to bring the sciences into democracy. Cambridge Mass: Harvard University Press, 2004.
• LETICHEVSKY, A. C. et al. La categoria precisión en la meta-evaluación: aspectos prácticos y teóricos en un nuevo enfoque. Ensaio: Aval. Pol. Públ. Educ., Rio de Janeiro, v. 13, n. 47, p. 255-268, jan. 2005.
• MACHADO, M. H. Sociologia das profissões: uma contribuição ao debate teórico. In: ______. (Org). Profissões de saúde: uma abordagem sociológica. Rio de Janeiro: Fiocruz, 1995. 193p.
• PATTON, M. Q. Developmental Evaluation New York: Guilford Press, 2011.
• ______. Utilization-focused evaluation: the new century text. 3. ed. Thousand Oaks, CA: Sage Publications, 1997.
• PRESKILL, H.; TORRES, R. T. Evaluative inquiry for learning in organizations Thousand Oaks, CA: Sage, 1999.
• PRESKILL, H.; ZUCKERMAN, B.; MATTHEWS, B. An exploratory study of process use: findings and implications for future researchers. Am J Evaluation, Thousand Oaks, v. 24, p. 423-442, 2003.
• RIDDE, V. Suggestion d'ameliorations d'un cadre conceptual de l'évaluation participative. La Rev Can Eval Programme, Toronto, v. 21, n. 1, p. 1-24, 2006.
• SCRIVEN, M. An introduction to meta-evaluation. Educational Product Report, Nova York, v. 2, p. 36-38, 1969.
• SCRIVEN, M. Metaevaluation. In: MATHISON, S. (Org). Encyclopedia of evaluation Thousand Oaks: Sage, 2005.
• STUFFLEBEAM, D. L. The metaevaluation imperative. Am J Evaluation, Thousand Oaks, v. 22, n. 2, p. 183-209, 2001.
• WEAVER, L.; COUSINS, J. B. Unpacking the participatory process. J Multidiscip Eval, Kalamazoo, v. 1, n. 1, p. 19-40, 2004. Disponível em: <http://journals.sfu.ca/jmde/index.php/jmde_1/article/viewFile/144/159>. Acesso em: 02 abr. 2014.
  » http://journals.sfu.ca/jmde/index.php/jmde_1/article/viewFile/144/159
• WORTHEN, B. R.; SANDERS, J. R.; FITZPATRICK, J. L. Avaliação de programas: concepções e práticas. São Paulo: Edusp: Editora Gente, 2004.
• ZÚÑIGA, R.; LULY, M. H. Savoir-faire et savoir-dire: un guide d'évaluation communautaire. Montréal: COCQ-sida, 2005.

Datas de Publicação

• Publicação nesta coleção
  Set 2014

Histórico

• Recebido
  Mar 2014
• Aceito
  Jun 2014