Institucionalizando a avaliação nas organizações e agências de pesquisas: um estudo de caso exemplar

Institutionalizing the evaluation in organizations and research agencies: an exemplary case study

RESUMO

Este artigo analisa a estrutura organizacional e as ferramentas de suporte da política de avaliação do International Development Research Centre, visando a contribuir para a gestão e o uso do conhecimento no âmbito das pesquisas fomentadas pela Política de Ciência e Tecnologia em Saúde no Brasil. Parte do referencial sobre institucionalização da avaliação e apresenta contribuição para aprendizagem e aquisição de conhecimentos, valorizando a potencialidade em reforçar capacidades locais de pesquisa e inovação. Considera a relevância da avaliação na gestão de projetos de pesquisa e produção de resultados por meio de abordagem que nivela métodos rigorosos de avaliação, com utilização das constatações dela decorrentes.

PALAVRAS-CHAVE:
Avaliação em saúde; Institucionalização; Monitoramento; Gestão do conhecimento

ABSTRACT

This article analyzes the organizational structure and the support tools of the evaluation policy of the International Development Research Centre, aiming to contribute to the management and use of knowledge in the context of researches stimulated by the Policy of Health Science and Technology in Brazil. It takes for granted the framework about institutionalization of evaluation and presents its contribution to learning and acquisition of knowledge, enhancing its potentiality to strengthen local capacities of research and innovation. It considers the relevance of evaluation in the management of research projects and production of results through an approach that levels rigorous evaluation methods, with the use of the findings resulting from them.

KEYWORDS:
Health evaluation; Institutionalization; Monitoring; Knowledge management

Introdução

Os gestores cada vez mais necessitam tomar decisões num ambiente institucional e social de rápidas mudanças, diversificado e complexo, mas poucos utilizam adequadamente as evidências das pesquisas. É necessário, portanto, o desenvolvimento de condições e ferramentas para ajudá-los a fazer um melhor uso da pesquisa na gestão.

No campo da saúde, o uso adequado da pesquisa auxilia gestores e profissionais a avaliar a exequibilidade e o impacto potencial de suas decisões na melhoria da saúde para os usuários do sistema. Entretanto, é importante que, nos resultados gerados pelas pesquisas, possam ser avaliadas não apenas as informações, analisando-as segundo o tipo de impacto, área temática, grau e utilidade que possam vir a ter na gestão, mas, também, as formas que os decisores poderão utilizá-las, atendendo às suas necessidades, como reação ao conhecimento apreendido.

A estruturação, o desenvolvimento e a implantação de ferramentas que auxiliem na efetivação da gestão do conhecimento, como um processo sistemático, articulado e intencional, apoiado na geração, codificação, disseminação e apropriação de saberes, fortalecem a interação e a articulação entre a gestão, os profissionais formuladores de políticas e as instituições de ensino e pesquisa. Esse processo favorece a ampliação do conhecimento e a aplicação da avaliação na formulação de políticas e na tomada de decisões. Por outro lado, também sugere pistas de como as contribuições sobre a atual Política Nacional de Ciência, Tecnologia e Inovação em Saúde (PNCTIS), aqui apresentadas, dialogando-se com outras experiências internacionais, podem se refletir na institucionalização das suas práticas avaliativas.

É importante destacar que, quando de sua aprovação, durante a II Conferência Nacional de Ciência, Tecnologia e Inovação em Saúde, em 2004, ressaltou-se como um dos principais problemas a ser superado a pouca capacidade de indução demonstrada pela área, até então. Entre as estratégias aprovadas com vistas a essa superação, destaca-se o referendo à construção da Agenda Nacional de Prioridades de Pesquisa em Saúde (ANPPS), iniciada em 2003, com vistas a orientar o fomento à pesquisa no âmbito do Sistema Único de Saúde (SUS), tendo como pressupostos as necessidades nacionais e regionais e a indução seletiva para a produção de conhecimentos e tecnologias em áreas prioritárias, com o intuito de aproximar as agendas da pesquisa e da política pública de saúde (GUIMARÃES, 2006). No entanto, estudos internacionais e nacionais convergem sobre as barreiras que representam essa tradução dos achados de pesquisa em políticas, mas, também, sobre a importância de uma cultura organizacional ou da institucionalização da avaliação para a superação de tais barreiras (GUIMARÃES, 2006; VIANA et al., 2006; MAYNE, 2010). Entre as contribuições mais relevantes durante a última década, incluem-se, notadamente, os trabalhos realizados pela unidade de avaliação do International Development Research Centre (IDRC) (IDRC, 2005; CARDEN; EARL, 2007).

Neste sentido, partindo de um referencial comum sobre a institucionalização da avaliação em geral e aplicada ao campo da saúde (SAMICO et al., 2010), este artigo se destaca na sua proposição de particularizar a estrutura organizacional e as ferramentas de suporte da política de avaliação adotada pelo IDRC, enquanto caso exemplar, visando a contribuir para a gestão e o uso do conhecimento produzido no âmbito das investigações fomentadas pela política da ciência e tecnologia em saúde no Brasil.

Institucionalização da avaliação: marco teórico

Especialistas nacionais e internacionais com experiência no estudo da avaliação há muito vêm abordando o desafio da efetiva utilização da avaliação para a melhoria da prática cotidiana e para a promoção das mudanças necessárias. Em debate publicado, em 1999, no periódico 'Cadernos de Saúde Pública', Hartz já chamava a atenção para a necessidade da formulação de políticas de avaliação para avaliação de políticas e de sua adoção, por parte das instituições, integrando-as a um modelo orientado para a ação, articulando as atividades analíticas às de gestão (HARTZ, 1999). A partir de uma análise do modelo adotado na França para a institucionalização da avaliação de programas e políticas públicas, a autora propunha uma reflexão sobre questões relacionadas à estrutura, à prática e à utilização dos resultados da avaliação, sugerindo pistas de reflexão e debate na perspectiva do sistema de saúde brasileiro.

Nesta direção, duas pesquisas sobre os usos da avaliação, tomando as mesmas categorias analíticas, realizadas com um intervalo de dez anos entre elas (1996 - 2006), explicitam o pensamento de avaliadores profissionais membros da American Evaluation Association. Nesses estudos, as opiniões dos entrevistados são convergentes quanto aos fatores que mais influenciam o uso das avaliações, que podem ser representados por dois aspectos abrangentes: (i) a participação dos usuários das avaliações no processo avaliativo; e (ii) o papel do avaliador enquanto facilitador comprometido com a promoção da aprendizagem organizacional (FLEISCHER; CHRISTIE, 2009).

Com efeito, apoiar as pessoas em seu aprendizado, ajudando-as a pensar de forma avaliativa, tende a proporcionar maior e melhor possibilidade de uso de uma avaliação do que o uso de descobertas específicas geradas na mesma avaliação (PATTON, 2008). Essa concepção de Patton enfatiza uma forma de pensar sobre a conexão entre a ação e a reflexão a qual chama de 'ponderação avaliativa', mediante a qual profissionais e gestores, ou seja, os envolvidos com a motivação por se avaliar uma determinada intervenção, devem saber como ponderar a evidência, considerar as contradições e inconsistências inevitáveis, os valores articulados, interpretar descobertas e examinar suposições (PATTON, 2008; FIGUEIRÓ; FRIAS; NAVARRO, 2010; FELISBERTO et al., 2010).

Diferentes características também são sugeridas por outros autores como condições cruciais na direção do uso das avaliações: (i) a criação de um ambiente institucional para que as avaliações sejam analisadas e os envolvidos façam julgamentos isentos; (ii) a necessidade de que as questões avaliativas reflitam as preocupações apontadas como importantes pelos usuários diretos; e (iii) a disseminação dos achados por meios amigáveis de comunicação (CONTANDRIOPOULOS, 2006).

Por outro lado, Scheirer (2005) ressalta a importância do interesse específico de quem vai executar a política, no sentido de sua continuidade, e que os mesmos fatores organizacionais que fomentam a implementação mais forte de um novo programa, provavelmente, irão possibilitar a prestação de serviços continuados. O autor destaca a contribuição da rotinização das ações para a perenidade ou a maior continuidade de projetos e programas, que sofre influência direta do grau de capacidade técnica e do preparo político dos trabalhadores do sistema, considerando a influência direta dos fatores relacionados ao contexto político-organizacional.

No caso do Brasil, isso é observado em características contextuais do SUS, tais como: (i) a alternância política nos entes federados, que proporciona mudanças de gestão em descompasso, se considerarmos que esse fato se dá de dois em dois anos em municípios e estados alternadamente; (ii) as frequentes mudanças nas gerências de programas e projetos em uma mesma gestão, favorecendo mudanças na condução dos mesmos, colocando em perspectiva diferentes interesses; (iii) a diretriz da gestão tripartite do SUS, preservando a autonomia dos entes federados, o que pode, eventualmente, contribuir de forma antagônica; e (iv) a lenta adaptação das instâncias gestoras a novos instrumentos decorrentes do permanente processo de aprimoramento do SUS (FELISBERTO et al., 2010).

Para que se instaure uma cultura de avaliação, é essencial a construção da capacidade avaliativa, sendo importante que essa construção aconteça no contexto dos espaços de trabalho dos indivíduos em um movimento de aprendizado constante, a partir de e sobre avaliação (PRESKILL, 2008). Ainda, deve-se lançar mão de estratégias de ensino-aprendizagem diversas, consoantes com a realidade brasileira e respeitando-se a necessária democratização do acesso ao conhecimento (FELISBERTO et al., 2010).

As políticas públicas, em especial, as relacionadas ao setor saúde, apresentam limitações e implicações relacionadas ao estabelecimento e à manutenção sustentável das atividades avaliativas como parte do trabalho cotidiano de uma organização ou mesmo do sistema de saúde. O desafio está em se obter sucesso no estabelecimento de uma política estruturada de institucionalização da avaliação, que, de forma coerente e integrada, englobe os múltiplos esforços que vêm sendo desenvolvidos (PISCO, 2006).

Concepção organizacional e da avaliação no IDRC

O IDRC é uma empresa estatal criada pelo Parlamento do Canadá, em 1970, para ajudar países em desenvolvimento a se beneficiarem da ciência e da tecnologia, contribuindo para o fortalecimento da capacidade local de pesquisas direcionadas à formulação de políticas e ao desenvolvimento tecnológico.

A concepção de programação em pesquisa para o desenvolvimento do IDRC reflete a abordagem e o caminho percorrido pela organização, na medida em que reconhece a determinante contribuição da avaliação para a aprendizagem e a aquisição de conhecimentos, valorizando a potencialidade que ela tem de reforçar as capacidades locais de pesquisa e inovação. Além disso, considera a relevância da avaliação na gestão eficaz de projetos de pesquisa e na produção de resultados relevantes, a partir de uma abordagem que nivela a importância do uso de métodos rigorosos de avaliação com a adoção e a utilização das constatações dela decorrentes (CARDEN; EARL, 2007).

O IDRC, em 1992, criou uma unidade específica para coordenar suas atividades de avaliação, com uma reduzida equipe, com a missão de responder às prioridades organizacionais a partir de um 'pensamento avaliativo' que concebesse métodos capazes de potencializar a oportunidade do aprendizado para além da sua formulação. Tomou como pressuposto que um constante aprendizado e uma melhoria contínua podem tornar a organização mais eficiente na realização de sua missão e no atendimento aos interesses de seus parceiros. Portanto, uma das principais funções da unidade de avaliação é fomentar uma cultura de 'pensamento avaliativo' em toda a organização, com vistas a garantir que a avaliação não se limite apenas ao estudo de projetos e programas. Mas, antes, inspire e ilumine tudo o que ali é feito. Essa concepção, por outro lado, requer clareza e precisão sobre os resultados esperados e sobre os meios a serem utilizados para alcançá-los. O uso sistemático dos dados obtidos para informar sobre os progressos realizados deve guiar a ação e ajudar a tomada de decisão.

Pode-se afirmar que o embasamento da concepção do IDRC sobre avaliação é, portanto, centrado em três premissas: (i) na utilização; (ii) no entendimento de que para cada situação há um método aplicável a ser adaptado, reconhecendo que não existe um método universal; e (iii) que cabe aos principais usuários escolher a orientação, o método e a abordagem que melhor se ajustam.

Estrutura e estratégias da política de avaliação

O IDRC adotou diversos mecanismos visando a aumentar a eficácia de suas atividades. Entre eles, destacam-se: (i) a definição de uma 'estratégia geral'; (ii) a adoção de 'relatórios de revisão externa' dos programas realizados pelo menos a cada cinco anos; e (iii) um 'sistema de avaliação' e 'comunicação' dos resultados.

A estratégia geral consiste em favorecer uma cultura de reflexão na organização. Ao privilegiar as avaliações de reconhecida qualidade, que utilizam métodos que melhor se adequam a cada situação, centra seu esforço na apropriação destas por uma grande variedade de parceiros e no envolvimento destes últimos na avaliação. Disso decorre uma participação social informada como aspecto fundamental, que contribui para uma melhor governança e uma maior transparência. Assim, a partir do empenho em fortalecer a capacidade de avaliação e de colocá-la a serviço do desenvolvimento, o IDRC não só contribui para uma maior eficiência da comunidade de pesquisa para o desenvolvimento, mas, também, da tomada de decisões baseadas em dados comprovados (CARDEN; EARL, 2007).

Como exemplo de revisão externa e análise de seus relatórios, tome-se a iniciativa desenvolvida entre 2006 e 2007, quando o IDRC promoveu a realização de uma avaliação do processo de reforço das capacidades, com o objetivo de esclarecer exatamente o que a organização e seus profissionais entendem por isso e como veem o resultado de suas atividades.

Para realizar essa avaliação, membros da equipe e da diretoria foram entrevistados com a finalidade de estabelecer um quadro conceitual capaz de expressar a noção de reforço das capacidades que favorecem adesão ao IDRC. Em seguida, foram identificadas as tendências que se manifestaram nas práticas de financiamento e analisada exaustivamente uma amostra de 43 projetos financiados, a fim de conhecer os resultados reais. A maioria das informações foi obtida a partir de documentos relativos aos projetos e de entrevistas com a equipe de funcionários - gestores de programas - e com a equipe do projeto de avaliação, que se realizou entre 2006 e 2007.

Os resultados convergiram para um entendimento pela equipe do IDRC de que o reforço das capacidades e as relações pessoais são variáveis essenciais para a focalização no desenvolvimento, objeto de ação da organização. A crença, portanto, de que o desenvolvimento é focado, principalmente, nas pessoas implica dar maior importância às parcerias, à apropriação no nível local e à participação. As respostas enfatizaram o processo, o aprender fazendo e, especialmente, as relações pessoais duradouras. Para o IDRC, portanto, a valorização do parceiro é o componente essencial do reforço das capacidades para realizar melhores pesquisas e desenvolver competências em pesquisa e desenvolvimento.

O IDRC valoriza os indivíduos, entendendo que o apoio no nível individual estimula a transformação organizacional e gera um efeito multiplicador, decorrente da mudança de comportamento individual, que ocorre graças aos formadores que recebem a tarefa de construir a capacidade dos outros, ou por meio de redes eventualmente criadas. Esse processo de capacitação é frequentemente de natureza instrumental ou funcional e se concentra na realidade encontrada - valores tangíveis, associados às competências profissionais, habilidades e ferramentas necessárias para realização de pesquisas. Estas estão ligadas a mudanças nas normas, nos valores, relacionamentos e motivação e são equiparadas a noções intangíveis, como segurança, credibilidade, reconhecimento, prestígio e confiança.

Neste sentido, a capacidade de fazer ou a aquisição de uma habilidade que estava faltando, com vistas à identificação dos problemas a serem investigados, de formular e implementar projetos, de realizar seu acompanhamento e sua avaliação, de garantir uma boa gestão financeira, de atuar em rede com outros pesquisadores e de divulgar os resultados, tudo isso é facilitado por dois elementos considerados pela equipe como fatores organizacionais dos mais positivos: a perseverança e a flexibilidade.

A perseverança é traduzida como a disposição para se comprometer por longos períodos com os projetos e beneficiários, podendo financiar duas ou três fases de um projeto. E a flexibilidade consiste na não hesitação em mudar os programas e orçamentos para implementar novas ideias que surgem no decorrer do processo.

Por outro lado, as permanentes intervenções dos gestores dos programas junto aos parceiros são relatadas como outra característica positiva da organização. Eles privilegiam encontros a dois, frequentes e regulares, com os parceiros, o que se reflete no reconhecimento da competência da equipe e do seu modo de ação personalizado.

A análise dos 43 projetos revelou que produziram resultados tangíveis de curto prazo: (i) pesquisadores devidamente treinados; (ii) desenvolvimento de novas ferramentas para a formação; (iii) difusão das conclusões das pesquisas por meio de artigos e de comunicações em conferências; e (iv) criação de bancos de dados de utilidade comprovada.

No que se refere ao sistema de avaliação e de comunicação dos resultados, destaca-se o aspecto da descentralização da avaliação. A equipe do programa é responsável pelas avaliações dos programas. Cabe à unidade de avaliação assumir a coordenação e o apoio técnico, além de realizar avaliações estratégicas e monitorar o sistema de avaliação. O IDRC não se preocupa apenas com os resultados, mas também se interessa pelos processos, pessoas e contextos que contribuíram para a mudança. Essa postura favorece a demonstração da influência dos trabalhos de pesquisa para o desenvolvimento que apoia, ao mesmo tempo que aprende e encontra lições suscetíveis de serem utilizadas. A sistematização dos mecanismos utilizados pelo IDRC sobre esse aspecto pode ser mais bem entendida com a apreciação do quadro 1.

Quadro 1
Sistema de avaliação e de comunicação dos resultados do IDRC

Nível	Mecanismo de comunicação	Conteúdo ou objeto	Responsabilidades	Principais usuários e usos	Frequência
Organizacional	Relatório anual sobre a avaliação (RAA)	Síntese das constatações decorrentes dos relatórios de avaliação entregues durante o ano	UA: preparar o relatório CAD: examinar o relatório e responder	CAD: examinar as constatações e determinar as medidas a serem tomadas CG: examinar as constatações e responder	Anual
	Quadro de avaliação integrado (QAI)	Avaliação da gestão do desempenho em sete setores-chave de desempenho	UA: coordenar a coleta e a síntese dos dados GPP: arquivar os documentos e comunicar ao CAD	CAD: utilizar os dados para as deliberações e a tomada de decisão	Anual
	Avaliações estratégicas (AE)	Exame de questões de alcance geral oriundas da programação	UA: realizar as avaliações CAD, DGPP: comprometer-se, atitude de escuta e utilizar	DGPP: melhorar a programação CAD: destacar os resultados	Periódica
	Fórum anual sobre a aprendizagem (FAA)	Exame das constatações oriundas dos RCPd e outros documentos de avaliação	UA, GPP e DGPP: coordenar e organizar	Toda a equipe: refletir sobre o desempenho do CRDI e partilhar a respeito para melhorar a programação	Anual
Programa	Relatórios dos diretores de área de programa e dos diretores regionais	Descrição da evolução e das orientações das áreas de programa e da programação regional	DAP, DR: preparar os relatórios	CAD, CG: servir-se disto para a elaboração das orientações da programação e para a gestão organizacional	Relatórios preparados a cada ano, alternadamente pelos DAP e DR
	Verificação externa	Avaliações somativas	Grupo de gestão da DGPP: estabelcer os parâmetros UA: gerenciar a execução das verificações em nome do Grupo de gestão da DGPP	Grupo de gestão da DGPP: utilizar os dados para tomar decisões e alocar os recursos nos programasEquipes dos programas: incorporar as constatações no descritivo seguinte	Uma vez, no final do ciclo de programação
	Acompanhamento e avaliação dos programas	Variável – avaliações formativas	Equipes de programas: conceber e encomendar as avaliações UA: dar um apoio técnico	Programas: melhorar e adaptar a programação	Variável– durante todo o ciclo de programação visado pelo descritivo
Projeto	Acompanhamento e avaliação dos projetos	Variável – avaliações somativas e formativas	AP, CP: iniciar as avaliações, executá-las ou encomendá-las	AP, CP: melhorar e adaptar a programação	Variável – durante todo o ciclo de vida do projeto
	Relatórios de conclusão de projeto dinâmicos (RCPd)	Lições e resultados decorrentes da concepção, da execução e da finalização dos projetos	Para 3 projetos por programa por ano: 1ª entrevista do AdP pelo AP 2ª entrevista do AdP pelo CP para todos os projetos de mais de 150 000 $ CAD3ª entrevista do AdP por um colega ou um gestor que ele escolheu ou redação autônoma	CAD: assumir a obrigação de prestar contas da utilização dos recursos públicos Programas: melhorar e adaptar a programação UA, GPP: servir-se disto para a aprendizagem organizacional e para fins de comunicações	Durante todo o ciclo de vida do projeto
Relatório	Relatórios técnicos de etapa e finais dos beneficiários	Constatações da pesquisa, resultados obtidos e processos no plano do desenvolvimento	CP: preparar os relatórios AdP: examinar e aprovar os relatórios	CP, AdP: assumir a obrigação de responsabilização, fortalecer as aprendizagens, gerenciar os projetos	Durante todo o ciclo de vida do projeto

IDRC, 2005CARDEN; EARL, 2007
• AdP: Administradores de programas; AP: Agentes de pesquisa; QAI: Quadro de avaliação integrado; CG: Conselho dos Governadores; CAD: Comitê da Alta Direção; CP: Chefes de programa; CRDI: Centro de Pesquisas para o Desenvolvimento Internacional; DAP: Diretores de área de programa; DGPP: Direção-Geral dos Programas e das Parcerias; DR: Diretores regionais; GPP: Grupo dos Políticos e do Planejamento; FAA: Fórum anual sobre a aprendizagem; RAA: Relatório anual sobre a avaliação; UA: Unidade da avaliação.

Mecanismos processuais e ferramentas de suporte na avaliação

Importante fator de aprimoramento do IDRC são os relatórios de revisão externa periódicos. Decorrentes dessa prática, dois momentos foram cruciais para tornar a organização mais eficaz: (i) as mudanças importantes implementadas nos anos 1990, referentes à estrutura organizacional, a substituição de dirigentes e a racionalização dos recursos; e (ii) as mudanças promovidas, em 2003, quanto aos conteúdos e à forma de elaboração dos relatórios de projetos (CARDEN; EARL, 2007). Estas últimas trazem um marco importante e diferenciam a atuação do IDRC nos anos recentes.

Anteriormente, os relatórios de conclusão de projetos (RCP) apresentavam uma natureza estática. Serviam, sobretudo, à função de verificação, tendo como objetivo principal a responsabilização. Geralmente, o gestor do programa emitia um juízo sobre a essência do projeto, fazendo referência ao financiamento, indicando se os objetivos definidos haviam sido alcançados, quais as influências mensuráveis e se os recursos públicos tiveram bom uso. Era apresentado por escrito em modelo com perguntas padronizadas e integrava os documentos oficiais do IDRC como um elemento da memória organizacional. O RCP só era redigido no final do projeto, quando as informações-chave do processo haviam se dissipado, os funcionários tinham ido para outro lugar e as prioridades da pesquisa haviam mudado, ou seja, eram redigidos no momento menos propício para a aprendizagem. Cumpria-se com a obrigação da responsabilidade sem haver registro sobre a rica aprendizagem implícita que acontece durante a execução de um projeto. Raramente, eram vistos por mais de uma pessoa, geralmente o superior hierárquico, que sempre os aprovava. Isso gerava outro grave problema: a resistência dos funcionários em investir tempo e energia na elaboração dos relatórios, pois eles sabiam que, provavelmente, nunca seriam lidos. A consequência foi o acúmulo de relatórios incompletos, e, quando os funcionários que deviam fazê-los deixavam o programa ou a organização, a memória e o possível conhecimento sobre o projeto iam junto (CARDEN; EARL, 2007).

Atualmente, como dispositivo institucional com vistas a mudar a cultura organizacional, o IDRC adota uma forma inovadora para os relatórios de projetos chamada de 'relatório de conclusão de projeto dinâmico' (RCPd). Esse novo formato permite que o gestor de programas registre a aprendizagem individual com mais dinamicidade e aprofunde as lições aprendidas, assegurando que essas lições sejam compartilhadas, beneficiando outros atores na organização. A principal mudança foi a passagem de um processo solitário de redação a uma fórmula baseada em entrevistas com colegas (CARDEN; EARL, 2007).

A ideia consiste na realização de três entrevistas em fases distintas do projeto: a primeira, imediatamente após a sua preparação - objetiva proporcionar uma reflexão para além do que foi examinado no momento da proposição do projeto e estimula os gestores de programas a antecipar possíveis lições adicionais, que podem surgir no decorrer do projeto. A segunda, numa fase intermediária - responde às questões levantadas durante a primeira, porém, com enfoque no conteúdo e na execução do projeto, no sentido de identificar o que está funcionando bem, os problemas que ocorreram, como a equipe funciona, e é o momento onde são registradas as lições que podem ser aplicadas a outros projetos. A terceira, no final do projeto - é o elemento crucial para a prestação de contas; tem como objeto os resultados do projeto, o sucesso do atendimento aos objetivos e os impactos proporcionados. O gestor de programas responsável pelo projeto é entrevistado pelo agente de pesquisa na primeira entrevista, pelo líder da equipe ou gerente na segunda entrevista, pelo diretor da área de programa ou o diretor regional na terceira entrevista. Além disso, as entrevistas estão interligadas por semelhanças entre as perguntas: a segunda entrevista se baseia na primeira, e a terceira nas duas primeiras. Com essa estratégia, é possível disseminar melhor o conhecimento dentro da organização (IDRC, 2005; CARDEN; EARL, 2007).

A garantia dessas relações entre as entrevistas proporciona ao entrevistado a possibilidade de fazer uma análise mais aprofundada dos vários elementos discutidos e a entender melhor as experiências e lições que podem ser aprendidas com o projeto. Ainda, entrevistas são agrupadas e periodicamente trianguladas com os resultados das avaliações, os conselhos de especialistas e/ou as experiências relatadas pelos parceiros. Isso agrega valor às mudanças requeridas na cultura organizacional por intermédio do RCPd. Entretanto, algumas medidas de incentivo e de controle são necessárias para garantir o seu dinamismo: (i) foram criados os chamados conselhos de entrevista, que seguem de perto os calendários; (ii) é exigido fazer referência aos relatórios nos planos de trabalho das equipes e dos indivíduos envolvidos; e (iii) a entrega de fitas vermelhas e o estabelecimento de ligações com a avaliação de desempenho. Assim como antes, perguntas específicas são elaboradas para cada entrevista, e as entrevistas fornecem dados concretos e permitem a responsabilização da gestão dos recursos públicos. A inovação é encontrada na 'natureza' dinâmica do intercâmbio e na reflexão por ele induzida (CARDEN; EARL, 2007).

O envolvimento de funcionários de diferentes níveis proporciona mais rigor e qualidade às entrevistas e à elaboração dos relatórios em tempo hábil. Entretanto, o que estimula, de fato, a maioria dos funcionários a dedicar mais tempo e energia para a preparação desse relatório é a oportunidade de interação com os colegas sobre as questões com as quais trabalham, fazendo uso do conhecimento de forma cotidiana.

Outros dispositivos foram criados para induzir a uma maior amplitude da disseminação do conhecimento produzido e para promover a sua utilização. A implementação do RCPd foi acompanhada de uma nova atividade, o Fórum Anual de Aprendizagem (FAA), com a finalidade de comunicar o saber adquirido dos RCPd a todas as equipes do IDRC. O que resulta dessa conjugação de esforços é o fortalecimento de um novo modo de fazer que tem como base a cultura oral, proporcionada tanto pelos RCPd como pelo FAA, a partir da premissa de que o saber tácito pode ser gerado mediante conversas entre colegas e reflexão coletiva (CARDEN; EARL, 2007).

Ao se considerarem as mudanças nas formas de agir individual e coletiva, e, portanto, uma mudança para uma 'cultura de reflexão', onde o pensar e o aprender são enfatizados, é importante ressaltar a necessidade de que todos os funcionários e todos os gestores incentivem o desenvolvimento dessa nova cultura. Ou seja, que sejam agentes pró-ativos da sustentabilidade de uma cultura organizacional de apoio à pesquisa, a serviço do desenvolvimento, com eficácia e eficiência.

Considerações finais

A maioria dos estudos sobre avaliação aborda questões relacionadas ao método ou à prática avaliativa. Porém, especificidades contextuais das organizações ou dos sistemas podem iluminar um processo virtuoso de institucionalização da avaliação. Jacob (2005), ao tomar as instituições como fonte de conhecimento sobre a avaliação, identifica diversos movimentos que representam a sua institucionalização: (i) processo burocrático, oficial - criação de institutos de pesquisa, áreas administrativas especializadas ou organizações representativas qualificadas; (ii) rotinização de mecanismos de avaliação - prática efetiva da avaliação nas instâncias politico-administrativas; (iii) desenvolvimento de uma capacidade de aprendizagem - promovendo o início eficiente das atividades de avaliação; (iv) processo social que mobiliza diferentes parceiros - caráter formal e processualista, em que são distribuídos os papéis de diversos atores; e (v) existência de pessoal qualificado na gestão, nas universidades - profissionalização da avaliação. O autor tomou como base o primeiro International Atlas of Evaluation (FURUBO; RIST; SANDHAL, 2002), que estudou os fatores que influenciam a morfologia da avaliação em diversas configurações nacionais e suas consequências na propagação da prática avaliativa, utilizando as especificidades das construções nacionais da avaliação e as características das estruturas político-administrativas, com vistas ao desenvolvimento de estudos comparativos das políticas públicas de avaliação (JACOB, 2005).

Ao enfatizar o método comparativo ou 'experimentação indireta', que permite passar de uma aproximação simplesmente descritiva a uma aproximação explicativa, Jacob aborda a avaliação através do prisma da análise institucional, entendendo 'instituição' como a representação de uma regra ou uma organização que assegura uma certa previsibilidade do resultado da ação coletiva, ou seja, do comportamento organizacional e dos atores que a integram. Porém, ao identificar que a cultura avaliativa pode ser desenvolvida dentro de uma instituição sem que haja necessariamente uma materialização formal ou cláusulas de avaliação asseguradas nas legislações, conclui que, uma vez que a institucionalização se mede pela sua utilização no momento da formulação e da execução das políticas, a 'institucionalização é o processo pelo qual os dispositivos institucionais' (ou seja, os mecanismos ou meios que a instituição utiliza) 'são criados, modificados ou até suprimidos'.

As inovações promovidas pelo IDRC parecem ancoradas nos seguintes tipos de mecanismos de institucionalização da avaliação, que Jacob sugere que devem ser medidos: (i) elementos reguladores; (ii) processo cognitivo; e (iii) processos normativos. Entretanto, o autor enfatiza a necessidade de não se reduzir o conceito de dispositivo institucional unicamente aos mecanismos formais de uma organização, lembrando que, quando os atores inserem regras ou práticas informais de avaliação, eles também contribuem para a estabilidade da prática avaliativa.

Ainda, lembra a atenção que deve ser dada à complementaridade, que pode ou não ser observada entre os diferentes componentes que constituem os dispositivos institucionais, quando de sua análise. Neste sentido, aponta os atributos dos dispositivos que devem compor uma grade de análise comparativa: (i) o quadro paradigmático; (ii) a natureza; (iii) o meio; e (iv) as relações entre os componentes. O quadro paradigmático consiste naquilo que determina as finalidades da avaliação, guia a conduta e a ação de um dispositivo, delimitando seu campo de ação, ou seja, o objetivo do mesmo. Para a avaliação de políticas públicas, o autor identifica três modelos, a que chama de: a) controle - aquele em que a avaliação é realizada no modo clássico da administração; b) gerencial - em que a avaliação é orientada para a medida da performance e dos efeitos; e c) cognitivo - no qual a avaliação é tida como meio alternativo de transmissão de informações. Afirma, entretanto, que é raro encontrar num mesmo dispositivo o compartilhamento dos três modelos e lembra a necessidade de avaliar o peso das concepções dos diversos componentes, ponderando-os com seu nível de influência dentro do dispositivo, uma vez que um valor maior ou menor de um dispositivo pode ser determinado pela posição dos atores com relação aos modelos do quadro paradigmático (JACOB, 2005).

Essa contextualização teórica corrobora as inovações implementadas pelo IDRC, que apresentam uma 'natureza' caracterizada pela ênfase aos 'aspectos organizacionais' - quando procuram tornar visíveis instâncias da avaliação - e aos 'aspectos processuais' - que privilegiam o recurso às regras para desenvolver a prática. Ainda, o IDRC parece caracterizar-se pelo 'grau de abertura' que Jacob classifica como 'dispositivo reflexivo' - aquele animado por uma finalidade cognitiva, que reúne muitos atores vindos de lugares variados, que enfatiza a pluralização da perícia, associando a contribuição de funcionários, especialistas, cidadãos comuns em um mesmo espaço.

A tentativa, portanto, de caracterizar a experiência vivida pelo IDRC como exemplar e capaz de generalizar as lições aprendidas durante seu percurso apoia-se, também, na metodologia da aproximação comparada anteriormente descrita. Por fim, este artigo traz à luz a constatação de que a experiência do IDRC, calcada na promoção de intercâmbio e no espírito de colaboração e aprendizagem compartilhada, apresenta-se como caso exemplar em que a institucionalização da avaliação oferece bases seguras que podem ajudar as instituições/organizações de fomento à pesquisa, desenvolvimento tecnológico e inovação a fazer uma melhor e mais competente gestão do conhecimento.

Conclusões e recomendações

O investimento brasileiro na área de pesquisa em saúde tem seu histórico com forte base na atuação do Ministério da Saúde, por intermédio dos centros de pesquisa que fazem parte de sua estrutura organizacional ampliada e, a partir da útima década, por uma mobilização 'extramural mais vigorosa' das instituições e dos grupos de pesquisa com atuação em saúde no País. Guimarães (2006) considera que a maior fragilidade na área da pesquisa para o desenvolvimento em saúde é sua baixa institucionalidade, com marcadas características dos diversos contextos político-organizacionais, vigentes em períodos distintos, e pela perspectiva das equipes dirigentes do Ministério da Saúde (GUIMARÃES, 2006).

Essa perspectiva apontada pelo autor nos remete à reflexão, discutida neste artigo, sobre as contribuições possíveis da institucionalização da prática avaliativa como elemento integrador da gestão do conhecimento, necessária a uma consistente Política Nacional de Ciência, Tecnologia e Inovação em Saúde para o Brasil. Experiências internacionais podem contribuir, como visto anteriormente, a partir de sua análise e adequação à realidade brasileira, com a criação e a manutenção de uma cultura avaliativa que permeie a política definida para a área (MAYNE, 2010).

A cultura da avaliação permite disseminar um sentimento de identidade que agrega regras formais e informais em uma organização ou um sistema. A política de avaliação para a área estabelece diretrizes que contribuem para a difusão da cultura, favorecendo, juntas (cultura e política), a ordenação de atitudes, tais como: (i) autoavaliação, reflexão sobre práticas; (ii) aprendizado baseado em evidências; (iii) experimentação e mudança (MAYNE, 2010).

Para que isso ocorra, entretanto, é necessário que a política de avaliação, assim como a cultura avaliativa fomentada sejam constituídas e/ou nutridas de elementos essenciais à sua manutenção - suportes estruturais e preparo para adaptação às necessidades não previstas; consistente foco no processo de aprendizagem individual e institucional; e forte liderança organizacional que fomente o comprometimento e a comunicação entre os envolvidos.

Por outro lado, é importante compreender que a adoção dessas estratégias e/ou diretrizes encontra, muitas vezes, normas escritas e explícitas, porém, em outras, são decorrentes de princípios aleatórios ou normas que evoluíram com o tempo, e não se encontram escritas, mas estão implícitas. Essa última constatação não quer dizer que não haja uma política de avaliação, pois ela vai se forjando concomitantemente às necessidades e aos objetivos inerentes aos grupos de poder e às organizações (TROCHIM, 2009).

A definição e a explicitação escrita de uma política de avaliação, porém, devem ser fortemente consideradas por seu poder sinalizador, direcionador e pela capacidade de comunicação, no sentido democrático do uso da informação e da gestão do conhecimento produzido. Exemplo desse movimento pode ser observado na evolução dessa prática nos países que integram a União Europeia (UE). Desde os anos 2000, a dinâmica de modernização estabelecida para a reforma das instituições na UE tem priorizado as políticas de avaliação que, mesmo localizadas, mantêm um alinhamento estratégico, não regulatório entre os estados membros (STERN, 2009).

Uma política de avaliação, portanto, ao expressar os valores dos que nela estão envolvidos, do ponto de vista de sua prática e utilização, estabelece a forma e define essa prática. Também permite averiguar sua propriedade, eficácia e capacidade de influência. Mas o êxito da política dependerá de uma cuidadosa análise, não somente do mérito da avaliação, mas, principalmente, do contexto político mais amplo no qual está inserida (COOSKY; MARK; TROCHIM, 2009).

Nessa direção, algumas recomendações parecem pertinentes para o aprimoramento da política brasileira de ciência, tecnologia e inovação na área da saúde: (i) a identificação de atitudes e práticas com vistas à gestão do conhecimento produzido, decorrente das diversas iniciativas de fomento; (ii) o conhecimento e o registro da história e da trajetória de cada organimo e instituição envolvidos; (iii) a democratização e a sistematização das informações atualizadas, considerando os sucessos e os problemas decorrentes de cada ação; (iv) a explicitação das diretrizes e dos objetivos pretendidos; (v) a garantia da independência da avaliação com relação à política setorial, no sentido da preservação dos princípios da avaliação.

Por fim, o desenvolvimento de uma política de avaliação pode e deve contribuir para o aprimoramento da ciência e da tecnologia no País, entretanto, para além de decisão política, isso dependerá de quanto esforço concentrado de reforma em prol da modernização da área políticos, gestores, profissionais e demais envolvidos estão dispostos a fazer.

• Suporte financeiro: não houve

Referências

• CARDEN, F.; EARL, S. Infusing evaluative thinking as process use: The case of the International Development Research Centre (IDRC). Evaluation Policy and Evaluation Practice, Hoboken, v. 9, n. 123, p. 61-73, 2007.
• CONTANDRIOPOULOS, A. P. Avaliando a institucionalização da avaliação. Ciência & Saúde Coletiva, Rio de Janeiro, v. 11, n. 3, p. 705-711, 2006.
• COOKSY, L. J.; MARK, M. M.; TROCHIM, W. M. K. Evaluation policy and evaluation practice: Where do we go from here? Evaluation Policy and Evaluation Practice, Hoboken, v. 9. n. 123, p. 103-109, 2009.
• FELISBERTO, E. et al Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil. Cadernos de Saúde Pública, Rio de Janeiro, v. 26, n. 6, p. 1079-1095, 2010.
• FIGUEIRÓ, A. C.; FRIAS, P. G.; NAVARRO, L. Avaliação em saúde: conceitos básicos para a prática nas instituições. In: SAMICO, I. et al (Org.). Avaliação em saúde: bases conceituais e operacionais. Recife: Medbook, 2010.
• FLEISCHER, D. N.; CHRISTIE, C. A. Evaluation Use: Results From a Survey of US. American Evaluation Association Members. American Journal Evaluation, Thousand Oaks, v. 30, n. 2, p. 158-175, 2009.
• FURUBO, J. E.; RIST, R.; SANDAHL, R. International Atlas of Evaluation New Brunswick: Transaction, 2002.
• GUIMARÃES, R. Pesquisa em saúde no Brasil. Rev. Saúde Pública, São Paulo, v. 40, n. esp., p. 3-10. 2006.
• HARTZ, Z. M. A. Institutionalizing the evaluation of health programs and policies in France: cuisine internationale over fast food and sur mesure over ready-made. Cad. Saúde Pública, Rio de Janeiro, v. 15, n. 2, p. 229-260, 1999.
• Evaluation Unit International Development Research Centre (IDRC). IDRC's evaluation system. Principles of evaluation 2005-2010 2005. Disponível em: <https://idlbnc.idrc.ca/dspace/bitstream/10625/26668/1/122276.pdf>. Acesso em: 15 fev. 2017.
  » https://idlbnc.idrc.ca/dspace/bitstream/10625/26668/1/122276.pdf
• JACOB, S. Réflexions autour d'une typologie des dispositifs institutionnels d'évaluation. The Canadian Journal of Program Evaluation, Ottawa, v. 20, n. 2, p. 49-68, 2005.
• MAYNE, J. Building an evaluative culture: the key to effective evaluation and results management. Canadian Journal of Program Evaluation, Ottawa, v. 24, n. 2, p. 1-30, 2010.
• PATTON, M. Q. Utilization-focused evaluation: the new century text. 4. ed. Thousand Oaks: SAGE, 2008.
• PISCO, L. A. A avaliação como instrumento de mudança. Ciência & Saúde Coletiva, Rio de Janeiro, v. 11, n. 3, p. 566-568, 2006.
• PRESKILL, H. Evaluation's second act: A spotlight on learning. American Journal of Evaluation, Thousand Oaks, v. 29, n. 2, p. 127-138, 2008.
• SAMICO, I. et al. Avaliação em saúde: bases conceituais e operacionais. Recife: Medbook, 2010.
• SCHEIRER, M. A. Is sustainability possible? A review and commentary on empirical studies of program sustainability. American Journal of Evaluation, Fairhaven, v. 26, n. 3, p. 320-347, 2005.
• STERN, E. Evaluation policy in the European Union and its institutions. Evaluation Policy and Evaluation Practice, Hoboken, v. 9, n. 123, p. 67-85, 2009.
• TROCHIM, W. M. K. Evaluation policy and evaluation practice. Evaluation Policy and Evaluation Practice, Hoboken, v. 9, n. 123, p. 13-32, 2009.
• VIANA, A. L. D'A. et al Pesquisa para a tomada de decisão: um estudo de caso no Brasil. Cadernos de Saúde Pública, Rio de Janeiro, v. 22, Supl., p. S57-S67, 2006.

Datas de Publicação

• Publicação nesta coleção
  Mar 2017

Histórico

• Recebido
  Fev 2016
• Aceito
  Out 2016