O estado da arte da avaliação de políticas públicas: conceituação e exemplos de avaliação no Brasil

The state of the art of public policy evaluation: concepts and examples of evaluation in Brazil

El estado del arte de evaluación de las políticas públicas: conceptos y ejemplos de la evaluación en el Brasil

O estado da arte da avaliação de políticas públicas: conceituação e exemplos de avaliação no Brasil

El estado del arte de evaluación de las políticas públicas: conceptos y ejemplos de la evaluación en el Brasil

The state of the art of public policy evaluation: concepts and examples of evaluation in Brazil

Marília Patta Ramos; Letícia Maria Schabbach

Universidade Federal do Rio Grande do Sul

RESUMO

A avaliação e o monitoramento são fases imprescindíveis do planejamento estatal, ocupando também espaço crescente nas pesquisas acadêmicas. Sua atualidade no debate em torno da eficácia e do impacto das políticas públicas em diferentes áreas é evidenciada pelos vários fóruns, encontros e redes de especialistas que tratam da temática, pela demanda oriunda de órgãos públicos, e pela profissionalização dessa atividade em escala internacional. O presente artigo destaca, de forma sistemática e analítica, a relevância dos processos de avaliação, sistematizando informações sobre aspectos conceituais, e o estado da arte dos estudos sobre avaliação e das práticas avaliativas de diferentes esferas de governo. O trabalho está dividido em cinco seções: na primeira, são apresentadas a conceituação de avaliação e suas principais características, na segunda são analisados os tipos de avaliação, e, na terceira, seus diversos usos. Segue, na quarta seção, uma exposição sobre as tendências dos estudos avaliativos no Brasil e no mundo e, por fim, nas conclusões são apontadas as dificuldades e as necessidades ao aprimoramento da atividade de avaliação de políticas públicas.

Palavras-chave: políticas públicas; avaliação; monitoramento.

RESUMEN

Evaluación y monitoreo son las fases esenciales de la planificación estatal, y también ocupan un espacio cada vez mayor en la investigación académica. Su presencia en el debate sobre la eficacia y el impacto de las políticas públicas en las diferentes áreas se evidencia en los diversos foros, reuniones y redes de expertos que se ocupan de este tema, así como por la demanda proveniente de las agencias gubernamentales y la profesionalización de esta actividad a escala internacional. El presente artículo expone, de forma sistemática y analítica, la pertinencia de los procedimientos de evaluación, organiza la información sobre los aspectos conceptuales, sobre el estado del arte de los estudios evaluativos y de las prácticas de evaluación en las diferentes esferas de gobierno. El trabajo se divide en cinco secciones: en la primera se presentan la conceptualización de evaluación y sus principales características, en la segunda se analizan los tipos de evaluación, y en la tercera, sus diversos usos. En la cuarta sección se muestran las tendencias de los estudios de evaluación en Brasil y en el extranjero. Por último, en las conclusiones, se señalan las dificultades y necesidades para mejorar la actividad de evaluación de las políticas públicas.

Palabras clave: políticas públicas; evaluación; monitoreo.

ABSTRACT

Monitoring and evaluation are crucial to the State Planning and have had a growing space in the academic field. The constant interest on those themes is highlighted through their presence in different forums, meetings and nets of specialists that study them, along with the governments demand for them. The present article highlights, in a systematic and analytical way, the importance of public policy evaluation process, organizing information about the conceptual aspects, and the state of art of these themes along with examples about concrete practices of evaluation in different governmental areas. The article is divided in five sections: in the first one it is presented the public policy evaluation concept and its main characteristics. In the second section we analyze different types of evaluation. In the third section we present different evaluation uses. In the fourth section we present the stage of evaluation in Brazil along with some concrete examples. In the end we present some conclusions and recommendations about public policies evaluation.

Key words: public policies; evaluation; monitoring.

1. Definição e características da avaliação

Pode-se afirmar, preliminarmente, que a avaliação é um instrumento importante para a melhoria da eficiência do gasto público, da qualidade da gestão, do controle social sobre a efetividade da ação do Estado, esse último instrumentalizado pela divulgação de resultados das ações de governo.

Na última década, propostas metodológicas de avaliação foram geradas por organismos internacionais de cooperação e financiamento, entre eles: Organizações das Nações Unidas (ONU), Banco Mundial (World Bank), Banco Interamericano de Desenvolvimento (BID), Organização para a Cooperação e o Desenvolvimento Econômico (OCDE), Comissão Econômica para a América Latina e Caribe (Cepal), Centro Latino-Americano de Administração para o Desenvolvimento (Clad).

Não existe uma única definição de avaliação. Para Costa e Castanhar (2003), trata-se do exame sistemático e objetivo de um projeto ou programa, finalizado ou em curso, que contemple seu desempenho, implementação e resultados, tendo em vista a determinação de sua eficiência, efetividade, impacto, sustentabilidade e relevância de seus objetivos. É uma atividade permanente e não restrita à etapa final do ciclo da política pública (que inclui as fases: definição da agenda, formulação, implementação e avaliação), que informa sobre seus avanços e limites. "O propósito da avaliação é guiar os tomadores de decisão, orientando-os quanto à continuidade, necessidade de correções ou mesmo suspensão de uma determinada política ou programa" (Costa e Castanhar, 2003:972).

Além de aprimorar o processo de tomada de decisão, vislumbrar a alocação apropriada de recursos e promover a responsabilização por decisões e ações (accountability) dos governantes perante o parlamento, as agências reguladoras e fiscalizadoras e os cidadãos, a avaliação permite aos formuladores e gestores de políticas públicas desenharem políticas mais consistentes, com melhores resultados e melhor utilização dos recursos.

A avaliação constitui-se na determinação de valor de uma atividade, programa ou política, um julgamento tão sistemático e objetivo quanto possível, efetuado por avaliadores internos ou externos. Ao incorporar elementos valorativos e de julgamento, a avaliação contempla aspectos qualitativos, não se confundindo com o mero acompanhamento das ações governamentais.

Ela estabelece critérios fundamentais para se decidir se uma política deve continuar a ser implementada, caso esteja promovendo desejável distribuição de bem-estar (Figueiredo e Figueiredo, 1986), ou produzindo mudanças nos sistemas econômico e social na direção dos resultados desejados, sendo, assim, preferível a qualquer outra política. Fazendo parte do processo de planejamento de qualquer política pública, a avaliação gera uma retroalimentação que permite escolher entre diferentes projetos de acordo com sua eficácia e eficiência, e, ao cotejar os resultados, possibilita retificar as ações e reorientá-las em direção ao fim postulado (Cohen e Franco, 2004:73).

Trata-se de atividade estratégica que:

▼ Propicia a compreensão das políticas e do Estado em ação, visando o seu aprimoramento (Draibe, 1997). Assim, beneficia o pesquisador, o técnico, o usuário, o Estado e a sociedade em geral.

▼ É um instrumento para a tomada de decisões e para viabilizar o controle social sobre o gasto público e as ações de governo, um importante direito democrático (Lobo, 2001; Arretche, 2001).

Em comparação com outras pesquisas, a pesquisa avaliativa possui a característica explícita de atribuição de valor (como justiça social, eficiência, redução de custos, equidade, entre tantos outros), além de ser mais orientada para a decisão (Faria, 2001).

No Brasil, o crescente interesse dos governos com a avaliação está relacionado às questões de efetividade (alcance das metas, aferição dos resultados esperados e não esperados dos programas) ou eficácia (à maior produção, maior eficácia), à eficiência (a um menor custo de produção, maior eficiência), ao desempenho e à accountability da gestão pública. A avaliação permite ao governante certo conhecimento dos resultados de um dado programa ou projeto, informação essa que pode ser utilizada para melhorar a concepção ou a implementação das ações públicas, fundamentar decisões, promover a prestação de contas. Em nível acadêmico, estudos nessa área vêm proliferando, embora a atenção maior seja dada aos processos de formação da agenda e formulação das políticas, em detrimento da implementação, da avaliação e do monitoramento.

Além da preocupação com a efetividade, podem ser citadas outras razões que fomentaram a demanda por avaliações em nosso país, especialmente a partir dos anos 1990: a crise fiscal que diminuiu a capacidade de gasto dos governos e aumentou a pressão por maior eficiência; o fim do processo inflacionário, que reduziu as receitas financeiras dos governos e expôs os problemas das finanças públicas; o aprofundamento da democracia, que trouxe novos atores sociais e reivindicações aos governos; a longa crise econômica brasileira que aumentou a desigualdade social e a busca por programas sociais públicos; a desestruturação da função de planejamento, que deixou os governantes sem elementos de informação e avaliação; a redução da ajuda externa e a pressão dos organismos internacionais de fomento pela aferição dos resultados dos programas sociais por eles financiados.

Dentro desse contexto, o Estado brasileiro passou a redefinir sua área de atuação diante das restrições fiscais e, ao mesmo tempo, sofreu uma pressão até então inédita pela ampliação de políticas públicas mais universais, de qualidade e eficientes.

Na última década do século XX verificou-se um abrangente movimento de reforma de Estado e de seu aparelho administrativo nos países desenvolvidos, que rapidamente proliferou para os demais. Tal movimento, conhecido como Nova Gestão Pública ou New Public Management, preconizava, em termos gerais, uma redefinição do papel do Estado e a implantação de mecanismos de gestão oriundos da iniciativa privada na administração pública. Em nosso país, o fato mais emblemático dessa nova orientação político-ideológica e gerencial foi a Reforma Administrativa promovida pelo governo federal em 1998, através da Emenda Constitucional nº 19 (Brasil, 1998).

As questões imediatas e centrais a serem respondidas pelos estudos de avaliação são: em que medida os objetivos propostos na formulação do programa-projeto são ou foram alcançados? Como o programa funciona? Quais os motivos que levam ou levaram a atingir ou não os resultados?

Cabe destacar, ainda, que a avaliação de políticas públicas tem um caráter eminentemente político, na medida em que está vinculada ao processo político mais abrangente, às estratégias e aos interesses dos decisores e demais envolvidos (Faria, 2005). Enquanto momento do processo de análise de políticas públicas, a avaliação incorpora, segundo a literatura anglo-saxã, uma dupla natureza: estudo da política (of policy) e para a política (for policy). Por um lado, ela representa a atividade acadêmica que objetiva um melhor entendimento do processo político; por outro, volta-se à solução de problemas sociais, sendo, portanto, aplicada.

Em outros termos, subjacente à análise e à avaliação de políticas públicas, aparece a orientação pela política (for policy), ou seja, o interesse em que os achados dos estudos avaliativos possam melhorar o processo político e o bem-estar da população, uma vez que os avaliadores são também agentes sociais, cidadãos participantes do processo político e eventuais beneficiários das ações estatais. Ao passo que a postura mais crítica e distanciada desenvolvida dentro do espaço acadêmico é importante por permitir a isenção e o rigor científico; uma postura engajada não significa, necessariamente, a identificação com os objetivos daqueles que controlam o processo político e o governo.

Enfim, uma postura crítica, que coloque em suspenso os pressupostos dos tomadores de decisão, sempre é recomendável ao analista de políticas públicas; não fazê-lo conduz a uma posição conservadora.

2. Tipos de avaliação

Existem diferentes maneiras de se realizar uma avaliação. Por exemplo, a avaliação acadêmica, que é mais formal e enfoca a efetividade das políticas, seus impactos e benefícios; por sua vez, a avaliação da implementação privilegia o exame de sua eficiência e eficácia. Ainda que estudos neutros representem um mito, a pesquisa avaliativa acadêmica permite maior isenção e rigor científico.

As avaliações com foco na questão fiscal são denominadas "gerencialistas", e em contraposição a elas, as de cunho mais acadêmico, são chamadas de "não gerencialistas" (Faria, 2005).

Os tipos de avaliação podem ser agrupados de acordo com outros critérios não excludentes, como se observará na sequência.

2.1 Conforme o agente que avalia e quem participa do processo de avaliação

A avaliação é externa quando realizada por especialistas de fora da instituição responsável pelo programa, apresentando vantagens e desvantagens. Entre suas vantagens citam-se: a isenção e objetividade dos avaliadores externos, não implicados diretamente no processo, e a possibilidade de comparação dos resultados obtidos com os de outros programas similares já analisados. Entre suas desvantagens ressaltam-se: o difícil acesso aos dados e uma provável posição defensiva dos que terão seu trabalho avaliado, fazendo com que, muitas vezes, forneçam informações parciais ou minimizem o efeito da avaliação sobre a melhoria dos programas.

A avaliação é interna quando executada dentro da instituição e conta com maior colaboração das pessoas que participam diretamente do programa-projeto. Entre suas vantagens tem-se: a eliminação da resistência natural ao avaliador externo, e a possibilidade de reflexão, aprendizagem e compreensão acerca das atividades institucionais. Já entre as desvantagens pode-se perder muito em objetividade, já que os que julgam estão envolvidos na formulação e execução dos programas. Todavia, se a avaliação interna for realizada por funcionários que não participam diretamente do programa, na tentativa de se diminuir a subjetividade, a situação torna-se análoga à do avaliador externo (Cunha, 2006).

Do exposto acima se depreende que o conhecimento da metodologia de avaliação não substitui o conhecimento sobre as especificidades e os detalhes do programa, não existindo um único modelo a ser aplicado em todos os casos. Neste sentido, cita-se, ainda, a avaliação mista, que combina os dois tipos anteriores, fazendo com que os avaliadores externos tenham contato estreito com os participantes do programa a ser avaliado, o que pode maximizar as vantagens e minimizar ou superar as desvantagens das avaliações (Cunha, 2006).

Por fim, evoca-se a avaliação participativa, usada principalmente em pequenos projetos, e que prevê a participação dos beneficiários no planejamento, execução e avaliação das ações. Essa modalidade não costuma fornecer informações específicas sobre o impacto de um programa, mas sim sobre a opinião/percepção dos participantes (Spink, 2001; Abma, 2004, Kayano e Caldas, 2002).

2.2 Conforme a natureza da avaliação

Quanto à natureza, as avaliações podem ser formativas quando relacionadas com a formação do programa. Elas são voltadas para a análise e a produção de informações sobre as etapas da implementação aos diretamente envolvidos, fornecendo elementos para a correção de procedimentos.

Por sua vez, as avaliações somativas referem-se à análise e à produção de informações sobre a implementação e etapas posteriores, sendo efetuadas quando o programa está sendo executado há algum tempo ou após, no sentido de verificar se alcançou as metas previstas e julgar seu valor geral. Elas contemplam as relações entre o processo, os resultados e o impacto, podendo incluir comparações entre diferentes programas (Cunha, 2006).

2.3 Conforme o momento de realização da avaliação

Quando se leva em conta o momento de sua realização, os estudos avaliativos diferenciam-se em ex ante e ex post. A avaliação ex ante é realizada antes do começo de um programa, com o fito de dar suporte à decisão de implementá-lo ou não, e ordenar os vários projetos segundo sua eficiência para alcançar os objetivos determinados (Cunha, 2006).

Destaca-se neste tipo de avaliação o diagnóstico (ou estudo da situação), quando se mapeiam as necessidades e são realizados estudos de factibilidade que orientarão a formulação do programa, além do exame do custo-benefício e do custo-efetividade,¹ que objetiva adequar os recursos disponíveis aos objetivos propostos. Tais procedimentos permitem aquilatar a viabilidade dos programas e projetos.

Ainda dentro da avaliação ex ante, Khander e colaboradores (2010) ressaltam a importância de se realizar estudos prospectivos para dimensionar os possíveis benefícios ou obstáculos de uma intervenção, simulando-se situações futuras (com e sem o programa), e de se utilizar o modelo de análise estrutural que identifica os principais agentes envolvidos (indivíduos, comunidades, governos locais ou nacionais), suas interações e os diferentes contextos que influenciam os resultados do programa. Tais procedimentos podem colaborar com o refinamento das ações antes mesmo da sua implementação, ao prever seus efeitos potenciais em diferentes ambientes sociais.

Por sua vez, a avaliação ex post é realizada durante a execução de um programa ou ao seu final, quando as decisões passam a se basear nos resultados alcançados. Quando o programa está em execução, julga-se se ele deve continuar ou não, com base nos resultados obtidos até o momento. Se a resposta for positiva, avalia-se se se deve manter a formulação original ou efetuar modificações, redirecionando os objetivos, propostas e atividades.

Quando o programa já foi concluído, examina-se a pertinência do uso futuro da experiência, isto é, se o mesmo tipo de programa deve ser replicado ou não. A avaliação ex post é a mais desenvolvida metodologicamente e a que tem tido maior aplicação.

Para captar o impacto recomenda-se combinar ambas as análises (ex ante e ex post) a fim de se comparar o alcance do programa (ex post) com as predições (ex ante).

2.4 Conforme o tipo de problema ao qual a avaliação responde

Existem ainda duas modalidades de estudos avaliativos, que se referem aos tipos de problemas ou perguntas que pretendem responder (Cohen e Franco, 2004; Cotta, 1998): a avaliação de processos, que é realizada durante a implementação do programa e diz respeito à dimensão da gestão, e a avaliação de resultados e de impacto, com objetivos mais ambiciosos, especialmente o de responder se o programa funcionou ou não (Cunha, 2006).

A avaliação processual procura detectar, periodicamente, as dificuldades que ocorrem durante o processo, a fim de se efetuarem correções ou adequações. Ela permite identificar os verdadeiros conteúdos do programa, se ele está sendo realizado conforme o previsto, se está atingindo o público-alvo e se os benefícios estão sendo distribuídos corretamente. Acompanhando os processos internos, ela focaliza os fatores que influenciam a implementação, estimulando mudanças, quando necessárias.

Por intermédio de procedimentos mais céleres, essa avaliação serve de suporte para melhorar a eficiência operativa e a eficácia dos programas, disponibilizando resultados e informações úteis aos gestores e gerentes, mais diretamente voltados às situações contextuais. Seus desenhos adaptam-se ao contexto, ao problema e à abrangência da pesquisa, frequentemente combinando métodos quantitativos e qualitativos: surveys com questionários fechados, entrevistas semiestruturadas ou abertas e observação.

Conforme Viana (1996), a avaliação de processo diferencia-se da de impacto pelo seu objeto — que é a aferição da adequação entre meios e fins, considerando os aspectos organizacional e institucional, social, econômico e político — e pelo seu objetivo, qual seja, o de permitir a correção do modelo de causalidade e da implementação, visando reorientá-la em função dos objetivos propostos.

Por sua vez, a avaliação de resultados procura verificar em que medida o programa alcançou os objetivos e quais foram seus efeitos e consequências, indagando, após sua implementação, se houve modificações na situação-problema que originou a formulação do programa e examinando o sucesso ou fracasso em termos de mudança efetiva nas condições prévias de vida das populações beneficiadas.

Avançando-se um pouco mais em torno de seus objetivos, a aferição dos resultados contempla a avaliação de impacto, que verifica a existência de um nexo causal entre os resultados da implantação do programa ou projeto e as alterações nas condições sociais da população. É uma dimensão ex post do resultado, relacionada com os objetivos gerais e o alcance efetivo das metas.²

Tratando-se de avaliação mais complexa, essa modalidade procura responder a três questões fundamentais:

a) As mudanças observadas na situação-problema se devem à intervenção ou a outros fatores?

b)Uma solução se aplica a outras realidades, ou apenas a determinado contexto?

c) As mudanças são permanentes ou temporárias, cessando com a interrupção do programa?

A avaliação de impacto, geralmente realizada por meio de desenhos quase experimentais, usa métodos quantitativos para a coleta e o tratamento dos dados e modelos estatísticos e econométricos para analisá-los. O principal desafio é demonstrar que os resultados encontrados estão causalmente relacionados aos produtos oferecidos pelo programa.

As exigências para uma adequada aferição de impacto são:

— observar um tempo de maturação do programa (ou do "tratamento") para se identificar o registro de impacto;

— contar com uma gama de informações anteriores à implementação (estudos ex ante);

— encontrar um bom contrafactual³ — um indivíduo ou grupo de comparação que não tenha participado do programa, mas que seja similar ao factual ou de tratamento — a fim de se controlar o viés de seleção do indivíduo ou grupo de comparação;

— comparar o estudo com outras avaliações.

Esses desenhos possuem alta legitimidade na comunidade internacional que discute avaliação de políticas públicas e permitem a realização de análises abrangentes, com grandes amostras populacionais. São pesquisas mais complexas e caras, e demoram mais tempo até produzirem resultados aos tomadores de decisão. Por estes motivos, Khander e colaboradores (2010) sugerem sua utilização parcimoniosa, especialmente quando: a) o programa é inovador e de importância estratégica, b) há uma falta de conhecimento do que funciona ou não, c) houver dados viáveis e de qualidade.

Na classificação de Figueiredo e Figueiredo (1986), tanto a avaliação de processo quanto a de impacto podem chegar às seguintes conclusões:

a) O resultado esperado é alcançado.

b) Um resultado não esperado é produzido, sendo, porém, positivo.

c) Resultados do tipo a) e b) ocorrem e são positivos no curto prazo, mas podem ser negativos no médio e longo prazo.

d) O resultado esperado é atingido no que se refere aos membros da população-alvo, isto é, cada indivíduo melhorou sua situação com a política pública; no entanto, em médio prazo, a categoria social a que esses indivíduos pertencem, ou passam a pertencer, piora.

e) O resultado esperado não é alcançado e nenhum outro resultado é produzido.

f) Um resultado não esperado ocorre, sendo, porém, negativo.

2.5 Diferenças entre avaliação e monitoramento

Acompanhamento ou monitoramento é uma atividade gerencial interna, realizada sistematicamente durante o período de execução e operação, para se saber como uma intervenção evolui ao longo do tempo, através de dados da gerência do projeto sobre metas iniciais, indicadores e resultados associados aos programas. Ela é necessária para se dimensionarem as metas de um projeto, os caminhos que uma intervenção percorre e as métricas potenciais para medir os efeitos na população-objetivo.

Através do monitoramento, gestores, pesquisadores ou outros agentes podem examinar como a implementação está sendo realizada, se está atingindo seus objetivos, além de verificar que problemas estão interferindo nas ações, processos e consecução dos objetivos previstos (Faria, 2005; Cunha, 2006). De acordo com seus resultados, pode-se recomendar o ajuste do plano, das condições operacionais e a correção dos rumos.

Os desafios para um bom monitoramento são:

— Identificar os objetivos que o programa ou a estratégia busca alcançar;

— Elaborar indicadores que possam monitorar o progresso em relação às metas;

— Fixar metas quantitativas e temporais para cada indicador.

Um dos aspectos constitutivos do monitoramento é a elaboração de indicadores de performance e de progresso da política, observados periodicamente (a cada trimestre, semestre ou ano). Enquanto os indicadores finais medem os resultados dos programas e seu impacto em termos de bem-estar, os intermediários examinam os inputs (recursos e meios necessários) e os outputs do programa (tais como: estradas construídas, desemprego masculino, emprego feminino) (Thoenig, 2000; Henry, 2001; Jannuzzi, 2004).

Por sua vez, a avaliação pode ser realizada antes, durante a implementação ou mesmo algum tempo depois, após o programa provocar todo o seu impacto, e com a preocupação centrada no modo, medida e razão dos benefícios advindos.

Em ambos os instrumentos é latente a função de provisão de informações sobre um determinado programa ou política governamental em todo o seu ciclo, inclusive o momento inicial de identificação do problema.

Em uma conceituação abrangente, a avaliação e o monitoramento de programas consistem na verificação da adequação do desenho à sua finalidade e aos objetivos pretendidos, da correlação entre os serviços prestados e as metas definidas estrategicamente, dos efeitos (resultados e/ou impactos) mensuráveis e, por fim, da lógica de eficiência subjacente, ou seja, examinar se os benefícios advindos da política compensam seus custos.

A avaliação necessita das informações provenientes do monitoramento para realizar o julgamento que lhe cabe a respeito da eficiência, eficácia e efetividade dos programas; ambos os estudos são, portanto, complementares. Porém, a primeira vai além, pois verifica se o plano originalmente traçado está, de fato, produzindo as transformações pretendidas.

3. Os diferentes usos das avaliações

A utilização dos estudos avaliativos envolve, fundamentalmente, quatro possibilidades: instrumental, conceitual, como instrumento de persuasão e para o esclarecimento (Faria, 2005).

O uso instrumental depende da qualidade da avaliação e da adequada divulgação de seus resultados, de sua inteligibilidade e da factibilidade das recomendações eventualmente propostas. No uso conceitual, as descobertas da avaliação (a sua própria realização) podem al-terar a maneira como os técnicos compreendem a natureza, o modo de operação e o impacto do programa. Essa aprendizagem é potencializada quando os técnicos participam ativamente do processo de avaliação.

A utilização da avaliação como instrumento de persuasão ocorre quando ela é um recurso para mobilizar o apoio à posição que os tomadores de decisão já têm sobre as mudanças necessárias na política ou programa e para ganhar novos adeptos para as mudanças desejadas.

Já o uso para o esclarecimento incide sobre as redes de profissionais e comunidades de políticas, os formadores de opinião e as advocacy coalitions, no sentido de produzir alterações nas crenças e na forma de ação institucional, pautando, assim, a agenda governamental (Faria, 2005).

Para Faria (2005), a avaliação pode igualmente ser elemento central na disputa eleitoral, no controle das relações intergovernamentais e na busca de acomodação de forças e de interesses no âmbito intraburocrático.

Também podem ser usados elementos específicos da avaliação, tais como:

— A aplicação das ideias e generalizações derivadas da avaliação pelos formuladores e pessoal técnico do programa.

— O uso do próprio fato de a avaliação ter sido ou estar sendo feita como desculpa para a não ação.

— A realização da avaliação pode tanto ser pensada em termos de legitimação do programa, quanto sugerir que algo não vai bem ou que há problemas no desenho do programa.

— A utilização do foco do estudo: o público (interno e externo) do programa avaliado passará a dar atenção prioritária aos elementos da avaliação, com destaque para os que deverão ser mensurados. O risco é que sejam negligenciados outros aspectos do programa que não incidem sobre os indicadores de sucesso definidos.

— Utilização do desenho da pesquisa avaliativa: possibilidade de que as categorias de análise usadas pelos avaliadores, a metodologia de avaliação e a forma de se analisar os dados tenham influência não apenas sobre a gestão da política ou do programa em questão, mas também sobre outras áreas e esferas de governo.

Os usuários potenciais da pesquisa avaliativa podem ser: os financiadores do programa (e da própria avaliação), os gerentes e encarregados de mais alto escalão, os técnicos e profissionais que lidam de maneira mais direta com os beneficiários (os agentes encarregados da implementação, street level bureaucracy, Souza, 2003), os beneficiários, os gerentes de programas similares e/ou de diferentes níveis governamentais, os agentes do governo central, os representantes de fundações, os interessados em conhecer projetos exitosos que mereçam financiamento ou preocupados em melhorar programas sob sua responsabilidade, os membros do Legislativo engajados na melhoria de programas existentes ou na elaboração de novas propostas, os cientistas sociais, outros avaliadores que buscam aprender com as descobertas e com as metodologias empregadas, as próprias organizações que administram o programa avaliado e o público em geral ou a sociedade civil.

Um aspecto relevante neste tópico é a importância da divulgação dos resultados de avaliações, pois de nada adianta avaliar se as conclusões não são publicizadas. Por exemplo, nos Estados Unidos existe o Escritório Geral de Prestação de Contas (General Accouting Office) e um canal de televisão que divulga regularmente resultados de avaliações.

Carlos Aurélio Faria (2005) enumera alguns fatores que podem interferir na forma como são aproveitados os resultados da avaliação: a existência de crenças e interesses conflitantes na organização que gerencia o programa, a ocorrência de conflitos de interesses entre as distintas unidades do programa, as mudanças no pessoal encarregado (quando, por exemplo, os novatos têm prioridades diferentes daquelas vigentes no início da avaliação), a eventual inflexibilidade das regras e dos padrões operacionais da organização (que podem impedir a adoção das recomendações feitas quando da avaliação), as mudanças nas condições externas, tais como cortes orçamentários e alterações no ambiente político, que podem tornar impossível para a organização responder à necessidade de mudança revelada pelos avaliadores.

4. A avaliação no mundo e no Brasil

4.1 Histórico da avaliação de políticas públicas

Segundo Faria (2005), nas décadas de 1980 e 1990, a avaliação de políticas públicas foi posta a serviço da reforma do Estado.

Para esse autor, o primeiro boom da avaliação de políticas e programas públicos ocorreu nos Estados Unidos, na década de 1960. A pesquisa avaliativa era então encarada como ferramenta de planejamento destinada aos formuladores de políticas e aos gerentes de mais alto escalão. Nesse contexto, a avaliação acabou institucionalizando-se, dentro de um enfoque topdown e por meio de uma ordem executiva do presidente norte-americano, a qual determinava que os programas sociais fossem avaliados.

Nos EUA, essa "era de ouro" da avaliação durou até o final da década de 1980, dentro da qual predominava um paradigma metodológico experimental, randomizado e controlado.

A inicial abordagem top-down foi sendo progressivamente revertida, com o surgimento de metodologias bottom-up.

Na década de 1990 passou a predominar em muitos países a função de realocação, associada ao movimento do New Public Management, tendo os avaliadores se convertido em auditores que privilegiavam a aferição dos resultados.

Na América Latina, a institucionalização da "função avaliação" aconteceu apenas entre o final da década de 1980 e o início da década de 1990, sendo instrumentalizada para o sucesso da reforma do Estado a partir de três propósitos básicos: a) a adoção de uma perspectiva de contenção dos gastos públicos, b) a busca de melhoria da eficiência e da produtividade, de ampliação da flexibilidade gerencial e da capacidade de resposta dos governos, c) a maximização da transparência da gestão pública e de responsabilização dos gestores, o consumidor vindo em primeiro plano (Melo, 1998).

A consolidação de sistemas de avaliação no continente teve forte caráter de indução externa. Dentro de uma perspectiva gerencialista, percebe-se a ênfase dada à implantação dos sistemas de avaliação pelos organismos multilaterais, que investem sistematicamente no processo: disponibilizando assistência técnica, fornecendo financiamento, articulando redes de profissionais, sensibilizando lideranças políticas e acadêmicas e atrelando o financiamento de projetos à exigência de avaliação (Faria, 2005; Melo, 1999).

Esta nova ênfase dada à avaliação de políticas no Brasil, centrada em pesquisas que aplicam metodologias de avaliação de resultados ou de impacto,⁴ não despertou interesse por parte da comunidade acadêmica dos analistas de políticas públicas, e das áreas de sociologia e de ciência política, esta sempre tendo privilegiado os processos decisórios nas análises, em detrimento de investimentos mais sistemáticos no estudo dos processos de implementação e avaliação.

Parte significativa dos estudos sobre os processos de avaliação de políticas públicas realizados desde a década de 1960 refere-se às questões de ordem metodológica e/ou às distintas maneiras de se classificar a avaliação, além de seu viés acentuadamente normativo. Sempre houve uma crença de que os resultados seriam automática e necessariamente encampados pelos tomadores de decisões para a melhoria da política ou do programa em questão. E também uma expectativa ingênua de que se poderia produzir "melhores e mais sábias decisões" com base apenas na realização da avaliação (Faria, 2005).

4.2 Tendências internacionais recentes

As instituições multilaterais — como o Banco Mundial (BM) e a Organização das Nações Unidas (ONU) — têm desempenhado papel fundamental na priorização e definição dos arcabouços metodológicos da avaliação de políticas públicas. O BM, por exemplo, estabeleceu em 1994 o Modelo do Quadro Lógico (Logical Framework), ferramenta destinada a facilitar a conceituação, o desenho, a execução e a avaliação de projetos.

O Banco Interamericano de Desenvolvimento (BID), dentro do Projeto Fortalecimento da Função Avaliativa na América do Sul, tem procurado analisar os avanços no campo da avaliação, promovido o intercâmbio de experiências quanto à gestão pública, principalmente entre Brasil, Argentina e Chile, e buscado disseminar informações sobre a avaliação como parte integrante da gestão pública.⁵

Outra instituição importante na definição de critérios de avaliação tem sido a ONU. Através de suas agências, a instituição estabelece as diretrizes dos programas a serem avaliados. Destaca-se, nesse sentido, a metodologia recomendada pelo Fundo das Nações Unidas para a Infância (Unicef) para avaliação dos programas da área.

Ainda quanto à atualidade da avaliação no contexto internacional, menciona-se a Agenda pela Eficácia da Ajuda ao Desenvolvimento, movimento apoiado por governos de países desenvolvidos e em desenvolvimento, agências multilaterais de cooperação e organizações privadas de financiamento. A eficácia da ajuda entrou para o "léxico da indústria da ajuda" (Kaufmann, 2009) na década de 1990, quando a comunidade internacional de cooperação mútua constatou que os recursos alocados eram ineficazes para promover o desenvolvimento humano e reduzir a pobreza, além de gerarem enormes custos aos países beneficiados ou nutrirem a corrupção e a má governança. Dentro desta Agenda, cujos fóruns e atividades são coordenados pela OCDE, foi firmada em 2005 a "Declaração de Paris para a Eficácia da Ajuda", a qual estipula cinco compromissos de parceria em prol do desenvolvimento: apropriação e liderança dos países beneficiados, alinhamento da ajuda para apoiar as iniciativas locais, harmonização dos procedimentos dos organismos internacionais, gestão por resultados mensuráveis de desenvolvimento, responsabilização (accountability) mútua. Uma das considerações da Declaração foi a necessidade de se especificar indicadores, calendários e metas a fim de se aquilatar o nível de progresso em desenvolvimento alcançado por país, monitorando-se, assim, a implementação dos programas locais.⁶

O ex-presidente da Associação Americana de Avaliação, Michael Patton, palestrante do seminário "Futuras Tendências em Avaliação",⁷ comentou as tendências mundiais recentes da atividade avaliativa: a globalização da profissão, a sua natureza transdisciplinar, o emergente interesse político por accountability, pelos indicadores de performance e pela transparência, a crescente ênfase no desenvolvimento de capacidades e habilidades em avaliar, o debate em torno da apropriação dos diferentes métodos de avaliação.

4.3 A avaliação na atualidade no Brasil

No Brasil, a Constituição Federal de 1988, em seu artigo do título VI — da Tributação e do Orçamento —, estabeleceu como leis de iniciativa do Poder Executivo, a serem submetidas à aprovação do Legislativo:

a) O Plano Plurianual (PPA), abrangendo quatro anos e contendo as diretrizes, os objetivos e as metas da administração pública federal para as despesas de capital e para os programas de longa duração.

b) As Diretrizes Orçamentárias e os Orçamentos Anuais, como componentes de um sistema integrado de planejamento e orçamento.

Todos os demais planos e programas nacionais, regionais e setoriais devem ser subordinados ao PPA.

Embora os PPA dos quatriênios 1996-99 e 2000-03 já possuíssem instrumentos de avaliação e monitoramento, os modelos apresentavam falhas, o que suscitou a necessidade de corrigir certos aspectos (Garcia, 2000; Silva e Costa, 2000).

Já o PPA de 2004 a 2007 trouxe uma inovação inexistente nos anos anteriores: o Sistema de Avaliação do Plano Plurianual. O objetivo era assegurar que a avaliação integrasse a gestão dos programas subsidiando a tomada de decisão, bem como disseminar a cultura avaliativa e garantir sua utilização na formulação e implementação das políticas e programas de governo. A estrutura principal desse Sistema é a Comissão de Monitoramento e Avaliação (CMA), assessorada pela Câmara Técnica de Monitoramento e Avaliação (CTMA). A Comissão é constituída pelos Ministérios do Planejamento, da Fazenda e do Meio Ambiente, além da Casa Civil, com a finalidade de deliberar sobre propostas de normas e procedimentos gerais relativos à Avaliação e Monitoramento (A&M) dos programas do Poder Executivo. Além disso, essa Comissão oferece elementos técnicos que orientam o processo de alocação de recursos orçamentários e financeiros e a revisão dos programas, com vistas ao alcance dos resultados.

Segundo a legislação, o relatório anual de avaliação deve conter:

a) avaliação do desempenho das variáveis macroeconômicas que fundamentaram a elaboração do Plano;

b) demonstrativo da execução física, financeira e regionalizada dos programas;

c) demonstrativo do desempenho dos indicadores de cada programa;

d) avaliação do alcance das metas físicas e financeiras e da evolução dos indicadores de cada programa (Lei nº 9.989/2000, Brasil, 2000).

Quanto ao monitoramento, o principal instrumento do PPA é a Portaria nº198, de 18 de julho de 2005, do Ministério do Planejamento, Orçamento e Gestão, que "estabelece os procedimentos e a periodicidade para registro de informações relacionadas com o desempenho das ações do Plano Plurianual, no Sistema de Informações Gerenciais e de Planejamento — SIGPlan" (Brasil, 2004:1).

A norma obriga o registro de informações do desempenho físico das ações no sistema pelos coordenadores de ação, como também das restrições à execução e providências adota-das para sua superação.

No que tange à avaliação, o PPA inclui o Relatório Anual de Avaliação, obrigatório por lei e encaminhado ao Congresso Nacional, junto com as normas propostas de revisão do Plano e da Lei Orçamentária Anual. Esse Relatório contém:

a) a avaliação do desempenho das variáveis macroeconômicas que fundamentaram a elaboração do Plano;

b) o demonstrativo da execução física, financeira e regionalizada dos programas;

c) o demonstrativo do desempenho dos indicadores de cada programa;

d) a avaliação do alcance das metas físicas e financeiras e da evolução dos indicadores de cada programa (Brasil, 2000).

O Relatório Anual é constituído, ainda, de três níveis de avaliação:

a) dos Programas, realizada pelos gerentes;

b)Avaliação Setorial, elaborada no âmbito da Secretaria-Executiva dos ministérios;

c) Avaliação do Plano, uma avaliação geral realizada pelo Ministério do Planejamento.

A etapa de Avaliação do Programa, de responsabilidade do gerente de programa, é, de fato, uma autoavaliação em que os gerentes destacam os avanços e resultados alcançados e apresentam as restrições (de recursos orçamentários e humanos etc.) que dificultaram a obtenção de melhores desempenhos. A avaliação subdivide-se em três partes interdependentes, quanto a:

a) concepção do programa;

b)implantação do programa,

c) resultados do programa.

Todas as etapas são importantes para o alcance dos objetivos da avaliação. Contudo, a terceira (resultados do programa) valoriza a elaboração, o acompanhamento e a apuração dos indicadores como forma de propiciar objetividade e credibilidade ao processo. A metodologia de avaliação de programas do PPA envolve a escolha de um conjunto de critérios e o uso de indicadores possibilitando um julgamento continuado e eficaz acerca do desempenho de um programa ou conjunto de programas, por meio da comparação com padrões de desempenho predefinidos.

A Avaliação Setorial fica a cargo da Unidade de Monitoramento e Avaliação (UMA), a unidade de assessoramento do secretário executivo ou seu equivalente. Ela se baseia em questões mais abrangentes, buscando relacionar os resultados aos objetivos da pasta.

As etapas de avaliação dos programas e de avaliação setorial são realizadas através de questionários de múltipla escolha, aos quais se adicionaram algumas questões de resposta aberta e discursiva. O questionário é preenchido pelos gerentes e pela secretaria executiva de cada ministério por meio do Sistema de Informações Gerenciais e de Planejamento (Sigplan), acessível pela internet.

O Ministério do Planejamento adiciona essas avaliações a uma análise das variáveis macroeconômicas, do cenário que integra a Lei de Diretrizes Orçamentárias e da conjuntura, para consolidar o Relatório Anual de Avaliação.

O Sigplan foi implantado para apoiar o planejamento, execução, monitoramento, gestão e avaliação do Plano. Esse sistema agregou os dados de execução orçamentária e financei-ra de todos os programas e ações do governo federal, além de informações de monitoramento e gestão fornecidas pelos gerentes de programas, ministérios setoriais e Ministério do Planejamento, Orçamento e Gestão.

A integração entre o Plano Plurianual e o Orçamento permitiu que a atualização da execução orçamentária e financeira dos programas fosse procedida semanalmente e que os gerentes complementassem periodicamente as informações sobre o desempenho físico. Os técnicos do Ministério do Planejamento têm por tarefa monitorar as informações no Sigplan. Também há um módulo nesse Sistema com o objetivo de tornar acessíveis à sociedade as informações sobre o andamento dos programas.

Por outro lado, no âmbito da Secretaria de Avaliação e Gestão da Informação (Sagi), do Ministério do Desenvolvimento Social (MDS, criado em 2004), foi desenvolvido em 2006 o Sistema de Avaliação e Monitoramento de Políticas e Programas Sociais. Ele tem como objetivo principal desenvolver e implementar instrumentos de avaliação e de monitoramento das políticas e dos programas referentes às ações da pasta. Além dessa responsabilidade, a Secretaria responde pela capacitação de gestores de políticas sociais, pela promoção da gestão do conhecimento e pela publicação de estudos e pesquisas, sejam elas contratadas ou realizadas internamente.

A Sagi substituiu e herdou a estrutura da Secretaria de Avaliação dos Programas Sociais do extinto Ministério da Assistência e Promoção Social (MAS), que funcionou por cerca de um ano sem apresentar resultados expressivos. Ela é constituída pelas seguintes secretarias e programas:

— Senarc — Secretaria Nacional de Renda e Cidadania (responsável pelo Programa Bolsa Família)

— Sesan — Secretaria Nacional de Segurança Alimentar

— PAA/Compra Local — Programa de Aquisição de Alimento

— PAA/Conab

— PAA/Leite

— Cisternas

— Distribuições de cestas

— Hortas comunitárias

— Cozinhas comunitárias

— Restaurantes populares

— Educação alimentar

— Banco de alimentos

— Snas — Secretaria Nacional de Assistência Social

— Peti — Programa de Erradicação do Trabalho Infantil

— BPC — Benefício Assistencial da Prestação Continuada

— Agente Jovem

— PAC — Proteção Social Básica à Criança de 0 a 6 anos

— Sentinela — Programa de Combate ao Abuso e à Exploração Sexual de Crianças e Adolescentes

— API — Atenção à Pessoa Idosa

— Paif — Programa de Atenção Integral à Família

— PDC — Atenção às Pessoas com Deficiência

O formato de órgão específico com a finalidade precípua de avaliação e gestão da informação como a Sagi é inédito no governo federal. Na prática, a Sagi tem um funcionamento do tipo matricial na medida em que executa e contrata pesquisas, realiza cursos e publicações e atende às necessidades das secretarias responsáveis pelas políticas nacionais de segurança alimentar e nutricional, de assistência social e de renda de cidadania.

De acordo com o regimento interno do MDS, as informações produzidas pela Sagi têm como objetivo subsidiar gestores e formuladores das políticas sociais na tomada de decisões de modo a aperfeiçoar os programas e racionalizar o uso dos recursos financeiros. Ademais, a disseminação do conhecimento ao público, mediante publicações técnicas e seminários, contribui para a ampliação do controle social e o fortalecimento da transparência governamental.

É importante esclarecer que a Sagi não possui uma exclusividade na avaliação das políticas sociais no país; sua responsabilidade é institucional, mas outras agências, tanto internas (como o Ipea e o IBGE) como externas (universidades, fundações privadas e think tanks)⁸ também estão envolvidas em atividades avaliativas.

A Secretaria também atua no acompanhamento de todas as fases das pesquisas, inclusive enviando servidores para o trabalho de campo, promovendo assim aprendizado organizacional.

Em relação às atividades de monitoramento, o principal instrumento elaborado pela Sagi é a Matriz de Informação Social (MI Social), uma ferramenta de informações georreferenciadas sobre os programas do MDS, na qual são depositadas informações migradas de outros sistemas e agregadas tabelas específicas de informações não sistematizadas. Tais informações podem ser visualizadas em vários níveis de agregação, sejam unidades da Federação, microrregiões, municípios ou territórios especiais.

Além dos indicadores e informações básicas dos programas sociais do MDS, estão disponíveis para consulta na ferramenta informações demográficas e socioeconômicas.

A apresentação dos resultados das pesquisas é dirigida ao público do próprio Ministério e convidados externos envolvidos com o tema. A divulgação também se dá por meio de várias publicações, como os Cadernos de Estudos de Desenvolvimento Social e livros. Quatro meses após a divulgação dos resultados da pesquisa, os microdados — sem a identificação pessoal de qualquer entrevistado — são disponibilizados para o Consórcio de Informações Sociais (CIS).⁹

Há certos tipos de estudos realizados pela Sagi que não cumprem diretamente a função de avaliação, mas, sim, a de produzir informação para o planejamento e a programação das próprias políticas. Esse foi o caso, por exemplo, do levantamento sobre os beneficiários do Programa de Erradicação do Trabalho Infantil (Peti). Como a Secretaria responsável, a Snas, só possuía dados relativos aos recursos repassados aos municípios, sem qualquer informação sobre o público-alvo, foi realizado um levantamento junto aos municípios, que então forneceram informações que serviram de base para se fazer um perfil dos beneficiários e subsidiar a gestão do programa (MDS, 2010).

Outro exemplo foram as duas pesquisas feitas em conjunto com o IBGE sobre a rede da assistência social no Brasil com o intuito de subsidiar o investimento e o planejamento da implementação e gestão do Sistema Único de Assistência Social (Suas). A primeira identificou toda a estrutura pública de organização da política (associações, conselhos, instituições) e de prestação de serviços nos municípios brasileiros. A segunda, a rede de assistência do setor privado, com informações sobre equipamentos assistenciais, tipos de serviços prestados e recursos humanos (MDS, 2010). Também se pode citar a pesquisa, realizada pela primeira vez no país, sobre as percepções da população em relação às condições de acesso a alimentos suficientes e de qualidade, cujos dados foram coletados pelo IBGE, na Pesquisa Nacional por Amostra de Domicílios (Pnad) de 2004. Se repetida, essa pesquisa permitirá o acompanhamento regular das condições alimentares da população.

Outro estudo, também realizado pelo IBGE, é o Suplemento da Pnad-2006 sobre o trabalho infantil, que permitiu acompanhar a evolução desse fenômeno, o qual já havia sido medido em 2001 por metodologia similar.

Menciona-se, igualmente, o trabalho desenvolvido pelo Instituto de Pesquisa Econômica Aplicada (Ipea) do Ministério do Planejamento, Orçamento e Gestão, que tem como uma de suas missões acompanhar o desenho e a implementação das políticas públicas, de modo a subsidiar o governo em seu processo de tomada de decisão. Entre as várias publicações desse Instituto, cita-se o Boletim de Políticas Sociais — Acompanhamento e Análise, o qual é publicado desde 2000¹⁰ e cujo propósito é avaliar o conjunto das ações realizadas pelo governo federal para a promoção dos direitos sociais da população, visando responder os seguintes questionamentos principais: como estão evoluindo as políticas sociais? A quem atendem, quanto gastam, como operam e quais são seus resultados?

Por último, é interessante apontar a formação de redes de especialistas em torno da avaliação e do monitoramento de políticas públicas, as quais vêm aproximando profissionais das mais diversas áreas do conhecimento, estados e países, divulgando experiências e produções acadêmicas, organizando e apoiando fóruns e eventos científicos, promovendo, enfim, um acúmulo de conhecimento e de expertise sobre essa temática. Dentre elas destaca-se, no Brasil, a "Rede Brasileira de Monitoramento e Avaliação", que contava com mais de 1.100 membros em janeiro de 2011.¹¹

5. Conclusão

Para alguns, o motor da avaliação é a necessidade urgente de obter eficiência e ampliar a área de influência do governo com programas sociais e, ao mesmo tempo, dar retorno às autoridades quanto ao planejamento e à implantação de novas políticas. Para outros, a avaliação é parte não apenas da aferição da eficiência dos gastos públicos, mas de todo um processo de participação social, que vem crescendo desde a redemocratização do país. Nesse contexto, a pesquisa avaliativa promove um importante direito democrático, relacionado com o controle social sobre a atuação estatal (Arretche, 2001).

Ao longo deste artigo foram analisados diversos aspectos relativos à pesquisa avaliativa: o seu papel, os seus tipos, os seus diversos usos, a situação atual da temática no mundo e no Brasil. No sentido de se reiterar sua importância estratégica para a retroalimentação do ciclo das políticas públicas, além de sua relevância como temática no campo das ciências sociais e políticas públicas, conclui-se este texto sinalizando as dificuldades e necessidades ao seu aprimoramento.

a) Dificuldades:

▼ Muitos programas e ações não são desenhados para serem avaliados.

▼ A prevalência de delineamentos de pesquisa que não "controlam" as variáveis antecedentes, processuais e de resultados, e que produzem inferências espúrias, atribuindo ao programa a responsabilidade de resultados (bons ou ruins) não provocados por ele, mas por outros fatores.

▼ Poucos dados disponíveis e, quando existentes, bastante limitados e com periodicidade irregular.

▼ A resistência na administração pública, devido à predominância de uma cultura autoritária. As autoridades públicas ficam constrangidas com a perspectiva de serem analisadas as suas ações e reagem através de: proibições diretas, ou colocação de dificuldades burocráticas: desinteresse no levantamento de dados, tornar inacessíveis as fontes, falta de apoio.

b)Necessidades:

▼ Assumir a avaliação como atividade regular da instituição, implantando uma cultura de avaliação.

▼ Constituir sistemas de informações, de acessibilidade garantida e atendendo às peculiaridades dos programas sociais, para gerar um mínimo de factibilidade à avaliação (ou de "avaliabilidade", Cano, 2002:25 e 111; Costa e Castanhar, 2003:985 e 986).

▼ Fortalecer e aprimorar os sistemas de informações gerenciais existentes, a fim de construir indicadores de desempenho.

▼ Sua execução por órgãos independentes (como garantia de rigor metodológico e isenção) e, na medida do possível, mesclando técnicas quantitativas e qualitativas (Lobo, 2001; Arretche, 2001; Khander et al., 2010).

▼ Incorporar, de forma aberta, todos os atores envolvidos e mapear suas percepções, devolvendo-lhes as informações recebidas.

▼ Ampliar o escopo da avaliação, considerando o contexto da macropolítica e utilizando modelos dinâmicos que incluam as estruturas organizacionais, os distintos recursos de apoio mobilizados e as características sociais, culturais e econômicas dos atores (Perez, 2001:72).

Artigo recebido em 8 fev. 2011 e aceito em 6 jun. 2012.

Marília Patta Ramos é professora adjunta II do Departamento de Sociologia e do Programa de Pós-graduação em Sociologia da Universidade Federal do Rio Grande do Sul (UFRGS). Bolsista Produtividade PQ CNPq. E-mail: [e-mail].

Letícia Maria Schabbach é professora adjunta II do Departamento de Sociologia da UFRGS. E-mail: [e-mail].

• ABMA, Tineke A. Responsive evaluation: the meaning and special contribution to public administration. Public Administration, v. 82, n. 4, p. 777-1058, 2004.
• ARRETCHE, Marta. Tendências no estudo sobre avaliação. In: RICO, Elizabeth Melo (Org.). Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez; Instituto de Estudos Especiais, 2001. p. 29-39.
• BOURDIEU, Pierre; CHAMBOREDON, Jean-Claude; PASSERON, Jean-Claude. Conclusión: sociología del conocimiento y epistemología. In: BOURDIEU, Pierre. El oficio de sociólogo México: Siglo XXI, 1996. p. 99-124.
• BRASIL. Emenda Constitucional nº 19, de 1998. Modifica o regime e dispõe sobre princípios e normas da Administração Pública, servidores e agentes políticos, controle de despesas e finanças públicas e custeio de atividades a cargo do Distrito Federal, e dá outras providências. Brasília: 4 de junho de 1998. Disponível em: <www.planalto.gov.br/ccivil_03/constituicao/emendas/emc/emc19.htm>. Acesso em: 29 out. 2010.
• BRASIL. Lei Federal 9.989, de 2000. Dispõe sobre o Plano Plurianual para o período de 2000/2003. Brasília: 2000. Disponível em: <www.planalto.gov.br/ccivil_03/Leis/L9989.htm>. Acesso em: 20 out. 2010.
• BRASIL. Ministério do Planejamento, Orçamento e Gestão. Relatório de Avaliação — Plano Plurianual 2000-2003 — Exercícios 2000 a 2003 Disponível em: <www.planejamento.gov.br/planejamento_investimento/conteudo/relatorio_ppa/index_relatorio_ppa.htm>
• BRASIL. Ministério do Planejamento, Orçamento e Gestão. Relatório de Avaliação — Plano Plurianual 2004-2007 — Exercício 2004 Disponível em: <www.planejamento.gov.br/planejamento_investimento/conteudo/relatorio_ppa/index_relatorio_ppa.htm>
• CANO, Ignacio. Introdução à avaliação de programas sociais Rio de Janeiro: Editora FGV, 2002.
• COHEN, Ernesto; FRANCO, Rolando. Avaliação de projetos sociais Petrópolis: Vozes, 2004.
• COSTA, Frederico L. da; CASTANHAR, José C. Avaliação de programas públicos: desafios conceituais e metodológicos. Revista de Administração Pública, Rio de Janeiro, v. 37, n. 5, p. 969-992, set./out. 2003.
• COTTA, Tereza C. Metodologia de avaliação de programas sociais: análise de resultados e de impactos. Revista do Serviço Público, Brasília, v. 49, n. 2. p. 105-126, abr./jun. 1998.
• CUNHA, Carla da. Avaliação de políticas públicas e programas governamentais: tendências recentes e experiências no Brasil. Trabalho elaborado durante o curso "The Theory and Operation of a Modern National Economy", ministrado na George Washington University, no âmbito do Programa Minerva, em 2006. Digitalizado.
• DRAIBE, Sônia M. A política social na América Latina: o que ensinam as experiências recentes de reforma? In: DINIZ, Eli; AZEVEDO, Sérgio (Org.). Reforma do Estado e democracia no Brasil Brasília: Editora UnB; Enap, 1997. p. 213-258.
• DRAIBE, Sônia M. Uma nova institucionalidade das políticas sociais? Reflexões a propósito da experiência latino-americana recente de reformas dos programas sociais. São Paulo em Perspectiva, v. 11, n. 4, p. 3-15, 1997.
• FARIA, Carlos A. P. de. A política da avaliação de políticas públicas. Revista Brasileira de Ciências Sociais, São Paulo, v. 20, n. 50, p. 97-169, out. 2005.
• FARIA, Regina. Avaliação de programas sociais: evoluções e tendências. In: RICO, Elizabeth Melo (Org.). Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez; Instituto de Estudos Especiais, 2001. p. 40-49.
• FIGUEIREDO, Marcus F.; FIGUEIREDO, Argelina M. C. Avaliação política e avaliação de políticas: um quadro de referência teórica. Análise e Conjuntura, Belo Horizonte, v. 1, n. 3, p. 107-127, 1986.
• FUTURE TRENDS IN EVALUATION. Live Webinar, 1ºjuly 2010. Conferência (vídeo e powerpoint) disponível em: <www.mymande.org.br>. Acesso em: 20 ago. 2010.
• GARCIA, Ronaldo C. A reorganização do processo de planejamento do governo federal: o PPA 20002003. Brasília, Ipea, maio 2000. (Texto para Discussão n. 726).
• HENRY, Gary T. How modern democracies are shaping evaluation and the emerging challenges for evaluation. American Journal of Evaluation, v. 22, n. 3, p. 419-429, Sept. 2001.
• JANNUZZI, Paulo de M. Indicadores sociais no Brasil: conceitos, fontes de dados e aplicações. 3. ed. Campinas: Alínea, 2004.
• KAUFMANN, Daniel. Aid effectiveness and governance: the good, the bad and the ugly. The Brookings Institution, 17 Mar. 2009. Disponível em: <www.brookings.edu/opinions/2009/0317_aid_governance_kaufmann.aspx>. Acesso em: 20 nov. 2010.
• KAYANO, Jorge; CALDAS, Eduardo de L. Indicadores para o diálogo São Paulo: Pólis, Programa Gestão Pública e Cidadania; Easp/FGV, 2002.
• KHANDER, Shahidur R. et al. Handbook on impact evaluation Quantitative methods and practices. Washington, DC: The World Bank, 2010. p. 3-4; 7-31. [free on-line]
• LOBO, Thereza. Avaliação de processos e impactos em programas sociais: algumas questões para reflexão. In: RICO, Elizabeth Melo. Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez, 2001. p. 75-85.
• MDS. Ministério do Desenvolvimento Social. Brasil, 2010. Disponível em: <www.mds.gov.br/>. Acesso em: 25 maio 2010.
  » link
• MELO, Marcus A. As sete vidas da agenda pública brasileira. In: RICO, Elizabeth Melo (Org.). Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez, 1998. p. 11-28.
• MELO, Marcus A. Estado, governo e políticas públicas. In: MICELI, Sérgio (Org.). O que ler na ciência social brasileira (1970-1995) São Paulo: Sumaré, 1999. v. 3, p. 59-100.
• PARIS DECLARATION ON AID EFFECTIVENESS. Ownership, harmonisation, alignment, results and mutual accountability. Paris: Feb. 20 Mar. 2, 2005. Disponível em: <www.oecd.org/document/18/0,3343,en_2649_3236398_35401554_1_1_1_1,00.html> e <www.searo.who.int/LinkFiles/GAVI_ParisDeclaration.pdf>. Acesso em: 29 nov. 2010.
• PEREZ, José R. R. Avaliação do processo de implementação: algumas questões metodológicas. In: RICO, Elizabeth Melo (Org.). Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez, 2001. p. 65-73.
• POLÍTICAS SOCIAIS: ACOMPANHAMENTO E ANÁLISE. Brasília: Ipea, 2000 a 2008 (semestral), 2009 em diante (anual).
• RAMOS, Marília. Avaliação de políticas e programas sociais: aspectos conceituais e metodológicos. Planejamento e políticas públicas, Brasília, v. 32, n. 1, p. 94-114, jan. 2009.
• RIO GRANDE DO SUL. Lei 11.075, de 1998 Institui o Código Estadual de Qualidade dos Serviços Públicos. Porto Alegre, 6 jan. 1998. Disponível em: <www.al.rs.gov.br/legis/M010/M0100018.asp?Hid_IdNorma=7453&Texto=>. Acesso em: 4 out. 2010.
• SILVA, Pedro L.; COSTA, Nilson. Avaliação de políticas públicas na América do Sul. Avaliação de Programas Públicos: uma estratégia de Análise. In: CONGRESSO INTERNACIONAL DA CLAD, V, 2000, San Domigo, Republica Dominicana. Disponível em: <www.clad.org/congresos/congresosanteriores/v-santo-domingo-2000/5.-investigando-al-estado>. Acesso em: 10 abr. 2011.
• SOUZA, Celina. "Estado do campo" da pesquisa em políticas públicas no Brasil. Revista Brasileira de Ciências Sociais, São Paulo, v. 18, n. 51, p. 15-20, fev. 2003.
• SPINK, Peter. Avaliação democrática: propostas e práticas. Rio de Janeiro: Associação Brasileira Interdisciplinar de Aids, 2001. (Coleção Abia, Fundamentos de Avaliação nş3). Disponível em: <www.abiaids.org.br/_img/media/colecao fundamentos avaliacao N3.pdf>
• THOENIG, Jean-Claude. A avaliação como conhecimento utilizável para reformas de gestão pública. Revista do Serviço Público, Brasília, v. 51, n. 2, p. 54-70, abr./jun. 2000.
• UNIVERSIDADE ESTADUAL DE CAMPINAS. Grupo de Análise de Políticas de Inovação (Gapi-Unicamp). Metodologia de análise de políticas públicas Disponível em: <www.oei.es/salactsi/rdagnino1.htm>. Acesso em: 20 jul. 2010.
• VIANA, Ana L. Abordagens metodológicas em políticas públicas. Revista de Administração Pública, Rio de Janeiro, v. 30, n. 2, p 5-43, abr. 1996.

1

Custo-benefício é a relação monetária entre os custos e os benefícios de um programa, sendo aceitável se os últimos excederem os primeiros. Adequa-se mais a projetos econômicos, com benefícios facilmente quantificáveis. Mais utilizada em projetos sociais, a relação custo-efetividade não se baseia em custos monetários, mas na premissa de que, diante de um volume limitado de recursos, esses devam ser aplicados de forma tal que permitam um maior número de unidades de benefícios, qualquer que seja o valor monetário.

2

Alguns autores diferenciam a avaliação de resultados da de impacto. Para Costa e Castanhar (2003), a primeira refere-se aos resultados imediatos e aos objetivos específicos de um programa ou projeto; ao passo que a última seria um subtipo da avaliação de resultados, centrada no médio e longo prazo e nos objetivos gerais. Por sua vez, Cotta (1998:13) destaca que a avaliação de resultados visa inquirir sobre os efeitos de uma intervenção sobre a clientela atendida, enquanto a de impacto pretende captar os reflexos dessa mesma intervenção em um contexto mais amplo. De qualquer forma, pode-se dizer que os efeitos ou resultados de um programa representam condição prévia, mas não suficiente, para se avaliar seu impacto.

3

O ideal seria que uma mesma pessoa (ou outra unidade de análise) pudesse ter participado e não participado de um programa, mas ela não pode estar nas duas situações ao mesmo tempo. Então a pessoa que compõe o grupo de controle (não ter participado) deveria ser um clone (mais próximo) à que participou. Como isto é impossível, é necessário buscar um contrafactual, uma pessoa ou unidade de análise que seja muito similar aos participantes. Para tanto, há dois procedimentos básicos: a) modificar a estratégia do programa a fim de se excluírem as possíveis diferenças entre ambos os grupos, através da seleção aleatória de seus componentes, b) criar um grupo comparativo com atributos parecidos com o de tratamento, por intermédio de certos procedimentos estatísticos, tais como:

randomized evaluations,

propensity score matching,

double-difference methods,

use of instrumental variables,

regressão descontinuity,

pipeline approach (Khander et al., 2010).

4

Cabe lembrar que avaliações de impacto exigem uso de quantificação em termos de modelos econométricos (para maiores detalhes ver: Ramos, 2009).

5

No Brasil, como fruto desse projeto, o Instituto de Pesquisa Econômica Aplicada (Ipea) vem elaborando uma série de relatórios técnicos de avaliação de políticas.

6

Embora conste como indicativo na lista dos países signatários, o Brasil ainda não ratificou sua adesão à Declaração de Paris.

7

O

Webminar "Future Trends in Evaluation", promovido pelo Pnud, Unicef e outras organizações internacionais, aconteceu em 1ºde julho de 2010. Conferência (vídeo e

powerpoint) disponível em: <

www.mymande.org.br>. Acesso em: 20 ago. 2010.

8

A maior parte dos

think tanks são organizações sem fins lucrativos, fundadas por governos, grupos de interesse ou empresas. Alguns

think tanks também exercem funções de pesquisa e consultoria, sendo essa uma de suas fontes de financiamento. Os

think tanks ainda não representam uma real alternativa aos centros e grupos de pesquisa universitária no Brasil, onde as poucas iniciativas estão geralmente vinculadas a partidos políticos, como: a) o Instituto Teotônio Vilela, ligado ao Partido da Social Democracia Brasileira (PSDB), b) a Fundação Perseu Abramo, ligada ao Partido dos Trabalhadores (PT), c) a Fundação Liberdade e Cidadania, ligada ao Democratas.

9

O CIS resultou de um projeto do Núcleo de Apoio à Pesquisa sobre Democratização e Desenvolvimento da Universidade de São Paulo (Nadd-USP) em parceria com a Associação Nacional de Pós-graduação e Pesquisa em Ciências Sociais (Anpocs). O projeto está sendo desenvolvido sob a chancela de um convênio entre a USP e a Anpocs, e conta com o suporte financeiro da Fapesp. Está disponível em: <

www.nadd.prp.usp.br/cis/index.aspx>.

10

Elaborado pela Diretoria de Estudos Sociais (Disoc), a veiculação deste Boletim iniciou em junho de 2000, tendo periodicidade semestral (com algumas interrupções) até 2009, quando passou a ser anual.

11

Disponível em: <

http://redebrasileirademea.ning.com>. Acesso em: 6 jan. 2011.

Datas de Publicação

• Publicação nesta coleção
  23 Out 2012
• Data do Fascículo
  Out 2012

Histórico

• Recebido
  08 Fev 2011
• Aceito
  06 Jun 2012