Avaliação de Programas e Serviços Sociais no Brasil: uma análise das práticas no contexto atual

Programs and Social Services Evaluation in Brazil: an analysis of practices in the current context

ARTIGOS

Avaliação de Programas e Serviços Sociais no Brasil: uma análise das práticas no contexto atual^*

Programs and Social Services Evaluation in Brazil: an analysis of practices in the current context

Max Felipe Vianna Gasparini^I; Juarez Pereira Furtado^II

^IDiscente de graduação do curso de Serviço Social da Universidade Federal de São Paulo, campus Baixada Santista, Santos/SP, Brasil. E-mail: [e-mail]

^IIProfessor doutor em Saúde Coletiva (Unicamp/Montreal) e chefe do Departamento de Políticas Públicas e Saúde Coletiva da Universidade Federal de São Paulo, Campus Baixada Santista, Santos/SP, Brasil. E-mail: [e-mail]

RESUMO

O presente trabalho busca elucidar as formas como a avaliação de programas e serviços sociais vêm sendo constituída em nosso país, por meio de uma revisão sistemática nas principais bases de dados nacionais. Por meio da análise de artigos publicados, procura-se oferecer subsídios para a compreensão, análise crítica e avanço nos modos de valorar, a partir de abordagens sistemáticas, os programas e serviços de assistência social no Brasil.

Palavras-chave: Avaliação. Programas sociais públicos. Avaliação de programas sociais.

ABSTRACT

This paper seeks to elucidate the ways in program evaluation and social services have been established in our country, through a systematic review of the major national databases. Through the analysis of published articles, seeks to offer subsidies for understanding, critical analysis and advancement in the ways of valuing, from systematic approaches, programs and social care services in our country.

Keywords: Evaluation. Public social programs. Social program evaluation.

1. Introdução

A avaliação de programas e serviços sociais constitui etapa do ciclo de desenvolvimento das políticas públicas, no que concerne à gestão e planejamento de suas ações. É entendida como parte constitutiva do processo da política pública (Carvalho, 2003) e encontra-se intimamente ligada ao ideário de manutenção da qualidade dos serviços oferecidos pelo Estado, em seu papel de regulador e interventor na sociedade, por meio de ações ou omissões, decisões e não decisões (Silva e Silva, 2001). Mais recentemente, seu uso para racionalizar a gestão vem sendo apontado como nova forma de dominação e manipulação (Cahiers Internationaux de Sociologie, 2010; Cités, 2009).

O empenho em tornar a avaliação presente no planejamento, implementação e monitoramento dos serviços e instituições, encontrou eco tardiamente no Brasil, devido a pelo menos três fatores interdependentes. Em primeiro lugar, no início dos anos 1980, apesar da distensão política em curso, ainda vivia-se sob a tutela de um Estado autoritário, avesso a submeter suas incipientes políticas sociais à avaliação ou a qualquer outro tipo de análise (Ceneviva e Farah, 2007). Por sua parte, a sociedade brasileira estava longe de requerer dos políticos, gerentes e gestores, responsabilidade e transparência nas políticas públicas e seus programas e serviços (Campos, 1990). Finalmente, as políticas sociais eram focalizadas e residuais, distantes da concepção de um Estado de bem-estar social presentes na Europa e na América do Norte (Draibe, 2002) e que lá foram fator de estímulo ao desenvolvimento da avaliação.

Para Gomes (2001), a expansão da avaliação de políticas sociais no país está relacionada em grande parte à necessidade de acompanhamento dos investimentos realizados por financiadores e órgãos internacionais. O fomento à avaliação, presente nos contratos e na política dessas instituições, é dirigido ao conjunto dos países do Terceiro Mundo, conforme revela publicação contendo um balanço de esforços nesse sentido no Brasil, Peru e México, dentre outros, feito pelo Banco Mundial, justificada pela busca de melhoria da gestão pública e prestação de contas aos gestores e à população (Gallo et al., 2011; World Bank, 1996). Atribui-se ainda à avaliação o potencial de se converter em um importante instrumento democrático de controle da gestão pública, tanto para os governantes quanto para o conjunto da sociedade civil no que tange ao controle dos recursos e ações do Estado (Romera e Paulilo, 2006).

Nos últimos anos, importantes avanços foram dados na área da avaliação de programas e serviços sociais no sentido de institucionalizar suas ações, sobretudo por meio de um conjunto de aparatos legislativos no campo da assistência social. O advento da Política Nacional de Assistência Social (PNAS/2004) ressalta a importância dos campos de informação, monitoramento e avaliação de políticas sociais, atribuindo-lhes um sentido mais técnico e político (Alves, 2007). A PNAS traz em seu bojo a preocupação de se implantar em caráter de urgência um sistema de monitoramento e avaliação como parte essencial da consolidação do Sistema Único de Assistência Social - Suas (Brasil, 2005). Esta preocupação é ratificada por intermédio da Norma de Operacionalização Básica do Suas (NOB/Suas), tornando a avaliação e o monitoramento práticas oficiais no conjunto de ações desse sistema (Brasil, 2005). A portaria n. 329, de outubro de 2006, institui e regulamenta a Política de Monitoramento e Avaliação do Ministério de Desenvolvimento Social e Combate à Fome (PMA/MDS) que em seu artigo 18 delega a coordenação das ações da PMA à Secretaria de Avaliação e Gestão da Informação (Brasil, 2006).

Nesse contexto, destaca-se a posição ocupada pela Secretaria de Avaliação e Gestão da Informação (Sagi) do MDS. Gerada no interior de um ministério multissetorial, que tinha como desafio incorporar órgãos distintos e que já funcionavam separadamente, a Sagi representa um esforço estratégico para o fortalecimento dos programas sociais (Dulci, 2010). Essa secretaria, conforme argumenta Dulci (2010), consolida-se em um patamar hierárquico equivalente às chamadas secretarias finalísticas que compõem o MDS.¹

Considerando os diversos vetores incidentes sobre o desenvolvimento da avaliação de iniciativas sociais no Brasil, faz-se necessário caracterizar a produção de processos dessa natureza em nosso país, de modo a identificar melhor suas resultantes. Por meio desse estudo, identificaremos características centrais de processos avaliativos com base em publicações realizadas sobre os mesmos, procurando evidenciar seu foco de análise (implementação, processo ou resultado), posição dos avaliadores, dentre outros, de modo a evidenciar questões que atravessam as práticas avaliativas no interior do campo da assistência social brasileira.

2. Metodologia

• Revisão de literatura especializada

Realizamos revisão sistemática (Pereira, 2011) voltada para identificar os artigos de interesse à temática aqui abordada, nas principais revistas nacionais em circulação, constantes na base Scielo (Scientific Eletronic Library) e na biblioteca virtual Portal de Periódicos da Capes. Buscamos também textos de nosso interesse entre teses, dissertações e comunicações em eventos, na chamada literatura cinzenta (Pereira, 2011).

Dos trabalhos encontrados, selecionamos os artigos em língua portuguesa cujos resumos foram lidos para identificar os estudos de avaliação propriamente ditos. Foram considerados estudos de nosso interesse aqueles que contivessem as palavras "avaliação", "avaliação de programas e serviços" e "avaliação de programas e serviços sociais" no título do trabalho, nas palavras-chave, ou aqueles que utilizaram o verbo "avaliar" nos objetivos ou metodologia do trabalho. A busca estendeu-se por meio da ferramenta Google acadêmico, de modo a ampliar a obtenção de resultados. Após a seleção, todos os trabalhos foram analisados na íntegra.

Textos que enfocavam iniciativas do setor privado ou do terceiro setor, além daqueles desenvolvidos em outros países, foram excluídos. O estudo teve como foco os trabalhos avaliativos realizados no âmbito dos programas e serviços públicos desenvolvidos no país.

3. Análise

• Atributos das avaliações

Além das informações básicas dos artigos, como título, autores e ano de publicação, utilizamos um roteiro de fichamento com os seguintes itens, com base nos atributos da avaliação propostos por Vieira-da-Silva et al. (2005):

- iniciativa avaliada;

- finalidade do programa/serviço;

- foco de análise da avaliação;

- enfoque da avaliação;

- posição dos avaliadores (interno e externo);

- metodologia empregada;

- fontes de financiamento/parcerias;

- critérios utilizados para avaliar;

- julgamentos.

Quanto ao foco de análise da avaliação, para Champagne et al. (2009) a pesquisa avaliativa pode ser decomposta em seis tipos, segundo a análise privilegiada. Teríamos então a análise estratégica em avaliação, quando o foco se estreita sobre a pertinência de determinada intervenção (O problema foi bem escolhido? Seria essa a melhor forma de intervir?, entre outras); análise lógica, quando examinamos a coerência, os fundamentos, concepções e validade operacional de determinado plano que sustenta o programa ou serviço avaliado; a análise de produção, que se interessa, sobretudo, pelos resultados tangíveis de uma intervenção (procedimentos realizados, pessoas atendidas etc.) e aos determinantes da qualidade dos processos que integram o ente avaliado; a análise dos efeitos, que verifica a eficácia da intervenção em relação à solução ou não dos problemas que constituíram alvo da mesma; a análise da eficiência, que é voltada para os custos e benefícios gerados pela iniciativa e, finalmente, a análise de implantação, que observa o quanto as concepções e o planejamento da intervenção foram transpostos para a prática, a partir da observação e análise das interações entre determinado programa ou serviço e o contexto no qual se realizou sua implementação, na produção de eventuais efeitos (Champagne et al., 2009).

• Referenciais quantitativos e qualitativos

No espaço da avaliação de programas e serviços encontramos questões e dilemas presentes no campo da pesquisa acadêmica mais geral. Nesse sentido, o debate entre os referenciais quantitativo e qualitativo encontram-se presentes na pesquisa avaliativa. Ainda que considerada uma falsa questão por Bourdieu (2009), a formação de consensos entre os sistemas quantitativos e qualitativos ou a superação de seus antagonismos está longe de acontecer (Dubois e Marceau, 2005), havendo defesas intransigentes de um ou outro caminho (Poupart et al., 2008). Entre os dois polos há expressivo número de pesquisadores adeptos da aproximação entre os dois métodos, segundo os quais a extensão e o papel desempenhado por cada uma das abordagens se combinariam distintamente, por meio da compatibilização e complementaridade (Gauthier, 2004).

No caso específico da avaliação, temos visto no Brasil a emergência de enfoques alternativos e abordagens qualitativas (Bosi e Mercado, 2006; Furtado, 2001) em um universo no qual predominam estudos quantitativos (Gurgel et al., 2013). Conforme a tendência apontada por Lima (2010), muitos dos trabalhos analisados utilizam ambas as metodologias, o que pode representar certo avanço no que concerne ao embate entre métodos qualitativos e quantitativos, que permeia não só a avaliação, mas diversas áreas do conhecimento.

• Participação

Na avaliação de programas e serviços sociais, a escolha por metodologias participativas está relacionada a uma concepção ético-política em torno da gestão democrática das políticas públicas sociais. Em relação à discussão sobre políticas sociais, avaliação e participação, Furtado (2012) parte de dois pressupostos essenciais para discutir a noção de participação enquanto exigência das políticas sociais:

1. as políticas sociais negligenciam seu componente voltado para a promoção e empoderamento de suas clientelas, que deveriam se dar por meio da participação dessa mesma clientela no processo de gestão dessas politicas;

2. se a gestão deveria ser participativa e empoderadora, os processos de avaliação dessas políticas e/ou dos programas deveriam ser igualmente participativos e empoderadores. Assim, a participação faz sentido em todas as etapas das políticas sociais, não só no planejamento e gestão, mas também na avaliação delas, nosso foco de interesse no presente capítulo. (Furtado, 2012, p. 29)

Desta forma, a participação em processos avaliativos resgata o potencial transformador e agregador que a avaliação comporta quando inserida no âmbito das politicas sociais. Nos artigos analisados há a predominância de abordagens participativas, o que incita a questão em torno de como essa participação é de fato efetivada. A participação se caracteriza pela entrada de diferentes atores sociais nos processos avaliativos, indo além do mero fornecimento de informações; visa envolver os diferentes atores em alguma ou todas as etapas da avaliação, de modo que possam de fato influenciar no percurso com algum grau de cogestão (Furtado, 2012).

4. Discussão

Foram selecionados onze artigos publicados e indexados em periódicos de diversas áreas, como administração, saúde, serviço social e psicologia (vide Quadro 1). A busca nas bases de pesquisa resultou em um grande número de trabalhos quando utilizado o descritor "avaliação". Os termos "avaliação de programas e serviços" e "avaliação de programas e serviços sociais" foram utilizados para refinar a buscar. Ainda que se tenha obtido um grande número de ocorrências a partir dos descritores citados, a pesquisa evidenciou uma escassez em relação aos trabalhos publicados que tratem de processos avaliativos realizados em programas e serviços sociais no âmbito da assistência social. Há predominância de trabalhos avaliativos no campo da saúde e da educação.

4.1 Objetos e focos de análise das avaliações realizadas

Os programas avaliados apresentam distintos objetos de intervenção, como transferência de renda (Santos et al., 2011; Tavares e Pazello, 2006; Santos, 2006; Góis et al., 2008), promoção da saúde com ênfase na sexualidade de jovens e violência sexual (Neto e L'Abbate, 2007; Costa et al., 2010), proteção à mulher vítima de violência (Alves e Filho, 2001), inserção e capacitação de jovens no mercado de trabalho (Carvalho, 2003), programa de atenção integral à família (Silva e Murta, 2009), erradicação do trabalho escravo (Antero, 2008) e programa de desenvolvimento regional (Bodstein et al., 2004).

Os trabalhos analisados apresentam a característica da pesquisa avaliativa que a diferencia das demais, qual seja, o de realizar julgamento ex-post de determinada intervenção (Contandriopoulos et al.,1997). Nesse sentido, os trabalhos explicitam posicionamento sobre o quão adequado e pertinente são aspectos como cobertura e impacto, entre outros, dos programas ou projetos avaliados. A presença de evidente julgamento ao final do processo na avaliação de iniciativas no âmbito da assistência social contrasta com aquelas do setor de saúde, nas quais nem sempre o juízo de valor dos avaliadores é explicitado (Furtado, 2006).

Os processos avaliativos analisados neste trabalho tendem a abordar mais de um aspecto dos programas avaliados, numa perspectiva de análise mais abrangente, articulando simultaneamente vários aspectos. Entretanto, destaca-se nos processos avaliativos a análise dos efeitos das intervenções sociais. A questão em torno do quanto e como os programas e serviços influenciaram o estado das áreas a que eram destinados emerge enquanto uma preocupação constante dos processos avaliativos analisados.

A presença de análises de intervenção e de implantação é indicativa de que os processos avaliativos na área social buscam considerar diferentes etapas dos programas, de modo a compreender melhor os determinantes que afetam os resultados e os efeitos. Ou seja, apontam para a utilização da avaliação como meio de analisar a procedência da proposta frente ao problema enfrentado e, ao mesmo tempo, as influências sofridas pela mesma por fatores de contextos, estivessem esses últimos previstos ou não (Champagne et al., 2011). Nesse sentido, Draibe (2001) aponta para a limitação da mera avaliação de desempenho que, embora constitua passo indispensável de qualquer processo avaliativo, pouco poderá dizer acerca da efetividade ou da qualidade das ações dos programas sociais. Para a autora, uma efetiva avaliação se dá na medida em que há a relação entre os resultados e os processos pelos quais estes foram produzidos; entre tais resultados e as mudanças que a intervenção provoca na realidade (Draibe, 2001).

4.2 Uso de referenciais quantitativos e qualitativos

É importante ressaltar que as estratégias metodológicas presentes nos trabalhos analisados são em geral direcionadas para a coleta de dados primários, por meio de instrumentais como questionários semiabertos, grupos focais, entrevistas semiestruturadas, estratégias de pesquisa-ação, oficinas participativas e grupos de discussão. Diferentemente do que supúnhamos no início do estudo, encontramos predomínio de investigações caracterizadas como qualitativas das intervenções avaliadas, destoando do que encontramos em avaliações no campo da saúde, onde há predomínio de estudos epidemiológicos e estatísticos (Furtado, 2006).

Lima (2010) aponta para o fato de as abordagens qualitativas permitirem a apreensão da dinâmica e da complexidade que envolve um programa social, situando-o no contexto social, econômico, político, cultural e institucional, mas ressalta que tem crescido a convicção de que as abordagens qualitativas e quantitativas não são dicotômicas, mas sim complementares.

No interior dessa tendência qualitativa, a presença de abordagens participativas aponta para o uso da avaliação a partir de sua função formativa, agregando os diferentes atores no esforço de produzir conhecimento que sirva para a correção e o redirecionamento das ações de determinado programa ou serviço. A incorporação de outros sujeitos de interesse no processo avaliativo, incluindo os beneficiários, torna-se um importante meio para a produção de conhecimento que melhore o próprio desempenho dos programas, já que aglutina diferentes pontos de vista e se respalda em experiências diversas.

Por ser essa uma abordagem que permite o avaliador captar elementos da realidade institucional que fogem ao alcance dos instrumentos quantitativos, a abordagem qualitativa tem se mostrado eficaz no que tange a uma apreensão da dinâmica institucional no conjunto de toda sua complexidade, sem abrir mão dos métodos quantitativos.

4.3 Posição dos avaliadores e participação

Os artigos analisados apresentam diferentes graus de participação, alguns mais profundos e amplos,² outros mais superficiais e que coloca os "participantes" como fornecedores de dados. Embora ressaltemos aqui a importância em se incorporar processos participativos nas avaliações de programas sociais, nem sempre tal escolha metodológica se faz necessária, tanto por questões de tempo ou espaço, como pelos propósitos de determinada avaliação.

É importante ressaltar que a participação e a inclusão de diferentes atores em processos avaliativos não devem ser idealizadas. Trata-se de um processo complexo e delicado que deve constituir-se enquanto pano de fundo das ações cotidianas (Furtado, 2012), ressaltando sua importância tanto do ponto de vista metodológico quanto político, e ainda na perspectiva de superação da ideia de participação como algo naturalmente assimilado por aqueles atores envolvidos em determinado serviço ou programa social.

A maioria dos processos avaliativos é realizada por avaliadores externos, ou seja, que não pertencem ou não possuem vínculos com a instituição que executa o programa (Ander-Egg e Aguilar, 1994). Somente um artigo apresenta uma avaliação feita a partir de sujeitos que atuam no interior do programa (Neto e L'Abbate, 2007), o que demonstra que a avaliação é praticada por agentes externos, ou seja, ainda impera - no caso dos artigos analisados - a perspectiva do olhar de fora.

Do ponto de vista da gerência ou chefia de um programa ou serviço, a questão em torno da posição do avaliador é de grande relevância. Tripodi et al. (1975), ainda no contexto de meados dos anos 1970, já aludia à importância da posição dos avaliadores, tecendo considerações oportunas a respeito do papel do chamado "administrador", que em termos atuais seria o equivalente à chefia ou à gerência, bem como às vantagens e desvantagens do avaliador externo e interno. Em um contexto mais atual, Marino e Locatelli (2012, apud Scriven, 1991) ressaltam a vantagem do avaliador externo no que tange a uma menor vulnerabilidade no que se refere a questões relacionadas à manutenção de um posto de emprego no programa avaliado, já que este não está diretamente envolvido com o sistema organizacional. Essa posição ainda teria vantagens em relação à credibilidade da avaliação em relação ao público externo. Um aspecto negativo se dá no âmbito da implementação das recomendações, momento em que um avaliador interno seria de mais valia.

O fato de as avaliações serem realizadas por avaliadores externos pode ser um indicativo de que possuem um caráter esporádico, não interferindo substantivamente no processo de tomada de decisões. A esse respeito temos a questão em torno da institucionalização da avaliação, enquanto esforço para tornar a prática avaliativa parte integrante do processo decisório, pensando na delicada relação entre avaliadores e gestores (Denis, 2010). A inovação que a institucionalização da avaliação comporta está relacionada a uma mudança na concepção dos poderes decisórios de determinada intervenção, considerando que a avaliação tem a capacidade de trazer mudanças significativas para a sociedade e as instituições (Denis, 2010).

O autor chama a atenção para o caráter ambicioso contido no empreendimento de institucionalizar a avaliação, já que

[...] ao institucionalizarmos a avaliação queremos que esta venha a orientar o comportamento dos tomadores de decisão, das pessoas que elaboram as políticas ou das pessoas colocadas em situação estratégica. Isto representa uma grande ambição, pois no mundo político as decisões são influenciadas por muitos elementos, entre eles, pelas evidências que vêm das avaliações e das pesquisas. (Denis, 2010, p. 231)

Um importante avanço no que concerne ao reconhecimento da avaliação enquanto importante etapa na gestão de políticas públicas em nosso país se dá com a criação da Secretaria de Avaliação e Gestão da Informação (Sagi), do Ministério do Desenvolvimento Social e Combate à Fome (MDS). Coube a essa secretaria as funções de avaliação e monitoramento das políticas e programas de desenvolvimento social do MDS, num esforço de aproximar a dimensão técnica da gestão das políticas (Vaitsman et al., 2006).

A Sagi assume assim a função de acompanhar e avaliar sistematicamente os processos, resultados e impactos das ações desenvolvidas no âmbito do MDS, além de constituir importante instrumento para a transparência das ações públicas (Brasil, 2007). Alguns trabalhos publicados a respeito dessa secretaria exaltam sua institucionalização, ressaltando o fato de os processos avaliativos serem de fato utilizados no conjunto das decisões políticas, aprimorando efetivamente o exercício de gestão (Brasil, 2007).

O impacto que os trabalhos avaliativos da Sagi exercem na área de avaliação de programas e serviços sociais constitui-se enquanto importante lócus a ser investigado, assim como seu processo de institucionalização.

4.4 Critérios e julgamentos

A existência de critérios claramente estabelecidos e a realização de julgamentos ao final distingue os processos avaliativos de outros tipos de estudos (Champagne et al., 2011). Os julgamentos caracterizam-se como declarações sobre o mérito de determinada intervenção, seu valor e seu significado (Alves et al., 2010). Os critérios, por sua vez, são quesitos definidos que permitem julgar as mudanças em determinada situação, sendo condição necessária para efetuar a avaliação (Idem). Dessa forma, podemos asseverar que os critérios e julgamentos são condições intrínsecas ao exercício de avaliar, devendo estar expostos de forma clara no relatório de avaliação (Furtado, 2006).

A identificação e a exposição do julgamento devem ser objetos de atenção por parte dos avaliadores. Não se deve menosprezar a posição desses elementos nos relatórios em prol da apresentação da pesquisa em seu conjunto de procedimentos metodológicos, analíticos, teóricos, bem como todo seu componente científico, reconhecendo a centralidade da formulação de um julgamento como sendo intrínseco ao exercício de avaliar (Furtado, 2006).

Os critérios e julgamentos são apresentados de forma indireta nos trabalhos analisados. Encontram-se diluídos no conjunto de argumentações acerca dos pressupostos da avaliação, nas recomendações e nas considerações finais dos trabalhos, não sendo de fácil visualização ou estruturado em tópicos próprios. Em alguns dos trabalhos analisados os critérios e julgamentos sequer ocupam espaço de destaque, o que requer do leitor uma análise minuciosa para identificar de fato a existência desses elementos tão importantes e constituintes dos processos avaliativos.

Nessa perspectiva, os trabalhos analisados não expõem de forma clara os critérios utilizados e os julgamentos realizados nos processos avaliativos.

5. Considerações finais

Os trabalhos analisados apresentam uma preocupação com a exposição do tema no que tange a seus aspectos teóricos, históricos e políticos. Este fato pode ser um indicativo de que a avaliação de programas e serviços na área social se alinha com preocupações que vão além da produção de conhecimento descompromissado, de dados quantitativos e de relatórios técnicos. A presença das dimensões inerentes ao processo de avaliação de programas e serviços sociais apontados por Silva e Silva (2008), a saber, a dimensão técnica e a dimensão política, nos remete ao fato de que os trabalhos analisados tendem a superar concepções tecnicistas e funcionalistas da avaliação. Colaboram para a produção de conhecimento pautado em concepções ético-políticas, por meio de procedimentos científicos. A proposta de avaliação numa perspectiva de cidadania é vital para se compreender esse processo, que coloca a avaliação enquanto exigência político-democrática (Gomes, 2001).

O foco de análise dos processos avaliativos é diverso, ainda que se destaque uma forte preocupação com os resultados. Uma tendência evidenciada neste trabalho diz respeito à existência de processos avaliativos mais abrangentes e menos focalizados. Apontamos a necessidade de que, ao realizar avaliações que considerem diferentes etapas dos programas, o avaliador ou a equipe de avaliação articule essas diferentes etapas por meio de suas correlações, tendo em vista a análise sob uma perspectiva de totalidade.

O fato de os processos avaliativos analisados neste estudo caracterizarem-se predominantemente enquanto pesquisas avaliativas, realizados por avaliadores externos e inseridos nos espaços acadêmicos, demanda maior comprometimento por parte dos avaliadores em direcionar o resultado de seus trabalhos aos gestores dos programas. O conhecimento gerado a partir desses processos avaliativos deve extrapolar os canais acadêmicos e científicos e buscar influenciar a tomada de decisão.

A escassez de resultados evidenciada durante a pesquisa traz à tona a questão em torno da publicação e divulgação dos resultados da avaliação. Grande parte das pesquisas avaliativas na área social, independente da posição dos realizadores, não é publicada, além de estar concentrada na divulgação de novas teorias e metodologias de pesquisa (Barreira, 2000, apud Lima, 2010).

Nesse âmbito, faz-se necessário destacar o papel exercido pela Secretaria de Avaliação e Gestão de Informação (Sagi) do MDS. A posição ocupada pela Sagi demonstra a importância que a avaliação tem tido no processo das políticas públicas sociais brasileiras, sobretudo quando se considera o volume de trabalhos produzidos. Numa breve análise de duas publicações que apresentam balanço dos trabalhos desenvolvidos no período de 2004 a 2006 (Brasil, 2007b) e 2006 a 2010 (Brasil, 2010), é possível verificar a quantidade e a diversidade de estudos avaliativos produzidos por essa secretaria.

Constata-se que a Sagi vem ocupando posição de destaque no que se refere à publicação de processos avaliativos de programas e serviços sociais, haja vista a escassez de resultados evidenciada nessa pesquisa no que tange a trabalhos publicados em periódicos indexados e o grande número de trabalhos reunidos em apenas duas publicações da secretaria (Brasil, 2007 e 2010).

Recebido em 5/11/2013

Aprovado em 2/12/2013

• ALVES, Adriana Amaral Ferreira. Avaliação da política de assistência social no Brasil neoliberal: instrumento de controle exercido pela população ou sobre a população? Serviço Social & Sociedade, São Paulo, n. 92, p. 22-42, nov. 2007.
• ALVES, A. M.; FILHO, P. C. Avaliação das ações de atenção às mulheres sob violência no espaço familiar, atendidas no Centro de Apoio à Mulher (Belo Horizonte) entre 1996 e 1998. Ciência & Saúde Coletiva, Rio de Janeiro, v. 6, n. 1, p. 243-257, 2001.
• ALVES, C. K. A. et al. Interpretação e análise das informações: o uso de matrizes, critérios, indicadores e padrões. In: SAMICO et al. (Org.). Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: Medbook, 2010.
• ANDER-EGG, E.; AGUILAR, M. J. Avaliação de serviços e programas sociais Petrópolis: Vozes, 1994.
• ANTERO, Samuel Antunes. Monitoramento e avaliação do Programa de Erradicação do Trabalho Escravo. Revista de Administração Pública, Rio de Janeiro, v. 42, n. 5, p. 791-828, set./out. 2008.
• ARRETCHE, Marta Tereza da Silva. Uma contribuição para fazermos avaliações menos ingênuas. In: BARREIRA, M. C. R. N.; CARVALHO, M. C. B. (Orgs.). Tendências e perspectivas na avaliação de políticas e programas sociais São Paulo: IEE/PUC-SP, 2001. p. 44-55.
• BAPTISTA, T. W. F.; REZENDE, M. A ideia de ciclo na análise de políticas públicas. In: MATTOS, R. A.; BAPTISTA, T. W. F. Caminhos para análise das políticas de saúde Rio de Janeiro, 2011. Disponível em: <http://www.ims.uerj.br/ccaps/wp-content/uploads/2011/10/LivroCompleto-versao-online.pdf>. Acesso em: 18 fev. 2013.
• BARON, G.; MONNIER, E. Une approche pluraliste et participative: coproduire l'évaluation avec la société civil. Informations Socials, n. 110, set. 2003.
• BRASIL. Ministério de Desenvolvimento Social e Combate à Fome. Secretaria Nacional de Assistência Social. Política Nacional de Assistência Social (PNAS/2004) - Norma Operacional Básica - NOB/Suas. Brasília, 2005.
• ______. Ministério do Desenvolvimento Social e Combate à Fome. Portaria n. 329, 11 de outubro de 2006. Institui e regulamenta a Política de Monitoramento e Avaliação do Ministério de Desenvolvimento Social e Combate à Fome. Brasília, Diário Oficial da União, 13 out. 2006.
• ______. Ministério de Desenvolvimento Social e Combate à Fome. Secretaria de Avaliação e Gestão da Informação. Avaliação de políticas e programas do MDS: resultados: Segurança Alimentar e Nutricional. Brasília: MDS, Sagi, 2007a.
• ______. Cadernos de Estudos Desenvolvimento Social em Debate Síntese das pesquisas de avaliação de programas sociais do MDS 2004-2006. Ministério de Desenvolvimento Social e Combate à Fome. Secretaria de Avaliação e Gestão da Informação. Brasília, n. 5, 2007b.
• ______. Cadernos de Estudos Desenvolvimento Social em Debate Síntese das pesquisas de avaliação de programas sociais do MDS 2006-2010. Ministério de Desenvolvimento Social e Combate à Fome. Secretaria de Avaliação e Gestão da Informação. Brasília, n. 13, 2010.
• BODSTEIN, R. et al. Avaliação da implantação do programa de desenvolvimento integrado em Manguinhos: impasses na formulação de uma agenda local. Ciência & Saúde Coletiva, Rio de Janeiro, v. 9, n. 3, p. 593-604, 2004.
• BOSI, M. L. M.; MERCADO, F. J. (Orgs.). Avaliação qualitativa de programas de saúde: enfoques emergentes. Petrópolis: Vozes, 2006.
• BOURDIEU, Pierre. O senso prático Petrópolis: Vozes, 2009.
• CAMPOS, Anna Maria. Accountability: quando poderemos traduzi-la para o Português? Revista de Administração Pública, Rio de Janeiro, v. 24, n. 2, p. 30-50, fev./abr. 1990.
• CARVALHO, Sonia Nahas. Avaliação de programas sociais: balanço das experiências e contribuição para o debate. São Paulo em Perspectiva, São Paulo, v. 17, n. 3-4, p. 185-197, 2003.
• CARVALHO, M. C. B. (Orgs.). Tendências e perspectivas na avaliação de políticas e programas sociais São Paulo: IEE/PUC-SP, 2001. p. 13-42.
• CAHIERS INTERNATIONAUX DE SOCIOLOGIE. Paris, v. CXXVIII-CXXIX, n. 5-8, 2010.
• CENEVIVA, R.; FARAH, M. F. S. O papel da avaliação de políticas públicas como mecanismo de controle democrático da administração pública. In: GUEDES, A. M.; FONSECA, F. (Orgs.). O controle social da administração pública São Paulo: Unesp, 2007. p. 129-156.
• CHAMPAGNE, F. et al. A análise de implantação. In: BROUSSELE, A. et al. (Orgs.). Avaliação: conceitos e métodos. Rio de Janeiro: Fiocruz, 2011.
• CHAMPAGNE, F. et al. (Orgs.). L'Évaluation: concepts et méthodes, Montréal: Les Presses de l'Université de Montréal, 2009.
• CONTANDRIOPOULOS, A. P. et al. A avaliação na área da saúde: conceitos e métodos. In: HARTZ, Z. M. A. (Org.). Avaliação em saúde Rio de Janeiro: Fiocruz, 1997.
• CORDEIRO, A. M. et al. Revisão sistemática: uma revisão narrativa. Rev. Col. Bras. Cir, Rio de Janeiro, v. 34, n. 6, nov./dez. 2007.
• COSTA, M. C. O. et al. Avaliação do Programa Nacional de Ações Integradas e Referenciais (PAIR) para o enfrentamento da violência sexual contra crianças e adolescentes, em Feira de Santana, Bahia. Ciência & Saúde Coletiva, v. 15, n. 2, p. 563-574, 2010.
• CITÉS, PHILOSOPHIE, POLITIQUE, HISTOIRE. Paris, v. 37, 2009.
• DENIS, Jean-Louis. Institucionalização da avaliação na administração pública. Rev. Bras. Saúde Matern. Infanti, Recife, v. 10, supl. 1:S229-S237, nov. 2010.
• DRAIBE, Sonia Mirian. Brasil, 1980-2000. Proteção e insegurança sociais em tempos difíceis. Cadernos NEPP, Campinas, n. 65, 2002.
• ______. Avaliação de implementação: esboço de uma metodologia de trabalho em políticas públicas. In: BARREIRA, M. C. R. N.; CARVALHO, M. C. B. (Orgs.). Tendências e perspectivas na avaliação de políticas e programas sociais São Paulo: IEE/PUC-SP, 2001. p. 13-42.
• DUBOIS, N.; MARCEAU, R. Un état des lieux théoriques de l'évaluation: une discipline à la remarque d'une révolution scientifique qui n'em finit pas. The Canadian Journal of Program Evaluation, Toronto, v. 20, n. 1, p. 1-36, 2005.
• DULCI, Otavio Soares. Avaliação de programas sociais: desafios e potenciais na construção de um sistema de informações. Cadernos de Estudos Desenvolvimento Social em Debate, Brasília, n. 13, p. 221-237, 2010.
• FARIA, Carlos Aurélio Pimenta. A política da avaliação de políticas públicas. Revista Brasileira de Ciências Sociais, São Paulo, v. 20, n. 59, out. 2005.
• FELICIANO, Kátia Virgínia de Oliveira. Abordagem qualitativa na avaliação em saúde. In: SAMICO, I. et al. (Orgs.). Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: MedBook, 2010. p. 29-42.
• FURTADO, Juarez Pereira. Um método construtivista para a avaliação em saúde. Ciência & Saúde Coletiva, Rio de Janeiro, v. 6, n. 1, p. 165-181, 2001.
• ______. A avaliação participativa. In: OTERO, M. R. (Org.). Contexto e prática da avaliação de iniciativas sociais no Brasil: temas atuais. São Paulo: Peirópolis, 2012. p. 21-41.
• ______. Avaliação de programas e serviços, introduzindo alguns conceitos. In: GASTÃO, W. S. C. et al. Tratado de Saúde Coletiva São Paulo: Hucitec; Rio de Janeiro: Fiocruz, 2006. p. 715-739.
• GALLO, E. et al. Políticas de investimento do Ministério da Saúde do Brasil (1997-2004): uma análise do projeto Reforsus e seus efeitos no complexo produtivo da saúde. In: MELAMED, C.; PIOLA, S. F. (Orgs.). Políticas públicas e financiamento federal do Sistema Único de Saúde Brasília: Ipea, 2011.
• GAUTHIER, Bernard (Org.) Recherche Sociale: de la problématique à la colete des données. Sainte-Foy: Presses de l'Université du Québec, 2004.
• GÓIS, J. B. H. et al. Avaliação do Benefício de Prestação Continuada: características sociais, proteção social e seus efeitos. Serviço Social & Sociedade São Paulo, ano 29, n. 96, p. 65-92, nov. 2008.
• GOMES, Maria de Fatima Cabral Marques. Avaliação de políticas sociais e cidadania: pela ultrapassagem do modelo funcionalista clássico. In: SILVA E SILVA, Maria Ozanira (Org.). Avaliação de políticas e programas sociais: teoria e prática. São Paulo: Veras, 2001. p. 17-35.
• GURGEL, M. et al. (Orgs.). Epidemiologia e saúde Rio de Janeiro: Medbook, 2013.
• KUSTERS, C. S. L. et al. Making evaluations matter: a practical guide for evaluators. Wageningen: Centre for Development Innovation, Wageningen University & Research Centre, 2011.
• LIMA, Valéria Ferreira Santos de Almada. Tendências da avaliação no âmbito das políticas públicas: desafios e perspectivas. In: SEMINÁRIO INTERNACIONAL, 1.; SEMINÁRIO DE MODELOS E EXPERIÊNCIAS DE AVALIAÇÃO DE POLÍTICAS, PROGRAMAS E PROJETOS, 3., Anais.., Recife, UFPE, p. 53-61, 2010.
• MARINO, E.; LOCATELLI, C. Avaliação externa e avaliação interna: distinções, aplicações, competências do avaliador, passos e cuidados para a execução. In: OTERO, M. R. (Org.). Contexto e prática da avaliação de iniciativas sociais no Brasil: temas atuais. São Paulo: Peirópolis, 2012. p. 107-121.
• MONNIER, Eric. Évaluations de l'action des pouvouirs publics: du projet au bilan. Paris: Economica, 1987. 169 p.
• NETO, O. F. R.; L'ABBATE, A. Avaliação do programa de intervenção preventiva "Sexualidade e adolescência", com jovens estudantes da periferia do município de Campinas (SP). Rev. Bras. Med. Fam e Com, Rio de Janeiro, v. 3, n. 9, p. 4-12, abr./jun. 2007.
• PAIM, Jairnilson Silva. Avaliação em saúde: uma prática em construção no Brasil (Prefácio). In: HARTZ, Z. M. et al. (Orgs.). Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde, Salvador: Edufba; Rio de Janeiro: Fiocruz, 2005.
• PEREIRA, Mauricio Gomes. Artigos científicos: como redigir, publicar e avaliar. Rio de Janeiro: Guanabara-Koogan, 2011.
• POUPART, J. et al. A pesquisa qualitativa: enfoques epistemológicos e metodológicos. Petrópolis: Vozes, 2008.
• RIBEIRO, Ricardo Alaggio. A teoria da modernização, a aliança para o progresso e as relações Brasil-Estados Unidos. Perspectivas, São Paulo, n. 30, p. 151-175, 2006.
• ROMERA, V. M.; PAULILO, M. A. S. Avaliação em políticas sociais: dimensão constituinte e constitutiva. Revista Ágora: políticas públicas e Serviço Social, ano 2, n. 4, jul. 2006. Disponível em: <http://www.assistentesocial.com.br>. Acesso em: 15 fev. 2013.
• SANTOS, Adriana Aparecida. Avaliação do programa de transferência de renda de Londrina: um olhar para além da renda. Serviço Social em Revista, Londrina, v. 8, n. 2, jan./jun. 2006.
• SANTOS, L. M. P. et al. Avaliação do programa Bolsa Família em municípios de baixo índice de desenvolvimento humano e cumprimento das condicionalidades de saúde. Tempus Actas de Saúde Coletiva, Brasília, v. 5, n. 4, p. 139-165, 2011.
• SCRIVEN, M. Evaluation thesaurus Newbury Park: Sage Publications, 1991.
• SILVA E SILVA, Maria Ozanira (Org.). Avaliação de políticas e programas sociais: teoria e prática. São Paulo: Veras, 2001.
• SILVA E SILVA, Maria Ozanira. Pesquisa avaliativa: aspectos teórico-metodológicos. São Paulo: Veras, 2008.
• SILVA, M. P.; MURTA, S. G. Treinamento de habilidades sociais para adolescentes: uma experiência no Programa de Atenção Integral à Família (Paif). Psicologia: Reflexão e Crítica, Porto Alegre, v. 22, n. 1, p. 136-143, 2009.
• SILVER, L. Aspectos metodológicos em avaliação dos serviços de saúde. In: GALLO, E. et al. Planejamento criativo: novos desafios em políticas de saúde. Rio de Janeiro: RelumeDumará, 1992.
• TAVARES, P. A.; PAZELLO, E. T. Uma avaliação do programa Bolsa Escola federal: focalização e impacto na distribuição de renda e pobreza. In: ENCONTRO NACIONAL DE ESTUDOS POPULACIONAIS (ABEP), 15., Anais.., Caxambú-MGl, 18 a 22 de setembro de 2006. Disponível em: <http://www.abep.nepo.unicamp.br/encontro2006/docspdf/ABEP2006_658.pdf> Acesso em: 15 out. 2012.
• TRIPODI, T. et al. Avaliação de programas sociais Rio de Janeiro: Livraria Francisco Alves, 1975.
• VAITSMAN, J. et al. O sistema de avaliação e monitoramento das políticas e programas sociais: a experiência do Ministério do Desenvolvimento Social do Brasil. Brasília: Unesco, 2006.
• VIEIRA-DA-SILVA, L. Conceitos, abordagens e estratégias para a avaliação em saúde. In: ______; HARTZ, Z. (Orgs.). Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistema de saúde. Rio de Janeiro: Fiocruz, 2005.
• WORLD BANK. Staff appraisal report, Health Sector Project. Reforsus Report, n. 15522-BR, May 21, 1996.
• ______. Towards the institutionalization of monitoring and evaluation systems in Latin America and the Caribbean Washington, 2006.

*

Relatório de pesquisa modalidade Iniciação Científica, aprovado e financiado pela Fapesp sob o Processo n. 2012/10511-0.

1

. Secretaria Extraordinária para Superação da Extrema Pobreza, Secretaria Nacional de Renda e Cidadania, Secretaria Nacional de Assistência Social, Secretaria Nacional de Segurança Alimentar e Nutricional e a própria Sagi. Disponível em: <

http://www.mds.gov.br/acesso-a-informacao/acoes-e-programas>. Acesso em: 1º out. 2013.

2

. Em relação ao grau de participação, fazemos aqui alusão ao modelo proposto por Baron e Monnier (2003).

Datas de Publicação

• Publicação nesta coleção
  04 Abr 2014
• Data do Fascículo
  Mar 2014

Histórico

• Aceito
  02 Dez 2013
• Recebido
  05 Nov 2013