Tendência do campo de avaliação de intervenções públicas de alimentação e nutrição em programas de pós-graduação no Brasil: 1980-2004

Trends in graduate courses on the evaluation of public food and nutrition programs in Brazil, 1980-2004

ARTIGO ARTICLE

Tendência do campo de avaliação de intervenções públicas de alimentação e nutrição em programas de pós-graduação no Brasil: 1980-2004

Trends in graduate courses on the evaluation of public food and nutrition programs in Brazil, 1980-2004

Flávia Conceição dos Santos Henrique^I; Pedro Israel Cabral Lira^II; Sandra Maria Chaves dos Santos^III; Sonia Lucia Lucena Sousa de Andrade^II

^ICentro de Ciências de Saúde, Universidade Federal do Rocôncavo Baiano, Santo Antônio de Jesus, Brasil

^IIFaculdade de Nutrição, Universidade Federal de Pernambuco, Recife, Brasil

^IIIEscola de Nutrição, Universidade Federal da Bahia, Salvador, Brasil

^{Correspondência}

RESUMO

A avaliação de políticas públicas no Brasil vem, nas últimas décadas, emergindo como ferramenta estratégica para melhoria da performance da ação pública, capaz esta de contribuir efetivamente para o bem-estar social. Em que pese esse reconhecimento, essa prática não tem sido incorporada ao "ciclo de vida" de programas, sobretudo aqueles da área social. Dentre as ações que se ressentem de uma prática avaliativa significativa, estão aquelas da área de alimentação e nutrição. Diante destas questões, esse artigo teve como objetivo caracterizar o campo da avaliação de intervenções públicas de alimentação e nutrição em programas de pós-graduação no Brasil. Utilizou-se como objeto central de análise a produção bibliográfica, especificamente teses e dissertações, defendidas no período de 1980 a 2004. No que se refere aos achados desse estudo foi possível observar que a produção tem convergido para o processo de funcionamento das intervenções com predomínio da pesquisa documental e estudos de caso. Do ponto de vista analítico as categorias temáticas privilegiadas nos trabalhos vêm sendo modificadas migrando de padrão mais próximo à dimensão biológica para outro, situado numa dimensão sócio-política.

Programas de Nutrição; Políticas Públicas; Programas de Pós-Graduação em Saúde

ABSTRACT

In recent years, public policy evaluation in Brazil has become a strategic tool for improving the performance of public action, capable of contributing effectively to social welfare. Despite this recognition, evaluative practice has still not been incorporated into the programs' "life cycle", especially in the social area. Programs that lack significant evaluative practice include those related to food and nutrition. This article thus aimed to characterize the field of evaluation of public food and nutrition interventions in graduate studies programs in Brazil. The study focused primarily on theses and dissertations from 1980 to 2004, converging on the functioning of interventions with a predominance of documental research and case studies. Analytically, the principal thematic categories in these theses and dissertations have shifted from a more biological focus to the socio-political dimension.

Nutrition Programmes; Public Policies; Health Postgraduate Programs

Introdução

A avaliação de políticas públicas no Brasil vem, no decorrer das últimas décadas, sobretudo a partir da década de 90, subsidiária de um movimento de âmbito internacional provocado por mudanças crescentes na sociedade, emergindo como ferramenta estratégica privilegiada para uma gestão de qualidade, indutora de melhor performance das intervenções públicas, capazes estas de contribuírem efetivamente para o bem-estar social. Ganhou também relevância tendo em vista a possibilidade de responder por demandas públicas crescentes, por transparência nos atos de governos e por maior responsabilização do setor público diante da sociedade ^1,2.

No contexto latino-americano, de aumento de necessidades sociais e escassez de recursos, a demanda por avaliações de intervenções públicas, assim como a própria formulação de novas políticas de corte redistributivo, passa a ser uma questão estratégica a partir dos anos 80. Marcam esse período uma profunda crise econômica e suas conseqüências lógicas como o aumento do desemprego e empobrecimento de parte significativa da população. Essa realidade solicitava maior racionalidade do processo decisório, a fim tanto de potencializar as ações em desenvolvimento quanto de minimizar (ao máximo) escolhas trágicas ^2,3.

Estudo sobre a evolução das condições e das políticas sociais no Brasil na década de 90 divulgado pelo Ministério do Planejamento, Orçamento e Gestão e Instituto de Pesquisa Econômica Aplicada (IPEA) ⁴ em 2001 revela que a inversão de recursos financeiros na área, medidos em porcentagem do PIB, atingiu um total de 14% em 1999. Sem pretender colocar em discussão a adequação desses recursos em termos de possibilidade de enfrentamento real das demandas sociais, seria imprudente não reconhecer, em um contexto de demandas crescentes, a preocupação ético-social com o uso eficiente dos recursos investidos.

Em detrimento do papel central imputado ao processo avaliativo nos últimos anos, na prática ainda é incipiente a experiência brasileira com avaliação de políticas e programas públicos da esfera estatal, sobretudo de forma sistemática e organizada, distanciando-se da sua capacidade de integrar os processos de tomada de decisão, de planejamento e de fomentar o redirecionamento de intervenções em desenvolvimento ⁵. Ressente-se a administração pública da ausência de uma "cultura de avaliação", sobretudo aquela apoiada em um modelo teórico-metodológico coletivamente reconhecido ^1,6.

Não bastasse isso revela-se ainda a forma desigual como as diferentes políticas públicas – sobretudo as sociais – são avaliadas ⁷. Dentre os programas sociais que se ressentem de uma prática avaliativa significativa, estão aqueles da área de alimentação e nutrição ⁸. Com uma história de desenvolvimento descontinuada, já se vão cerca de setenta anos sem que tais intervenções integrem de forma sistemática o processo avaliativo ao seu ciclo de vida. É possível inferir que no Brasil, o longo período de implementação de programas de alimentação e nutrição não tem sido acompanhado na mesma proporção de avaliações retroalimentadoras ^8,9,10.

Soma-se a essa insuficiência do processo avaliativo e ao desafio de incrementá-lo, a necessidade de aprimorar os critérios e metodologias utilizadas, uma vez que as políticas sociais e as de alimentação e nutrição aí inseridas vieram, a partir da década passada, incorporando novos princípios e mecanismos operacionais que acabam por configurar um novo desenho de gestão e, no dizer de Reis ¹¹, modelaram a maneira como vemos as relações do Estado nacional com o mercado e a sociedade. A descentralização das ações, a implementação do controle social, dentre outros, para além de figurarem como princípios que otimizariam e qualificariam a ação pública ^12,13,14, por si só, implicam mudanças culturais na gestão pública.

Isto posto, o objetivo desse artigo foi caracterizar, do ponto de vista conceitual, teórico-metodológico e analítico, o campo da avaliação de intervenções públicas de alimentação e nutrição em programas de pós-graduação no Brasil nas últimas décadas.

Importante dizer que não interessou, neste momento, focar os resultados das avaliações. Assim não se trata de uma sistematização dos resultados das avaliações, mas sim de um estudo sobre os métodos, os procedimentos e as análises.

Entende-se que a realização de uma sistematização como a proposta nesse estudo, ao ampliar a compreensão da área, pode contribuir para uma reflexão e, sendo o caso, para um redirecionamento da prática avaliativa das intervenções na área de alimentação e nutrição. Pode ser útil ainda para o repensar das estratégias de aperfeiçoamento dos instrumentos de análise utilizados.

Percurso metodológico

Para caracterização do campo da avaliação de intervenções públicas de alimentação e nutrição em programas de pós-graduação no Brasil elegeu-se como objeto central de análise a produção bibliográfica, especificamente teses e dissertações, defendidas no âmbito de pós-graduações, a partir da década de 80.

A opção por esse tipo específico de produção acadêmica justificou-se a partir do reconhecimento de que, sendo a universidade o espaço privilegiado de produção de conhecimento científico, as pós-graduações stricto sensu expressam a tendência dominante desta produção e servem como sinalizadores da relevância da temática em períodos específicos.

Considera-se que este recorte metodológico não cobre a totalidade da produção bibliográfica brasileira neste campo e, do mesmo modo, não responde – de todo – sobre o que tem sido feito em avaliação de intervenções em alimentação e nutrição; entretanto, acredita-se que consegue abarcar parcela representativa de avaliações realizadas neste campo, considerando que as pós-graduações no Brasil desempenham um papel estratégico na formação da agenda de pesquisa.

O recorte temporal foi definido tendo em perspectiva o objetivo de caracterizar a tendência das avaliações ao longo de determinado período. Para este fim considerou-se pertinente o período delimitado pelo fato de no Brasil a prática avaliativa ser de desenvolvimento recente. Enquanto campo temático, a avaliação de políticas públicas emerge no Brasil a partir da década de 80. Também, por ser esse o período em que se intensifica no Brasil o desenvolvimento de programas sociais. Ao longo das décadas de 90 e 2000 as políticas sociais (e as de alimentação e nutrição aí inseridas) passaram a incorporar novos princípios e mecanismos operacionais.

O rastreamento dos trabalhos acadêmicos ocorreu em três momentos. Inicialmente foi feito a partir de pesquisa bibliográfica ao banco de teses da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), da Fundação Oswaldo Cruz (FIOCRUZ) e à base de dados do Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde (BIREME).

Por se tratarem de intervenções que remetem à área de saúde e terem como escopo a melhoria das condições de saúde e nutrição, em um segundo momento comunicações eletrônicas foram enviadas às pós-graduações em nutrição, saúde pública e saúde coletiva, buscando confirmar e complementar os achados.

No terceiro momento foram explorados os banco de teses disponibilizados ao público por algumas instituições em suas páginas eletrônicas.

Foram incluídos todos os trabalhos defendidos a partir da década de 80, que versassem sobre políticas e/ou programas de alimentação e nutrição e que contemplassem como objeto central a avaliação de uma intervenção pública de âmbito nacional.

Como estratégia de busca dos trabalhos, foram utilizados os seguintes descritores: políticas de alimentação e nutrição; avaliação de políticas e/ou programas de alimentação e nutrição; avaliação; avaliação de políticas e/ou programas; nutrição; políticas públicas. Vale reconhecer que na identificação dos trabalhos podem ter ocorrido perdas em virtude de "contingências de indexação".

Para assegurar a padronização e objetividade durante a análise, foi elaborado um plano de análise instrumental, o qual considerou (em cada trabalho), a estratégia de avaliação adotada.

Para Draibe ¹⁵ a estratégia de avaliação abarca as escolhas realizadas quanto aos objetivos, foco, natureza e tipo de avaliação as quais implicam tanto no "plano privilegiado" de investigação do objeto, como também nas opções metodológicas realizadas.

Desta forma, uma vez construído o plano de análise, foi conduzida a análise propriamente dita, pautada em um universo de 16 trabalhos. As categorias que constituem o plano foram estabelecidas utilizando-se das classificações mais comumente informadas na literatura ^5,7,15,16,17 baseada em critérios que orientam escolhas conceituais e metodológicas dos estudos de avaliação. Assim as categorias analíticas privilegiadas foram: recorte programático; unidade de análise; vínculo institucional; unidade acadêmica; período de realização; finalidade da avaliação; foco de análise; categoria analítica; temporalidade da avaliação; delineamento do estudo; abordagem metodológica; conceito de avaliação; e informação produzida.

Recorte programático

Tomando como referência a classificação de Draibe ¹⁵, reporta-se ao objeto a ser avaliado podendo ser uma política, projeto ou programa. Para fins de classificação utilizou-se da própria denominação dada pelos autores dos trabalhos.

Unidade de análise

Considera o programa ou política que foi objeto de estudo de cada um dos trabalhos.

Vínculo institucional

Refere-se à instituição, mais precisamente à Universidade, onde está situada a pós-graduação na qual os trabalhos foram desenvolvidos.

Unidade acadêmica

Identifica a Escola ou Faculdade de cada uma das Universidades, onde está situada a pós-graduação, na qual os trabalhos foram desenvolvidos.

Período de realização

Classifica os trabalhos quanto à década, 80, 90 ou 2000, em que o trabalho foi defendido.

Finalidade da avaliação

Refere-se ao propósito da avaliação. Toma como referência a classificação de Weiss ¹⁷. Assim distinguem-se: (1) avaliação para o processo decisório: avaliações que pretendem detectar obstáculos e propor medidas de correção e alteração de programas, visando à melhoria da qualidade do seu processo de implementação e do desempenho da política; (2) avaliação para o aprendizado organizacional ou produção do conhecimento: são aquelas que buscam disseminar lições de aprendizagem para melhorar as práticas administrativas e, sobretudo, a qualidade das políticas públicas.

Foco de análise

Tipologia clássica de avaliação. Representa o ponto para onde converge a análise. Assim considerou-se: (1) avaliação de processo ou de funcionamento: tem como foco o desenho, as características organizacionais e de desenvolvimento dos programas. Seu objetivo é fundamentalmente o de detectar os fatores que, ao longo da implementação, facilitam ou impedem que um dado programa atinja seus resultados da melhor maneira possível ¹⁵. (2) Avaliação de resultados: tem como foco as etapas posteriores à implementação e busca analisar a proporção das metas realizadas e de cumprimento do planejado ou os índices de cobertura da população-alvo. Para Draibe ¹⁵ esse tipo avaliação, mais que buscar saber o quanto foi alcançado em relação ao planejado, busca saber com que qualidade os objetivos foram alcançados. Em decorrência de o termo aludir a coisas diversas, a autora considera três tipos de resultados: (1) resultados (no sentido estrito), outcomes ou desempenho: são os produtos previstos nas metas do programa, obtidos ao final da sua operacionalização; (2) impactos: correspondem às alterações ou mudanças efetivas na realidade sobre a qual o programa intervém e por ele são provocadas, referem-se aos efeitos líquidos do programa sobre a população-alvo; (3) efeitos: referem-se a mudanças, esperadas ou não, no contexto social e institucional em que o programa foi realizado; (4) avaliação agregada: quando processos e resultados são avaliados em conjunto.

Categoria analítica

Considera o conceito central de interesse a partir do qual a análise foi organizada.

Temporalidade da avaliação

Relacionada com o momento de realização da avaliação. Distinguem-se: (1) avaliação ex ante: precede ao início do programa, ocorrendo em geral durante as fases de sua preparação e formulação, também referida como avaliação-diagnóstico; (2) avaliação ex post: é feita ao mesmo tempo ou após a realização do programa.

Delineamento do estudo

Considerado, sobretudo, a partir do procedimento adotado para a coleta de dados ¹⁸ podendo ser: (1) pesquisa bibliográfica: quando os dados derivam de material já elaborado, oriundos de fontes bibliográficas como livros, artigos científicos; (2) pesquisa documental: muito semelhante à anterior, difere-se pela natureza das fontes; mais especificamente utilizam material que ainda não recebeu tratamento analítico como portarias, relatórios técnicos etc. (3) pesquisa experimental: caracterizado pela seleção de variáveis, com uma forma definida de controle e de observação do efeito produzido por estas; (4) pesquisa ex post-facto: guarda pontos de semelhanças com a pesquisa experimental, mas difere no que se refere ao controle das variáveis independentes; (5) estudo de caso: caracterizado pelo estudo profundo e exaustivo de um objeto buscando um conhecimento mais aprofundado.

Abordagem metodológica

Refere-se aos procedimentos sistemáticos utilizados nos trabalhos para a descrição-explicação do problema ¹⁹ podendo ser: (1) quantitativo: caracterizado pelo uso da quantificação tanto para coleta quanto para análise dos dados, o que se verifica pelo uso de técnicas estruturadas de coleta de dados e pelo emprego de estatísticas desde as mais simples às mais sofisticadas para análise do material; (2) qualitativo: ao contrário do anterior, não utiliza a estatística como instrumental básico do processo de análise. Lança mão de técnicas de observação e entrevistas e explora a análise de conteúdo.

Conceito de avaliação

Entendidos aqui como operações mentais que refletem certo ponto de vista a respeito da realidade ²⁰. Considerou-se a explicitação ou não de um conceito de avaliação.

Informação produzida

Refere-se à forma como os dados foram trabalhados na(s) seção(ões) resultados e discussão, e apresentados na conclusão. Assim foi estabelecida uma distinção dos trabalhos em: (1) descritiva: dados trabalhados e apresentados, destacadamente na forma de descrição das características do objeto, com algum grau de relação entre variáveis, processos ou fatores; (2) descritiva-analítica: além da descrição, ocorre uma preocupação com a identificação de fatores que incidem sobre o objeto, favorecendo ou obstando sua realização; (3) descritiva-propositiva: engloba o processo de descrição, mas também apresenta propostas ou recomendações; (4) descritiva-analítica-propositiva: envolve as três ações – descreve, analisa e recomenda.

Vale dizer que a categorização empreendida não pretendeu classificar os estudos numa escala de valor, mas sim apontar a articulação necessária entre objetos e tipologias e assim revelar as alternativas conceituais, metodológicas e analíticas privilegiadas nos estudos. Entende-se que as tipologias são tentativas de simplificações da realidade com o intuito de facilitar a compreensão de processos complexos. Da mesma forma reconhece-se que processos classificatórios guardam em si algum grau de abstração, nem sempre próximos do real.

Resultados e discussão

Recorte programático e unidade de análise dos estudos de avaliação

Considerado como uma das primeiras decisões a serem tomadas pelo avaliador, o recorte programático refere-se ao objeto a ser avaliado, podendo ser uma política, projeto ou programa. Do total de trabalhos analisados (16) observou-se que 2 (12,5%) tiveram como objeto de investigação uma política pública estatal, enquanto 14 (87,5%) se debruçaram sobre o estudo de programas específicos. A distribuição dos trabalhos segundo a unidade de análise mostrou que os programas de suplementação alimentar e de alimentação do trabalhador foram os mais avaliados no período em estudo.

A predominância substantiva de avaliações de programas já era esperada, uma vez que a avaliação de política é de difícil exeqüibilidade em decorrência da sua complexidade e conseqüentes demandas operacionais que vão desde recursos intelectuais até materiais e de tempo. Associadas a esse fato somam-se exigências das pós-graduações, as quais implicam sobremaneira no escopo das investigações, como o prazo para conclusão e ausência de uma política de financiamento capaz de subsidiar produções mais abrangentes.

Vínculo institucional, unidade acadêmica, período de realização

Quanto ao vínculo institucional, aparecem apenas quatro instituições: Universidade Federal da Bahia (UFBA) com 6 trabalhos, representando 37,5%, Universidade de São Paulo (USP), somando 5 (31,2%); FIOCRUZ com 3 (18,8%) e Universidade do Estado do Rio de Janeiro (UERJ), apresentando 2 (12,5%) trabalhos.

Em relação às unidades acadêmicas, em cada uma das quatro instituições, observou-se que na UFBA, a Escola de Nutrição (ENUFBA), destaca-se na produção de avaliações seguida do Instituto de Saúde Coletiva (ISC) e da Escola de Administração. Na USP prevaleceu a Faculdade de Saúde Pública; na FIOCRUZ a totalidade originou-se na Escola Nacional de Saúde Pública Sergio Arouca (ENSP) e na UERJ no Instituto de Medicina Social (IMS).

Distribuindo-se os trabalhos segundo a área de concentração depreende-se que, em se tratando de pesquisa avaliativa sobre intervenções públicas de alimentação e nutrição, o campo da saúde apresenta-se como o lócus privilegiado de produção do conhecimento, sobretudo a área de saúde pública.

Esses achados apontam para uma relação estreita com o desenho das intervenções, as quais historicamente associam os programas de alimentação e nutrição com ações de melhoria das condições de saúde e nutrição com ênfase no combate à desnutrição (materna, infantil, do trabalhador).

No que diz respeito ao período de realização – defesa do trabalho – encontrou-se uma concentração significativamente maior nos anos 2000 com 10 estudos (62,5%), seguida de 4 (25%) trabalhos desenvolvidos nos anos 90, e 2 (12,5%) nos anos 80.

Tal distribuição guarda uma estreita relação com a trajetória de desenvolvimento e de reconhecimento do papel estratégico da pesquisa de avaliação de políticas e programas no Brasil. Reconhece-se que, no Brasil, a pesquisa de avaliação de políticas, embora comece a se desenvolver a partir da década de 80, só a partir da década de 90 adquire fôlego, com o seu reconhecimento enquanto instrumento de aprimoramento das políticas públicas, para a gestão mais eficiente e como apoio para a reforma do aparelho do Estado ².

Finalidade da avaliação, foco de análise, categoria analítica e temporalidade da avaliação

A distribuição dos trabalhos segundo a finalidade da pesquisa avaliativa revela que 75% realizaram avaliações que tinham como propósito o aprendizado organizacional e 25% o processo decisório. No primeiro caso destacaram-se, respectivamente, aqueles relacionados com a compreensão de modos de intervenção social e os que se interessaram pelo fornecimento de elementos para reflexão sobre a prática, subsidiando escolhas por parte daqueles que planejam as intervenções. Pode-se dizer que quanto à finalidade, as avaliações tiveram propósitos muito mais teóricos, próximos da pesquisa pura, que operacionais.

De acordo com o foco de análise, considerada a tipologia clássica da avaliação, os trabalhos estavam distribuídos em: 56,2% avaliações de processo, 37,5% avaliações de resultado e 6,3% avaliações agregadas. Buscando responder a uma possível tendência temporal do foco de análise desses estudos, fez-se uma correlação entre esta categoria analítica e o ano de defesa da tese/dissertação.

Esta associação permitiu reconhecer que 88,9% das avaliações de processo foram realizadas nos anos 2000. Quanto à avaliação de resultados, observou-se que se concentraram entre as décadas de 80 e 90, com percentuais de 33,3% e 50% respectivamente; apenas 16,7% foram realizadas nos anos 2000. Tal reconhecimento revela uma mudança temporal no foco de análise das avaliações. Entre as décadas de 80 e 90 o interesse das avaliações de políticas e programas de alimentação e nutrição recaía sobre os resultados esperados, especificamente o impacto utilizando o critério de efetividade. Já em períodos mais recentes (anos 2000), os estudos têm se interessado mais pelo funcionamento e mecanismos específicos que propiciam atingir os resultados (esperados ou não).

Essa mudança pode ser creditada a duas ordens de fatores, até certa medida correlacionados: o primeiro está relacionado com as mudanças pelas quais passaram (ou vêm passando) as políticas de corte social e, nesse contexto, as políticas de alimentação e nutrição, nos planos internacional e nacional, as quais em conse- qüência exigiram a inclusão de novos focos ao processo avaliativo; o segundo, seguindo na esteira da mudança no desenho das políticas públicas, vincula-se ao processo de amadurecimento da prática da avaliação.

No Brasil intensifica-se, a partir da década de 80, o desenvolvimento de programas sociais buscando melhorar as condições de vida de parcela significativa da população empobrecida. Junto ao desenvolvimento desses programas crescia a preocupação com a implementação de avaliações que fossem capazes de auferir os resultados dos mesmos. Nesse contexto, a preocupação voltou-se, fundamentalmente, para os resultados dos programas, ignorando a "realidade de operação" dos mesmos.

Seguindo um padrão de desenvolvimento semelhante ao verificado no âmbito internacional, a prática da avaliação, nesse primeiro momento, visou objetivos essencialmente somativos, centrados nos resultados líquidos dos programas ²¹, apoiando-se em um modelo de avaliação que se convencionou chamar de "caixa-preta", já que entende a intervenção como impermeável aos fatores que incidem sobre ela, quando desenvolvida em um determinado meio social.

Entretanto, a partir de resultados negativos quanto à performance dessas intervenções, dá-se início a um processo de mudança no perfil político, institucional e econômico-financeiro ² das políticas sociais, que se intensificaram a partir dos anos 90, levando a alterações significativas do seu desenho. Tais mudanças demandaram processos mais complexos de avaliação, incluindo um maior interesse pelo funcionamento das intervenções, sobretudo pelas estratégias de implementação ²² que permitissem explicar as razões do sucesso ou fracasso das mesmas.

Uma outra variável explicativa que poderia ser agregada a essa análise relaciona-se com o próprio desenvolvimento das Ciências Sociais, enquanto campo de conhecimento e a incorporação de seu corpo de conhecimento às pós-graduações na área de saúde, como já visto, lócus privilegiado de desenvolvimento dos estudos de avaliação na área de políticas públicas de alimentação e nutrição. Tal incorporação conduziu a uma maior complexidade do processo analítico. Entendidas inicialmente como políticas de melhoria das condições de saúde, via combate à desnutrição, o arsenal das Ciências Sociais aí incorporado permitiu novos olhares à imagem da política pública, dando margem à inclusão de uma série de outras variáveis interessantes além das biológicas, até então privilegiadas.

No que concerne aos conceitos centrais que interessaram aos trabalhos de avaliação, considerados a partir das categorias analíticas eleitas pelos avaliadores, observou-se que estes estiveram voltados para a efetividade (25%), descentralização (18,8%), participação (18,8%), evolução (histórica e normativa) (12,5%), eficiência, adequação e implementação, cada um deles com 6,2%. Também aqui foi realizada uma associação entre esses dados e o período de realização dos trabalhos. Assim, observou-se que metade dos trabalhos que avaliaram efetividade (que remete aos resultados) esteve mais presente na década de 80. Categorias como adequação, eficiência e evolução histórica estiveram presentes na década de 90 e, nos anos 2000, apresentaram-se, sobretudo os conceitos de descentralização e participação social.

Esses dados permitem dizer que a delimitação da categoria analítica central nos estudos de avaliação de políticas e programas de alimentação e nutrição tem acompanhado as mudanças ocorridas nos programas sociais que se iniciaram nos anos 80, e que foram sendo implementadas a partir dos anos 90, as quais encontram-se associadas à incorporação de princípios inovadores como descentralização, participação e controle social em direção ao uso mais transparente dos recursos e a focalização nos mais pobres ¹³.

Considerando que categorias analíticas guardam um grau de abstração e generalização ²⁰, o interesse foi remetido para as categorias utilizadas para apreensão empírica das várias realidades avaliadas, associando-as com a dimensão analisada e sua variação no tempo. Assim, observou-se que na década de 80 prevaleceu a categoria incremento ponderal, dimensão biológica; na década de 90 o aporte nutricional, também uma dimensão biológica; nos primeiros anos da década de 2000 a categoria implementação, a qual associa-se com dimensões sócio-políticas.

Quanto à temporalidade das pesquisas de avaliação, objeto desse trabalho, observou-se que na sua totalidade foram avaliações do tipo ex post. Destas, 75% foram realizadas ao longo da implementação da intervenção, enquanto que 20% foram desenvolvidas em etapas posteriores à implementação.

Delineamento do estudo, abordagem metodológica, conceito de avaliaçào e informaçào produzida

No que se refere ao delineamento dos estudos a análise revelou haver uma preponderância relativa da pesquisa documental, com percentual de 50%, seguida dos estudos de caso com 25% e da pesquisa experimental com 18,8% e, por último, a pesquisa ex post-facto, com 6,2%.

A freqüência maior da pesquisa documental pode ser imputada a fatores relacionados com a natureza acadêmica dos trabalhos. Como já registrado os estudos aqui analisados foram desenvolvidos no âmbito de cursos de pós-graduação, especificamente stricto sensu, sob os quais recaem exigências. Exigências, sobretudo quanto ao tempo e quanto à carência de fontes de financiamento, que podem limitar a realização de estudos empíricos. Vale dizer que tais questões, mais que produzidas, são impostas às pós-graduações que precisam se moldar às determinações de um sistema avaliativo.

Ainda em relação à pesquisa documental, registra-se que quase todos os avaliadores destacam dificuldades no processo de obtenção de documentos institucionais. Em nosso meio tais dificuldades parecem estar relacionadas com a pouca valorização da informação, enquanto instrumento de gestão e, de outro lado, parece refletir a incipiente publicização e transparência de documentos institucionais, ainda mais quando estes serão utilizados para subsidiar avaliações de políticas públicas, cujos resultados, em alguma medida, irão repercutir sobre a ação dos governos, mais precisamente sobre a administração pública ^6,13 e, ainda, sobre a competição eleitoral ¹⁴.

No que se refere à abordagem metodológica, foram encontrados percentuais de 37,5% e 62,5% de utilização das abordagens quantitativa e qualitativa, respectivamente. Pode-se dizer que a utilização substantivamente maior da abordagem qualitativa encontra-se intimamente relacionada com o foco de análise privilegiado pela maioria dos trabalhos analisados – o processo. Autores como Weiss ¹⁷, Silva ²¹ e Novaes ²² registram uma tendência mais recente das avaliações de processo a incorporarem a pesquisa qualitativa, superando as limitações que apresentam a utilização apenas de indicadores numéricos.

Em relação a esta categoria vale destacar, sobretudo, o caráter híbrido dos estudos. Observa-se que em 40% dos trabalhos categorizados como qualitativos, houve utilização do aporte quantitativo.

O incremento da abordagem qualitativa parece também estar associado à própria história de desenvolvimento do conceito de avaliação ^23,24, que parte de uma primeira geração enfocando verbos como medir e mensurar, os quais impõem a quantificação, em direção a uma terceira geração, em que a palavra-chave é julgamento de valor.

A inclusão da abordagem quantitativa nesses estudos – qualitativos – ocorreu por meio das técnicas de análise de dados utilizadas. A utilização híbrida das abordagens é considerada por Novaes ²² resultado da natureza complexa das políticas públicas que solicitam abordagens "relativamente abertas".

Com referência à categoria conceito de avaliação utilizado, também interessou a esse estudo verificar em que medida as pesquisas de avaliação realizadas assumiam um conceito específico de avaliação. Isso como forma de promover uma aproximação com a compreensão subjacente à prática avaliativa. Nesse aspecto, é possível dizer que, em sua maioria, os trabalhos avaliados não tomaram para si um conceito de avaliação ou, de outra forma, não assumiram de maneira declarada uma determinada definição comprometendo assim a análise aqui pretendida.

Entre aqueles que expressamente assumiram um conceito (apenas 25%) pode-se dizer que não houve coincidências quanto ao entendimento do significado do termo. Este variou entre a compreensão de apreciação crítica como subsídio ao processo racional de tomada de decisões à análise da efetiva apropriação de benefícios de uma intervenção e ainda como medida de objetivos finais alcançados.

Considerando as quatro gerações da história de desenvolvimento da avaliação identificadas por Guba & Lincoln ²⁵ é possível dizer que no primeiro caso a compreensão de avaliação subjacente aos trabalhos enquadrava-se no que esses autores denominaram de terceira geração baseada no julgamento do mérito e valor de uma ação, nesse caso as intervenções de alimentação e nutrição. No segundo e terceiro casos os estudos ajustam-se na primeira geração baseada na medida dos efeitos da intervenção.

Considera-se que a tarefa de julgar o mérito e o valor de uma ação, característica distintiva da avaliação, solicita o desenvolvimento de etapas prévias, como subsídio a apreensão da realidade como a identificação, caracterização e descrição. Entretanto, estas etapas, por si só, não cumprem a função avaliativa.

Por fim, interessou ao estudo categorizar os trabalhos quanto ao tipo de informação produzida como subsídio à inferência sobre o potencial de contribuir com o processo de planejamento da ação pública, com a oportuna tomada de decisões e com a geração de lições de aprendizagem.

Chamou atenção a incipiência na geração de informações mais analíticas. Os estudos se estruturaram em torno da descrição que remete para uma insuficiente reflexão sobre os fatores que recaem sobre os resultados e funcionamento das intervenções.

Esses achados parecem, para a realidade estudada, colocar em cheque a suposta superação dos modelos de avaliação chamados de "caixa-preta", que até então ignoravam os fatores que incidiam sobre a intervenção, uma vez que apenas descrever as características do objeto não contribui, substancialmente, para processos decisórios e limita a capacidade de acumular lições de aprendizagem.

Conclusão

O modelo de análise adotado buscou lançar um foco de luz sobre as pesquisas de avaliação que vêm sendo produzidas no âmbito acadêmico, como forma de revelar suas inclinações analíticas e metodológicas e, assim, contribuir para a reflexão das mesmas no que têm de limitações e produzir audiência no que apresentam de relevante.

Antes de passar às considerações de alguns dos achados, é necessário registrar algumas dificuldades operacionais e limitações enfrentadas no desenvolvimento desse trabalho.

A primeira refere-se à identificação do material empírico. O banco de teses da CAPES, que a princípio considerava-se a base de dados privilegiada para obtenção das informações sobre os trabalhos produzidos no período, revelou-se pouco atualizado para os fins almejados, assim como outras bases de dados como a da BIREME. Além da pouca atualização dessas bases, uma outra questão apresentou-se desta vez relacionada com contingências de busca. Tendo lançado mão de vários descritores relacionados com a temática, para cada um deles novos trabalhos eram indicados e outros deixavam de aparecer deixando a dúvida se, de fato, todos os trabalhos foram identificados.

Para dirimir dúvidas e complementar o processo de rastreamento dos trabalhos, informações sobre essa produção foram solicitadas a todas as pós-graduações, com maior referência para a área: nutrição, saúde pública e saúde coletiva. Ao final da pesquisa, tal como inicialmente suposto, estes espaços foram confirmados como privilegiados na produção de avaliações de políticas e programas públicos de alimentação e nutrição.

Em relação às limitações, reportamo-nos ao fato de o estudo ter voltado o olhar para teses e dissertações. Tendo optado nesse primeiro momento por esta fatia da produção bibliográfica, perdeu-se a oportunidade de analisar o estado de campo da avaliação de intervenções públicas de alimentação e nutrição, embora o material analisado seja bastante representativo desse estado da arte. Aponta, para um segundo momento, a necessidade de incluir a totalidade da produção bibliográfica, sobretudo artigos científicos publicados em periódicos até mesmo para efeitos de comparação, já que os periódicos agregam resultados de investigações produzidas não só no espaço da academia, mas também produzidos em nível de serviços por atores institucionais envolvidos com a implementação das intervenções.

Isto posto, pode-se dizer que, em linhas gerais, as avaliações de intervenções públicas de alimentação e nutrição aderem aos critérios de classificação apresentados pela literatura sobre avaliação de políticas públicas e, do ponto de vista conceitual, analítico e metodológico, seguem na esteira dos desenhos apresentados na literatura científica sobre o tema. Assim, ganham no que diz respeito à "elegância dos modelos explicativos" e perdem na "simplicidade analítica".

Em relação à tendência analítica privilegiada, as análises têm convergido para o processo de funcionamento, ou seja, têm como foco o desenho, as características organizacionais e de desenvolvimento dos programas com avaliações do tipo ex post realizadas durante a realização das intervenções.

Já no que se refere aos aspectos teórico-metodológicos, os dados permitem dizer que as avaliações têm privilegiado técnicas e instrumentos de coleta e análise de dados característicos da abordagem qualitativa. Entretanto, pode-se dizer que não se trata de uma abordagem pura, já que junto com esta tem-se utilizado o aporte quantitativo, sobretudo como subsídio ao processo analítico. Observou-se ainda um predomínio da pesquisa do tipo documental e dos estudos de caso, quando da utilização de dados primários. Quanto ao conceito de avaliação utilizado foi possível verificar que este não está explicitamente declarado, sendo raras as exceções.

No que se refere ao volume produzido, esse estudo reforça a insuficiência quantitativa que há muito vem sendo denunciada por autores que têm se debruçado sobre essa análise. Decerto que não se dispõe de um padrão de referência que sirva de parâmetro para se chegar a essa afirmação, entretanto podemos fazer do longo período de implementação das intervenções na área, da centralidade que adquire na agenda social brasileira, do volume do gasto social na área e, sobretudo, da persistência de uma problemática alimentar e nutricional como proxys para essa conclusão.

Ainda em relação aos resultados desse estudo foi possível observar que as categorias temáticas privilegiadas nesses trabalhos vêm sendo modificadas migrando de um padrão mais próximo à dimensão biológica para outro, situado numa dimensão sócio-política, revelando serem avaliações do seu tempo.

Importante dizer que, em que pese o ganho que se verificou na avaliação de intervenções públicas de alimentação e nutrição, com a utilização de novas variáveis, não se pode dizer que houve um salto qualitativo nas avaliações, uma vez que a incorporação da dimensão sócio-política se deu em detrimento da avaliação dos resultados líquidos, o que para a área representou um certo desprezo às variáveis biológicas.

Por fim, revelou-se necessário, na análise dos dados, uma baixa percepção dos programas na dimensão de uma ação pública. Os trabalhos analisados tendem a focalizar as avaliações em micro-processos e poucos são os que se voltaram para macro-processos remetendo a avaliação para a esfera de uma política pública. Assim, perdem uma capacidade importante, que seria a de fomentar o desenvolvimento de melhores instrumentos e formas da ação pública.

Colaboradores

F. C. S. Henrique participou de todas as etapas da pesquisa sendo responsável pela redação final do artigo. P. I. C. Lira orientou o delineamento do estudo tendo participado da análise dos dados e realizado a revisão crítica do artigo. S. M. C. Santos orientou o delineamento da pesquisa, participou da discussão dos resultados e análise dos dados, contribuiu na redação final do artigo e também realizou a análise crítica da versão final. S. M. L. S. Andrade contribuiu no delineamento da pesquisa.

Agradecimentos

Ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) pela concessão da bolsa que contribuiu para a realização da pesquisa que gerou como produto esse artigo.

Recebido em 03/Abr/2006

Versão final reapresentada em 22/Jan/2007

Aprovado em 19/Abr/2007

• 1. Garcia RC. Subsídios para organizar avaliação da ação governamental. Planej Polít Públicas 2001; (23):7-70.
• 2. Silva PL, Costa NR. Avaliação de programas públicos: reflexões sobre a experiência brasileira. Relatório técnico. Brasília: Instituto de Pesquisa Econômica Aplicada/Banco Interamericano de Desenvolvimento; 2002.
• 3. Santos WG. A trágica condição da política social. In: Abranches SH, Santos WG, Coimbra AA, organizadores. Política social e combate à pobreza. Rio de Janeiro: Jorge Zahar Editor; 1998. p. 33-63.
• ⁴
  Ministério do Planejamento, Orçamento e Gestão/Instituto de Pesquisa Econômica Aplicada. Evolução recente das condições e das políticas sociais no Brasil. Brasília: Instituto de Pesquisa Econômica Aplicada; 2001.
• 5. Cohen E, Franco R. Avaliação de projetos sociais. Petrópolis: Editora Vozes; 1993.
• 6. Souza C. Estado de campo da pesquisa em políticas públicas no Brasil. Rev Bras Ciênc Soc 2003; 18:15-20.
• 7. Figueiredo MF, Figueiredo AMC. Avaliação política e avaliações de políticas: um quadro de referência teórica. Brasília: Instituto de Desenvolvimento Econômico do Planalto; 1986.
• 8. Santos SMC, Santos LMP. Avaliação de políticas de alimentação e nutrição no estado da Bahia. Salvador: Núcleo de Nutrição e Políticas Públicas, Escola de Nutrição, Universidade Federal da Bahia/Financiadoras de Estudos e Projetos; 2003.
• 9. Musgrove P. Por una mejor alimentación. Washington DC: Organización Panamericana de la Salud; 1997. (Cuaderno técnico, 25).
• 10. Veloso IS. Impacto do programa de alimentação do trabalhador sobre o estado nutricional de trabalhadores de indústria [Dissertação de Mestrado]. Salvador: Instituto de Saúde Coletiva, Universidade Federal da Bahia; 2000.
• 11. Reis EP. Reflexões leigas para a formulação de uma agenda de pesquisa em políticas públicas. Rev Bras Ciênc Soc 2003; 18:11-4.
• 12. Guimarães MCL. Descentralização da saúde: interesses e conflitos decisórios o processo de decisão nas instâncias colegiadas estaduais, Bahia, 1993-1998 [Tese de Doutorado]. Salvador: Escola de Administração, Universidade Federal da Bahia; 2000.
• 13. Santos SMC. Fome de cidadania: o Comunidade Solidária e a participação em programas de nutrição em municípios baianos [Tese de Doutorado]. Salvador: Escola de Administração, Universidade Federal da Bahia; 2001.
• 14. Arretche M. Dossiê agenda de pesquisas em políticas públicas. Rev Bras Ciênc Soc 2003; 18:7-10.
• 15. Draibe SM. Avaliação de implementação: esboço de uma metodologia de trabalho em políticas públicas. In: Barreira MCR, Carvalho, MCB, organizadores. Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: Instituto de Estudos Especiais, Pontifícia Universidade Católica de São Paulo; 2001. p. 13-41.
• 16. Amparan JPG. La evaluación de políticas públicas: enfoques teóricos y realidades en nueve países desarrollados. Gestión y Política Pública 1995; 4:47-115.
• 17. Weiss CH. How can theory-based evaluation make greater headway? Eval Rev 1997; 21:501-24.
• 18. Gil AC. Métodos e técnicas de pesquisa social. São Paulo: Editora Atlas; 1999.
• 19. Richardson RJ, Peres JAS, Wanderley JCV, Correia LM, Peres MHM. Métodos quantitativos e qualitativos. In: Richardson RJ, organizador. Pesquisa social: métodos e técnicas. 3Ş Ed. São Paulo: Editora Atlas; 1999. p. 70-89.
• 20. Minayo MCS. O desafio do conhecimento. São Paulo: Editora Hucitec/Rio de Janeiro: ABRASCO; 1998.
• 21. Núcleo de Estudos de Políticas Públicas, Universidade Estadual de Campinas. Modelo de avaliação de programas sociais prioritários. Campinas: Universidade Estadual de Campinas; 1999.
• 22. Novaes HMD. Avaliação de programas, serviços e tecnologias em saúde. Rev Saúde Pública 2000; 34:547-59.
• 23. Contandriopoulos AP, Champagne F, Denis JL, Pineault R. A avaliação na área da saúde: conceitos e métodos. In: Hartz ZMA, organizadora. Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora Fiocruz; 1997. p. 29-48.
• 24. Pastana CF. Práticas de avaliação na gestão descentralizada de saúde: a experiência de Vitória da Conquista 1998-2001 [Dissertação de Mestrado]. Salvador: Escola de Administração, Universidade Federal da Bahia; 2002.
• 25. Guba E, Lincoln Y. Fourth generation evaluation. Newbury Park: Sage Publications; 1989.

Datas de Publicação

• Publicação nesta coleção
  17 Dez 2007
• Data do Fascículo
  Dez 2007

Histórico

• Aceito
  19 Abr 2007
• Recebido
  03 Abr 2006
• Revisado
  22 Jan 2007