Resumo:
Este artigo apresenta uma proposição metodológica de monitoramento físico e financeiro dos programas e ações governamentais delineados nos Planos Plurianuais (PPA) do Governo do Estado de Santa Catarina (SC). Trata-se de uma pesquisa aplicada, de caráter descritivo, com abordagem quali-quantitativa. Para tanto, utilizaram-se de procedimentos técnicos de uma pesquisa-ação na Secretaria de Estado da Fazenda (SC), por meio de observação sistemática e de entrevistas com gestores. A pesquisa resultou em um método de desdobramento do produto da ação orçamentária em bens e serviços específicos, passíveis de monitoramento nas dimensões físicas e financeiras. No entanto, de acordo com os gestores catarinenses, a confiabilidade das informações físicas dos bens e serviços continua sendo o maior desafio do método.
Palavras-chave:
monitoramento; avaliação; plano plurianual; orçamento público
Resumen:
En este artículo se presenta una propuesta metodológica de seguimiento físico y financiero de los programas y acciones de gobierno se indica en el Plan Plurianual del Estado Gobierno de Santa Catarina (SC). Se trata de una investigación aplicada, de carácter descriptivo, con enfoque cualitativo y cuantitativo. Para ello, hemos utilizado los procedimientos técnicos de investigación-acción en el Departamento de Hacienda, a través de la observación sistemática y entrevistas con los gerentes. La investigación dio como resultado un método de división de bienes y servicios específicos de productos acción presupuesto, capaces de controlar las dimensiones físicas y financieras. Sin embargo, según los responsables, la confiabilidad de la información física de los bienes y servicios sigue siendo el mayor desafío del método.
Palabras clave:
monitoreo; evaluación; plan plurianual; presupuesto público
Abstract:
This paper presents a methodological solution for the financial and physical monitoring of governmental actions and programs delineated in the Multiyear Plan of the State Government of Santa Catarina (SC). It constitutes an applied and descriptive research that follows a quali-quantitative approach. In order to do this, we made use of the technical procedures of an action-research undertaken by the Department of Finance (SC) by means of systematic observation and interviews with managers. The research resulted in a method of deploying the product of budget actions in terms of specific goods and services, all capable of being monitored both in physical and financial dimensions. However, according to the managers, the reliability of the physical information on the goods and services continues to be the greatest challenge of the method.
Keywords:
monitoring; evaluation; multiyear plan; public budget
1. Introdução
Nas últimas décadas, o monitoramento e a avaliação de políticas públicas e programas governamentais assumiram grande relevância para as funções de planejamento e gestão. Para Giacomoni (2010)GIACOMONI, James. O orçamento público. 15. ed. rev. e ampl., São Paulo: Atlas 2010., a despeito da existência de experiências anteriores, o interesse pelo monitoramento e pela avaliação tomou grande impulso com a modernização da administração pública. Em vários países, esse movimento foi seguido pela adoção dos princípios da gestão pública empreendedora e por transformações das relações entre Estado e sociedade. Tais mudanças, no Brasil, decorreram das transformações observadas na sociedade e no próprio Estado durante as últimas décadas.
A interrupção, na década de 1980, de uma longa história de crescimento que caracterizava o Brasil é, conforme Giacomoni (2010)GIACOMONI, James. O orçamento público. 15. ed. rev. e ampl., São Paulo: Atlas 2010., resultado de um amplo conjunto de causas, entre as quais se pode destacar: o peso insustentável da dívida externa; o imobilismo gerado por uma excessiva proteção à indústria nacional; o fracasso dos programas de estabilização no combate à inflação; a extenuação de um modelo de desenvolvimento baseado fundamentalmente na intervenção generalizada do Estado na economia; e, por fim, o esgotamento apoiado na crise do Estado brasileiro, que diminuiu sensivelmente sua capacidade de investir, reduzindo, assim, sua aptidão para promover o desenvolvimento. Foi em seu aspecto financeiro que a crise se tornou mais aguda, levando a economia a uma espiral inflacionária que provocou uma queda nos níveis de poupança do setor público. Formou-se, com isso, um ambiente de incertezas que dificultou a retomada dos investimentos e ampliou ainda mais as desigualdades sociais. A ampliação das desigualdades sociais, por sua vez, provocou um crescimento da demanda por ações e serviços sociais. Com a queda nos níveis de poupança do setor público e a consequente redução da capacidade de investimento do Estado, a resposta estatal para minorar os problemas sociais foi prejudicada.
Com o propósito de buscar alternativas para confrontar a crise fiscal do Estado, buscou-se implementar, em meados do século XX, a administração pública gerencial, inicialmente por meio de estratégias de redução de custos e pela busca de eficiência e eficácia na administração e nos serviços que cabiam ao Estado (Abrucio, 1997ABRUCIO, Fernando L. O impacto do modelo gerencial na administração pública Cadernos Enap, Brasília, n. 10, 1997.). Ainda segundo o autor, é sob o signo da questão financeira que tanto nos Estados Unidos quanto na Grã-Bretanha, durante as décadas de 1970 e 1980, o modelo gerencial foi implantado, tendo como meta diminuir os gastos públicos e aumentar a eficiência e efetividade governamental. Esse modelo incitou tanto a criação de instrumentos de racionalização orçamentária que podem incorporar uma maior "consciência de custos" no serviço público, quanto a adoção de instrumentos de avaliação de desempenho organizacional e de administração por objetivos, que procuram traçar linhas de ação às agências, o que torna possível uma avaliação de desempenho baseada na comparação entre os resultados obtidos.
Outras reformas similares ocorreram na Nova Zelândia, Austrália, Suécia, França e inclusive no Brasil. Entretanto, de acordo com Bresser-Pereira (2007)BRESSER-PEREIRA, Luiz C. Burocracia pública e reforma gerencial. Revista do Serviço Público de 1937 a 2007, número comemorativo dos 70 anos, p. 29-48, 2007., a primeira tentativa de reforma gerencial da administração pública brasileira aconteceu no final dos anos 1960, por meio do Decreto-Lei no 200, de 1967, no qual toda a ênfase foi dada à descentralização mediante a autonomia da administração indireta, a partir do pressuposto da rigidez da administração direta e da maior eficiência da administração descentralizada. Todavia, as crises políticas e o regime militar durante a década de 1970 levaram ao fracasso a reforma gerencial no Brasil.
Em contraste com a "década perdida" (1980-90), a Constituição Federal de 1988 estabeleceu importantes inovações e avanços no campo de planejamento e orçamento. Além de preconizar a elaboração de planos de desenvolvimento nacionais, regionais e setoriais, a nova carta determinou o funcionamento da administração pública sob o marco de três leis hierarquizadas: o plano plurianual, a lei de diretrizes orçamentárias e a lei orçamentária anual. Essas alterações, concebidas, entre outros objetivos, para integrar o planejamento e o orçamento e propiciar seu monitoramento e avaliação, representaram uma evolução conceitual do orçamento público brasileiro em direção ao que é convencionalmente chamado de orçamento moderno (Giacomoni, 2010GIACOMONI, James. O orçamento público. 15. ed. rev. e ampl., São Paulo: Atlas 2010.).
De acordo com Diamond (2007DIAMOND, Jack. Do orçamento por programas para o orçamento de desempenho: o desafio para economias de mercado emergentes. In: GIACOMONI, James; PAGNUSSAT, José L. (Org.). Planejamento e orçamento governamental. Brasília: Enap, 2007. v. 2, p. 91-125.), países emergentes como o Brasil introduziram algum tipo de orçamento por programas, que visa organizar a atuação da administração pública em funções de governo e em programas de governo. Contudo, essas economias ainda precisam avançar para o orçamento por produtos e, subsequentemente, incorporar as reformas necessárias para o novo orçamento de desempenho. Devido a essa deficiência, segundo o autor, as economias de mercado emergentes não conseguiram utilizar plenamente seus orçamentos por programas para melhorar a gestão de seus orçamentos e avaliar a eficiência das ações de governo. Mesmo o atual sistema orçamentário brasileiro não possibilita que se faça gestão de forma eficiente, pois a realidade atual evidencia que o governo e a sociedade não sabem quanto custam os serviços públicos e em qual proporção eles são ofertados (Mauss e Souza, 2008MAUSS, Cézar V.; SOUZA, Marcos A. Gestão de custos aplicada ao setor público: modelo para mensuração e análise da eficiência e eficácia governamental. 1. ed. São Paulo: Atlas, 2008.). Portanto, a produção, disseminação e uso de informações são peças indispensáveis da gestão orçamentária de desempenho e a cultura de avaliação é um elemento que deve embeber o conjunto de práticas cotidianas dos agentes responsáveis pelas decisões e ações econômico-financeiras (Diamond, 2007DIAMOND, Jack. Do orçamento por programas para o orçamento de desempenho: o desafio para economias de mercado emergentes. In: GIACOMONI, James; PAGNUSSAT, José L. (Org.). Planejamento e orçamento governamental. Brasília: Enap, 2007. v. 2, p. 91-125.).
2. Fundamentos teóricos
O processo de avaliação e conceitos como o de qualidade do gasto no setor público surgiram em meados do século XX com a transição do modelo burocrático de Weber para o da administração pública gerencial. Motivadas por uma insatisfação com a administração pública burocrática, essas transformações pretendiam consolidar alternativas para confrontar a crise fiscal do Estado; estratégias para redução de custos e para o aumento da eficiência, eficácia e efetividade da administração e dos serviços que cabiam ao Estado; e instrumentos de proteção ao patrimônio público.
Bresser-Pereira (2007)BRESSER-PEREIRA, Luiz C. Burocracia pública e reforma gerencial. Revista do Serviço Público de 1937 a 2007, número comemorativo dos 70 anos, p. 29-48, 2007. ressalta que uma das principais questões valoradas pela reforma gerencial é a importância destinada à avaliação da efetividade dos serviços públicos. A efetividade é definida como o grau em que se atingiu um resultado esperado, não tendo cunho econômico, mas sim de avaliação qualitativa dos serviços públicos. O conceito de efetividade tem como corolário a noção de que a missão primordial do governo é prestar serviços de qualidade, ou seja, é a preocupação com a qualidade incorporada pelo modelo gerencial.
Nas décadas de 1980 e 1990, tanto o governo inglês quanto o norte-americano enfrentaram dificuldades na implementação do modelo gerencial, pois os gerencialistas não consideraram questões de caráter político e nem tampouco perceberam que a especificidade do setor público dificulta a mensuração da eficiência e a avaliação de resultados, como ocorre na iniciativa privada. Para Bresser-Pereira e Spink (2006)BRESSER-PEREIRA, Luiz C. Da administração pública burocrática à gerencial. In: BRESSER-PEREIRA, Luiz C.; SPINK, Peter K. (Org.). Reforma do Estado e administração pública gerencial. 7. ed. Rio de Janeiro: FGV, 2006.foi por restrições financeiras que, tanto nos Estados Unidos quanto na Grã-Bretanha, o modelo gerencial foi implantado com o objeto de diminuir os gastos públicos e aumentar a eficiência governamental.
O contexto brasileiro para a implementação do modelo gerencial não foi diferente, pois o Brasil da década de 1970 passou por um período em que a economia nacional apresentava altas taxas de crescimento econômico, inflação sob controle e em níveis toleráveis pela população, pleno emprego, contas públicas supervitárias, equilíbrio fiscal e dívida pública controlada. De acordo com o Alonso (1999ALONSO, Marcos. Custos nos serviços públicos. Revista do Serviço Público, v. 50, n. 1, p. 37-63, jan./mar. 1999.), esse período era conhecido como "milagre econômico", pois nele não existiam crises econômicas iminentes. Não houve, pois, durante essa época, incentivos para debater temas como o de gestão de custos, avaliação de programas e desempenho no serviço público.
No entanto, durante a década de 1980, de acordo com Giacomoni (2010)GIACOMONI, James. O orçamento público. 15. ed. rev. e ampl., São Paulo: Atlas 2010., a situação da economia brasileira converteu-se do "milagre econômico" para a "década perdida", devido à drástica redução do PIB, ao descontrole da dívida pública internacional, aos altos índices inflacionários, à redução da atividade industrial e ao desequilíbrio fiscal. O Estado se viu forçado a reorientar a política econômica nacional, principalmente no que se diz respeito às despesas públicas. Em razão da crise fiscal e do fraco desempenho econômico, o Estado precisou conviver com um cenário no qual, por um lado, a demanda social por bens e serviços crescia exponencialmente e, por outro, sua capacidade de resposta era cada vez menor.
Dada a impossibilidade econômica e principalmente política de aumentar a carga tributária com a finalidade de equilibrar as contas públicas, cortar gastos passou a ser o grande desafio da administração estatal. Todavia, não há como cortar gastos se a realidade atual evidencia que o governo e a sociedade não sabem quanto custam os serviços públicos e nem em qual proporção esses serviços são prestados à sociedade (Mauss e Souza, 2008MAUSS, Cézar V.; SOUZA, Marcos A. Gestão de custos aplicada ao setor público: modelo para mensuração e análise da eficiência e eficácia governamental. 1. ed. São Paulo: Atlas, 2008.). Tendo isso em vista, o Banco Mundial e o Fundo Monetário Internacional (FMI) vêm advogando pela qualidade do gasto público, e não simplesmente pela sua redução. Ambas as instituições têm se empenhado em introduzir a questão da qualidade do gasto público na agenda de Reforma do Estado de diversos países, entre os quais figura o Brasil (Alonso, 1999ALONSO, Marcos. Custos nos serviços públicos. Revista do Serviço Público, v. 50, n. 1, p. 37-63, jan./mar. 1999.).
O impacto da situação econômica sobre o processo de avaliação no final dos anos 1970 ainda era quase o mesmo: as pequenas economias e a necessidade de gerenciar a escassez de recursos causaram tensão nos governos, fato que os levou a desenvolver técnicas para gerenciar os cortes no orçamento. A situação relativamente desfavorável e a grave situação fiscal corroboravam para que a avaliação fosse feita de forma vinculada ao processo orçamentário como: as iniciativas financeiras de gestão (Grã-Bretanha, Canadá e Noruega, Países Baixos) que resultaram em uma segunda onda de esforços de avaliação, onde o novo gerencialismo introduziu o conceito de avaliação a fim de racionalizar a distribuição dos recursos dentro do orçamento (Schick, 2014SCHICK, Allen. The metamorphoses of performance budgeting. , v. 13, n. 2, p. 49-79, 2014.).
Derlien (2001DERLIEN, Hans-Ulrich. Una comparación internacional en la evaluación de las políticas públicas. Revista do Serviço Público, v. 52, n. 1, p. 105-124, jan./mar. 2001.) ressalta que as diferenças nos padrões de desenvolvimento entre os países que começaram mais cedo a instituir o processo de avaliação e monitoramento - Estados Unidos, Canadá e Alemanha - e aqueles que o seguiram no final dos anos 1970 ou mais tarde podem estar relacionadas, em meio a outros fatores, com as condições das economias nacionais e, portanto, com a situação fiscal dos respectivos governos. Segundo o autor, o primeiro grupo de países - o que iniciou o processo de avaliação das políticas públicas nos anos 1960, isto é, países com orçamentos economicamente prósperos e crescentes - permitiu que seus governos investissem em grandes programas de intervenção social, incluindo educação e saúde. Nesse contexto, os sistemas de planejamento formal ou foram limitados a um planejamento apenas econômico de médio prazo (Alemanha), ou foram integrados ao processo de programação orçamentária (Estados Unidos, Suécia e Canadá). Em qualquer um dos casos citados, o processo de avaliação passou a integrar os sistemas de planejamento gerando informações necessárias para a intervenção dos programas e tornou possível a previsão dos resultados com um grau de segurança e confiabilidade.
A necessidade de gerenciar os cortes no orçamento para equilibrar as contas públicas levou ao desenvolvimento de técnicas orçamentárias com o objetivo de permitir o processo de avaliação e monitoramento denominado de orçamento de desempenho. O orçamento de desempenho surgiu em 1950 nos Estados Unidos, com finalidade de gerar informações de desempenho para a orçamentação e reorientar o processo orçamentário federal norte-americano, mudando o foco dos insumos para um foco que incluísse também os produtos derivados do uso daqueles insumos. A nova abordagem tornou-se efetiva quando a Comissão Hoover, que trabalhava na organização do Poder Executivo do governo em 1949, promoveu tal abordagem e incentivou sua ampla implementação. No entanto, a nova abordagem era severamente afetada por sistemas contábeis inadequados e incapazes de identificar todos os custos das operações governamentais, como também pela limitação de desenvolver medidas de desempenho.
Todavia a aplicação do orçamento por desempenho persistiu nos Estados Unidos no governo federal. O Sistema de Planejamento, Programação e Orçamentação (Planning, Programming, Budgeting System - PPBS) foi adotado como sistema orçamentário completo somente em 1961. De acordo com Giacomoni (2010)GIACOMONI, James. O orçamento público. 15. ed. rev. e ampl., São Paulo: Atlas 2010., o PPBS possuía três fases que ligavam o planejamento ao orçamento por meio de programas de governo. A primeira fase denominada de planejamento procurava identificar objetivos de curto prazo e de longo prazo, com a finalidade de avaliar diferentes e possíveis maneiras de atingir tais objetivos. A segunda fase denominada de programação integrava as propostas da fase de planejamento e as relacionava a programas de governo organizados hierarquicamente por prioridade sujeito à tomada de decisão política. A terceira fase, a orçamentação, era a tradução dos programas em pacotes de trabalho menores denominados de ações específicas, que consumiam recursos orçamentários.
Em 1971, o sistema foi praticamente abandonado, devido à grande relutância das agências, falta de entendimento dos legisladores, que inicialmente preferiam o modelo anterior, e também devido às próprias limitações legais e institucionais do período. Apesar do fim do PPBS, o orçamento de desempenho continuou a ser aplicado nos Estados Unidos. A aprovação da Lei Congressional e de Confiscos de 1971 propôs inovações como o orçamento plurianual, as classificações por função e programa, o uso de ferramentas analíticas por parte do Escritório Geral de Contabilidade (General Accounting Office - GAO) e do Escritório de Orçamento do Congresso, o desenvolvimento de indicadores de desempenho e a implantação de melhores sistemas de informações gerenciais (Diamond, 2007DIAMOND, Jack. Do orçamento por programas para o orçamento de desempenho: o desafio para economias de mercado emergentes. In: GIACOMONI, James; PAGNUSSAT, José L. (Org.). Planejamento e orçamento governamental. Brasília: Enap, 2007. v. 2, p. 91-125.).
Em 1965, com a publicação do manual de orçamento por programa e de desempenho pelas Nações Unidas, o uso do método foi reforçado como ferramenta de planejamento do desenvolvimento. Na década de 1960, em torno de 50 países introduziram variantes do método, incluindo países em desenvolvimento como o Brasil. De acordo com Giacomoni (2010)GIACOMONI, James. O orçamento público. 15. ed. rev. e ampl., São Paulo: Atlas 2010., na década de 1990 novas reformas ocorreram promovidas pela Nova Zelândia e Estados Unidos, frequentemente denominadas de Nova Gestão Pública, com ênfase primária na avaliação de resultados e no desempenho do orçamento, como também outras reformas importantes da gestão do gasto público: maior flexibilidade das agências; introdução de arranjos contratuais e mudança do sistema contábil de caixa para o de competência, seguindo técnicas já utilizadas no setor privado. Além dos Estados Unidos e Nova Zelândia, essas reformas do orçamento também compunham os principais pilares da reforma gerencial em países como Alemanha, Austrália, Canadá, Suécia e Grã-Bretanha.
Nesse sentido, o modelo gerencial - bem como o processo de avaliação e mensuração da eficiência, eficácia e efetividade - não é estático e vem sofrendo uma série de mudanças, adaptando-se aos países em que se solidificou, substituindo, por completo, os antigos padrões (Bresser-Pereira, 2007BRESSER-PEREIRA, Luiz C. Burocracia pública e reforma gerencial. Revista do Serviço Público de 1937 a 2007, número comemorativo dos 70 anos, p. 29-48, 2007.). No entanto, após tantas discussões referentes ao processo de implementação do modelo gerencial e à elaboração do orçamento de desempenho com vistas a propiciar a avaliação do desempenho e dos resultados da ação governamental, convém perguntar: o que de fato significa avaliar e qual a finalidade disso.
Para Weiss (1988), avaliação é um termo abrangente que acomoda muitas definições, porém todas elas têm em comum a noção de julgamento de mérito. Portanto, para o autor, avaliação é uma análise sistêmica de um processo, de um programa ou de uma política pública, em comparação com um conjunto explícito de padrões estabelecidos. Além disso, o propósito da avaliação seria "guiar os tomadores de decisão, orientando-os quanto à continuidade, necessidade de correções ou mesmo suspensão de uma determinada política ou programa" (Costa e Castanhar, 2003COSTA, Frederico L.; CASTANHAR, José C. Avaliação de programas públicos: desafios conceituais e metodológicos. Rev. Adm. Pública, v. 37, n. 5, p. 969-992, set./out. 2003.:972).
Ressalta-se que as avaliações de interesse desta pesquisa são aquelas voltadas à investigação de programas governamentais. Patton (2008PATTON, Michael Q. Utilization-focused evaluation. 4. ed. California: Sage Publications, Inc., 2008.:38) define que a avaliação de programa é um processo de coleta sistemática de informações sobre as atividades, características e resultados de programas visando fazer julgamentos sobre eles, aperfeiçoar ou desenvolver suas efetividades, subsidiar decisões acerca de programas no futuro, ou aumentar o nível de conhecimento. Ressalta ainda que a avaliação de programas se constitui na determinação de um valor ou significância para uma atividade, política ou programa. É um julgamento, o mais sistemático e objetivo possível, a respeito das intervenções governamentais.
Não se pode, entretanto, esquecer que a avaliação permite, em última instância, o aumento do conhecimento científico ou prático sobre o tema estudado. Tendo isso em vista, Wholey, Hatry e Newcomer (2010WHOLEY, Joseph S.; HATRY, Harry P.; NEWCOMER, Kathryn E. Handbook of practical program evaluation. 3. ed Hoboken: John Wiley & Sons, 2010.) afirmam que o processo de avaliação, para ser considerado útil e compensar seu custo, não deve se preocupar apenas em julgar os resultados de um programa, mas também em contribuir com seu aperfeiçoamento.
Para os autores, o escopo e os métodos de avaliação diferem de acordo com seu propósito. Uma avaliação poder ser retrospectiva (ex post), quando apresenta a finalidade de produzir informações a respeito de programas já implementados; a meio caminho (corrente), quando se refere ao monitoramento de iniciativas em estágio de implementação, ou prospectiva (ex ante), quando a finalidade é subsidiar o processo de construção de políticas públicas e o planejamento de programas ou projetos
Com base nos trabalhos desenvolvidos por Weiss (1998WEISS, Carol H. Evaluation. 2. ed. Upper Saddle River: Prentice-Hall, Inc., 1998.), Mark, Henry e Julnes (2000MARK, Melvin M.; HENRY, Gary T.; JULNES, George. Evaluation: an integrated framework for understanding, guiding, and improving policies and programs. San Francisco: Jossey-Bass, 2000.) e Patton (2008PATTON, Michael Q. Utilization-focused evaluation. 4. ed. California: Sage Publications, Inc., 2008.), Serpa (2010SERPA, Selma M. H. C. Para que avaliar? Identificando a tipologia, os propósitos e a utilização das avaliações de programas governamentais no Brasil. Dissertação (mestrado) - Universidade de Brasília, Brasília, 2010.:32-33) esquematizou uma visão comparativa entre os propósitos das avaliações, conforme apresenta o quadro 1.
Com tantas possibilidades existentes de interesses e interessados para quem a avaliação pode servir, o avaliador é obrigado a fazer escolhas, pois se torna impossível atender a todos os propósitos em um único estudo. Embora seja viável contemplar diferentes questões em uma mesma pesquisa, dificilmente um estudo, por melhor que seja, poderá atender a todas as questões e às necessidades de todos os atores envolvidos (Weiss, 1998WEISS, Carol H. Evaluation. 2. ed. Upper Saddle River: Prentice-Hall, Inc., 1998.). De acordo com Patton (2008PATTON, Michael Q. Utilization-focused evaluation. 4. ed. California: Sage Publications, Inc., 2008.), diferentes propósitos necessitam de diferentes formas de utilização do processo de avaliação. Cada propósito teria, portanto, implicações no desenho da avaliação; no método de mensuração, análise e interpretação das informações; na disseminação dos resultados; e, por fim, em sua forma de apresentação.
Para diminuir a complexidade que caracteriza o campo de avaliação, Patton (2008PATTON, Michael Q. Utilization-focused evaluation. 4. ed. California: Sage Publications, Inc., 2008.) enquadra o tema em seis alternativas de acordo com os propósitos da avaliação e os interessados envolvidos. A primeira abordagem refere-se às avaliações formativas, que são orientadas para o aperfeiçoamento, e têm como finalidade promover melhorias por meio da coleta de informações sobre as forças e as fraquezas do programa. Essas avaliações são utilizadas para subsidiar o processo de reflexão e inovação. A segunda abordagem consiste nas avaliações somativas, cujas finalidades são determinar o mérito geral, o valor e a significância. Tais avaliações são utilizadas principalmente para subsidiar decisões sobre a continuação, expansão ou modificação de um programa. A terceira abordagem refere-se às avaliações para a produção de conhecimento, que visam, com o auxílio dos achados de diferentes avaliações de programas, identificar e formular padrões sobre os processos de intervenções para a efetividade dos programas. A quarta abordagem refere-se às avaliações voltadas para ambientes dinâmicos, cujas condições externas e internas exigem correções constantes para adaptar o programa às novas circunstâncias com base nas condições emergentes. A quinta abordagem diz respeito às avaliações cuja finalidade é a accountability. Essas avaliações visam o exame da conformidade e a identificação de falhas mediante a comparação com padrões legais exigidos, regulamentos, diretrizes, planejamento ou com qualquer outra expectativa formal.
A última abordagem é o monitoramento, que é algumas vezes subentendido como uma modalidade da accountability, pois, bem como esta última, utiliza indicadores de desempenho no processo de avaliação. Todavia, de acordo com Patton (2008PATTON, Michael Q. Utilization-focused evaluation. 4. ed. California: Sage Publications, Inc., 2008.), os indicadores de desempenho servem tanto para os propósitos da accountability quanto para os propósitos do acompanhamento. A abordagem de avaliação que tem como propósito a accountability é voltada para os stakeholders externos e para os responsáveis pelos programas; já o monitoramento atende às necessidades internas, disponibilizando informações referentes ao programa para melhorar seu gerenciamento. O autor ressalta essa diferenciação entre o monitoramento e a avaliação como forma de accountability porque, em geral, os políticos e financiadores necessitam de informações agregadas, e os gerentes e gestores de programas, de informações detalhadas. Portanto, conciliar ambas as necessidades é o grande desafio dos sistemas de monitoramento de desempenho (Patton, 2008).
No âmbito deste estudo, considerando-se os propósitos avaliativos, será utilizada a tipologia de monitoramento. Para Wholey, Hatry e Newcomer (2010WHOLEY, Joseph S.; HATRY, Harry P.; NEWCOMER, Kathryn E. Handbook of practical program evaluation. 3. ed Hoboken: John Wiley & Sons, 2010.), a principal diferença entre avaliação e monitoramento reside no fato de que a primeira é uma análise discreta e momentânea, enquanto a segunda é uma análise processual e contínua - ou seja, enquanto a primeira retrata uma situação passada, a segunda visa detectar inconsistências e dificuldades que ocorrem durante a execução para corrigi-las tempestivamente. Seguindo o mesmo raciocínio, Serpa (2010SERPA, Selma M. H. C. Para que avaliar? Identificando a tipologia, os propósitos e a utilização das avaliações de programas governamentais no Brasil. Dissertação (mestrado) - Universidade de Brasília, Brasília, 2010.) afirma que o monitoramento é uma atividade interna e gerencial que se realiza durante a execução do programa e que visa assegurar que os insumos, os produtos e as metas ocorram de acordo como o plano inicial. Além disso, a avaliação possui um rígido foco metodológico, enquanto o monitoramento, embora também disponha de metodologias acordadas entre os atores envolvidos, tende a privilegiar mais a experiência substantiva das pessoas envolvidas no processo. Apesar de suas discrepâncias, a avaliação e o monitoramento devem ser partes complementares de um mesmo sistema para gerar informações suficientes e necessárias no intuito de auxiliar o aperfeiçoamento do programa/projeto, de atingir os resultados pretendidos, e, por fim, de aprimorar a aprendizagem coletiva e a tomada de decisões com base em informações gerenciais.
Infelizmente, no Brasil o processo de avaliação e monitoramento ainda é um campo em formação. De modo geral, os estudos de avaliação de programas/projetos públicos, os diagnósticos propositivos para intervenções específicas e os sistemas de indicadores de monitoramento estão se tornando mais consistentes e presentes na rotina dos gestores públicos brasileiros. Ainda assim, isso está ocorrendo em um ritmo inferior ao necessário e de forma descompassada entre as diversas esferas de governo e regiões (Januzzi, 2011JANNUZZI, Paulo M. Avaliação de programas sociais no Brasil: repensando práticas e metodologias das pesquisas avaliativas. Planejamento e Políticas Públicas, v. 16, n. 36, p. 251-275, jan./jul. 2011.).
3. Procedimentos metodológicos adotados
O enquadramento metodológico integra o delineamento do estudo em termos de natureza da pesquisa, abordagem do problema, objetivo, procedimentos técnicos e processo de coleta de dados da pesquisa. Quanto à natureza da pesquisa, trata-se de uma pesquisa aplicada. Segundo Barros e Lehfeld (2000BARROS, Aidil J. S.; LEHFELD, Neide A. S. Fundamentos de metodologia: um guia para a iniciação científica. 2. ed. ampl. São Paulo: Makron Books, 2000:78), a pesquisa aplicada tem como finalidade e motivação gerar conhecimento para aplicação de seus resultados contribuindo com a prática, visando à resolução de um problema identificado na realidade. Salienta Appolinário (2004APPOLINÁRIO, Fabio. Dicionário de metodologia científica: um guia para a produção do conhecimento científico. São Paulo: Atlas, 2004.:152) que resolver necessidades ou problemas concretos é o principal objeto de uma pesquisa aplicada.
No que tange ao seu objetivo, a pesquisa é considerada descritiva, pois, de acordo com Gil (1991GIL, Antonio C. Como elaborar projetos de pesquisa. São Paulo: Atlas, 1991.), esse tipo de pesquisa visa descrever características de um determinado fenômeno. Nesta pesquisa, as características do processo orçamentário são descritas e aprofundadas por meio de observação sistemática. Quando se propõe a realização de uma revisão sistemática, todas as etapas a serem executadas são detalhadamente planejadas, e os objetos e os resultados esperados são predeterminados em razão da pesquisa (Selltiz, 1967SELLTIZ, Claire et al. Métodos de pesquisa nas relações sociais. São Paulo: Herder, 1967.:224-225).
O procedimento técnico adotado foi o de uma pesquisa-ação, pois a pesquisa foi concebida e realizada em estreita associação com a ação e com a resolução de um problema encontrado no Governo do Estado de Santa Catarina - mais especificamente na Secretaria de Estado da Fazenda. Para Gil (1991GIL, Antonio C. Como elaborar projetos de pesquisa. São Paulo: Atlas, 1991.), uma pesquisa-ação deve possuir o envolvimento direto dos pesquisadores de modo cooperativo e participativo, assim fazendo parte da mudança.
Quanto à abordagem do problema, o estudo utilizou a abordagem quali-quantitativa. Nesse caso, interessa tanto a compreensão de um determinado processo organizacional ou social quanto as relações entre variáveis estabelecidas (Godoi, Bandeira-de-Mello e Silva, 2006GODOI, Christiane K.; BANDEIRA-DE-MELO, Rodrigo; SILVA, Anielson B. Pesquisa qualitativa em estudos organizacionais: paradigmas, estratégias e métodos. São Paulo: Saraiva, 2006.). Por um lado, a pesquisa é qualitativa, devido à sua fase de estruturação - pois busca o entendimento do contexto do processo orçamentário - e à sua fase de recomendação, por propor ações para alavancar a situação encontrada. Por outro, é quantitativa, pela construção de metodologia de monitoramento das ações governamentais dos planos plurianuais baseada na execução orçamentária, financeira e física de seus produtos.
A coleta de dados foi realizada por meio da observação sistemática do processo orçamentário junto à Diretoria de Planejamento Orçamentário da Secretaria de Estado da Fazenda de Santa Catarina, competente pelo sistema administrativo de planejamento e orçamento. Foram utilizados, para o desenvolvimento do método, documentos e registros da diretoria, como: Leis Orçamentárias Anuais (LOA) dos exercícios de 2012, 2013 e 2014 e do Plano Plurianual (PPA) 2012-15.
4. Proposta de monitoramento e avaliação do Plano Plurianual (PPA)
À luz do contexto brasileiro, a Constituição Federal de 1988 institui como instrumentos de planejamento governamental três figuras: o Plano Plurianual (PPA); a Lei de Diretrizes Orçamentárias; e a Lei Orçamentária Anual (LOA). No entanto, a função de avaliação também ganhou destaque na Constituição Federal de 1988, em especial, na seção que trata da fiscalização contábil, financeira e orçamentária como competência expressa do sistema de controle interno dos poderes constituídos. Cabe ao Estado avaliar o cumprimento das metas previstas no plano plurianual, os orçamentos da União, estado e municípios, bem como a execução dos programas de governo e a eficácia e eficiência de seus resultados e da gestão dos órgãos e entidades governamentais (Brasil, 1988BRASIL. Constituição da República Federativa do Brasil, de 5 de outubro de 1988. Disponível em: <Disponível em: http://www.planalto.gov.br/ccivil_03/constituicao/constituicaocompilado.htm >. Acesso em: 8 fev. 2015s.d.
http://www.planalto.gov.br/ccivil_03/con...
).
Além dos mandamentos constitucionais, a Lei de Responsabilidade Fiscal (LRF) estabeleceu ainda que a avaliação de resultados dos programas do PPA financiados com recursos orçamentários deve observar, anualmente, as disposições da LDO. Porém o arcabouço legal vigente não determina como esse processo deve ser realizado.
Apesar de existirem inúmeras iniciativas de monitoramento e avaliação nas três esferas de governo e mesmo com as inovações no processo orçamentário e financeiro brasileiro, a realidade atual evidencia que o governo e a sociedade não sabem quanto custam os serviços públicos e em qual proporção eles foram prestados. Dessa forma, como não se conhece o custo de um serviço e o quanto desse serviço foi prestado, também não se sabe se a administração pública está sendo eficiente (Mauss e Souza, 2008MAUSS, Cézar V.; SOUZA, Marcos A. Gestão de custos aplicada ao setor público: modelo para mensuração e análise da eficiência e eficácia governamental. 1. ed. São Paulo: Atlas, 2008.). Um estudo apresentado pelo Banco Nacional de Desenvolvimento Econômico e Social (BNDES) (2000)BNDES. Banco Nacional de Desenvolvimento Social. Uma introdução à contabilidade pública de custos. Informe-SF, n. 18, ago. 2000. Disponível em: <Disponível em: http://www.federativo.bndes.gov.br >. Acesso em: 7 fev. 2015s.d.
http://www.federativo.bndes.gov.br...
chegou à mesma conclusão: os gestores governamentais têm extrema dificuldade na redução de gastos precisamente por não disporem de sistemas de controle adequados.
O contexto do estado de Santa Catarina não é diferente, pois o Tribunal de Contas do Estado (TCE) tem, desde 2007, reiteradamente apontado - em seus pareceres prévios sobre as contas do governo do estado - que, referente à efetividade das peças orçamentárias, o aspecto autorizativo do orçamento público brasileiro gerou, em todas as esferas da cultura da administração pública, a prática de estabelecer orçamentos não condizentes com a realidade e a fixação de ações inexequíveis tanto financeira como fisicamente. O TCE também afirma que o estado de Santa Catarina não dispõe de indicadores que apresentem de forma cristalina e verossímil a efetividade de seus programas, nem tampouco que apresentem os resultados alcançados em períodos circunscritos (Tribunal de Contas do Estado, 2013TRIBUNAL DE CONTAS DO ESTADO. Parecer prévio sobre as contas do Governo do Estado 2012. Florianópolis: TCE, 2013. Disponível em: <Disponível em: http://www.tce.sc.gov.br/acom/arquivo/publicacao?tid_tipo=55 >. Acesso em: 10 fev. 2015s.d.
http://www.tce.sc.gov.br/acom/arquivo/pu...
).
Buscando mitigar os problemas atuais, o modelo de planejamento proposto e implantado no Poder Executivo catarinense apoia-se em três premissas básicas essenciais para o sucesso do processo de monitoramento e avaliação. A primeira é o alinhamento do Plano Estratégico Governamental (Agenda de Governo) aos planos de trabalho plurianual e anual de todas as estruturas governamentais do orçamento fiscal, seguridade social e de investimento, que culminam no PPA. A segunda premissa baseia-se na integração entre PPA, LDO, LOA e a programação financeira, no sentido de transformar as metas e os objetivos previstos nos programas do PPA em bens e serviços à sociedade ou ao próprio Estado. A terceira premissa do modelo de planejamento proposto baseia-se na definição do foco, ou seja, na definição dos projetos prioritários, definidos no Plano Estratégico (Agenda de Governo), que estão diretamente relacionados à estratégia de governo. Nesse sentido, são os projetos prioritários o foco do processo de monitoramento e avaliação das ações e programas de governo.
O elemento essencial da primeira premissa é o conceito de programa e a reestruturação do orçamento. A estrutura do programa é, basicamente, uma forma de descrever o plano de gastos do orçamento em termos de objetivos. Para ser pertinente, essa estrutura terá de ser alicerçada em uma perspectiva estratégica mais ampla que permita descrever a contribuição das operações do governo para a consecução dos objetivos estratégicos. Contudo, ao desenhar uma estrutura de programa para o orçamento, não se deve considerar simplesmente uma maneira de classificar o plano de gastos do governo. Deve-se, em vez disso, repensar de forma fundamental as atividades do governo e a maneira como essas atividades são sugeridas, visando com isso: reconsiderar seus respectivos papéis e missões; revisar a maneira como se podem organizar melhor para realizar sua missão; redesenhar a alocação de custos; e revisar a eficiência e eficácia das operações e da provisão de bens e serviços, conforme demonstrado na figura 1.
Nesse contexto, a revisão das estruturas de programa deve assegurar que haja uma explícita declaração de políticas, ou uma lista de objetivos que defina, apropriadamente, o propósito dos programas e os resultados esperados, de forma que possam ser mensurados e avaliados.
A segunda premissa refere-se à integração entre os instrumentos de planejamento. Para tanto, além de se estender a visão do planejamento para os resultados finalísticos (efetividade) de médio e longo prazo, as ações orçamentárias deverão representar o bem ou serviço real gerado para a sociedade em conjunto com os seus efetivos custos apropriados. Em muitos planos plurianuais, verificam-se ações orçamentárias cujo foco são os insumos e não os reais produtos que serão gerados por meio de uma atividade ou projeto, o que, muitas vezes, faz com que tais ações se tornem apenas grandes aglomerados de insumos.
O planejamento tradicional encerra-se na identificação dos bens e serviços gerados e no apontamento de suas respectivas metas físicas e financeiras. Por isso, os resultados intermediários que representam a eficácia da execução da meta física e financeira acabam não sendo auferidos. Já o planejamento orientado para resultados, conforme a figura 2, monitora os resultados intermediários, com o mote de subsidiar o processo de avaliação dos resultados, ou seja, a eficácia e a efetividade dos programas e ações delineados no PPA.
A forma como os custos são consumidos por programas, atividades, projetos e produtos determinará se eles serão alocados como custos diretos ou indiretos. Portanto, é necessário identificar o máximo possível de recursos como custos diretos. Evidentemente, para alguns custos, pode não ser possível estabelecer uma relação direta com os produtos, como nos casos em que um dado custo é comum a mais de um produto. No entanto, esses custos indiretos ainda podem ser atribuídos aos objetos de execução com base no consumo, ou seja, com base no grau em que contribuem para a materialização do produto.
Primeiramente, deve-se reconhecer a dificuldade do problema dos custos indiretos, ou custos fixos. Um problema típico na mensuração dos custos é que as atividades e os projetos de qualquer órgão incluirão determinadas funções comuns dos funcionários, tais como pessoal e contabilidade. A mensuração de custos por programas, atividades e projetos também é complexa, devido à existência de produtos e atividades comuns à mesma unidade. Para efetuar a separação desses elementos é necessário ter conhecimento especializado dos sistemas orçamentário, financeiro e contábil. Portanto, um dos objetivos do método em desenvolvimento no Governo do Estado de Santa Catarina é possibilitar a alocação e a identificação dos custos e da produção física dos bens e serviços de forma mais clara e direta aos programas e ações, conforme será explicado.
De acordo com o método, será objeto de monitoramento e avaliação do PPA toda ação governamental finalística que gere um bem ou serviço para a sociedade, seja ela um projeto ou uma atividade, assim delimitando o foco conforme preconizado na terceira premissa. As ações que não gerem bem ou serviços de forma direta serão consideradas ações administrativas e terão alocados a elas todos os custos indiretos para futura alocação nas ações finalísticas. Entende-se por projeto todo bem ou serviço que possui limitação temporal, ou seja, com início e fim predeterminados tais como obras e empreendimentos de caráter não rotineiro. Já as atividades são os serviços de caráter rotineiro que não possuem um prazo de término previamente determinado, como a formação de alunos na educação básica. No entanto, o processo de monitoramento é dinâmico e específico, o que torna a linguagem das ações orçamentárias, em muitos casos, impossível de ser monitorada.
Para sanar essa dificuldade, propõe-se a criação de uma nova unidade de controle, denominada "Objeto de Execução", que comporá o ciclo de planejamento. Essa nova unidade representa a derivação do produto da ação orçamentária em pacotes menores e específicos, de modo a possibilitar seu monitoramento e gerenciamento. Apesar de possuir origem orçamentária, essa nova estrutura não deve integrar-se às peças legais de planejamento (PPA, LDO e LOA), pois sua inserção nesses instrumentos engessaria o processo de monitoramento. Os Objetos de Execução, para serem monitorados, devem possuir no mínimo os seguintes atributos: 1. Identificação: Nome - representa de forma explícita e compreensível o que está sendo feito para quem e onde; Descrição - informações quali-quantitativas que demonstram detalhes do bem ou serviço prestado; Responsável - a pessoa que responde tecnicamente pela execução do bem ou serviço prestado; Período de Início e Fim - horizonte temporal do bem ou serviço; 2. Metas Físicas: Produto - representa a entrega final à sociedade ou ao próprio Estado; Unidade de Medida - demonstra a métrica utilizada para mensurar o produto; Quantidade/Ano - mostra a distribuição da unidade de medida do produto ao longo dos anos previstos; Localização - revela a localização geográfica do bem ou serviço; 3. Metas Financeiras: Fontes de Recurso/Ano - quantifica o custo da prestação do bem ou serviço por ano, conforme exemplificado pela tabela 1. Como também informações da realização financeira oriunda dos sistemas de planejamento, orçamento, financeiro e contabilidade e da realização física oriunda das áreas finalísticas dos órgãos e ainda dados sobre as contingências dos projetos e atividades em andamento.
As ações orçamentárias são desdobradas em objetos de execução conforme as parcelas do planejamento total da ação tornam-se bens ou serviços. Isso ocorre quando a intenção do planejamento orçamentário gera efetivamente um contrato, convênio ou uma descentralização de crédito orçamentário e financeiro. Nesse sentido, é após esse momento que são geradas informações suficientes e necessárias para a programação do Objeto de Execução. O simples exercício de programação dos Objetos de Execução pode explicitar inúmeras deficiências existentes nas ações, tais quais: a incompatibilidade entre o produto e aquilo que foi realmente executado; metas físicas desproporcionais às metas financeiras; ações sem finalidade; e a alocação parcial dos custos diretos do produto.
Embora o processo de monitoramento seja realizado em nível gerencial e o PPA em nível estratégico, ambos estão intimamente ligados por suas metas físicas, financeiras e por seus objetivos. Os Objetos de Execução (OE) terão os mesmos atributos da ação orçamentária monitorada, acrescidos novos atributos não orçamentários que permitirão o monitoramento e o gerenciamento dos bens e serviços. Mesmo a programação financeira e física dos Objetos de Execução deve se restringir aos limites previstos nas ações orçamentárias do plano. Portanto, uma ação orçamentária que possua 5 milhões de reais previstos para os quatros anos do plano (independentemente da fonte de recurso) permitirá a programação de inúmeros Objetos de Execução até que toda a meta física ou financeira seja consumida. Apesar de o PPA possuir duração de quatro anos, não é necessário que o monitoramento seja limitado ao mesmo período, pois uma grande obra muitas vezes não se limita a esse prazo. Portanto, os Objetos de Execução poderão ser planejados para anos superiores ao limite do plano vigente, e trarão consigo, para esses anos excedentes ao plano, os mesmos atributos da ação que os desenvolve. Assim, esses objetos servirão como norte para a programação do plano e para o orçamento subsequente.
Devido ao fato de possuir uma visão estratégica e multissetorial, o PPA, para ser monitorado, requer reflexões sobre a linguagem em que é formulado, pois uma ação pode abarcar inúmeros bens ou serviços em sua taxonomia, objetivo e descrição. O desdobramento do produto da ação em objetos de execução visa também minorar a complexidade das ações orçamentárias (projetos e atividades), pois, para que uma ação seja passível de ser monitorada, sua nomenclatura, descrição e meta devem responder às seguintes perguntas: "O que será realizado ou qual serviço será ofertado?" e "Onde será feito ou para qual público-alvo?".
Como exemplo pode-se citar o programa de "610 - Educação Básica" do PPA 2012-15 do Governo de Santa Catarina, que possui a ação orçamentária "11490 - Construção, ampliação ou reforma de unidades escolares - rede física - educação básica". Pelo fato de essa ação orçamentária abarcar, em seu arcabouço, três serviços (a saber: construção, ampliação e reforma), seu monitoramento por meio da ação orçamentária fica inviabilizado. Se em tal ação o estado informar que atendeu 30 unidades escolares e para isso gastou 45 milhões de reais, esses dados em nada contribuirão para um monitoramento eficiente.
No entanto, ao programar os Objetos de Execução, além de sanar a problemática de linguagem do plano, recupera-se o foco para os reais bens e serviços gerados (produto final) sem perder sua vinculação com a ação do PPA e LOA, conforme evidencia-se na tabela 2.
Uma ação que não seja passível de ser monitorada por meio de Objetos de Execução indica a necessidade de revisar os atributos da ação orçamentária durante o processo de revisão do PPA e da LOA. No entanto, não basta apenas programar: é necessário também monitorar sua execução. Como, porém, fazê-lo?
De acordo com o modelo desenvolvido, a execução de um Objeto de Execução ocorre em duas dimensões: a física e a financeira. A realização financeira dar-se-á por meio da vinculação dos empenhos realizados na ação ao Objeto de Execução correspondente. Nesse ponto, vale ressaltar que a associação das notas de empenho não é uma tarefa simples. Ela requer a integração entre as áreas de planejamento e financeiro, porque uma ação pode abranger vários bens ou serviços - consequentemente, vários Objetos de Execução e várias notas de empenhos em uma única ação orçamentária. Esses fatores podem gerar dificuldades na alocação das notas de empenho aos bens e serviços corretos. Principalmente para os serviços, as notas de empenho podem atender a mais de um Objeto de Execução, mesmo tratando-se de custos diretos, como ocorre em uma contratação de árbitros para a realização de eventos esportivos. Nesses casos, o empenho gerado é um empenho global que atende aos jogos escolares e aos jogos da terceira idade, ainda que sejam realizadas notas de liquidação distintas para cada evento. Por isso, em tais situações, a alocação dos custos realizados aos Objetos de Execução será por meio da alocação da nota de liquidação.
Ressalta-se que, para efeito do monitoramento financeiro dos Objetos de Execução, deve-se considerar a liquidação como fator gerador da execução financeira, dado que a fase da despesa e do pagamento está, em muitos casos, distanciada da realização do bem ou do serviço (principalmente quando se tratar de notas de empenhos inscritas em restos a pagar não processados).
Já os custos indiretos - como contabilidade, administrativo e demais despesas básicas (água, luz, energia etc.) - estarão alocados em ações específicas (inicialmente não monitoradas) do plano e orçamento, e, por meio de um sistema de custos, serão realocados aos Objetos de Execução. Uma variante mais em linha com a abordagem proposta é a composição de custos baseada na atividade (Activity Based Costing - ABC).
Tendo em vista que os Objetos de Execução podem ser atividades ou projetos, conforme a ação orçamentária, a realização física dos Objetos de Execução, de acordo com a tabela 3, será informada de duas maneiras diferentes: em unidade de medida no primeiro caso (atividade) e em percentual de execução no segundo (projeto). Projetos geralmente são caracterizados por obras ou projetos específicos com início e fim preestabelecidos, e, portanto, serão monitorados em percentuais de 0% a 100%. Já as atividades são caracterizadas geralmente pela prestação de serviços continuados e, por isso, serão monitoradas pela quantidade física realizada, por exemplo: pessoas atendidas, assistência técnica realizada, bolsa de ensino concedida etc. As informações físicas devem ser geradas pela área finalística responsável por operacionalizar o referido Objeto de Execução.
Vê-se que a realização financeira representa uma parcela da meta financeira da ação e a realização física corresponde a uma parcela da meta física do produto programado na ação, que poderão atingir ou não as metas programadas pelo PPA. Além do monitoramento físico e financeiro dos Objetos de Execução, deve-se prever também o monitoramento das contingências que podem surgir durante a execução. O gerenciamento das contingências tem grande relevância para o processo de monitoramento, pois por meio dele é possível identificar os gargalos existentes e as possíveis soluções que podem, inclusive, ser reaplicadas a casos similares.
Para garantir a tempestividade das informações, o Governo de Estado de Santa Catarina vinculou a certificação da despesa ao processo de monitoramento das ações orçamentárias. Isso significa que as ações orçamentárias em processo de monitoramento só poderão realizar a liquidação das despesas mediante a atualização física e financeira dos Objetos de Execução de acordo com a periodicidade previamente estabelecida: mensal, bimestral, trimestral, semestral e até anual, dependendo da especificidade do bem ou serviço.
Já a ferramenta para a operacionalização do processo de monitoramento, de acordo com o modelo desenvolvido, deve compor o mesmo sistema informatizado e integrado pelo qual é gerenciado o processo de elaboração do PPA, a LDO, a LOA, a execução orçamentária e financeira, facilitando assim a migração de informações orçamentárias e financeiras para compor o monitoramento da prestação dos bens e serviços por meio dos Objetos de Execução.
Todas as instâncias de governo devem estar comprometidas com o processo de monitoramento, com vistas à correção dos programas em curso e para a reorientação da estratégia de médio e longo prazo. Somente assim o processo de monitoramento terá condições de subsidiar a avaliação dos programas e políticas públicas contemplados no plano, possibilitando ao gestor analisar a relação de causa e efeito entre a evolução dos indicadores socioeconômicos e a atuação governamental (os bens e serviços).
5. Conclusões
O interesse governamental no processo de monitoramento e avaliação dos programas e das políticas públicas está diretamente relacionado à preocupação com a eficácia, a eficiência, a efetividade e a accountability de suas ações. O monitoramento e a avaliação podem propiciar aos gestores públicos informações sobre a qualidade de seu trabalho, bem como revelar os resultados (de acordo com o que foi planejado) à sociedade e ao Poder Legislativo.
A partir da análise das experiências internacionais ocorridas nos Estados Unidos, no Canadá, na Grã-Bretanha, na Alemanha, na Suécia e nos Países Baixos, pode-se concluir que o principal interesse do processo de avaliação são os resultados finalísticos, a eficiência orçamentária, a alocação dos recursos orçamentários e o replanejamento dos programas governamentais de modo a atingir as metas e os objetivos estrategicamente programados. Essas são algumas das respostas que o processo de monitoramento e avaliação pode oferecer como subsídio aos gestores públicos para a tomada de decisão. A análise dos casos internacionais revela que são necessários alguns avanços no processo de avaliação em todas as esferas governamentais, o que, em princípio, é algo natural em um processo tão recente.
Um dos principais ajustes a ser feito é a necessidade de aproximar os processos de monitoramento e de avaliação a outros níveis do ciclo de planejamento e gerenciamento, especialmente no que se refere à alocação de recursos orçamentários e ao processo de tomada de decisão dos gerentes públicos. Nesse sentido, observa-se que a avaliação dos programas governamentais sem um efetivo processo de monitoramento das ações e seus respectivos produtos (bens e serviços) não permite aos gestores públicos intervir no programa durante sua execução com o mote de reprogramar as ações para atingir as metas propostas. Para apoiar esse objetivo, foram propostos o monitoramento e a avaliação dos produtos das ações orçamentárias, que possibilitam aos avaliadores de programas e políticas públicas relacionar o nível operacional (bens e serviços) com os impactos alcançados pelos programas e políticas públicas.
O modelo proposto está alicerçado no produto das ações e dos programas delineados no PPA. Como a execução financeira dos Objetos de Execução derivados do produto da ação ocorre por meio da execução orçamentária e financeira, e como a execução física é gerada a partir de dados informados pelas áreas-fins dos órgãos, o modelo pode ser aplicado aos demais entes da federação - dado que o processo orçamentário é regido por legislação federal que uniformiza os estados e os municípios. Ressalta-se como desafio para o modelo realizar uma vinculação direta entre impactos alcançados por meio dos programas e da estratégia de governo e com os bens e serviços ofertados à sociedade. Mesmo assim, a proposta de monitoramento e avaliação abre um caminho que possibilita acompanhar as metas físicas e financeiras propostas no PPA em um formato que não exige um grau elevado de detalhamento dos instrumentos de planejamento, evitando os remanejamentos orçamentários durante os exercícios financeiros.
Uma das dificuldades encontradas na experiência em curso no estado de Santa Catarina diz respeito à confiabilidade das informações físicas dos Objetos de Execução. Isso porque, diferentemente da execução orçamentária e financeira, que está diretamente ligada ao processo orçamentário (empenhar, liquidar e pagar), a execução física é gerada manualmente pelas áreas-fins responsáveis pela prestação do bem ou serviço. Essas áreas, amiúde, devido ao receio de estarem sendo monitoradas, acabam manipulando as informações físicas a fim de parecerem mais eficientes e eficazes.
Quando se trata do processo de monitorar e avaliar, o capital humano passa a ser uma das principais restrições. Carecemos de uma cultura consolidada de monitoramento e avaliação nas instituições públicas, e, mesmo quando tal cultura existe, na maior parte das vezes, ela não atua em convergência com os instrumentos constitucionais de planejamento. Apesar das dificuldades e das imperfeições no desenho dos programas e ações, esse esforço pode ser feito para melhorar a aprendizagem organizacional e para fortalecer o conhecimento técnico necessário para a elaboração e a avaliação dos próximos orçamentos e planos. Observa-se assim que, apesar dos esforços e da produção de informações úteis e utilizáveis para fins de revisão e correção dos planos e programas governamentais, o processo de monitoramento e avaliação continua sendo um grande desafio.
Referências
- ABRUCIO, Fernando L. O impacto do modelo gerencial na administração pública Cadernos Enap, Brasília, n. 10, 1997.
- ALONSO, Marcos. Custos nos serviços públicos. Revista do Serviço Público, v. 50, n. 1, p. 37-63, jan./mar. 1999.
- APPOLINÁRIO, Fabio. Dicionário de metodologia científica: um guia para a produção do conhecimento científico. São Paulo: Atlas, 2004.
- BARROS, Aidil J. S.; LEHFELD, Neide A. S. Fundamentos de metodologia: um guia para a iniciação científica. 2. ed. ampl. São Paulo: Makron Books, 2000
- BNDES. Banco Nacional de Desenvolvimento Social. Uma introdução à contabilidade pública de custos. Informe-SF, n. 18, ago. 2000. Disponível em: <Disponível em: http://www.federativo.bndes.gov.br >. Acesso em: 7 fev. 2015s.d.
» http://www.federativo.bndes.gov.br - BRASIL. Constituição da República Federativa do Brasil, de 5 de outubro de 1988. Disponível em: <Disponível em: http://www.planalto.gov.br/ccivil_03/constituicao/constituicaocompilado.htm >. Acesso em: 8 fev. 2015s.d.
» http://www.planalto.gov.br/ccivil_03/constituicao/constituicaocompilado.htm - BRASIL. Lei Complementar no 101, de 4 de maio de 2000. Disponível em: <Disponível em: http://www.planalto.gov.br/ccivil_03/leis/lcp/lcp101.htm >. Acesso em: 8 fev. 20152000 .
» http://www.planalto.gov.br/ccivil_03/leis/lcp/lcp101.htm - BRESSER-PEREIRA, Luiz C. Burocracia pública e reforma gerencial. Revista do Serviço Público de 1937 a 2007, número comemorativo dos 70 anos, p. 29-48, 2007.
- BRESSER-PEREIRA, Luiz C. Da administração pública burocrática à gerencial. In: BRESSER-PEREIRA, Luiz C.; SPINK, Peter K. (Org.). Reforma do Estado e administração pública gerencial. 7. ed. Rio de Janeiro: FGV, 2006.
- COSTA, Frederico L.; CASTANHAR, José C. Avaliação de programas públicos: desafios conceituais e metodológicos. Rev. Adm. Pública, v. 37, n. 5, p. 969-992, set./out. 2003.
- DERLIEN, Hans-Ulrich. Una comparación internacional en la evaluación de las políticas públicas. Revista do Serviço Público, v. 52, n. 1, p. 105-124, jan./mar. 2001.
- DIAMOND, Jack. Do orçamento por programas para o orçamento de desempenho: o desafio para economias de mercado emergentes. In: GIACOMONI, James; PAGNUSSAT, José L. (Org.). Planejamento e orçamento governamental. Brasília: Enap, 2007. v. 2, p. 91-125.
- GIACOMONI, James. O orçamento público 15. ed. rev. e ampl., São Paulo: Atlas 2010.
- GIL, Antonio C. Como elaborar projetos de pesquisa. São Paulo: Atlas, 1991.
- GODOI, Christiane K.; BANDEIRA-DE-MELO, Rodrigo; SILVA, Anielson B. Pesquisa qualitativa em estudos organizacionais: paradigmas, estratégias e métodos. São Paulo: Saraiva, 2006.
- JANNUZZI, Paulo M. Avaliação de programas sociais no Brasil: repensando práticas e metodologias das pesquisas avaliativas. Planejamento e Políticas Públicas, v. 16, n. 36, p. 251-275, jan./jul. 2011.
- MARK, Melvin M.; HENRY, Gary T.; JULNES, George. Evaluation: an integrated framework for understanding, guiding, and improving policies and programs. San Francisco: Jossey-Bass, 2000.
- MAUSS, Cézar V.; SOUZA, Marcos A. Gestão de custos aplicada ao setor público: modelo para mensuração e análise da eficiência e eficácia governamental. 1. ed. São Paulo: Atlas, 2008.
- PATTON, Michael Q. Utilization-focused evaluation. 4. ed. California: Sage Publications, Inc., 2008.
- SANTA CATARINA. Lei Ordinária no 15.722, de 22 de dezembro de 2011. Disponível em: <Disponível em: http://www.sef.sc.gov.br/servicos-orientacoes/dior/plano-plurianual-ppa >. Acesso em: 1o fev. 2015s.d.
» http://www.sef.sc.gov.br/servicos-orientacoes/dior/plano-plurianual-ppa - SCHICK, Allen. The metamorphoses of performance budgeting. , v. 13, n. 2, p. 49-79, 2014.
- SELLTIZ, Claire et al. Métodos de pesquisa nas relações sociais. São Paulo: Herder, 1967.
- SERPA, Selma M. H. C. Para que avaliar? Identificando a tipologia, os propósitos e a utilização das avaliações de programas governamentais no Brasil. Dissertação (mestrado) - Universidade de Brasília, Brasília, 2010.
- TRIBUNAL DE CONTAS DO ESTADO. Parecer prévio sobre as contas do Governo do Estado 2012. Florianópolis: TCE, 2013. Disponível em: <Disponível em: http://www.tce.sc.gov.br/acom/arquivo/publicacao?tid_tipo=55 >. Acesso em: 10 fev. 2015s.d.
» http://www.tce.sc.gov.br/acom/arquivo/publicacao?tid_tipo=55 - WEISS, Carol H. Evaluation. 2. ed. Upper Saddle River: Prentice-Hall, Inc., 1998.
- WHOLEY, Joseph S.; HATRY, Harry P.; NEWCOMER, Kathryn E. Handbook of practical program evaluation. 3. ed Hoboken: John Wiley & Sons, 2010.
-
1
Guilherme Kraus dos Santos é mestrando em administração na Universidade do Estado de Santa Catarina (Udesc). E-mail: guilhermekrausdossantos@gmail.com.
-
2
Fabiano Maury Raupp é doutor em administração e professor da Universidade do Estado de Santa Catarina (Udesc). E-mail: fabianoraupp@hotmail.com.
Datas de Publicação
-
Publicação nesta coleção
Nov-Dec 2015
Histórico
-
Recebido
16 Set 2014 -
Aceito
28 Maio 2015