Avaliação de resultados e impactos da pesquisa e desenvolvimento: avanços e desafios metodológicos a partir de estudo de caso

Evaluation of R&D results and impacts: methodological improvements and challenges based on a case study

Avaliação de resultados e impactos da pesquisa e desenvolvimento – avanços e desafios metodológicos a partir de estudo de caso

Evaluation of R&D results and impacts – methodological improvements and challenges based on a case study

André Tosi Furtado; Adriana Bin; Maria Beatriz Machado Bonacelli; Sônia Regina Paulino; Maria Augusta Miglino; Paula Felício Drummond de Castro

Departamento de Política Científica e Tecnológica – DPCT, Instituto de Geociências, Universidade Estadual de Campinas, CP 6152, CEP 13083-970, Campinas, São Paulo, SP, Brasil,e-mails: [e-mail]; [e-mail]; [e-mail]; [e-mail]; [e-mail]; [e-mail]

RESUMO

O presente artigo apresenta e discute o trabalho de aperfeiçoamento e adaptação de uma metodologia de avaliação de resultados e impactos de programas de pesquisa e sua aplicação para o Programa de Pesquisas em Saneamento Básico (PROSAB), apoiado pela Financiadora de Estudos e Projetos (FINEP). O PROSAB é executado principalmente por universidades e tem como objetivo atender a demandas tecnológicas da sociedade brasileira na área de saneamento. O estudo concentra-se tanto na discussão sobre a importância da avaliação de programas de pesquisa quanto na criação de uma metodologia capaz de capturar os aspectos inerentes que resultam dos referidos programas. O estudo foi desenvolvido em duas vertentes: avaliação de resultados, que se concentrou na mensuração dos inputs e outputs do programa, e avaliação de impactos, que se baseou na mensuração da intensidade e importância das transformações potenciais ou percebidas na sociedade brasileira em decorrência do programa. A avaliação de resultados foi focada nos executores do programa (pesquisadores do PROSAB), sendo o projeto de pesquisa a unidade de referência para a análise. Já a avaliação de impactos teve como abrangência o conjunto de atores relacionados ao setor de saneamento no Brasil, incluindo aqueles relacionados à política, gestão, regulação e legislação, a comunidade científica e as companhias de saneamento. Neste caso, a unidade de análise foi o próprio programa.

Palavras-chave: Avaliação de resultados. Avaliação de impactos. Programa de pesquisa. Saneamento básico. Demandas sociais.

ABSTRACT

This paper discusses efforts to improve and adapt a method of evaluation of results and impacts of research programs and its application to the PROSAB program (Basic Sanitation Research Program) sponsored by FINEP, Brazil's federal agency for financing studies and projects. The PROSAB program is executed mainly by universities, although its purpose is to meet the technological needs of Brazilian society in the area of sanitation. The study concentrates on the discussion of the importance of evaluating research programs and on the creation of a methodology that can capture the inherent aspects resulting from those programs. The study was developed along two lines: evaluation of results, which concentrated on measuring the program's inputs and outputs; and evaluation of impacts, which was based on measurements of the intensity and importance of potential or perceived transformations in Brazilian society as a result of the program. The evaluation of results focused on the people executing the program (PROSAB researchers), and the unit of reference for the analysis was the research project. The evaluation of impacts encompassed the entire set of actors related to Brazil's sanitation sector, comprising the research community, sanitation companies, public actors at local and federal levels, and the unit of analysis was the program itself.

Keywords: Result evaluation. Impact evaluation. Research program. Sanitation. Social needs.

1 Introdução

A avaliação de resultados e impactos da pesquisa é um tema central na área de política e gestão de ciência, tecnologia e inovação. Independente dos objetos selecionados (linhas de pesquisa, tecnologias, projetos e programas) ou dos objetivos e métodos utilizados, os produtos obtidos em exercícios de avaliação, assim como a condução de tais exercícios, são fundamentais para o aprendizado coletivo dos atores envolvidos com a pesquisa ora em avaliação, assim como para a tomada de decisões relacionadas ao planejamento e gestão de tais esforços.

Segundo Zackiewicz (2005), com o questionamento, a partir das décadas de 60 e 70, do modelo linear de inovação disseminado no pós 2ª Guerra, novas formas de avaliação da pesquisa somaram-se às formas já existentes, geralmente voltadas para mensuração de desempenho e qualidade, tais como a bibliometria e a avaliação pelos pares (HARNAD, 1982; VELHO, 1992; VAN RAAN, 1996). Os objetivos que passaram a sustentar os novos métodos de avaliação, de acordo com Zackiewicz (2005), foram os de accountability - avaliação da eficiência no uso de recursos e eficácia na realização dos resultados planejados, e assessment - avaliação dos impactos de inovações tecnológicas sobre a sociedade e o meio ambiente. Mais recentemente, sob a ótica de uma nova institucionalidade para atividades de pesquisa - cada vez mais caracterizadas por uma lógica coletiva, embasada em redes e sistemas (CALLON, 1992; LUNDVALL, 1992; NELSON, 1993) - novas relações entre mudança social e mudanças científicas e tecnológicas passaram a ganhar espaço nos exercícios de avaliação, assim como também ganhou espaço a necessidade de ampliar a participação de distintos atores relacionados ao universo avaliado em tais exercícios.

Observa-se, nesse sentido, que a avaliação da pesquisa se desenvolveu substancialmente a partir da crise do paradigma positivista e da emergência de um questionamento sobre o papel da contribuição da ciência e da tecnologia para o desenvolvimento econômico e social. No lugar de constituir-se apenas como um processo interno (bibliometria e avaliação pelos pares), a avaliação passou a considerar, crescentemente, a necessidade de ampliar a compreensão de decisores e políticos envolvidos com a gestão das atividades de pesquisa (GEORGIOU; ROESSNER, 2000) e também da sociedade afetada pelos resultados e impactos dessas atividades.

Pode-se afirmar, portanto, que na medida em que se reorganizam os sistemas de pesquisa em nível mundial, redefinem-se conjuntamente seus processos de avaliação. A criação de grandes programas nacionais de pesquisa e desenvolvimento (P&D), de cunho militar e civil - momento em que a ação pública em C&T assume determinadas finalidades tecnológicas - é, por conseguinte, um marco nas formas de avaliar a pesquisa, já que inaugura um novo objeto, em geral bem mais complexo que os anteriores, tanto do ponto de vista de suas dimensões, escopo e interações, como também por ser alvo de um emprego muito mais substancial de recursos por parte do Estado.

Contudo, a avaliação de programas de P&D (sejam eles públicos ou privados) é ainda uma área pouco abordada por estudos acadêmicos no âmbito mundial: não existe um consenso sobre o entendimento desse objeto de estudo e tampouco se configura uma tradição de pesquisas que consolide abordagens e metodologias específicas (OECD, 1999; HONG; BONDEN, 2003; WORTHEN et al., 2004; LINK; SCOTT, 2005). A avaliação de programas de P&D é ainda constituída por um conjunto de práticas que se apóiam em metodologias diversas e que atendem, muitas vezes, a finalidades de gerentes ou coordenadores dos programas a fim de legitimá-los frente a instâncias superiores - da organização onde a pesquisa desenvolve-se, do governo (no caso de programas públicos) ou até mesmo frente à sociedade (COZZENS, 2000).

Entende-se, todavia, que independente da metodologia empregada, a avaliação de programas de pesquisa pressupõe, obviamente, a consideração das diferentes motivações que vêm subsidiando os exercícios de avaliação de ciência, tecnologia e inovação nas últimas décadas - especialmente accountability, planejamento e aprendizado - assim como uma compreensão clara não apenas do objeto que se pretende avaliar, como também do contexto no qual tal objeto se insere.

Foi justamente esta diversidade de metodologias e procedimentos associada à condução de exercícios de avaliação de programas de P&D, assim como as motivações mais recentes para o emprego de tais instrumentos, que justificaram o desenvolvimento do presente trabalho, baseado no aperfeiçoamento e adaptação de uma metodologia para a avaliação de programas de pesquisa e na sua aplicação para o caso do Programa de Pesquisas em Saneamento Básico (PROSAB). Cabe ressaltar que a ambição de avaliar este programa, compreendendo as instâncias nas quais foi criado e vem se desenvolvendo, tornou tal iniciativa um grande desafio: trata-se de um programa de pesquisa público, apoiado desde 1996 pela Financiadora de Estudos e Projetos (FINEP) - agência brasileira de fomento à inovação vinculada ao Ministério da Ciência e Tecnologia - e que atua em um setor de grande relevância social no país. Não apenas trata-se de um objeto de avaliação complexo, em termos de objetivos, escopo e formato, como também de um objeto inserido em um contexto igualmente complexo.

O PROSAB vem, desde sua criação, desenvolvendo e aperfeiçoando tecnologias em águas de abastecimento, águas residuárias e resíduos sólidos. Fazem parte de seus objetivos as pesquisas que: i) tenham como base a revisão do padrão tecnológico atual, de forma a permitir a ampliação da cobertura dos serviços de saneamento, estabelecendo normas e padrões adequados que reconheçam as particularidades regionais e locais e os diferentes níveis de atendimento à população, preservando ou recuperando o meio ambiente; ii) busquem a difusão e a transferência de tecnologias para o domínio público; e iii) estimulem processos participativos, por meio da formação de redes cooperativas de pesquisas.

O programa tem contado, além do custeio da FINEP, com a concessão de bolsas pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e com o apoio da Caixa Econômica Federal (CEF) para publicações, divulgação e realização de eventos. É gerido pela FINEP com o apoio de um grupo coordenador interinstitucional, constituído por representantes das instituições financiadoras, dos institutos de pesquisas, das universidades, das associações de classe e das companhias de saneamento. Funciona por meio de editais (encontrando-se atualmente em seu quinto edital) que propõem temas diferenciados para cada uma de suas áreas de atuação - água, esgoto, lixo e lodo. A cada edital, são constituídas redes de pesquisa cooperativas em torno de temas prioritários, para as quais são selecionados projetos (por meio da avaliação de consultores ad hoc) submetidos por pesquisadores de todo o Brasil, especialmente advindos de universidades, mas também de institutos de pesquisa e companhias de saneamento.

A busca de transferência dos resultados do programa é promovida através da publicação de livros e manuais com distribuição gratuita para serviços municipais, companhias de saneamento, bibliotecas e escolas de engenharia de todo o país; realização de cursos, ministrados pelos pesquisadores sobre as tecnologias pesquisadas; elaboração de propostas tecnológicas (com descrição datecnologia, protocolo operacional, aspectos de dimensionamento e estimativas de custos); e instalação de unidades de demonstração. Todavia, como serão discutidos mais adiante no artigo, muitos são os problemas associados aos processos de transferência vislumbrados pelo programa.

O trabalho de pesquisa, cujos principais resultados são descritos a seguir, foi realizado entre maio de 2004 e maio de 2005, por demanda da própria FINEP e da coordenação do programa. Contempla, inicialmente, a discussão sobre o aperfeiçoamento e adaptação de uma metodologia para a avaliação de programas de pesquisa e, na seqüência, a apresentação e discussão sobre a aplicação de tal metodologia para o caso do PROSAB. Por fim, são analisados os resultados e impactos do programa obtidos a partir do exercício de avaliação, assim como as derivações dos mesmos para a constituição de recomendações para o gerenciamento do programa.

2 Metodologia de avaliação de resultados e impactos de programas tecnológicos

Um dos principais desafios da avaliação de programas tecnológicos consiste em abarcar os seus efeitos sistêmicos e de longo prazo. As metodologias existentes se apóiam na captação dos desdobramentos da pesquisa tecnológica a partir de seus projetos, que constituem as unidades básicas que formam um programa (GEORGIOU; ROESSNER, 2000). No entanto, abordar os efeitos de um programa a partir desses elementos implica em perder os complexos desdobramentos que decorrem da interação entre os projetos e da interação do programa com o sistema sócio-econômico em nível macro.

Buscando atender a esse desafio, a metodologia empregada para a avaliação do PROSAB foi baseada em duas vertentes integradas: avaliação de resultados e de impactos. A avaliação de resultados adotou uma perspectiva ex-post e partiu de uma abordagem micro, sendo dirigida a mensurar inputs e outputs dos projetos de pesquisa que constituem as redes de cada um dos temas em cada um dos editais. Para tal, foi elaborado um conjunto de indicadores quantitativos e qualitativos para mensurar os projetos, assim como as relações de causalidade entre os resultados alcançados por eles e o programa. Já a avaliação de impactos baseou-se em uma abordagem macro, considerando os desdobramentos mais amplos do programa, captados por um conjunto muito mais extenso de atores envolvidos com o setor de saneamento no Brasil (FURTADO et al., 2005).

A escolha destas duas vertentes baseou-se na análise de experiências recentes de avaliação de programas de pesquisa (OECD, 1999; HONG; BONDEN, 2003; WORTHEN et al., 2004; LINK; SCOTT, 2005); já a seleção dos métodos a serem aperfeiçoados e adaptados foi fundamentada em experiências recentes da equipe responsável pela avaliação (FURTADO et al., 2002; FURTADO et al., 2003; BONACELLI et al., 2003; ZACKIEWICZ, 2005).

A avaliação de resultados buscou apreender o processo de inovação através da percepção dos atores nele diretamente envolvidos, por meio do levantamento de um conjunto extenso de indicadores de insumos e de resultados. Com o intuito de captar um conjunto mais amplo de transformações derivadas das atividades de pesquisa, de forma mais sistêmica do que o modelo linear considera, a avaliação de resultados buscou apoio no modelo conceitual da metodologia do Bureau d'Economie Théorique et Appliquée (BETA) (BACH et al., 1992; BACH et al., 1995), baseando-se em um estudo anterior de avaliação do Programa de Desenvolvimento Científico e Tecnológico PADCT-III (FURTADO et al., 2002). A metodologia do BETA considera dois tipos principais de resultados de programas de P&D: (1) os relacionados diretamente aos objetivos do programa e (2) os decorrentes dos processos de aprendizagem delineados por meio da sedimentação de competências, que podem ser considerados indiretos. Estes resultados, assim como demais aspectos do processo de inovação, foram contemplados nesta vertente da avaliação por meio de um conjunto extenso de indicadores de produtos e indicadores estruturais, detalhados a seguir.

O principal instrumento de coleta de informações para a avaliação de resultados foi um questionário dirigido aos coordenadores de projetos do PROSAB em seus três primeiros editais (cujas chamadas ocorreram respectivamente em 1996, 2000 e 2003, e que representam um total de 71 projetos) nos quais são levantados 3 tipos de indicadores de natureza quantitativa e qualitativa, a saber: indicadores de insumos, de produtos e estruturais.

A separação entre critérios quantitativos e qualitativos empregados em avaliações de resultados, muito freqüente na literatura, pode ser enganosa e limitante. Na verdade, não há verdadeira oposição entre métodos quantitativos e qualitativos porque essas dimensões se integram e se complementam muito bem desde que exista por trás um modelo teórico consistente (ROESSNER, 2000). Com base em diversas abordagens, inclusive a do BETA e aquelas empregadas em trabalhos anteriores, buscou-se associar critérios quantitativos e qualitativos em indicadores compostos.

Os indicadores de insumos referem-se aos recursos financeiros e humanos alocados nos projetos. Os indicadores de produtos contemplam a produção científica, a produção tecnológica direta e indireta e a transferência de tecnologia. Já os indicadores estruturais incluem a formação de infra-estrutura, de capital humano, de redes, de novos projetos e mudanças organizacionais. Contempla-se ainda, na composição dos indicadores de produtos e indicadores estruturais, um fator de causalidade. O fator de causalidade mensura a relação entre os produtos obtidos e as transformações estruturais decorrentes dos projetos de pesquisa e o programa avaliado, ou seja, mensura a contribuição do programa para o alcance destes resultados.

Contudo, além da percepção dos atores diretamente envolvidos no processo de inovação, foram consideradas também as percepções dos atores indiretamente envolvidos neste processo, imersos no universo de apropriação social das tecnologias desenvolvidas no programa. Nesta perspectiva, a avaliação do programa se processa em um nível macro. Para alcançar este objetivo, foi utilizado o método multidimensional de avaliação de impactos (MDM) que considera: i) a possibilidade de congregar, simultaneamente, diferentes dimensões da avaliação, preservando, entretanto, suas características particulares dentro de um mesmo marco metodológico; ii) o envolvimento de atores direta ou indiretamente relacionados com o objeto da avaliação e que percebem os impactos de forma heterogênea, dadas as suas situações particulares; e iii) a não dissociação entre o contexto objetivo no qual os impactos se manifestam e o contexto subjetivo dos atores impactados. O MDM foi desenvolvido entre 2000 e 2003 no âmbito de um projeto de pesquisa financiado pela Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) e pela FINEP (FURTADO et al., 2003; ZACKIEWICZ, 2005).

A unidade de análise da avaliação de impactos consistiu no programa - o PROSAB. Neste nível, a avaliação buscou captar o impacto global do programa a partir da perspectiva dos atores relevantes do setor de saneamento no Brasil. A perspectiva temporal da avaliação de impactos abrangeu não apenas os impactos ocorridos, mas também os impactos potenciais. As dimensões escolhidas para a realização da avaliação de impactos do PROSAB correspondem às diversas leituras temporais possíveis aplicadas a um programa cujos impactos ainda estão se difundindo no sistema sócio-produtivo brasileiro e que mobiliza diversas atividades e recursos nos processos de inovação por ele engendrados. São elas:

a) adoção e difusão das tecnologias pesquisadas pelo a) PROSAB: impactos em termos de alcance geográfico de aplicação das tecnologias (produtos e processos) aperfeiçoadas ou desenvolvidas pelo PROSAB;

b) potencial das tecnologias pesquisadas pelo PROSAB: b) impactos das tecnologias (produtos e processos), aperfeiçoadas ou desenvolvidas pelo PROSAB, em seus aspectos sócio-ambientais, sócio-econômicos e de adequação em termos de escala, condições locais e operacionalidade. Para mensurar tais impactos, considerou-se uma situação real ou hipotética futura, na qual as tecnologias foram ou serão adotadas e difundidas e as demais condições favoreçam os impactos positivos das tecnologias. As respostas foram orientadas tendo como referência de comparação as tecnologias utilizadas ou disponíveis no mercado com a mesma finalidade que as tecnologias aperfeiçoadas ou desenvolvidas pelo PROSAB; e

c) condições para inovação criadas pelo PROSABc) : impactos na criação de condições favoráveis para inovações no setor de saneamento, entendidas como desenvolvimento, adoção e difusão de novas tecnologias (produtos ou processos novos ou melhorados), em decorrência do PROSAB. Para mensurar tal impacto considerou-se o PROSAB não apenas sob a perspectiva das tecnologias desenvolvidas e aperfeiçoadas, mas pelas demais ações relacionadas direta e indiretamente no programa - capacitação dos usuários (engenheiros, técnicos, projetistas, pesquisadores e operadores das empresas de engenharia, consultorias, companhias de saneamento e prefeituras, entre outros), interação entre usuários e pesquisadores, divulgação de informações, mecanismos de financiamento e alteração da legislação. As respostas foram orientadas tendo como referência a comparação entre a situação no Brasil em meados da década de 90 e a situação no momento da avaliação.

De acordo com o MDM, cada uma das dimensões é representada por meio de uma estrutura hierárquica de componentes (a estrutura de impactos), que se constitui no elemento organizador e mediador das informações e juízos necessários para a avaliação de impactos. Por exemplo, o impacto sobre o Potencial das Tecnologias pesquisadas pelo PROSAB decorre de seus impactos sócio-ambientais, sócio-econômicos e de adequação em termos de escala, condições locais e operacionalidade. Os impactos sócio-ambientais, por sua vez, decorrem de impactos sobre a conservação dos recursos naturais, uso de recursos e insumos, parâmetros técnicos de referência para produtos e processos e saúde ocupacional. Cada um desses componentes pode ser novamente descrito em outro conjunto de componentes e assim por diante até um limite finito, de modo que se forme toda a hierarquia ramificada da estrutura de impactos. O nível mais desagregado da hierarquia corresponde a seus componentes básicos, identificados como impactos a serem mensurados no campo por meio de questões específicas.

A variação derivada da alteração esperada ou ocorrida no componente básico resulta na medida de impacto I, dada no intervalo [–1,1] (do máximo impacto negativo ao máximo impacto positivo). A escolha dos valores representativos de impacto em cada um desses componentes baseia-se no grau de coesão das respostas, dado no intervalo [0,1] (da ausência de coesão à coesão forte). Para fins de análise, consideram-se como altos os graus de coesão entre 0,75 e 1. A partir do impacto em cada componente básico, são derivados os impactos dos componentes nos níveis superiores da hierarquia (somatório ponderado do produto do impacto no componente pelo peso no componente) até que se obtenha o impacto na dimensão.

Após a escolha das dimensões e da construção das estruturas de impacto e dos questionários, procedeu-se à escolha dos participantes da avaliação e à condução do exercício. Foram selecionados representantes de atores envolvidos no setor de saneamento no Brasil, incluindo aqueles envolvidos com as atividades de P&D nessa área e, particularmente, aqueles envolvidos no PROSAB, organizados pelas seguintes categorias: i) política e gestão (incluindo Ministério das Cidades, Ministério do Meio Ambiente, Ministério da Saúde, Agência Nacional das Águas - ANA, Agência Nacional de Vigilância Sanitária - ANVISA, comitês de bacias federais); ii) regulação e legislação (incluindo órgãos de licenciamento ambiental e o Conselho Nacional do Meio Ambiente - CONAMA); e iii) prestação de serviços (incluindo departamentos de limpeza urbana - DLU, Departamento de Água e Esgoto - DAE, companhias de saneamento municipais, estaduais e privadas); iv) empresas privadas (incluindo empresas de limpeza urbana e consultorias em saneamento); v) pesquisadores (consultores e pesquisadores do PROSAB, pesquisadores da área de saneamento não participantes do PROSAB e Comitê Gestor do CT-Hidro); e vi) coordenação do PROSAB.

O convite para o preenchimento do questionário on line foi enviado a um vasto conjunto de representantes das categorias selecionadas (em um total de 360 representantes). Destaca-se ainda, que a construção das estruturas de impacto e dos questionários de avaliação contou com a colaboração de especialistas da área de saneamento (por meio de workshops organizados com este fim), sendo operacionalizada com a base formal do software Impactos.

3 Avaliação de resultados

O PROSAB é um programa de pesquisa brasileiro voltado para o desenvolvimento e o aperfeiçoamento de tecnologias de amplo impacto social no campo do tratamento de águas de abastecimento, resíduos líquidos e sólidos. Em seus 3 primeiros editais (cujas chamadas ocorreram respectivamente em 1996, 2000 e 2003 e que representam um total de 71 projetos), o programa teve um investimento total de 19,57 milhões de reais. A FINEP foi responsável por metade desses recursos, que foram aplicados no custeio e no gasto de equipamentos dos projetos; já o CNPq responsabilizou-se por 40% desses recursos, que foram destinados unicamente para o pagamento de recursos humanos na forma de bolsas.

A avaliação de resultados se apoiou em uma amostra representativa desses 3 primeiros editais do PROSAB (33 dos 71 projetos), representando uma taxa de resposta de 46,5% em número e 48,5% do montante total de recursos destinados pela FINEP aos projetos, tendo uma boa cobertura nas quatro áreas de atuação do programa: água, esgoto, lixo e lodo.

Segue o detalhamento dos resultados alcançados nesta etapa da avaliação, considerando o agregado dos indicadores de insumos, de produtos e estruturais obtidos por projeto, durante o intervalo de 1996 (início do 1º edital) e 2004 (momento da avaliação).

3.1 Indicadores de insumos

Os indicadores de insumos buscaram medir os esforços realizados pelo programa por projeto, considerando basicamente recursos financeiros e humanos (Tabela 1).

Os recursos financeiros alocados pela FINEP e o coeficiente de contrapartida financeira variaram bastante entre as áreas, mostrando uma distribuição desequilibrada dos recursos e capacidades distintas na mobilização externa de recursos. O PROSAB como um todo demonstrou uma limitada propensão em obter recursos externos, que pode ser atribuída tanto à falta de uma estratégia explícita por parte do programa para este fim, como à falta de institucionalização da área de saneamento nos órgãos de fomento brasileiros.

Embora na amostra a área de água tenha obtido um maior montante de recursos da FINEP, esta realidade não se confirma quando se analisa a distribuição das bolsas de distintas categorias. Nota-se que a área de esgoto obteve 4,9 bolsas por projeto, sendo seguida pela área de lodo, de lixo e pela área de água. Ou seja, a distribuição de recursos em bolsas por projeto é inversamente proporcional à distribuição de recursos da FINEP por projeto.

Os recursos humanos comprometidos com os projetos, medidos em equivalente tempo integral (40 horas porsemana e 24 meses), foram maiores na área de esgoto (3,51 pessoas por projeto), a qual também obteve o maior número absoluto de pesquisadores. Foram empregados, em sua maioria, pessoal graduado, seguido de técnicos, graduandos, especialistas, mestres e por fim, doutores.

3.2 Indicadores de produtos

Os indicadores de produtos estão fortemente relacionados aos esforços em termos de alocação de recursos humanos por projetos apresentados anteriormente nos indicadores de insumos. Também entre os distintos indicadores de produtos, observa-se uma estreita correlação. A produção científica do PROSAB parece ter sido o output mais significativo do programa ao longo dos três editais. Não só o volume da produção é bastante expressivo, como sua variedade é também significativa.

Foi possível registrar, para os 33 projetos que integram a amostra, um volume total de 266 publicações (não inclusas as dissertações e teses). A Figura 1 apresenta a distribuição das áreas por tipo de publicação, evidenciando a maior produção científica da área de esgoto. A média do grau de contribuição do programa para essas publicações esteve entre alta e total.

No que se refere à produção tecnológica direta do PROSAB, foram gerados na amostra 56 novos resultados, com destaque para o desenvolvimento de novos processos e metodologias. Destes, 32 foram gerados na área de esgoto e apenas um na área de lixo. O grau de novidade desses resultados variou entre novo para o Brasil e novo para o mundo. Já a contribuição do programa para o alcance dos resultados variou entre alta e total.

Os mais importantes resultados tecnológicos indiretos do PROSAB foram os serviços tecnológicos - especialmente as consultorias, sendo essa uma das principais modalidades de transferência de conhecimentos tecnológicos de pesquisadores do programa para usuários. Em compensação, considera-se apenas o registro de uma patente, advinda da área de lodo (Tabela 2), evidenciando as relações indiretas entre os projetos e seus desdobramentos produtivos. O esgoto foi a área com mais resultados tecnológicos indiretos e maior produtividade por projeto.

A transferência das tecnologias do PROSAB para o setor produtivo (especialmente para empresas de saneamento e prefeituras de municípios brasileiros) era o mais importante objetivo do programa. No entanto, esse programa não criou mecanismos próprios para garantir essa transferência, particularmente pela ausência de estímulos para a participação dos usuários das tecnologias de forma efetiva na elaboração e execução dos projetos, protagonizadas por instituições acadêmicas. Apesar da ausência de mecanismos formais, surpreende o grau de sucesso das tecnologias geradas pelo programa. Destaca-se que dos 15 intentos que chegaram alcançar a implantação em escala real (a partir dos 33 projetos da amostra), 8 tiveram o envolvimento das empresas de saneamento durante o projeto (Tabela 3).

No que concerne à população alcançada, a área de lodo posiciona-se em primeiro lugar, abrangendo um número destacável de usuários, o que pode ser explicado, em grande medida, pelo envolvimento direto de uma companhia estadual de saneamento do estado do Paraná, a SANEPAR, nos projetos da área.

Sobre os obstáculos à transferência de tecnologia, destaca-se fortemente o aspecto financeiro, dada a dependência de pesados investimentos em infra-estrutura para a difusão tecnológica na área de saneamento. Além do aspecto financeiro, destacam-se obstáculos políticos e institucionais, nos quais se deve incluir a falta de colaboração com as empresas de saneamento na elaboração e execução dos projetos. As próprias universidades, pelo que as respostas indicam, não dão apoio aos pesquisadores para facilitar o processo de transferência de tecnologia. Por outro lado, as entidades governamentais atuantes na área não incentivam essa transferência e chegam até, em muitos casos, a criar obstáculos.

3.3 Indicadores estruturais

O indicador estrutural tem por função revelar as transformações qualitativas nas organizações, tais como a formação de redes de pesquisa e de capacitações em função do desenvolvimento de projetos de pesquisa. Esse tipo de indicador descreve também as alterações que a execução do projeto acarreta para o estoque de ativos (físicos e humanos).

Observa-se que o PROSAB contribuiu fortemente para a formação de infra-estrutura de pesquisa nas universidades onde os projetos foram executados (12 novos laboratórios e 32 melhoramentos nos laboratórios existentes). A formação de recursos humanos e a incorporação desses recursos nas universidades onde os projetos se desenvolveram constituíram-se também importantes resultados. Novamente, é a área de esgoto que ocupa o primeiro lugar na amostra, sendo responsável por quase a metade das titulações (75 de 139) em números absolutos e pela maior produtividade (5,36 titulações por projeto). O maior contingente de titulados foi o de mestres (90), sendo 46 relacionados à área de esgoto e apenas 4 à área de lixo. O maior contingente de doutores formados também está ligado à área de esgoto.

No entanto, as áreas demonstraram propensões diferentes para a fixação dos recursos humanos. A área de lixo logrou fixar 5 dos 8 pesquisadores que formou. Em compensação, a área de esgoto fixou apenas 3 dos 75 que formou. Esses dados revelam que, se por um lado a área de esgoto já parece ser mais madura em termos de formação de capital humano, essa área ainda encontra dificuldade para se expandir nas universidades brasileiras.

Os projetos do PROSAB incentivaram fortemente a formação de redes acadêmicas em temas específicos dos editais. Cabe ressaltar que o estímulo a processos participativos, por meio da formação de redes cooperativas de pesquisa, também constitui-se um dos principais objetivos do programa (Tabela 4).

A capacidade do PROSAB de gerar encadeamentos científicos (ao gerarem novos projetos) é pouco significativa. De um total de 14 novos projetos gerados a partir dos projetos da amostra, a área de esgoto foi responsável por 8 deles, enquanto a área de lodo deu origem a 4 e a área de água deu origem a 2 novos projetos, denotando dificuldades dos pesquisadores em encontrar fontes de financiamento alternativas.

Por fim, foi possível identificar 17 ocorrências no que concerne ao indicador de mudança organizacional, englobando novos mecanismos de comercialização e divulgação da tecnologia gerada (2); novos formatos organizacionais ou institucionais para se relacionar com empresas e administração pública (3); oferecimento de novas disciplinas (4); e criação de novas áreas de pesquisa (8).

4 Avaliação de impactos

A avaliação de impactos contou com um retorno de 21% dos representantes convidados (de um total de 360 representantes entre as áreas de i) política e gestão; ii) regulação e legislação; iii) prestação de serviços; iv) empresas privadas; v) pesquisadores; e vi) coordenação do PROSAB), com destaque para pesquisadores e companhias de saneamento. A distribuição das categorias pelos estados brasileiros relevou uma pequena concentração de participantes das regiões sudeste e sul do país. Os argumentos capazes de explicar esse perfil dos respondentes são: i) o papel preponderante que as universidades possuem na pesquisa relacionada à área de saneamento no país (embora não se deva ignorar a existência de P&D, mesmo que em caráter disperso, em entidades prestadoras de serviço), associada à concentração regional da pesquisa no território brasileiro; ii) a região Sudeste, seguida pela região Sul, apresenta os maiores índices de abastecimento de água, esgotamento sanitário e também tratamento de esgoto (PESQUISA NACIONAL DE SANEAMENTO BÁSICO 2000, 2002; ATLAS DE SANEAMENTO, 2004); iii) há concentração de grupos de pesquisa na área de saneamento também nas regiões Sudeste e Sul do país, com maior ênfase nas áreas de esgoto e água frente às áreas de lixo e lodo, embora as últimas apresentem um importante crescimento nos últimos anos (PLATAFORMA LATTES, 2005).

A Figura 2 apresenta os valores de impacto e de coesão da amostra nas três dimensões, mostrando situações bem distintas. Vale lembrar que na metodologia MDM empregada para a avaliação de impactos do PROSAB, o valor de impacto I varia no intervalo [-1,1], do máximo impacto negativo ao máximo impacto positivo, enquanto o valor de coesão varia no intervalo [0,1], da ausência de coesão à coesão forte.

Segue uma breve análise dos impactos do PROSAB em cada uma das três dimensões.

4.1 Adoção e difusão das tecnologias pesquisadas pelo Programa de Pesquisas em Saneamento Básico

O alto impacto sobre a adoção e difusão das tecnologias pesquisadas pelo PROSAB reflete o fato de que, na percepção da maioria dos respondentes, as tecnologias aperfeiçoadas ou desenvolvidas pelo PROSAB vêm sendo adotadas por usuários de todo o país. As diferenças entre as áreas de atuação do programa são mínimas. Observa-se ainda, que a perspectiva dos pesquisadores e das empresas privadas é pouco mais otimista que a visão dos prestadores de serviços, embora, no geral, haja coesão da amostra.

Não se pode ignorar, contudo, a contradição entre o impacto verificado e a realidade da cobertura de prestação de serviços de saneamento no Brasil, muito embora esta verificação indique de fato uma mudança na situação de adoção e difusão das tecnologias do programa. Este contraste levou à suposição de que muitos respondentes refletiram em suas respostas a situação de adoção e difusão tecnológica verificada em sua própria região, sobretudo nas regiões Sul e Sudeste, uma vez que a cobertura de saneamento mostra-se relativamente mais estruturada nestas regiões do país em relação às demais.

4.2 Potencial das tecnologias pesquisadas pelo Programa de Pesquisas em Saneamento Básico

A baixa coesão da amostra na dimensão potencial das tecnologias pesquisadas pelo PROSAB é resultado de perspectivas heterogêneas das distintas categorias de atores consultados. Insinua-se que ao trabalhar inúmeras características tecnológicas em seus aspectos sócio-ambientais, sócio-econômicos e de adequação em termos de escala, condições locais e operacionalidade, a dimensão seja mais susceptível às diferenças que as tecnologias apresentam entre si em uma mesma área e principalmente às diferenças inerentes às áreas.

A despeito da baixa coesão, destacam-se algumas convergências: há impactos positivos significativos em distintos aspectos, relacionados especialmente ao estabelecimento de parâmetros técnicos de referência para produtos e processos - contribuição das pesquisas para a definição de padrões de qualidade, oferecendo subsídios para o estabelecimento ou aperfeiçoamento de parâmetros técnicos que possam orientar a elaboração de normas ou legislação específica - e ao fomento a atividades sócio-econômicas em outros setores a partir da adoção e difusão das tecnologias pesquisadas pelo PROSAB.

A Figura 3 apresenta os impactos sobre os principais componentes do bloco sócio-ambiental por área.

De maneira geral, houve baixos impactos positivos sobre a conservação de recursos naturais e uso de recursos e insumos, o que indica certa lacuna na incorporação dessas premissas no desenvolvimento dos projetos. Comparativamente, a área de lixo teve importante impacto sobre a conservação do solo, enquanto a área de lodo teve impacto sobre aproveitamento e reuso de esgoto e lodo (considerando que o lodo pode derivar do tratamento de esgoto e não apenas do tratamento de água).

Os impactos das tecnologias sobre a saúde ocupacional - referente à proteção da saúde dos trabalhadores e prevenção de acidentes e doenças na operação de unidades de saneamento - não obedeceram a um padrão. As respostas abertas levam a crer nas dificuldades dos participantes em responder sobre esse aspecto ou, ainda, na não consideração desses elementos no desenvolvimento ou aplicação de tecnologias na área de saneamento.

Os impactos sobre o bloco sócio-econômico são apresentados na Figura 4.

Os impactos sobre eficiência econômica apresentam valores baixos ou negativos, sugerindo que os custos de implantação, operação e manutenção das novas tecnologias desenvolvidas ou aperfeiçoadas pelo PROSAB não são inferiores aos das tecnologias dominantes.

Os impactos sobre condições de emprego - geração de empregos diretos e nível técnico requerido da mão-de-obra - também apresentaram valores baixos. A percepção dos participantes da avaliação variou muito, mas é possível distinguir algumas opiniões polarizadas acerca da discussão sobre a relação entre tecnologia e trabalho: parte dos respondentes acredita que reduzir a quantidade de mão-de-obra e a necessidade de capacitação é um efeito positivo da tecnologia; já outros crêem que efeito positivo é criar novos empregos e aumentar as exigências por capacitação dos usuários.

O impacto sobre o fomento a atividades sócio-econômicas em outros setores foi positivo e significativo para todas as áreas, com exceção de água. A razão para isso está associada a uma relativa estabilidade na prestação dos serviços de tratamento de água frente à relativa novidade na prestação de serviços nas demais áreas do país, demandando novos fornecedores ou gerando novos subprodutos (encadeamentos produtivos).

O impacto no bloco adequação é sensivelmente maior do que nos demais blocos, dada a adequação existente entre as tecnologias desenvolvidas ou melhoradas no programa e os objetivos propostos no mesmo - pequena escala, condições locais e operacionalidade.

Analisando as diferenças entre atores e categorias, repete-se a situação da primeira dimensão, na qual os pesquisadores são mais otimistas do que os usuários em relação ao potencial das tecnologias.

4.3 Condições para inovação criadas pelo Programa de Pesquisas em Saneamento Básico

A dificuldade de encontrar respondentes com uma visão abrangente o suficiente implicou em um menor número de respondentes nesta dimensão em comparação com as demais. Logo, os resultados refletem, sobretudo, uma perspectiva essencialmente acadêmica (de pesquisadores) sobre o tema, porque este foi o único grupo de atores que respondeu a essa parte do questionário. A Figura 5 apresenta os importantes impactos positivos para os principais componentes da dimensão por áreas.

O maior impacto é nitidamente sobre a divulgação da informação, considerando aspectos de oferta, qualidade e acesso à informação. Este resultado está fortemente atrelado à estratégia de divulgação elegida pelo PROSAB (livros e manuais) e também ao grande envolvimento de pesquisadores no programa, produzindo, a partir dele, teses, dissertações e artigos com grande circulação na comunidade acadêmica.

Em segundo lugar aparecem os impactos sobre a interação usuários-pesquisadores. Mais uma vez destaca-se a perspectiva essencialmente acadêmica do programa, indicando a ausência de informações ou de experiências reais para que os usuários respondam essa questão. Os impactos sobre a capacitação dos usuários foram também importantes, principalmente no que se refere ao aumento no número, dispersão geográfica e qualidade das instituições formadoras da área de saneamento.

5 Discussão sobre a avaliação do Programa de Pesquisas em Saneamento Básico e considerações finais

A avaliação do PROSAB resultou em um panorama de informações extremamente rico sobre um programa tecnológico com um claro objetivo social, propiciando uma percepção abrangente dos resultados e impactos da pesquisa e desenvolvimento na área de saneamento no Brasil.

A avaliação de resultados captou os desdobramentos mais tangíveis do programa, sem se ater apenas aos mais óbvios, tais como produção científica e tecnológica, mas também considerando aqueles que ultrapassam os seus propósitos diretos e que, via de regra, estão relacionados ao aprendizado intrínseco aos processos de desenvolvimento tecnológico e de inovação. Evidenciou-se a partir da análise dos diversos indicadores de insumo e de produtos que há uma clara relação entre os esforços em recursos humanos e os resultados científicos e tecnológicos, sendo esses resultados também estreitamente relacionados entre si.

A transferência de tecnologia para a atividade produtiva, como resultado de um processo linear, que partiria do desenvolvimento de tecnologia, foi limitada e restrita a algumas áreas como a de lodo e esgoto. Essa transferência é um ponto ainda frágil do programa. O PROSAB carece de mecanismos formalizados de transferência, que envolvam recursos assegurados ou ampliação da capacidade de alavancagem de recursos, assim como envolvimento pleno dos usuários no processo de elaboração e execução dos projetos, criando maiores vínculos entre academia e pólo produtivo - principalmente com as companhias de saneamento e departamentos de água, esgoto e limpeza urbana das regiões e municípios brasileiros.

Contudo, a avaliação indicou outras formas de transferência dos conhecimentos gerados pelo PROSAB, particularmente por meio da prestação de serviços. Esse resultado indireto atuou como um poderoso mecanismo de transferência de tecnologia da academia para o ambiente produtivo. Além disso, a publicação de livros e manuais, prevista no programa, desempenhou um importante papel na divulgação dos conhecimentos gerados pelo PROSAB.

O PROSAB também introduziu importantes transformações estruturais como a formação de redes acadêmicas de pesquisa, a criação de infra-estruturas de pesquisa e a formação de capital humano, mas teve limitado impacto nas mudanças organizacionais, sobretudo daquelas atinentes à relação universidade-empresa.

A avaliação de impactos complementou a avaliação de resultados, trazendo a visão não apenas dos geradores de tecnologias, mas também dos pesquisadores não diretamente envolvidos com o PROSAB, dos usuários e de demais atores pertinentes ao universo do saneamento no Brasil. Também esta etapa da avaliação procurou impor um olhar mais amplo sobre a dinâmica do processo de inovação na área de saneamento no Brasil, da qual o PROSAB participa.

O impacto sobre a adoção e difusão de tecnologias foi o mais significativo, apontando que as tecnologias geradas direta ou indiretamente pelo programa tiveram uma ampla aceitação, principalmente nas regiões mais desenvolvidas do país. O PROSAB tem influído muito sobre esse processo de difusão e adoção de tecnologias por meio da divulgação de resultados científicos, da interação entre usuários-pesquisadores, pela capacitação dos usuários e pela definição de parâmetros técnicos de referência para produtos e processos. Esses mecanismos corroboram a natureza interativa e indireta dos mecanismos de transferência de tecnologia. Ainda assim, há um longo caminho a trilhar no intuito de ampliar e qualificar a influência do programa sobre diversas instâncias (relativas à legislação, mecanismos e canais de financiamento, criação de competências, entre outras) de suma importância para a criação de um terreno mais propício para uma ampliação da difusão dos resultados já atingidos pelo PROSAB.

O impacto sobre o potencial das tecnologias apoiadas pelo PROSAB percebido pelos diferentes atores ainda é modesto, sendo dificilmente sentido pelos usuários, principalmente no que se refere aos aspectos sócio-econômicos. Parece não haver grande alinhamento do desenho tecnológico com alguns objetivos sócio-ambientais e sócio-econômicos, tais como conservação de recursos naturais, saúde ocupacional, eficiência econômica e condições de emprego. Contudo, destaca-se a adequação das tecnologias em termos de pequena escala, condições locais e operacionalidade, além dos importantes impactos positivos sobre o estabelecimento de parâmetros técnicos de referência para produtos e processos e de fomento a atividades sócio-econômicas em outros setores.

Apesar das colocações sobre o não alinhamento do desenho tecnológico com determinados aspectos sociais, ambientais e econômicos e sobre as dificuldades para a transferência de tecnologia, é fato que o PROSAB adicionou um fôlego substancial à pesquisa pré-existente na área, sendo possível afirmar que houve alteração do perfil da pesquisa e na capacidade de domínio de tecnologias da área de saneamento no Brasil em decorrência do programa.

O conjunto dos resultados e impactos obtidos leva à identificação da necessidade de se ampliar a participação dos usuários não apenas no desenvolvimento das tecnologias do programa, como também na definição dos temas dos editais. Além de facilitar o processo de transferência e difusão do conhecimento, poderia amenizar o caráter ofertista do PROSAB e reforçar seus resultados e impactos positivos. Torna-se, nesse sentido, premente uma revisão do arranjo institucional atual do programa. Outras iniciativas, tais como promover a realização de treinamentos e incentivar registros de propriedade acerca dos produtos, processos ou metodologias desenvolvidos, são também fundamentais para promover mudanças neste sentido.

A metodologia desenvolvida para fazer a avaliação do PROSAB trouxe diversas contribuições para estudos semelhantes. A divisão do estudo em duas frentes, uma de avaliação de resultados e outra de avaliação de impactos, trouxe um duplo olhar sobre o processo de inovação no setor de saneamento brasileiro: o primeiro relacionado com a unidade básica do programa, o projeto, e envolvendo os seus participantes diretos; o segundo dirigido para o programa como um todo e abordando um conjunto muito mais vasto de atores, desde usuários até stakeholders. A grande variedade de indicadores desenvolvida pela metodologia permitiu captar tanto o processo linear de transferência de tecnologia, como o interativo. Neste aspecto, ficou evidente que o programa contribui de diversas formas para o processo de inovação, através de mudanças estruturais ou de prestação de serviços.

Recebido em 19/6/2007

Aceito em 9/5/2008

Agradecimentos: Os autores agradecem o apoio recebido do Fundo Verde Amarelo (CT Verde Amarelo) para concretização deste trabalho.

• BACH, L.; COHENDET, P.; LAMBERT, G.; LEDOUX, M. Measuring and Managing Spinoffs: The Case of Spinoffs Generated by ESA programs. J. S. Greenberg and H. R. Hertzfeld (Editors). Space Economics, Progress in Astronautics and Aeronautics Series, V-144, Hardback, Reston-VA, p. 171-206, 1992.
• BACH, L.; CONDE-MOLIST, N.; LEDOUX, M. J.; MATT, M.; SCHAEFFER, V. Evaluation of the economic effects of Brite-Euram programmes on the European industry. Scientometrics, Budapest, v. 34, n. 3, p.325-349, 1995.
• BONACELLI, M. B. M.; ZACKIEWICKZ, M.; BIN, A. Impactos sociais de programas tecnológicos na agricultura do Estado de São Paulo. In: ALTEC. (Org.). In: Seminário Latino-Iberoamericano de Gestión Tecnológica, 10, 2003, Cuidad de México. Anais Cuidad de México: ALTEC, 2003.
• CALLON, M. The dynamics of techno-economic networks. In: Coombs, R.; Saviotti, P.; Walsh, V. (Eds.). Technical Change and Company Strategies London: Academic Press Limited, 1992.
• COZZENS, S. Assessing federally-supported academic research in the United States. Research Evaluation, Beech Tree Publishing, Oxford-UK, v. 8, n. 1, p. 5-10, 2000.
• FURTADO, A. T.; TERRA, B.; PASSOS, C. A. S.; PLONSKY, G. A. Indicadores de C&T para avaliar os Programas de Cooperação entre Universidade e Indústria: Uma Análise do PADCT III. In: Simpósio de Gestão da Inovação Tecnológica, 17, 2002, São Paulo. Anais... São Paulo: NPGT-USP, 2002.
• FURTADO, A.T. et al. Políticas Públicas para a Inovação Tecnológica na Agricultura do Estado de São Paulo: métodos para avaliação de impactos de pesquisa. Relatório Final de Atividades. Programa Políticas Públicas/Fapesp. Departamento de Política Científica e Tecnológica, Unicamp, 2003.
• FURTADO, A.T. et al. Avaliação dos resultados e impactos do Prosab. Relatório Final de Atividades. Fundo Verde Amarelo/Finep. Departamento de Política Científica e Tecnológica, Unicamp, 2005. Disponível em: <http://www.finep.gov.br/prosab/relatorio_final.pdf>. Acesso em: junho 2007.
• GEORGIOU, L.; ROESSNER, D. Evaluating technology programs: tools and methods. Research Policy, Amsterdam, v. 29, n.4-5, p. 657-678, 2000.
• HARNAD, S. (ed.) Peer commentary on peer review: A case study in scientific quality control. NY: Cambridge University Press, 1982.
• HONG, H. D.; BONDEN, M. Programme Evaluation: Theory and Practice. England, Aldershot: Ashgate Publishing Limited, 2003.
• IBGE. Pesquisa Nacional de Saneamento Básico 2000. Rio de Janeiro: IBGE, 2002. Disponível em: <http://www.ibge.gov.br/home/estatistica/populacao/condicaodevida/ pnsb/pnsb.pdf>. Acesso em: 15 fevereiro 2005.
• IBGE. Atlas do Saneamento. Rio de Janeiro: IBGE, 2004. (CD ROM).
• LINK, A.; SCOTT, J.T. Evaluating Public Research Institutions: The US Advanced Technology Program's intramural research initiative. Studies in Global Competition Series. London: Routledge, 2005.
• LUNDVALL, B. A. Introduction. In: Lundvall, B.A. National Systems of Innovation: Towards a Theory of Innovation and Interactive Learning. London: Pinter, 1992. p. 1-19.
• NELSON, R. (ed.) National Innovation Systems: a comparative analysis. Oxford: Oxford University Press, 1993.
• OCDE. Improving Evaluation Practices: Best Practice Guidelines for Evaluation and Background Paper. Paris, 1999.
• PLATAFORMA LATTES. Diretório dos Grupos de Pesquisa. Disponível em: <http://lattes.cnpq.br/pl/>. Acesso em: 15 Fevereiro 2005.
• ROESSNER, D. Quantitative and qualitative methods and measures in the evaluation of research. Research Evaluation, Beech Tree Publishing, Oxford-UK, v. 9, n. 2, p. 125-132, 2000.
• VAN RAAN, A. F. J. Advanced bibliometric methods as quantitative core of peer review based evaluation and foresight exercises. Scientometrics, Budapest, v. 36, n. 3, p. 397-420, 1996.
• VELHO, L. Indicadores de C&T e seu uso em Política Científica. Sociedade e Estado, Brasília, v. 7, n. 1-2, p. 63-77, 1992.
• WORTHEN, B. R.; SANDERS, J. R.; FITZPATRICK, J. L. Avaliação de Programas: concepções e práticas. Trad. Dinah de Abreu Azevedo. São Paulo: Editora Gente e Edusp, 2004.
• ZACKIEWICZ, M. Trajetórias e Desafios da Avaliação em Ciência, Tecnologia e Inovação. Campinas. Tese (Doutorado em Política Científica e Tecnológica), Instituto de Geociências, Unicamp.

Datas de Publicação

• Publicação nesta coleção
  17 Set 2008
• Data do Fascículo
  Ago 2008

Histórico

• Aceito
  09 Maio 2008
• Recebido
  19 Jun 2007