Indicadores para apoio à tomada de decisão

Indicators to support decision-making

Indicadores para apoio à tomada de decisão^*

Sandra Negraes Brisolla

Resumo

Aborda indicadores de ciência e tecnologia, uma atividade que está tendo decisivo apoio das instituições encarregadas do planejamento e execução da política setorial, devido a duas tendências: o crescente conteúdo de conhecimento na composição do valor da produção de bens e serviços e a elevação do custo da pesquisa e a redução de recursos públicos para financiá-la, induzindo à introdução de mecanismos de avaliação de desempenho em todos os órgãos públicos. Utilizando um conjunto de indicadores em C&T desenvolvidos pela FAPESP, discute a grande dificuldade teórica no estabelecimento de indicadores adequados e como se pode fazer seu levantamento, como também as dificuldades práticas em construir um conjunto confiável de variáveis capaz de orientar os rumos da política científica e tecnológica.

Palavras-chave

Indicadores de ciência e technologia; Política científica e tecnológica.

INTRODUÇÃO

A globalização dos mercados e a crescente importância do conhecimento na composição do valor da produção de bens e serviços são fenômenos recentes que vêm tornando a avaliação uma prioridade na política científica e tecnológica. Por outro lado, a elevação do custo da pesquisa e a redução de recursos públicos para financiá-la em muitos países, devido à crise econômica que a partir dos anos 1970 interrompeu o crescimento sustentado do pós-guerra, também criaram a necessidade de introduzir critérios mais rigorosos de avaliação da pesquisa pública e de sua legitimação junto à sociedade que a mantém. A tomada de consciência da importância da atividade científica para impulsionar a produção de bens e serviços foi responsável por um acréscimo considerável das fatias que as sociedades industriais destinam à pesquisa, tanto nas universidades como nas empresas industriais, principalmente no pós-guerra.

Indicadores como ferramenta de política

Coloca-se inicialmente um problema teórico na construção de indicadores científicos e tecnológicos relativo à natureza especial dessas atividades. Mesmo na atividade econômica, em que se supõe ser possível associar claramente o investimento ao resultado econômico esperado através de uma matriz de insumo x produto, existe o imponderável, que faz com que muitas vezes esse produto final não seja sancionado pelo mercado, não se realize e, portanto, o resultado seja menor que o previsto. No entanto, o risco associado ao investimento em pesquisa é inerente às atividades de C&T (ciência e tecnologia) e é muito maior.

A construção de indicadores de C&T enfrenta, portanto, um problema filosófico: será possível construir indicadores que reflitam com algum nível de segurança a realidade que se supõe que eles representem? É teoricamente concebível a construção de fórmulas capazes de espelhar uma realidade multifacetada, em que inúmeras variáveis correlacionadas condicionam uma trama complexa de inter-relações de resultado imprevisível? Essa questão é semelhante à que coloca Keynes em relação ao cálculo econômico: mais do que considerar a complexidade do cálculo empresarial, em que o empresário deve levar em conta as respostas de cada concorrente e de cada cliente às suas decisões, Keynes aponta a impossibilidade de que um agente econômico possa prever todas as possibilidades de evolução do mercado. Nesse sentido, a incerteza keynesiana é entendida como estrutural, integrando a lógica do sistema.

Da mesma maneira, pode-se discutir se existe viabilidade de construção de indicadores das atividades científicas e tecnológicas e, principalmente, se é possível imaginar variáveis suficientemente ricas em determinação para representarem o fenômeno social mais amplo do desenvolvimento científico, do progresso tecnológico e da introdução de inovações. A questão central é: como se pode estabelecer relação de causa e efeito entre a atividade científica e tecnológica e o impacto socioeconômico que ela provoca? Existem indicadores que possam dar conta desse processo?

A segunda questão é mais prática e não totalmente diferente da anterior. Trata-se de saber se vale a pena construir indicadores. Se, no estágio em que nos encontramos de desenvolvimento das ferramentas estatísticas e de coleta de informações, é possível esperar obter um conjunto de determinações capaz de responder aos anseios dos planejadores e executores de políticas, e também daqueles que se dedicam a realizar a crítica e a reflexão acerca da política científica e tecnológica. Em outras palavras, os indicadores possíveis hoje realmente desempenham seu papel de "indicar" o sentido do desenvolvimento científico e tecnológico? Essas são as questões que nos preocupam neste trabalho.

A relação entre ciência e tecnologia

O caminho não linear percorrido pelo processo de transformação de uma invenção, um novo princípio ou uma nova idéia científica em uma inovação, ou seja, em um produto ou processo inovador, dificulta, se não impossibilita, diretamente a mensuração de todos os fatores e do impacto de cada um deles para que esse resultado seja atingido. Se as linhas de atuação de uma agência de fomento e os resultados concretos de cada uma delas são enumerados, pode-se perceber esse impacto diferenciado. O financiamento de teses de doutorado e dissertações de mestrado tem como resultado a formação de pesquisadores para o país. Como se pode medir o impacto dessa atividade sobre um projeto específico? O apoio a pesquisadores para participação em eventos científicos tem como resultado a difusão de resultados de pesquisa, a discussão com a comunidade acadêmica e a informação sobre o que está ocorrendo na fronteira do conhecimento em cada área. Qual o impacto desse tipo de atividade, comum aos pesquisadores ativos, na formulação e execução de seus projetos de pesquisa? Como individualizar esse impacto para determinado evento ou projeto? A produção científica de determinado pesquisador ou grupo de pesquisa acaba influenciando a produção de bens e serviços (no caso mais favorável), provocando uma inovação. Mesmo nesse caso, como proceder ao cálculo dos créditos devidos ao financiamento de cada agência, ao suporte institucional de origem do pesquisador, aos agentes econômicos favoráveis à inovação e à própria decisão do empresário que assumiu o risco da inovação, além dos créditos devidos à formação dos pesquisadores envolvidos e devidos ao enriquecimento de seus conhecimentos — seu currículo — com apoios a eventos e outros?

A questão é melhor compreendida quando se examina a proposta de Susan Cozzens¹ (p. 289-90, em tradução livre da autora), cuja idéia básica é de que se deva estimar o impacto da pesquisa através do produto da pesquisa, pois esta tem como resultados produtos imediatos que são mensuráveis:

"Esses produtos não são benefícios diretos para o país, mas colocam em movimento processos que produzem benefícios para o país, benefícios que são reconhecíveis por pessoas como os membros do Congresso e o público em geral." O modelo supõe a existência de três arcos: "Um arco é a base de conhecimentos, o segundo é a prática (industrial, médica etc.) e o terceiro é a educação."

"Há três fluxos nesse modelo. O primeiro é o fluxo de conhecimento. O objetivo primário do programa de pesquisa é o de contribuir com conhecimentos para a fronteira de conhecimento da pesquisa. O conhecimento de fronteira vai para um amplo reservatório que alimenta as pessoas na prática e na educação. Só em casos especiais a fronteira de conhecimentos é utilizada diretamente, mas a qualidade da informação obtida do reservatório de conhecimentos depende de que ele seja renovado regularmente pela frente de pesquisa. Claramente, essa não é uma contribuição linear dos resultados de pesquisa para a prática: daí a complexidade."

"A segunda série de fluxos envolve as pessoas. Como professores de programas de pós-graduação, os pesquisadores treinam profissionais, que irão atuar na prática. Como professores dos programas de graduação, treinam estudantes que se tornam cidadãos, trabalhadores, pais e professores na sociedade global. É o treinamento que essas pessoas recebem dos pesquisadores que determina a freqüência com a qual eles irão recorrer ao reservatório de conhecimentos e a eficácia com a qual irão retirar daí insumos para suas atividades ulteriores. Aí também os benefícios da pesquisa são indiretos e muito difíceis de serem determinados especificamente."

O terceiro fluxo é o de bens e serviços, que circula do pilar da prática para o setor educacional, com novos meios de comunicação e aprendizado para as pessoas, na forma de bens úteis para o consumo e para a frente de pesquisa, na forma de novos instrumentos e insumos científicos, e para a própria atividade prática como novos meios de produção.

Cozzens conclui que, na impossibilidade de medir diretamente o impacto da pesquisa, este pode ser indiretamente medido através da avaliação de seus produtos:

"Um dos pontos-chave do modelo é que a pesquisa é mensurável apenas pelos seus resultados imediatos, os produtos que entrega através do meio educacional e da frente de pesquisa. Mas o modelo ajuda os administradores a pensar em outros processos através dos quais os produtos daquele ambiente imediato estão produzindo benefícios para a nação. Claramente, esses outros ambientes são responsáveis pelos benefícios últimos que o público deseja, tais como uma cidadania competente e qualificada e melhor qualidade de vida. [...] Pensar através dessas cadeias de conexões ajuda o avaliador a identificar os participantes que devem ser envolvidos nas avaliações específicas. Por exemplo, a prática média é diretamente responsável pela saúde e deve ser avaliada diretamente pelo público. Mas a pesquisa biomédica precisa ser avaliada pelos que praticam a medicina para tornar plausível que a pesquisa esteja contribuindo em última instância para a saúde." (Cozzens¹, p. 289-90, em tradução livre da autora).

Esse modelo supõe uma avaliação da relevância de cada um dos pilares (os arcos) para a sustentação do edifício que integra a pesquisa científica ao sistema educacional e à prática econômica:

O diagrama de Cozzens mostra a complexidade das relações internas entre os sistemas de pesquisa, de educação e econômico. Há um fluxo de pessoas tanto através das atividades na área educacional (formação de pais e professores pela graduação, e formação de profissionais e pesquisadores pela pós-graduação). Há um fluxo de conhecimento na frente de pesquisa, através do qual os pesquisadores criam a base de conhecimentos, na qual os profissionais irão procurar os elementos necessários para reformar suas práticas, por um lado, e os professores irão se reciclar, por outro. As reflexões da autora são no sentido de que, para poder avaliar a efetividade econômica do sistema de pesquisa, não se pode querer medir diretamente o resultado socioeconômico a que ele conduz a longo prazo, mas sim deve-se tratar de perceber em que medida o resultado diretamente almejado pela pesquisa é atingido, em termos de formação de pessoal e de produtos científicos, como publicações e patentes, pois muito raramente será possível medir diretamente o resultado socioeconômico.

Por outro lado, é por atingir os resultados especificamente buscados pelo sistema de pesquisa que este consegue criar a base de conhecimentos a partir da qual irá se produzir o impacto necessário para provocar também resultados socioeconômicos.

Há alguns perigos que devem ser evitados na realização de estudos de avaliação. O primeiro deles está referido à tentação de administrar a política de fomento à pesquisa em função de objetivos socioeconômicos preestabelecidos, quando a condução da administração dos recursos para fomento à pesquisa deve ser avaliada como tal, por seus próprios objetivos (Cozzens²).

A percepção da insuficiência das análises baseadas no modelo linear leva os analistas a propor a intensificação das relações internas ao sistema como uma meta da política científica e tecnológica: "a falência amplamente reconhecida do modelo linear colocou na ordem do dia a necessidade de maior interação entre as diferentes partes do sistema. Essa situação foi traduzida politicamente em duas prioridades maiores: maior número de pesquisadores treinados e maior número de conexões (Larédo & Mustar³, p. 13).

Figura 1

Diagrama de Susan Cozzens

Ciência como atividade horizontal

Uma das dificuldades que existem na formulação da política em C&T é sua característica de atividade horizontal, que perpassa todas as funções governamentais. Isso pode ser observado, por exemplo, na estrutura dos institutos públicos de pesquisa no país, como o Ministério de Ciência e Tecnologia (MCT), criado em 1985 e transformado em Secretaria de C&T (SCT) em 1990 e em MCT em novembro de 1992, e os demais institutos de pesquisa vinculados a outros ministérios e à Secretaria de Assuntos Estratégicos da Presidência da República. Para que pudesse haver um plano ou um programa de ciência e tecnologia, seria preciso que as atividades relativas ao setor fossem reguladas por uma instância alheia a cada ministério. Essa instância é o Conselho de Ciência e Tecnologia (CCT), criado no papel há um bom tempo mas que só recentemente vem dando seus primeiros passos.

Para que a atividade em C&T pudesse ser organizada por uma política global de abrangência nacional e coerente, seria necessário que ela fizesse parte de um Plano Nacional de Desenvolvimento. Nessas circunstâncias, cada centro de pesquisa teria sua parte desenhada nesse plano, que seria fruto de um acordo prévio entre os ministérios de forma a permitir que se pudessem articular as diversas instituições vinculadas à pesquisa e ao desenvolvimento.

Nessas condições, a utilidade dos indicadores de C&T seria grande para que se pudesse fazer a distribuição dos recursos para pesquisa entre os vários objetivos socioeconômicos e as disciplinas científicas. Também seriam úteis para a distribuição de recursos entre as especialidades, dentro de cada disciplina, e entre os diversos centros e institutos de pesquisa. Essas decisões, por sua vez, correspondem a diferentes níveis hierárquicos dentro do sistema de C&T (Martin⁴ et al., p.6-7).

Para que os indicadores sejam ferramentas úteis, devem ser produzidos com regularidade para a formação de séries temporais que permitam visualizar tendências no tempo; deve-se ter a possibilidade de enfocar qualquer área ou especialidade; e os dados devem permitir comparações internacionais. As estatísticas devem poder ser desagregadas para que se possa estudar as estatísticas referentes a quaisquer centros ou institutos de pesquisa. Finalmente, os dados devem estar disponíveis para um público amplo e de forma acessível. Estatísticas relativas à produção científica podem permitir identificar áreas em que o resultado em termos de publicações é maior que em outros. Esse tipo de informação, acompanhado de outras ferramentas analíticas, pode alimentar o processo de peer review. A disponibilidade de estatísticas exerce também um certo controle sobre o próprio sistema de revisão pelos pares. Pode-se também resolver certas dúvidas sobre a divisão de recursos entre as áreas com base em indicadores sobre a mudança na direção do impacto de disciplinas específicas (Martin⁴ et al., p.7-10, 82-3).

Indicadores regionais e indicadores integrados

Uma tendência mais recente dentro da atividade de compilação de indicadores é a construção de indicadores regionais, abrangendo uma região de um país ou, ainda, uma região contendo vários países, como a Comunidade Econômica Européia (CEE). Os estudos que estão sendo realizados pelo Observatoire de Sciences et Techniques da França, tendo como objeto a atuação da CEE junto aos países membros, produziram resultados muito interessantes sobre a estratégia dos cientistas e empresários para combinar as fontes locais de recursos para pesquisa com as fontes regionais (Gusmão⁵).

Tendo em vista a existência de um subsistema de ciência e tecnologia no cenário brasileiro com uma certa autonomia e com expressiva representatividade no país, a FAPESP (Fundação de Amparo à Pesquisa do Estado de São Paulo), como parte integrante e ao mesmo tempo observadora desse sistema, decidiu produzir um primeiro conjunto de informações relativas à ciência e tecnologia em São Paulo, como um dos produtos destinados a comemorar seus 35 anos de existência.

Esses indicadores foram elaborados por uma equipe de pesquisadores da Universidade de São Paulo (USP) e da Universidade Estadual de Campinas (UNICAMP), na qual me incluo, com o ambicioso objetivo de constituir um primeiro passo no sentido da produção permanente de indicadores muito mais detalhados e abertos para o Estado de São Paulo, visando subsidiar as políticas públicas no setor.

Os indicadores produzidos nessa primeira fase são globais, mas permitem traçar um panorama do financiamento e da execução das atividades científicas no estado e do espaço que elas ocupam dentro do cenário nacional. Trata-se de uma primeira aproximação que possibilitará projetar o sistema de informação necessário para a formulação da política setorial no estado, além de subsidiar o governo federal na sua interação com a política estadual.

Para finalizar, vale a pena mencionar um exercício realizado por Tomizawa e Niwa⁶, dois especialistas japoneses em política científica, tratando de construir um pequeno conjunto de Indicadores Gerais de Ciência e Tecnologia, que constituam indicações para orientação da política científica global dos países. Eles trabalham com um pequeno grupo dos países centrais: Japão, Estados Unidos, Alemanha, França e Inglaterra. Primeiramente, escolhem-se as variáveis que serão objeto de análise. Procede-se, então, à análise fatorial para seleção dos indicadores que irão representar os países com base na correlação existente entre as variáveis pré-selecionadas. Em um segundo passo, utiliza-se a análise de componente principal para construir novas variáveis integradas, e a atividade de C&T de cada país é expressa pelo indicador integrado assim obtido. O resultado da análise estatística mostra a posição dos países de acordo com os dois fatores analisados: o primeiro diferencia ciência x tecnologia, ou pesquisa básica x aplicada, enquanto o segundo diferencia fatores de insumo ou de produto (Tomizawa & Niwa⁶, p. 84).

O Japão aparece direcionado para tecnologia e pesquisa aplicada, tendendo mais para os insumos de C&T nos anos mais recentes. Os EUA aparecem com ênfase nos insumos e nas ciências básicas. A Alemanha tende para a tecnologia, e a França e a Inglaterra aparecem com maior peso nas ciências básicas. Os três tendem para o lado do produto. O Japão aparece do lado do insumo porque suas atividades de C&T são principalmente aplicadas (portanto, o gasto em C&T é muito elevado), e os EUA também se colocam do lado do insumo, devido principalmente aos gastos militares, que não têm contrapartida em publicações ou mesmo em patentes. As posições dos países são correspondentes ao que se conhece de seu sistema em C&T, o que revela o potencial dessa ferramenta para a análise da política setorial e, portanto, a utilidade até mesmo de indicadores tão gerais como os utilizados no exemplo (Tomizawa & Niwa⁶, p. 87-8).

A lista de indicadores utilizados nesse exercício foi a seguinte:

Variáveis de insumo de C&T:

X₁ = Número de formados em ciência

X₂ = Número de formados em engenharia

X₃ = Número de cientistas e engenheiros

X₄ = Orçamento do Governo para P&D

X₅ = Dispêndio Interno Bruto em P&D

X₆ = Importação de Tecnologia (valor)

Variáveis de produto de C&T:

X₇ = Número de artigos científicos

X₈ = Citações de artigos científicos

X₉ = Número de patentes internas

X₁₀= Número de patentes externas

X₁₁ = Número de citações de patentes

X₁₂ = Exportação de tecnologia

X₁₃ = Valor da produção industrial

X₁₄ = Valor dos produtos high tech

Desse conjunto, os indicadores para o Estado de São Paulo contêm dez variáveis. Os demais são relativamente fáceis de levantar para que se faça um exercício semelhante para a América Latina. Poderíamos, assim, averiguar a relevância do modelo de análise para a realidade latino-americana. Esse é nosso próximo desafio.

Indicators to support decision-making

Abstract

The author analyses indicators for science and technology, which are receiving a decisive support from institutions in charge of planning and implementing sector policies, due to new economic trends: the growth of knowledge contents in the value composition of goods and services, and the increase of research costs and the reduction of public resources to finance it, which introduce the need of performance evaluation in public institutions. Making use of S&T indicators developed by FAPESP, this paper discusses the great theoretical difficulty in establishing suitable indicators and how to collect them, as well as the practical problems in gathering a reliable set of variables that makes possible the definition and implementation of scientific and technological policy.

Keywords

Science and technonoly indicators; Science and technology policy.

Sandra Negraes Brisolla

Coordenadora do Laboratório de Ciência, Tecnologia e Inovação do Departamento de Política Científica e Tecnológica do Instituto de Geociências da UNICAMP

[e-mail]

Referências bibliográficas

• ¹ COZZENS, Susan. Strategic evaluation and the keystone model of basic research. In: AAAS COLLOQUIUM ON SCIENCE AND TECHNOLOGY POLICY, 1994, Washington, D.C. 19th Annual… Washington, D.C.: [s.n.], [199-].
• ² COZZENS, Susan. Assessing fundamental research: ten ways to get it wrong. In: SIMPÓSIO FARMACÊUTICO DE SMITHKLINE BEECHAM, 1995, Cambridge, UK. [Proceedings…]. Cambridge, UK: [s.n.], 1995.
• ³ LARÉDO, P., MUSTAR, P. France, the guarantor model and the institutionalization of evaluation. Research Evaluation, v. 5, n. 1, Apr. 1995.
• ⁴ MARTIN, B. R., IRVINE, J., CROUCH, D. Science indicators for research policy: a bibliometric analysis of ocean currents and protein Sussex: University of Sussex, 1995. 105 p. (SPRU Occasional Paper Series, n. 23)
• ⁵ GUSMÃO, R. L’ engagement français dans l’ Éurope de la recherche Paris: Editora Econômica, 1997.
• ⁶ TOMIZAWA, H., NIWA, F. Evaluating overall national science and technology activity: General Indicator of Science and Technology (GIST) and its implications for S&T policy. Research Evaluation, v. 6, n. 2, p. 83-92, Aug. 1996.
• ⁷ COZZENS, Susan. U.S. research assessment. Recent Developments in Scientometrics, v. 34, n. 3, p.351-62, 1995.
• ⁸ GEORGHIOU, L. Research evaluation in European national science and technology systems in research evaluation benefits from international exchange. Research Evaluation, v. 5, n. 1, Apr. 1995.

A crise do capitalismo que se instala a partir dos anos 1970 gera uma sensação de que o investimento em ciência estava tendo rendimentos decrescentes

^I. Assim, a onda de avaliação institucional que se propagou por todos os órgãos públicos nos países centrais chegou ao setor científico e tecnológico. Tratava-se de auferir a eficiência do sistema com a clara finalidade de aumentar sua produtividade e, principalmente, o impacto sobre o setor econômico. Os indicadores de ciência e tecnologia surgem, portanto, para subsidiar a avaliação institucional e permitir estudos sobre a atividade científica e tecnológica. Torna-se imprescindível a criação de indicadores relevantes e confiáveis para essa finalidade.

*

Trabalho apresentado no Seminário sobre Avaliação da Produção Científica, realizado em São Paulo pelo Projeto SciELO, de 4 a 6 de março de 1998.

^I Cf. Ziman, em palestra pronunciada no Departamento de Política Científica e Tecnológica / Instituto de Geociências, UNICAMP.

Datas de Publicação

• Publicação nesta coleção
  20 Out 1998
• Data do Fascículo
  1998