Avaliação de redes de pesquisa e colaboração

Evaluation of collaborative research networks

Avaliação de redes de pesquisa e colaboração¹

Evaluation of collaborative research networks

Denise Leite^I; Célia Elizabete Caregnato^II; Elizeth Gonzaga dos Santos Lima^III; Isabel Pinho^IV; Bernardo Sfredo Miorando^V; Priscila Bier da Silveira^VI

^IUniversidade Federal do Rio Grande do Sul. Faculdade de Educação. Porto Alegre, RS, Brasil. Contato: [e-mail]

^IIUniversidade Federal do Rio Grande do Sul. Faculdade de Educação. Porto Alegre, RS, Brasil. Contato: [e-mail]

^IIIUniversidade do Estado de Mato Grosso. Sinop, MT, Brasil. Contato: [e-mail]

^IVUniversidade de Aveiro. Aveiro, Portugal. Contato: [e-mail]

^VUniversidade Federal do Rio Grande. Porto Alegre, RS, Brasil. Contato: [e-mail]

^VIUniversidade Federal do Rio Grande do Sul. Porto Alegre, RS, Brasil. Contato: [e-mail]

RESUMO

O setor acadêmico brasileiro vive um momento de estresse quantitativista. Docentes e pesquisadores são avaliados pelas métricas individuais de sua produção bibliográfica. Apesar de sua importância, a colaboração no trabalho de pesquisa em grupo, nas redes de pesquisa, ainda não constitui objeto de avaliação sistemática. Medem-se os produtos, mas os processos que os geram permanecem desconhecidos. Este estudo objetivou construir marcadores para a avaliação de processos interativos de trabalho em redes de pesquisa. Entendemos que este tipo de rede se estabelece quando um grupo colabora com a intenção de produzir conhecimento. A literatura consultada apontou que, embora tal interação possa ser representada graficamente, há ainda número reduzido de trabalhos sobre o tema da avaliação de redes de pesquisa e colaboração ou de parceria em pesquisa. A partir da teoria, desenvolvemos uma metodologia de análise de currículos de pesquisadores com uso de softwares para construção de planilhas de dados, contagem de coautorias e análise de redes sociais. Estas técnicas permitiram a elaboração de planilhas da produção bibliográfica dos pesquisadores, de grafos representando suas redes e a construção de um protocolo de avaliação de redes de colaboração e pesquisa. Os sujeitos investigados foram pesquisadores 1A do CNPq, líderes de grupo de pesquisa nas áreas de Educação, Engenharia de Produção e Física. Os resultados identificam 10 marcadores/indicadores quali-quantitativos para avaliação de processos de pesquisa em rede que foram testados e validados em contexto de aplicação.

Palavras-chave: Avaliação. Redes pesquisa. Colaboração científica. Indicadores avaliação.

ABSTRACT

The Brazilian academic sector is experiencing a period of quantitativist stress. Teachers and researchers are individually evaluated by the metrics of their bibliographical production. Despite its importance, the collaboration inside the research groups, in research networks, is not subject to systematic review. Products are measured, but the processes that generate them remain unknown. This study, supported by CNPq, aimed to build markers for the evaluation of interactive processes work in research networks. We understand that a research network is established when a group collaborates with the intention of producing knowledge. The literature pointed out that although such interaction can be graphically represented there is still small number of papers on the topic of evaluation of research networks and collaboration or about evaluation of research partnerships. From the theory, we developed a methodology for analyzing the curricula of researchers employing software to build spreadsheets, count co-authorships, and analyze social networks. These techniques allowed the preparation of data spreadsheets on the researchers' bibliographical production, graphs representing their networks and the construction of an evaluation protocol for collaborative research networks. The investigated subjects were CNPq 1A researchers leading research groups in the areas of Education, Production Engineering and Physics. The results identify 10 markers, qualitative and quantitative indicators for evaluating research processes on networks, which have been tested and validated in the context of application.

Key words: Evaluation. Research networks. Scientific collaboration. Indicators.

1 INTRODUÇÃO

A universidade brasileira, docentes e pesquisadores, vivem um momento de estresse quantitativista. Docentes e pesquisadores são avaliados pelas métricas de sua produção bibliográfica, como indicadores de avaliação. As medidas da produtividade docente compõem os índices que irão acreditar e classificar os programas de pós-graduação brasileiros. Em decorrência contribuem para formar o conceito das universidades e repercutem nos rankings internacionais de alcance global. Não se trata, pois, de uma questão menor atinente aos procedimentos de uma avaliação institucional. Trata-se de uma medida da produtividade que irá influir no status internacional de uma instituição a partir do micro contexto individual-local.

Por outro lado, em que pese sua importância, em nosso país, a colaboração expressa no trabalho de pesquisa em grupo, nas redes de pesquisa, ainda não constitui objeto de avaliação sistemática. Ou seja, nos sistemas de avaliação Sinaes e Capes, os produtos são medidos, porém os processos de geração desses produtos permanecem desconhecidos! Ainda não temos uma política pública de avaliação que dê conta do trabalho de pesquisa em redes de colaboração, não são escrutinadas as formas de atuação, relações e interações dentro dos grupos de investigação.

Conquanto haja diversidade de produtos nas diferentes áreas de conhecimento, são os artigos que passam a ter maior valor nas métricas de avaliação. A área de Ciências Humanas e Sociais reconhece que em seu território os interesses e problemas motivadores da pesquisa e das publicações dela decorrentes são diversos, por exemplo, daqueles das Ciências Naturais. Nestas, o trabalho de grupos, em laboratórios, a publicação em coautoria com vários pesquisadores ou orientandos é uma prática comum e a parceria com instituições extra-acadêmicas e empresas pode fazer parte das rotinas de investigação.

Como grupo de pesquisa, área de Ciências Humanas - Educação, vimos adotando a marca da parceria em nossas atividades. Essa tem sido a identidade que dá cor e forma à nossa prática de investigação há mais de duas décadas. Trabalhamos de forma participativa desde a década de 1990, publicamos em parcerias, nacionais e internacionais. As redes que formamos, porém, não têm sido valorizadas no contexto das avaliações nacionais. A riqueza desta prática que tínhamos em mãos poderia ser vista para além das limitações de uma avaliação cujos modelos criticamos. Consultamos a literatura disponível e, inicialmente, tivemos dificuldade em localizar o tema. Avaliação de redes de pesquisa e colaboração, de parceria em pesquisa, quando encontrada nas bases de dados nacionais e internacionais, mostrava-se vinculada a medidas quantitativas de trabalhos publicados em coautoria. Encontramos estudos e pesquisas que abrangem redes de diferentes áreas de conhecimento segundo o interesse de inúmeros pesquisadores de distintas filiações disciplinares.

Os estudos sobre redes experimentaram um grande crescimento nas duas últimas décadas, contudo, reproduziam apenas a quantificação das citações e das coautorias captadas com técnicas bibliométricas e cientométricas. Porém, os benefícios do trabalho em rede de colaboração se destacavam no cenário científico mundial. De tal sorte que a revista Nature destacou sua importância e, de certa forma, vaticinou que a pesquisa do hoje e do futuro se fará em redes (ADAMS, 2012). Outra revista de prestígio internacional, Studies in Higher Education, publicou, em abril de 2013, um número especial com o tema "Research Universities: networking the knowledge economy", no qual numerosos estudos relatam o peso das redes nos procederes da investigação. Estas publicações parecem indicar que o sucesso das universidades de pesquisa está relacionado à sua capacidade de apoiar as redes de pesquisa, o que justificaria a avaliação para melhor conhecê-las.

Considerando que um grupo de pesquisa constitui uma rede de investigadores, uma rede que pode alcançar contextos locais, regionais e internacionais, passamos a nos dedicar ao estudo de possíveis marcadores para a avaliação de redes de colaboração em pesquisa. Entendemos que uma rede se estabelece quando um grupo de pessoas, instituições, agências, empresas, estão em contato e tal interação pode ser representada graficamente por nós conectados. Uma rede de pesquisa e colaboração carrega os mesmos atributos definidores e acrescenta a eles a intenção de produzir conhecimento. Segundo Mocelin (2009, p. 48),

a partir do grupo de pesquisa, podem ser observadas e acompanhadas as redes de grupos de pesquisa, demonstrando as relações institucionais dos grupos e seu papel no desenvolvimento da pós-graduação no Pais; haja vista que se formam as redes institucionais, nas quais se poderiam observar e acompanhar os vínculos entre organizações, institutos, empresas, universidades e demais organizações.

Portanto, a metáfora da teia de conhecimentos que empregamos ao estudar casos de inovação também se aplicaria à ação de uma rede de pesquisa. Assim, para cada pesquisa se forma uma rede, uma teia diferente; para cada circunstância, tempo e lugar, uma nova teia será produzida. Teias de conhecimento são tecidas por dentro da rede de pesquisa de forma deliberada. A metáfora se ajusta aos grupos de investigação institucionais, tais como aqueles registrados junto ao Diretório de Grupos de Pesquisa (DGP) do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). As teias se estabelecem conforme as necessidades ou oportunidades visualizadas por seus membros e podem adquirir diferentes formatos em busca da melhor proposição para produzir, ampliar ou ratificar conhecimentos. Dessa maneira, as teias de conhecimento são flexíveis, pois se armam e desarmam conforme as circunstâncias e relações entre os participantes dos grupos. Conectar parceiros de investigação através das redes de pesquisa proporcionaria a fruição da troca de experiências, saberes, oportunidades de produção de conhecimento, materializado em publicações que multiplicam autorias. Por outro lado, podem carrear dificuldades de relacionamento, pontos fracos na rede, competição, repetição de erros, frustrações e conflitos.

2 METODOLOGIA

Em 2010, o CNPq aprovou o projeto de pesquisa sobre avaliação e redes de colaboração². No estudo, cujo início efetivo deu-se em 2011, revivemos nossa história como grupo de parcerias. Esta história nos mostrava que pesquisamos e publicamos e ensinamos porque mantemos ligações com muitas pessoas, as quais também se ligam a outras, e assim sucessivamente. A liderança do grupo esteve por muitos anos com um mesmo ator social - o ego da rede e seu pesquisador principal. Vários atores foram se associando, entrando, saindo, formando subgrupos dentro da rede. Tivemos em conta este caminho trilhado e, nosso primeiro passo, foi fazer um estudo piloto do ego da rede para testar a metodologia (MIORANDO, 2012; MIORANDO, LEITE, 2012). Dentro desta lógica, estudamos as redes a partir do ego, da figura do coordenador de grupo de pesquisa, pesquisador CNPq (bolsista de produtividade 1A), olhando-o por dentro das tramas criadas em um período de tempo determinado.

Sendo o estudo piloto compatível com o foco de pesquisa, selecionamos pesquisadores de excelência classificados por seus pares como 1A em suas áreas de conhecimento e estudos. Consideramos as conexões internas a cada grupo de pesquisa liderado pelo pesquisador selecionado. Nesse sentido, obtivemos representações de redes egocêntricas puras, porque priorizam relações tramadas a partir do pesquisador principal para então alcançar os demais participantes. Consideramos também as redes interconectadas, porque destacam as relações existentes entre os diferentes atores que compõem a teia de conhecimentos.

A caminhada metodológica foi dividida em etapas. Na primeira fase, mapeamos o contexto a ser analisado. Levantamos o universo de pesquisadores do CNPq para as áreas de Educação, Engenharia da Produção e Física. A escolha das áreas de conhecimento foi intencional. Ocorreu com base na compreensão de que elas apresentam peculiaridades nas formas de produzir conhecimento (BECHER, TROWLER, 2001). Além dessas considerações da literatura, reproduzimos na escolha as áreas do estudo de carreiras adotadas em pesquisas anteriores (CUNHA, LEITE, 2009), que formam para semiprofissões (Educação), profissões liberais (Engenharias) e profissões (Física). Segundo o CNPq (s.d.), estas áreas de conhecimento são assim identificadas:

Como critérios de escolha dos sujeitos a serem investigados, consideramos a posição do pesquisador em topo de carreira, representado pelo status de bolsista de produtividade em pesquisa 1A, e a sua rede de colaboradores, representada pela existência de grupo registrado no DGP/CNPq formado há, pelo menos, 10 anos no momento do levantamento de dados. A amostra final incluiu 10 pesquisadores da área de Educação sobre 16 no topo da carreira na data da coleta de dados (dentre estes, 6 pesquisadores lideravam grupos de pesquisa com menos de 10 anos e 1 não era líder); 6 pesquisadores de Engenharia de Produção sobre 8 no topo da carreira (sendo que 1 pesquisador não era líder de grupo de pesquisa e 1 pesquisador era líder recente); e 10 pesquisadores de Física, dentre 71 no topo da carreira (sendo 35 destes líderes de grupos de pesquisa com 10 anos de existência). Para a Física, cujo número total de pesquisadores 1A era maior, ajustamos o tamanho da amostra para que ficasse mais próximo ao das outras áreas, selecionando os sujeitos de acordo com o critério de origem institucional (instituições geograficamente distantes).

Selecionada a amostra, iniciamos a coleta de dados sobre a produção científica de cada pesquisador buscada nos seus currículos públicos, disponíveis na Plataforma Lattes, em datas definidas (Engenharia da Produção - 11 de agosto de 2011; Educação - 21 de agosto 2011; Física - 3 de setembro 2011). Os currículos Lattes foram congelados nestas datas sob o formato portable document format (PDF). A produção bibliográfica destes pesquisadores de referência foi demarcada em um período de dez anos, 2001 a 2010. Este período permitiria uma leitura dos dados em um tempo expressivo de produção e de exposição às políticas públicas de incentivo à colaboração mediante formação de grupos de pesquisa.

Portanto, 26 pesquisadores foram inicialmente selecionados para o estudo e sua produção em artigos, livros e capítulos de livros, formou o corpus principal de dados coletados. Dentre os selecionados, um investigador da Física faleceu e decidimos por não utilizar os dados referentes a ele. Passamos então a contar com 9 pesquisadores da Física. Com isto, os dados aqui apresentados resultam da análise das redes de 25 pesquisadores³. Deste conjunto, a terça parte foi entrevistada: 3 pesquisadores da Educação, 2 da Engenharia de Produção e 3 da Física.

Os dados coletados nos currículos foram limpos e organizados em planilhas do Microsoft Excel, compilando-se as informações referentes às publicações e aos coautores envolvidos no período em análise. Em seguida, utilizamos o software Bibexcel para gerar arquivos que embasaram a produção de grafos representando as redes de colaboração como teias do conhecimento, mediante o uso do programa Pajek. Na fase seguinte, entrevistamos os pesquisadores pessoalmente em seus locais de trabalho. Iniciamos a entrevista apresentando os grafos de sua produção e perguntamos sobre a forma de organização de suas redes de pesquisa. As informações resultantes das entrevistas foram categorizadas e ordenadas em quadros para análise qualitativa posterior. Na etapa seguinte, realizamos a análise dos grafos obtidos e consideramos as planilhas elaboradas para sua obtenção como um dos principais elementos de pesquisa. Ao final, deduzimos um protocolo que representa a síntese dos dados coletados. São marcadores e critérios de avaliação para avaliar as interações entre membros de redes de colaboração em pesquisa.

3 REVISÃO DA LITERATURA

Uma das maneiras simples de entender a colaboração em pesquisa se deve a Newman (2001). Basta que dois cientistas sejam coautores em um texto para que exista uma conexão entre eles, uma rede.

I study networks of scientists in which two scientists are considered connected if they have coauthored a paper. This seems a reasonable definition of scientific acquaintance: most people who have written a paper together will know one another quite well. It is a moderately stringent definition, since there are many scientists who know one another to some degree but have never collaborated on the writing of a paper. Stringency, however, is not inherently a bad thing. A stringent condition of acquaintance is perfectly acceptable, provided, as in this case, that it can be applied consistently (NEWMAN, 2001, p. 404).

As redes de colaboração em pesquisa apresentam especificidades e diferenças nas diferentes áreas do conhecimento. Clark (1998) procurou compreender os propósitos das redes de pesquisa, dentre os quais a disseminação do conhecimento e a operacionalização das taxas de crescimento para a criação do novo. Mostrou estratégias de comunicação coletivas para a redução de fronteiras entre os membros de um grupo que trabalha em rede. Acrescentou que os pesquisadores que colaboram entre si partilham um paradigma, uma intenção de produção de conhecimento, uma metodologia de análise de dados, uma hipótese, ou hipóteses alternativas. A cooperação se dá através de relações e as interações são estimuladas por intenções comuns. De tal sorte que a figura da parceria alcança lugar de destaque. A pesquisa em parceria tem a ver com a intenção de um coletivo em produzir conhecimento.

Becher e Trowler (2001) alertaram sobre as tribos acadêmicas e a marcação de territórios caracterizando diferenças entre as áreas de conhecimento nos modos de fazer pesquisa e publicar resultados. Newman (2001; 2003) mostrou a estrutura e o funcionamento de redes complexas. Watts (2004) destacou a "nova ciência das redes", seus entendimentos, conceituações e categorizações. No entanto, foi Nicholas Christakis quem popularizou as conexões em rede e seus poderes ao apresentar palestra pública em site especializado (CHRISTAKIS, 2010). Juntamente com James Fowler, escreveu sobre o poder das conexões e a importância do networking e como ele modela nossas vidas, livro cujo objetivo é mostrar em linguagem acessível a importância do networking em questões cotidianas. Para os autores, a análise de redes sociais (ARS) estuda as interconexões e interações entre pessoas e a comunidade de rede é aquela que se conecta em determinado tempo e circunstância:

Uma comunidade de rede pode ser definida como um grupo de pessoas que estão mais conectadas entre si do que estão em relação a outros grupos de pessoas conectadas localizadas em outras partes da rede. As comunidades são definidas por relações estruturais, não necessariamente por uma característica específica compartilhada (CHRISTAKIS; FOWLER, 2010, p. 8).

Christakis e Fowler se reportam a redes sociais. O conceito de rede que expõem talvez não se aplique diretamente ao propósito deste estudo. Se as redes não se definem por uma característica específica partilhada, então o que caracterizaria a interação entre pesquisadores que publicam em coautoria? Sem dúvida, a análise de das redes de colaboração, research network analysis (RNA), e de coautoria, difere da ARS, porque concentra seus estudos em trabalhos publicados por pesquisadores que realizam pesquisa em comum, em conjunto, e publicam regularmente artigos derivados destas pesquisas. São agendas multidisciplinares que se constroem (MOLINA; MUÑOZ; DOMENECH, 2002).

Em estudos sobre redes de pesquisa e colaboração, são comuns as metáforas. Para tratar da produção de inovações e entender o mecanismo de funcionamento das redes de pesquisa, Leung (2013) propôs a figura da "esponja" para destacar a ideia de vasos comunicantes. Esta metáfora complementa a ideia de tubos e fluxos anteriormente desenvolvida por outros estudiosos. Para o autor, os grupos que operam em redes de colaboração e coautoria, nacionais e internacionais, produzem inovação ao atuarem como esponjas que tocam diferentes pontos da comunidade científica e se abastecem de seus achados. A esponja pode ser interpretada como uma estrutura de rede flexível que absorve materiais fluidos de todos os lados, que absorve os esforços construtivos dos parceiros da rede, e vai espremer os materiais úteis em um momento posterior. Ou seja, quando o número de trocas é maior, quando aumenta o número de relações, se amplia também o número de possibilidades de criação de inovações processuais e de resultados.

Como outras metáforas, o formato "esponja" não parece captar toda a gama de benefícios da rede. Porém, a porosidade da esponja significa liberdade para transbordar conhecimentos no momento mais adequado. Com possibilidades transdisciplinares, uma rede tipo esponja tenderia a estabelecer conexões fluidas que transcendem a colaboração próxima e se estendem ao nível de outros grupos, outras instituições e outros países.

Outras óticas caracterizam os estudos sobre redes. No Brasil, Balancieri et al. (2005), Maia e Caregnato (2008), Fiorin (2007), Oliveira, Santarem e Santarem Segundo (2009), Vanz e Stumpf (2010), Hayashi e Ferreira Junior (2010) apresentaram diferentes olhares para caracterizar as redes de pesquisa nos diversos campos disciplinares. Investigaram as copublicações em diversas análises - desde as redes de colaboração expressas pelos currículos Lattes e o DGPB até a internacionalização nas ciências humanas, as formas de representar as redes, as redes de cocitações na comunidade científica e, também, os procedimentos e ferramentas aplicados em estudos bibliométricos sobre redes.

A avaliação de processos de interação em rede, no entanto, parece ser ainda, um objeto de desejo dada a dificuldade em captar os elementos internos à colaboração. Ao revisar as publicações sobre redes de colaboração, Pinho e Leite (2013) encontraram 1093 artigos em sete bases de dados. Confirmaram, no entanto, que nessas bases de dados, há um reduzido número de estudos cujo objeto seja a avaliação de redes de pesquisa.

Avaliação de redes de pesquisa foi tema de artigos e relatórios da Organização para Cooperação e Desenvolvimento Econômico (OCDE) e Simon Fraser University (SFU), respectivamente desenvolvidos na Europa e na América (Canadá). O relatório (OECD, 2011) aponta a necessidade de avaliação desde o início da colaboração e que os resultados da avaliação devem ser comunicados aos responsáveis pelas políticas e ao público em geral. No trabalho de avaliação do SFU, relatório intitulado "Capturing the outcomes and impacts of publicly funded research" (CRESSMAN et al., 2009), afirma-se que as ferramentas para avaliação de redes estão em sua infância; que há uma ausência de vocabulário especializado para descrever redes; e que a linguagem utilizada para estudos de redes é uma linguagem matemática difícil de ser compreendida em seus sentidos. Para reunir os conceitos de redes de pesquisa e avaliação, acrescentam os autores do relatório, seria necessário entender as dinâmicas das conexões em rede e considerar conteúdo, contexto e estrutura ao mesmo tempo, tomando-as como um conjunto.

Para Shin, Lee e Kim (2013), as atividades de colaboração muitas vezes são desencorajadas, pois os sistemas de avaliação fazem apenas a contagem das publicações e citações dos pesquisadores. Em alguns sistemas, estas métricas podem ser negativas para a colaboração, uma vez que descontam pontos dos autores. As tensões e conflitos ocorrem porque a contagem de pontos por publicação é fracionada e divide o crédito entre os autores.

A literatura revisada, ainda que copiosa, deixa dúvidas sobre quem colabora, porque e como colabora, para responder às clássicas perguntas de avaliação: know what, know how,know why, know who e who knows to do what. Por outro lado adentramos ao estudo de redes trabalhando paralelamente com a teoria dos grafos, pois são estes que melhor representam as redes e suas conexões. São eles que nos permitem "ver" uma rede e representá-la de forma simplificada por um ou mais grafos que contem os elementos de uma dada relação, interação ou situação (BARBOSA; BYINGTON; STRUCHINER, 2000, p. 42).

4 REDES DE COLABORAÇÃO NO CONTEXTO DE APLICAÇÃO

No contexto de aplicação, ou seja, pelas evidências de interação nas redes formadas a partir dos grupos de pesquisa, enumeramos as colaborações e coautorias nacionais e internacionais. A seguir, buscamos entender o que os dados nos indicavam e ofereciam para que pudéssemos "ler" a colaboração nas redes de pesquisa. Conseguimos elencar alguns critérios indicados pelas leituras realizadas e, depois, criamos outros critérios que pudessem ser marcadores de movimentos no interior dos grupos.

Chegamos a um conjunto de 10 marcadores que foram agrupados em um protocolo. Utilizamos o protocolo para captar os dados que servem à avaliação das redes de coautoria de cada sujeito do estudo, obtendo um total de 25 registros. Na primeira parte do protocolo, constam os dados de identificação. Na segunda parte, os elementos que podem ser medidos a partir dos grafos. Na terceira, os elementos que podem ser medidos a partir das planilhas que deram origem aos grafos. No protocolo individual de cada ator, constam as frequências absoluta e relativa de cada ocorrência.

A estrutura de rede dada pela análise dos grafos, segunda parte do protocolo, abrange a identificação de: (1) autores da rede, intra e extragrupo no Brasil e fora do Brasil; (2) agrupamentos de nós que caracterizam os indivíduos como isolados (em ligação apenas com o ego ou líder), ligados a dois componentes (o líder e mais um), ou ligados a três ou mais componentes (dois ou mais além do líder); (3) tipo e localização das instituições que sediam os autores, tais como instituições de educação superior (IES), entidades extra-acadêmicas, como empresas, fundações, centros de investigação, no país ou no exterior; e (4) grau de centralização e poder do líder, em forma pura, quando há predomínio de relações exclusivas entre o ego-líder e os atores apenas entre o líder e os demais atores, ou em forma interconectada, quando são visíveis as relações entre atores secundários formando subgrafos.

Na parte final do protocolo, encontra-se a produção de cada autor em publicações de artigos, ou capítulos ou livros ou outros. A partir das planilhas de levantamento dos produtos bibliográficos dos sujeitos no período 2001-2010, especificam-se: (5) publicações por número de autores; (6) publicações por inserção geográfica; (7) periódicos por inserção geográfica. Introduzimos no estudo as perspectivas de: (8) grau de centralização e (9) poder do líder do grupo (rede), além da (10) intensidade da colaboração.

Nestes protocolos, classificamos os coautores nacionais como intragrupo quando estes estavam cadastrados no DGP como participantes de grupo de pesquisa liderado pelo pesquisador 1A alvo de nosso estudo, e extragrupo, quando estavam envolvidos em outros grupos ou não faziam parte de nenhum. Consideramos coautoria nacional a porcentagem de coautores do grupo/rede que estão sediados em instituições do Brasil; publicação nacional, como a porcentagem de publicações em periódicos editados no Brasil; publicação internacional como a porcentagem de publicações em periódicos editados fora do Brasil e coautoria internacional como a porcentagem de coautores da rede sediados fora do Brasil.

5 DISCUSSÃO DOS RESULTADOS NO CONTEXTO DA APLICAÇÃO

Os marcadores, como sugere a palavra, marcam ou indicam processos de interação, colaboração e coautoria. Marcam as interações (poder do líder, intensidade da colaboração, número de participantes da rede) e os movimentos da rede (dentro e fora do país), as diferentes agências que compõem a rede (universidades, empresas, fundações, instituições). Eles são resultados dos processos de interação quando revelam, por autores agrupados, o número de publicações e o alcance das mesmas (nacional e internacional; local, regional, global).

A partir dos dados de cada pesquisador, calculamos a média simples dos elementos do conjunto de pesquisadores de cada área. Nas tabelas a seguir, apresentamos a forma como se comportam as diferentes áreas do conhecimento à luz dos indicadores/marcadores de avaliação que sugerimos. Nas tabelas não são mencionadas as instituições de origem dos pesquisadores de modo a preservar o sigilo da informação.

A seguir, Tabela 2, apresentamos o total e as médias dos artigos publicados, os periódicos e sua inserção geográfica.

Observa-se nesta Tabela que, no período de tempo considerado, as médias de coautorias dentro de uma rede egocêntrica, encabeçada por um líder 1A, atinge proporções interessantes e diferenças marcadas entre as áreas de conhecimento. Destaca-se que a produção de artigos na Física - 522 artigos publicados por 9 pesquisadores, é mais do que o dobro da Educação para o mesmo período de tempo, ainda que calculada com base em um número menor de pesquisadores. A Engenharia da Produção, de outra parte, com um número reduzido de autores (6 pesquisadores) apresenta uma expressiva produção de artigos (266 artigos) em dez anos.

Na Educação, o ego publicou solitariamente (57,4%) ou com mais um membro da rede (25,3%); publicou em menor frequência com três autores (11,5%). O inverso se observa na Física e na Engenharia da Produção, áreas em que o ego praticamente não publicou artigos sozinho (4,6 e 2,3%), e sim em interação com outros coautores da rede. Artigos escritos por três autores alcançam as médias de 26,5 e 46,3% na Física e na Produção, respectivamente, nesta amostra selecionada. Na Física, não é incomum os artigos serem publicados com mais de seis autores (11,6%), sendo que pode mesmo haver mais de 10 autores em um mesmo artigo (2,1%). Outra diferença entre as áreas de conhecimento pode ser visualizada pelo indicador de publicações no país e fora do país: na Educação 85,6% da produção é editorada no país e na Física, 96,5% dos artigos são internacionais. Na Produção parece haver um balanceamento: 55,6% internacional e 44,3% no país.

Cabe evidenciar na Tabela 2 que o canal de divulgação de artigos é mais amplo na Física do que nas demais áreas: 181 periódicos, sendo majoritariamente internacionais (94,2%). A Educação, ao mobilizar 141 periódicos, concentra-se na publicação em periódicos do Brasil (83,7%). A Produção segue a tendência da Física, atingindo 112 periódicos, dos quais 67% são editados fora do Brasil.

Na Tabela 3, acima, observa-se que na Educação a grande maioria dos membros das redes, componentes intragrupo (42,7%) e extragrupo (55,1%), trabalham em instituições brasileiras. Para o grupo da Educação estudado, apenas 2,2% dos componentes são pesquisadores sediados fora do Brasil. Na Educação, na Física e na Produção os atores extragrupo correspondem a um percentual semelhante, em torno de 55%. Ou seja, mais da metade dos componentes das redes dos pesquisadores tem origem fora do grupo de pesquisa. Na Física, os componentes de fora do Brasil são 33,2%. Se a terça parte da rede procede de fora do país, tal fato parece revelar maior grau de internacionalização da Física. O mesmo não ocorre na Educação (2,2%) e apenas em parte na Produção (8,0%).

Conforme a Tabela 4, relativa às estruturas das redes, observa-se que a conectividade também apresenta variações entre as áreas de conhecimento.

Na área da Educação, há um percentual considerável de atores isolados (46,5%), o que não se identifica na Física (2,6%). Na Produção, os atores isolados somam um percentual menor (22,5%) do que na Educação, porém maior do que na Física. Na Física, a prática de publicação com três ou mais membros da rede é o usual (85,3%), enquanto na Educação (23,6%) esta não parece ser a prática regular. Ao reunir os dados de "isolados" com "ligados a dois componentes", vemos que a dinâmica de trabalho de produção de conhecimento sob a forma de artigos na Educação parece se resumir a um trabalho isolado, com poucos pesquisadores da rede ligados ao líder ou ego (76,4%).

Conforme a Tabela 5, há diferenças entre as instituições com as quais se trabalha nas redes da Educação, Física e Produção.

Se observarmos a Tabela 5, vamos encontrar outro dado interessante sobre o processo de produção de conhecimento sob a forma de artigos na Educação: não há autorias em colaboração com entidades extra-acadêmicas do exterior para o grupo pesquisado. Da mesma forma, na Educação e na Engenharia de Produção, as autorias com pesquisadores de IES brasileiras são a maioria, 85% e 77% respectivamente. Confirma-se que na Física há um trabalho com as IES do exterior (25,5%) e com entidades extra-acadêmicas do país e do exterior (27,2%).

Na continuidade, preocupamo-nos em medir a intensidade das colaborações como um marcador de cunho quali-quantitativo. A intensidade da colaboração, no nosso entendimento, não se ocupa apenas da recorrência de coautorias como capta usualmente a avaliação bibliométrica. Não basta ter a medida do percentual de artigos ou capítulos ou livros que foram produzidos em coautorias ou mesmo o número de autores que escrevem e publicam em conjunto com o pesquisador principal. A medida de intensidade da colaboração em uma rede se ocupa da variedade de relações que se tramam nas teias armadas entre pesquisadores dentro do grupo de pesquisa sob a liderança de um ou mais pesquisadores. Propomos que esta medida se possa obter a partir da análise de grafos, exemplificados na Figura 1.

No grafo, a representação visual de uma rede, os vértices representam pesquisadores e as linhas representam colaboração ou coautoria. As linhas se sobrepõem e se entrecruzam quando há uma diversidade de interações no grupo ou teia armada na rede de colaborações de um pesquisador cujo ponto de encontro é o nó ou vértice. Através desta análise se observa a produtividade do pesquisador e, ao mesmo tempo, revela-se a resistência da rede e também a dinâmica do comportamento desta rede em suas articulações. Como os vértices da rede não são todos iguais ou uniformes em dado período de tempo, os grafos revelam vértices mais ou menos fortes. Mais fortes quando há mais ligações e mais interações com diversidade de colaboradores de diferentes origens institucionais ou organizacionais.

A forma de encontrar a intensidade das colaborações seria dada pela medida do grau dos vértices de um grafo. Segundo a teoria dos grafos, o grau de um vértice é o número de linhas incidentes sobre ele (NOOY; MRVAR; BATAGELJ, 2005, p. 57). Assim, este grau registra a quantidade de coautores a que se conecta um membro da rede em um determinado período de tempo. Não se trata de medir o número de ligações existentes sobre o número de ligações possíveis, e sim do tipo de interação, de colaboração consubstanciada no tamanho do vértice. Como dizem Nooy, Mrvar, Batagelj (2005, p. 57), esta razão, a densidade⁴, "não é tão útil, pois, depende do tamanho da rede. É melhor observar o número de relações em que cada vértice está envolvido". Propomos então que o grau de colaboração de uma rede pode ser medido a partir da média dos graus dos vértices que representam os sujeitos participantes na rede ou grupo de pesquisa. Esta é uma medida que não depende do tamanho da rede e permite comparar ou fazer a média de redes de colaboração com tamanhos diferentes.

A Figura 2 apresenta a intensidade da colaboração nas redes de pesquisadores das três áreas de conhecimento selecionadas.

Observamos que, em artigos, a Física possui maior intensidade de colaboração entre atores pesquisadores do que Engenharia da Produção e esta mais colaboração do que a Educação. As redes egocêntricas dos pesquisadores de excelência em Educação, em comparação com as redes egocêntricas de pesquisadores de excelência em Engenharia da Produção, apresentam graus de colaboração menos intensos quando se trata de artigos. Porém, quando se trata de analisar capítulos de livros, a intensidade da colaboração se aproxima entre as três áreas de conhecimento. Quando se observa a intensidade da colaboração na publicação de livros, a Engenharia da Produção apresenta maior intensidade do que as demais áreas analisadas.

No trabalho com redes egocêntricas dos pesquisadores, a colaboração mostrou ser diferente nas diferentes áreas e mostrou-se relativa ao tipo de publicação. Então, é na elaboração de artigos que se tem a medida da diferença entre as áreas notificada na literatura, e não na publicação de capítulos ou livros, onde, na média, os patamares de colaboração convergem.

6 MARCADORES DE AVALIAÇÃO DE REDES DE PESQUISA E COLABORAÇÃO: CONSIDERAÇÕES FINAIS

Neste trabalho, evidenciamos uma forma simples de construção de marcadores, ajustada às fontes disponíveis - as bases de dados Plataforma Lattes e DGP, do CNPq - para avaliar redes de colaboração em pesquisa. Discutimos o porquê e para quê avaliar redes de pesquisa e colaboração. Criamos um modo, uma forma, um como avaliar processos da interação entre os colaboradores de um grupo ou rede de pesquisa. Sugerimos um conjunto de marcadores. Testamos os marcadores selecionados, as constatações da literatura, bem como as novas alternativas que apresentamos para uma avaliação simplificada.

Na Figura 3, a seguir, apresentamos de forma sintética a visualização do caminho percorrido, a definição ou conceitos sobre o objeto da pesquisa, aspectos da metodologia, fontes, instrumentos e materiais e os resultados obtidos como Marcadores de Avaliação de Redes de Pesquisa e Colaboração.

Foi nossa intenção disponibilizar um procedimento de avaliação factível e real. Revisamos a literatura disponível, selecionamos itens para marcar a avaliação da colaboração em pesquisa. Testamos os marcadores selecionados com pesquisadores de excelência em atividade, líderes de grupos de pesquisa há mais de dez anos, atuantes em três áreas de conhecimento, as quais notadamente guardam diferenças nos seus procederes de investigação e divulgação de resultados e produtos.

Nossa caminhada foi longa, uma vez que precisamos conhecer saberes de ciência da informação, construção e análise de grafos, ARS ou SNA, para alcançar o objetivo. Trabalhamos em parceria com investigadores da área a quem somos gratos e devedores.

Em síntese, disponibilizamos para a comunidade científica um conjunto de 10 marcadores ou indicadores que, esperamos, possam ser úteis aos grupos de pesquisa, setores de pesquisa das universidades, agências de fomento. Gestores de instituições e de sistemas poderão agregar estes indicadores a programas de avaliação. A vantagem de sua utilização diz respeito ao seu objeto - processo de pesquisa. Intencionalmente estes marcadores avaliam processos e não resultados quantitativos de produtividade em pesquisa. Avaliam formas de atuação, relações e interações dentro dos grupos de investigação.

Contudo, este estudo tem limitações. Ele ainda é artesanal. Uma das principais limitações refere-se ao emprego de uma análise que contempla apenas o interior da rede, sua intimidade, a partir das relações travadas pelo ego ou líder. As autorias são aquelas que constam nos currículos Lattes do ego. Seria desejável visualizar a expansão de cada membro conectado a esta rede em suas produções individuais, para além do grupo. Porém, este tema ficará para outros estudos que farão a crítica aos marcadores de avaliação, irão sugerir ampliações e acrescentar melhorias. Importa avançar com base em uma prática de aplicação que ofereça mais informações aqueles que se dedicam a pesquisar sobre medidas em avaliação, uma área constante e necessariamente em atualização. Importa, pois, voltar a olhar a avaliação como um processo, os pesquisadores como seres de interação, voltados para o coletivo, e não apenas como produtores de resultados e produtos para quantificação e classificação individual.

Recebido: 18 jan. 2014

Aprovado: 31 jan. 2014

Referências bibliográficas

• ADAMS, Jonathan. The rise of research networks. Nature, London, v. 490, p. 335-336, out. 2012.
• BALANCIERI, Renato et al. A análise de redes de colaboração científica sob as novas tecnologias da informação e da comunicação: um estudo na plataforma Lattes. Ciências da Informação, Brasília, v. 34, n. 1, p. 64-77, jan./abr. 2005.
• BARBOSA, Maria Teresa; BYINGTON, Maria Rita; STRUCHINER, Cláudio. Modelos dinâmicos e redes sociais: revisão e reflexões a respeito de sua contribuição para o entendimento da epidemia de HIV. Cadernos de Saúde Pública, Rio de Janeiro, v. 16, sup. 1, p. 37-51, 2000.
• BECHER, Tony; TROWLER, Paul. Tribus y territorios académicos: la indagación intelectual y las culturas de las disciplinas. Barcelona: Gedisa, 2001.
• CAREGNATO, Célia Elizabete; MOURA, Ana Maria; CAREGNATO, Sônia Elisa. Ciência em contextos: ethos acadêmico-científico e dinâmica da pesquisa registrada no CNPq. In: LEITE, Denise; LIMA, Elizeth Gonzaga. (Orgs.). Conhecimento, avaliação e redes de colaboração: produção e produtividade na universidade. Porto Alegre: Sulina, 2012. p. 162-180.
• CHRISTAKIS, Nicholas A.; FOWLER, James H. O poder das conexões: connected. Rio de Janeiro: Elsevier, 2010.
• CHRISTAKIS, Nicholas. The hidden influence of social networks. Long Beach: TED Talks, 2010. Vídeo online (21 min.), legendado. Disponível em: <http://www.ted.com/talks/lang/pt-br/nicholas_christakis_the_hidden_influence_of_social_networks.html>. Acesso em: 9 jan. 2014.
• CLARK, Burton. Creating entrepreneurial universities: organizational pathways of transformation. Oxford: Pergamon, Elsevier, 1998.
• CONSELHO NACIONAL DE DESENVOLVIMENTO CIENTÍFICO E TECNOLÓGICO (CNPq). Tabela de Áreas do Conhecimento do CNPq Brasília, [s.d.]. Disponível em: <http://200.17.161.80/prppg/projetos/tabela-areas-do-conhecimento-cnpq.pdf>. Acesso em: 3 maio 2013.
• CRESSMAN, Darryl et al. Capturing the outcomes and impacts of publicly funded research: a framework for evaluating formal research networks. Draft. Vancouver: CPROST/SFU, 2009. Disponível em: <http://blogs.sfu.ca/departments/cprost/wp-content/uploads/2012/10/09-05.pdf>. Acesso em: 28 maio 2013.
• CUNHA, Maria Isabel; LEITE, Denise. Decisões pedagógicas e estruturas de poder na universidade 2. ed. Campinas: Papirus, 2009.
• FIORIN, José Luis. Internacionalização da produção científica: a publicação de trabalhos de Ciências Humanas e Sociais em periódicos internacionais. Revista Brasileira de Pós-Graduação, Brasília, v. 4, n. 8, p. 263-281, dez. 2007.
• HAYASHI, Carlos Roberto Massao; FERREIRA JUNIOR, Amarílio. O campo da história da educação no Brasil: um estudo baseado nos grupos de pesquisa. Avaliação, Campinas; Sorocaba, v. 15, v. 3, 167-184, 2010.
• LEUNG, Ricky C. Networks as sponges: international collaboration for developing nanomedicine in China. Research Policy, Brighton, v. 42, n. 1, p. 211-219, feb. 2013.
• MAIA, Maria de Fátima S.; CAREGNATO, Sônia Elisa. Coautoria como indicador de redes de colaboração. Perspectivas em Ciência da Informação, Belo Horizonte, v. 13, n. 2, p. 18-31, maio/ago. 2008.
• MIORANDO, Bernardo Sfredo; LEITE, Denise. Mapeamento de redes de colaboração: detectando inovação e mudanças nas teias do conhecimento. In: LEITE, Denise; LIMA, Elizeth Gonzaga. (Orgs.). Conhecimento, avaliação e redes de colaboração: produção e produtividade na universidade. Porto Alegre: Sulina, 2012. p. 181-200.
• MIORANDO, Bernardo Sfredo. Mapeio das redes de colaboração: detectando inovação e mudanças nas teias de conhecimento com o Pajek In: LEITE, Denise; FERNANDES, Cleoni Barboza. Qualidade da educação superior: Avaliação e implicações para o futuro da universidade. Porto Alegre: Edipucrs, 2012. p. 37-43.
• MOCELIN, Daniel Gustavo. Concorrência e aliança entre pesquisadores: reflexões acerca da expansão de grupos de pesquisa dos anos 1990 aos 2000 no Brasil. Revista Brasileira da Pós-Graduação, Brasília, v. 6, n. 11, p. 35 - 64, dez. 2009.
• MOLINA, José Luis; MUÑOZ, Juan Manuel; DOMENECH, Miquel. Redes de publicaciones científicas: un análisis de la estructura de estructura de coautorías. Redes - Revista Hispana para el análisis de redes sociales, Barcelona, v. 1, n. 3, p. 1-15, jan. 2002.
• NEWMAN, M. E. J. The structure of scientific networks collaboration. Proceedings of the National Academy of Sciences of the United States of America, Santa Fe, v. 98, n. 2, p. 404-409, jan. 2001.
• NEWMAN, M. E. J. The structure and function of complex networks. SIAM Review, Philadelphia, v. 45, n. 2, p. 167-256, 2003.
• NOOY, Wouter D.; MRVAR, Andrej; BATAGELJ, Vladimir. Exploratory network analysis with Pajek. Cambridge: Cambrige University Press, 2005.
• ORGANIZATION FOR ECONOMIC COOPERATION AND DEVELOPMENT (OECD). OECD Global Science Forum. Opportunities, challenges and good practices in international research cooperation between developed and developing countries Paris: OECD-GSF, 2011. Disponível em: <http://www.oecd.org/dataoecd/40/16/47737209.pdf>. Acesso em: 13 jan. 2014.
• OLIVEIRA, Ely Francina Tannuri de; SANTAREM, Luciana Garcia da Silva; SANTAREM SEGUNDO, José Eduardo. Análise das redes de colaboração científica através do estudo de co-autorias nos cursos de pós-graduação do Brasil no tema tratamento temático da informação. In: CONGRESO ISKO-ESPAÑA, 9., 2009, Valencia. Actas... Valencia: Sociedad Internacional Para La Organización del Conocimiento - Capítulo Español, 2009. p. 309 - 327.
• PINHO, Isabel Gomes de; LEITE, Denise. Research networks as territories of science and knowledge integration. Panel presented at Session 5: Collaborative research and knowledge production. In: CONSORTIUM OF HIGHER EDUCATION RESEARCHERS, 26., 2013. Lausanne: CHER/University of Lausanne, 2013.
• SHIN, Jung Cheol; LEE, Soo Jeung; KIM, Yangson. Research collaboration across higher education systems: maturity, language use, and regional differences. Studies in Higher Education, London, v. 38, n. 3, p. 425-440, mar. 2013.
• VANZ, Samile Andréa de Souza; STUMPF, Ida Regina Chittó. Colaboração científica: revisão téorico-conceitual. Perspectivas em Ciências da Informação, Belo Horizonte, v. 15, n. 2, p. 42-55, maio/ago. 2010.
• WATTS, Duncan J. The "new" science of networks. Annual Review of Sociology, Palo Alto, v. 30, p. 243-270, ago. 2004.

1

Apoio CNPq.

2

Pesquisa "Avaliação e Redes de Colaboração: inovação e mudanças nas teias do conhecimento", coordenado pela Professora Denise Leite, está a ser desenvolvida pelo grupo de pesquisa Inovação e Avaliação na Universidade (InovAval -

http://www.ufrgs.br/inov).

3

Em estudo complementar, realizado no âmbito do mesmo projeto de pesquisa, 4 pesquisadores de grupos de excelência de centros de pesquisa universitários de Portugal foram selecionados. Destes, 4 foram entrevistados. Assim, no total contamos com, 30 pesquisadores selecionados, 12 entrevistados.

4

Densidade representa o número de ligações existentes entre os participantes em relação ao número total de ligações possíveis na rede. A densidade é media em escala de 0 a 1 (CAREGNATO; MOURA; CAREGNATO, 2012, p. 176).

Datas de Publicação

• Publicação nesta coleção
  20 Mar 2014
• Data do Fascículo
  Mar 2014

Histórico

• Recebido
  18 Jan 2014
• Aceito
  31 Jan 2014