Avaliação do impacto da produção científica de programas selecionados de pós-graduação em Administração por meio do índice HRESUMO
Neste trabalho, trata-se da mensuração do impacto da produção científica em Administração. Foram avaliados os Núcleos de Do centes Permanentes de seis programas brasileiros de pós-graduação, além de quatro programas estrangeiros, para efeito de referência. Os indicadores de impacto foram coletados a partir da base de dados do Google Scholar, com o apoio de um software específico. O indica dor utilizado na análise foi o índice H, criado por Jorge H. Hirsch. Constatou-se considerável diversidade entre os programas e entre os pesquisadores de cada programa brasileiro. Apenas pequena parcela dos pesquisadores dos programas analisados apresenta índices H próximos daqueles considerados adequados na literatura sobre o tema. Advoga-se que o índice H, combinado a outros indicadores de impacto, poderia ser utilizado para avaliar e definir ações para aperfeiçoamento dos programas locais de pós-graduação em Admi nistração, visando aumentar seu impacto na ciência.
Palavras-chave: impacto social; índice H; programas de pós-graduação em Administração; produção científica; pesquisa em Administração
ABSTRACT
This paper deals with the extent of the impact of scientific production in the field of Administration. We evaluated the Permanent Teachers Cores of six Brazilian graduate programs, as well as four foreign programs, for reference purposes. Impact indicators were collected from Google Scholar database, with the support of a specific software. The indicator used in the analysis was the H index, created by Jorge H. Hirsch. We found a considerable diversity between programs and between the researchers of each Brazilian program. Only a small share of Brazilian researchers present H indexes close to those considered appropriate in the scientific literature. It is argued that the H index, combined with other impact indicators, could be used to assess and define actions for improvement of local graduate programs in Administration, in order to increase their impact on science.
Keywords: social impact; H index; graduate programs in Administration; scientific production; research in Administration
RESUMEN
El objetivo en este trabajo es determinar el impacto de la producción científica en Administración. Se evaluaron los Núcleos de Docentes Permanentes de seis programas de posgrado brasileños, así como de cuatro programas en el extranjero, con el propósito de establecer una referencia. Los indicadores de impacto se obtuvieron a partir de la base de datos del Google Scholar, con el uso de un software específico. El indicador utilizado en el análisis fue el índice de H, creado por Jorge H. Hirsch. Se encontró una considerable diversidad entre los programas y entre los investiga dores de cada programa brasileño. Sólo una pequeña parte de los investigadores de los programas analizados presenta índices H cercanos a los que se consideran adecuados en la literatura científica. Se argumenta que el índice H, junto con otros indicadores de impacto, podría utilizarse para evaluar y definir acciones de mejora y perfeccionamiento de los programas locales de posgrado en Administración, con el fin de aumentar su impacto en la ciencia.
Palabras clave: impacto social; índice H; programas de posgrado en Administración; producción científica; investigación en Administración
1. INTRODUÇÃO
A produção científica brasileira tem, de forma geral, evoluído e ganhado espaço junto à comunidade científica internacional. Em 2009, o Brasil ocupava a 13ª posição no ranking de produção científica no mundo e continua evoluindo em ritmo acelerado (Brasil, 2012). Estima-se que a evolução experimentada pela comunidade científica no país como um todo tenha também ocorrido no campo específico da Administração, cuja produção tem sido cada vez maior. Por exemplo, em 2012, o Encontro da Associação Nacional de Pós-Graduação e Pesquisa em Administração (EnANPAD), um bom termômetro da produção científica brasileira nesse campo, recebeu 2.940 submissões de trabalhos. Em 1997, o número de trabalhos recebidos havia sido 787 (ANPAD, 2012).
No entanto, embora a produção científica no País tenha crescido, a qualidade dessa produção, expressa pela quantidade de trabalhos publicados em periódicos de alto impacto e pelo número de citações que os artigos recebem, ainda se encontra em uma posição distante das referências mundiais (Zago, 2011). Situação similar é verificada no campo da Administração, cuja produção tem crescido em quantidade, porém, segundo avaliações, não em qualidade (Spink & Alves, 2011; Bertero, Vasconcelos, Binder & Wood Jr., 2013; Bertero, Caldas & Wood Jr., 2005).
Tal contexto tem estimulado reflexões críticas sobre o sistema de medição da produção científica e de avaliação da pós-graduação no Brasil (Horta, 2006; Alcadipani, 2011a; Alcadipani, 2011b; Bertero et al., 2013; Marques, 2013). Dentre as críticas ao sistema de avaliação, destaca-se aquela referente à orientação para a produção - medida pelo número de artigos publicados em periódicos qualificados - e não para o impacto - medido pela citação dos artigos em outros artigos. Conforme apontaram Bertero et al. (2005) há dez anos, o sis tema vigente provoca distorções, na medida em que estimula os pesquisadores a aumentarem o número de publicações para garantir maior pontuação, fazendo assim com que a quantidade avance em detrimento da qualidade.
Essas distorções, estimuladas pelo sistema de avaliação vigente no Brasil, têm gerado debates acerca de um fenômeno que se convencionou chamar de produtivismo, geralmente asso ciado à má qualidade da produção cientifica (Alcadipani, 2011a; 2011b; Machado & Bianchetti, 2011; Mattos, 2012). Críticos do modelo de avaliação advogam que tal sistema estimula a quantidade, em detrimento da qualidade. Em estudo recente, realizado sobre uma base de 168 professores pesquisadores que recebem a bolsa produtividade do Conselho Nacional de De senvolvimento Científico e Tecnológico (CNPq), constatou-se a média de um artigo publicado por trimestre, o que significa uma produção alta. Entretanto, os mesmos pesquisadores levam em média dez anos para publicar um artigo em periódico de alta qualidade (Pegino, 2014).
Por outro lado, pode-se advogar que o aumento da quan tidade da produção científica na área levará ao aumento da qualidade. Adicionalmente, pode-se argumentar que o aumento da produção de trabalhos científicos viabiliza um processo mais acirrado de acesso aos periódicos, especialmente aqueles de maior fator de impacto, garantindo, assim, maior qualidade do que é veiculado. Entretanto, qualquer que seja a perspectiva ou a posição sobre o sistema de avaliação em vigor no País, pode-se arguir que o uso de indicadores de impacto poderia estimular os pesquisadores a realizarem trabalhos mais orientados para o desenvolvimento de contribuições científicas substantivas. Além disso, ajudaria a identificar e reconhecer pesquisadores que construíram trajetó rias sólidas, o que facilitaria decisões sobre alocação de recursos para pesquisa (veja Bornmann & Daniel, 2009).
Entre os indicadores de impacto, o índice H é sugerido em diversos estudos (e.g., Hirsch, 2005; Van Eck & Waltman, 2008; Adler, Ewing & Taylor, 2009; Franceschini & Maisano, 2010; Marcelino, 2010; Sandes-Guimarães & Costa, 2012). De fato, tal indicador tem sido adotado por agências de fomento de diversos países, tais como Reino Unido, Austrália e Nova Zelândia (Lima, Velho & Faria, 2012).
Este estudo representa um esforço inicial de mensuração e reflexão sobre o impacto da produção científica dos programas de pós-graduação em Administração no Brasil, por meio de uma métrica distinta daquelas utilizadas atualmente no País. O objetivo nesse trabalho é avaliar o impacto da produção dos Núcleos Docentes Permanentes (NDPs) de programas selecionados da área de Administração por meio do índice H.
Para cumprir esse objetivo, foi analisada a produção científica de seis programas nacionais de pós-graduação. Para estabe lecer uma referência externa, foi também analisada a produção científica de quatro programas estrangeiros de pós-graduação. Considerou-se toda a produção científica dos pesquisadores dos respectivos NDPs ou equivalentes, disponível na base de dados do Google Scholar.
Este artigo está estruturado em cinco seções, incluindo esta introdução: na segunda seção, trata-se da questão da medição do impacto da produção científica; na terceira, explica-se o método utilizado na pesquisa; na quarta seção, apresentam-se e discutem-se os resultados da pesquisa; e na quinta, apresenta-se uma síntese do estudo e explicitam-se suas contribuições; além disso, indicam-se as limitações do trabalho, sugerindo possibilidades para futuros estudos.
2. MEDIÇÃO DO IMPACTO DA PRODUÇÃO CIENTÍFICA
O impacto da produção científica tem sido fonte de reflexão na academia desde o trabalho pioneiro de Gross e Gross (1927). Com o tempo, as citações foram adotadas como uma proxy do impacto e, consequentemente, da qualidade dos trabalhos científicos. A questão ganhou relevância a partir das contribui ções de Eugene Garfield, considerado um dos fundadores da bibliometria e da cientometria e criador do Institute for Scien tific Information (ISI). Criado em 1960, o ISI passou a oferecer serviços de base de dados, com destaque para a indexação de citações em milhares de periódicos. Desde 1992, o ISI faz parte de uma divisão da Thomson Reuters Corporation, empresa multinacional do setor de mídia e informações.
2.1. Citações
As citações passaram, a partir dos anos 1960, a ser a princi pal forma de medir a dimensão qualitativa da produção científi ca. O argumento é simples: quanto mais um trabalho científico é citado, maior sua influência sobre os pares e também maior sua qualidade, já que é aceito e validado por maior número de membros da comunidade acadêmica (Glänzel, 2008). A publicação de um trabalho serve para divulgar os resultados de uma pesquisa e estimular os outros pesquisadores a discutirem seus achados. Quando esses resultados são considerados em outros trabalhos, os autores fazem menção formal a essa utilização por meio das citações (McClellan, 2003; Bornmann, Mutz, Neuhaus & Hanz-Dieter, 2008). A citação pode ser então considerada como um reconhecimento que um trabalho recebe a partir de outro (Nicholas & Ritchie, 1978).
As citações dependem de alguns fatores discutidos por Bornmann et al. (2008): a localização do autor e seu prestigio, a língua da publicação e a disponibilidade do veículo influenciam o total de citações do trabalho. Se o artigo é de revisão, seu posicionamento na edição e o número de coautores também influenciam o impacto da produção. Cabe notar que a adoção de índices de citação não está livre de distorções e problemas (veja Motta, 1983). Entretanto, as citações ainda se configu ram como a principal forma para medição da qualidade e da influência da produção científica.
2.2. Fator de impacto
Na prática, as citações subsidiam outros indicadores, como o fator de impacto (FI), que tem origem no trabalho de Eugene Garfield (Ruiz, Greco & Braile, 2009). Com o tempo, o FI consolidou-se como a principal métrica de avaliação do impacto da produção científica.
Seu uso mais corriqueiro refere-se aos periódicos cientí ficos (veja Garfield, 1999). O FI de determinado periódico é uma medida da frequência com a qual um artigo médio nesse periódico é citado em determinado período de tempo. Os FIs são calculados anualmente para os periódicos indexados no Journal of Citation Reports.
A identificação do FI de periódicos atende a diversos grupos de interesse. Segundo Strehl (2005), os autores levam em conta o FI para identificar os periódicos que podem trazer maior prestígio e visibilidade a seu trabalho; os bibliotecários, por sua vez, analisam o FI para selecionar os títulos de maior interesse para seu acervo; e os editores de periódicos analisam a evolução desse indicador e procuram elevá-lo, para atrair trabalhos relevantes e fomentar a reputação de suas revistas.
No Brasil, o FI foi adotado pelo Sistema Qualis, da Coordena ção de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), para classificar os periódicos científicos, o que, supostamente, permite avaliar a qualidade da produção científica gerada pelos programas de pós-graduação. Apesar da ampla aceitação, o FI é alvo de críticas, frequentemente relacionadas à definição da base de dados e ao método de apuração (Ruiz et al., 2009).
Autilização do fator de impacto, com base nos artigos inde xados pelo ISI, é permeada por alguns problemas, podendo-se destacar a limitação da cobertura e a não inclusão de livros, anais e documentos de trabalho, além de serem poucos os documentos em línguas diferentes do inglês (Harzing & Van der Wal, 2008; Sanderson, 2008).
Além do ISI, outras bases de dados, tais como aquelas com preendidas pelo sistema Scientific Electronic Library Online (SciELO) e pelo Google Scholar (ou Google Acadêmico), reali zam a indexação de citações. Com isso, elas permitem a geração de indicadores de impacto distintos daqueles indexados pelo ISI. Harzing e Van der Wal (2008) argumentam que o Google Scholar é uma fonte alternativa interessante de dados de citação, em particular nas Ciências Sociais e de Informação, devido a sua grande cobertura. Entretanto, essa base apresenta algumas desvantagens, como a inclusão de citações não acadêmicas e uma cobertura pouco abrangente de publicações mais antigas.
2.3. Índice H
Uma alternativa ao FI que está se tornando cada vez mais popular é o índice H, proposto por Hirsch (2005) como uma medida para avaliação da produção de um único pesquisador (Bornmann & Daniel, 2007). No entanto, sua utilização pode ir além dessa aplicação e ser realizada em um nível mais amplo de análise, como, por exemplo, o impacto da produção de grupos de pesquisa (Van Raan, 2006) e de periódicos (Braun, Glänzel & Schubert, 2006). De fato, o índice H é apontado como uma medida que incorpora medidas de quantidade e de qualidade das publicações (Egghe, 2006; Van Raan, 2006; Bornmann & Daniel, 2007).
De acordo com Hirsch (2005) e Glänzel (2008), o índice H é um indicador de apuração relativamente simples e que estima a importância, o significado e o impacto da produção científica. O fato de utilizar somente os trabalhos mais citados também é considerado uma vantagem. Hirsch (2005)argumenta que o índice H pode fornecer um ponto de referência útil, que permite comparar, de uma maneira imparcial, diferentes indivíduos, quando um dos critérios importantes é a realização científica. Harzing e Van der Wal (2008) argumentam que o índice H apresenta diversas vantagens: a falta de um horizonte temporal fixo e o fato de não se basear em pontuações médias, atenuando assim o impacto de um artigo altamente citado.
O índice H é calculado tomando-se o número de artigos publicados e o número de citações recebidas pelo pesquisador, pelo periódico ou pelo grupo de pesquisa. Assim, um pesquisador tem índice N se N de seus artigos possuem no mínimo N citações cada um. Por exemplo, um pesquisador com índice H igual a 10 possui ao menos 10 artigos que foram citados pelo menos 10 vezes cada um. (Sandes-Guimarães & Costa, 2012).
Apesar de suas vantagens, o índice H também apresenta algumas características que podem ser consideradas como desvantagens. Primeiro, ele é diretamente proporcional à duração da carreira e, dessa forma, gera uma desvantagem comparativa para pesquisadores mais jovens (Burrell, 2007) ou para grupos mais jovens de pesquisadores. Segundo, ele não é muito influenciado por artigos com um número muito alto de citações, o que pode desvalorizar trabalhos de altíssimo impacto (Egghe, 2006). Terceiro, ele apresenta uma medida simples, que não reconhece questões relacionadas à coautoria e pode não refletir o impacto científico de forma mais ampla (Baptista, Campiteli, Kinouchi, & Martinez, 2006; Van Raan, 2006. Ainda assim, pode-se afirmar que o índice Hproporciona uma solução de compromisso entre a capacidade de refletir o impacto da produção científica e a possibilidade de ser apurado de forma relativamente simples, podendo, naturalmente, ser utilizado em composição com outros indicadores.
2.4. Consistência e referências para o índice H
A consistência do índice H foi testada por diferentes pes quisadores, em distintas áreas. Bornmann e Daniel (2005) compararam os resultados do índice H de determinados pes quisadores com a avaliação feita por um grupo de renomados cientistas quando da avaliação para a concessão de bolsas de pós-doutorado. Os autores verificaram que, em média, os pesquisadores selecionados por meio da avaliação do grupo de cientistas apresentavam índice H maior do que o índice H daqueles que foram rejeitados.
No campo da Química, a consistência da utilização do índice H foi comprovada pelo estudo de Van Raan (2006), que analisou 147 grupos de pesquisadores em universidades da Holanda, constatando que os valores calculados para o índice H se as semelham a análises realizadas por pesquisadores renomados. Resultado similar foi encontrado por Cronin e Meho (2006), que analisaram pesquisadores da área das Ciências da Informação.
Diversas pesquisas foram conduzidas focando o índice H como medida de relevância da produção científica, para pesquisadores individuais e para grupos de pesquisa. Hirsch (2005) destaca que, no campo da Física, um índice H igual a 20, para um cientista cujo período de atividade científica é de 20 anos, caracteriza um profissional bem-sucedido. Para o mesmo período, um índice H igual a 40 caracteriza um profis sional de destaque; e um índice H igual a 60 após 20 anos de atividade ou igual a 90 após 30 anos de atividade caracteriza profissionais verdadeiramente únicos. No caso das Ciências Sociais, Mingers (2008) aponta que um índice H igual a 20 é bastante elevado.
Na Tabela 1, apresenta-se, a título de ilustração, o índice H para 12 pesquisadores em seis campos da Administração de Empresas. Os nomes foram identificados por meio de busca no Google Scholar, a partir dos seguintes critérios: que fossem pesquisadores de destaque nos respectivos campos, que fossem experientes e que não fossem exclusivamente norte-americanos. Nota-se que o índice H varia entre 31 e 109, apresentando, portanto, valores coerentes com aqueles apontados por Hirsch (2005) e Mingers (2008) para outros campos científicos. Por outro lado, é importante registrar que os índices H identificados para esses pesquisadores constituem uma referência relativa, pois foram obtidos em ambientes institucionais distintos do brasileiro, no qual foi realizado o presente estudo.
3. MÉTODOS
Neste estudo, tratou-se da mensuração, por meio do índi ce H, do impacto da produção científica de professores que compõem os NDPs de seis programas de pós-graduação em Administração no Brasil. A escolha dos programas baseou-se na avaliação da CAPES para o triênio 2007-2009, da área de Administração, Ciências Contábeis e Turismo. Foram identifi cados inicialmente programas que obtiveram notas seis e sete na avaliação disponível na época em que o estudo foi realizado. Optou-se por não atualizar os dados, quando houve a divulgação dos resultados da avaliação para o triênio 2010-2012, por eles serem, naquele momento, ainda sujeitos a alteração.
Dessa forma, foram analisados os programas de mestrado e doutorado em Administração de Empresas: da Escola de Administração de Empresas de São Paulo, da Fundação Ge tulio Vargas (FGV-EAESP-AE); da Faculdade de Economia, Administração e Contabilidade, da Universidade de São Paulo (FEA-USP); da Universidade Federal do Rio Grande do Sul (PPGA-UFRGS); e da Universidade Federal de Minas Gerais (CEPEAD-UFMG).
Foram incluídos na análise o programa de mestrado e doutorado em Administração Pública e Governo da FGV -EAESP (FGV-EAESP-APG), por tratar-se do único programa de doutorado nessa modalidade no Brasil, e o programa de Administração de Empresas da Escola Brasileira de Adminis tração Pública e Empresas (FGV-EBAPE), programa que foi identificado como um dos cinco mais produtivos na edição de 2013 do EnANPAD.
Na Tabela 2, indicam-se as notas da avaliação realizada pela CAPES, disponível na época de realização do estudo (triênio 2007-2009), as notas mais atuais (triênio 2010-2012) e o número de professores de cada programa (em 2013). Observa-se que há diferenças substantivas de porte entre eles: o maior programa (FEA-USP) é mais de três vezes maior, em termos de números de professores, do que o menor programa (FGV-EAESP-APG).
Além desses programas brasileiros, foram identificados quatro programas estrangeiros nas áreas de Administração de Empresas e de Administração Pública. Em Administração de Empresas foram escolhidos: o programa de doutorado de Wharton, por ser reconhecido como referência em produção científica, sendo o primeiro colocado no ranking The UTD Top 100 Business School Research Rankings (UT Dallas, 2013); e o programa de doutorado da I.E. Business School, por ter sido uma instituição europeia, que realizou um trabalho reconhecido de crescimento e internacionalização de sua produção científica. Em Administração Pública foram escolhidos os programas de doutorado da Lyndon B. Johnson School of Public Affairs e da Harvard Kennedy School, duas referências mundiais nesse campo.
Para a coleta de informações desses programas, foram tomadas as linhas ou grupos de pesquisa próximos daqueles encontrados nas instituições brasileiras. Foram considerados apenas os professores identificados como faculty members, com atuação nos respectivos programas de doutorado. Não foram considerados os professores identificados como associate, assistant e emeritus. Na Tabela 3, apresenta-se o número de professores de cada programa analisado. Notam-se, também entre esses programas, diferenças substantivas de porte. O maior programa (The Wharton School) é quase sete vezes maior, em termos de número de professores, do que o menor programa (I.E. Business School).
As informações dos programas e dos NDPs (ou faculty, para os programas estrangeiros) foram levantadas nos websites das instituições e dos respectivos programas, em junho de 2013. O levantamento do impacto da produção científica ocorreu entre os meses de setembro e outubro de 2013, e foi realizado por meio do software Publish or Perish (PoP). A escolha do PoP justifica-se pela utilização da base do Google Scholar. Conforme Harzing e Van der Wal (2008), essa base é mais indicada para o cálculo do impacto, por ser a mais abrangente e por considerar, além de revistas, livros e trabalhos apresentados em congressos.
4. RESULTADOS
Com a utilização do PoP, mapeou-se a produção científica de cada pesquisador, não se distinguindo a posição da autoria. Assim, conferiu-se a mesma importância a trabalhos nos quais o pesquisador avaliado é autor ou coautor. Além disso, foi considerado todo o período de atividade de cada pesquisador, desde a primeira publicação.
Com o intuito de verificar e eliminar erros inerentes ao uso do Google Scholar e do PoP, foi realizada uma revisão manual de todos os resultados apresentados pelo software. Assim, foram eliminados artigos de homônimos, textos que não poderiam ser considerados como trabalhos científicos (por exemplo, ementas de disciplinas) e textos duplicados. Nos casos em que um mesmo texto foi publicado em veículos diferentes (anais e periódico, por exemplo) foram mantidos os dois resultados.
Tendo em vista que a base do Google Scholar é dinâmica, foi feito um estudo específico para avaliar o efeito do momento da coleta sobre os resultados. Constatou-se que uma diferença de duas semanas entre as coletas não afeta significativamente os resultados.
A métrica principal escolhida para a análise do impacto foi o índice H. No entanto, foram também levantados outros indicadores relevantes: o número de citações por trabalho, o número de citações por ano e o tempo médio de atividade de cada pesquisador. Tais indicadores complementam a visão proporcionada pelo índice H.
O processo ocorreu em três etapas. Primeiro, foram cal culados os indicadores de produção e do índice H de cada pesquisador. Segundo, foi realizada uma filtragem, com o objetivo de excluir eventuais textos repetidos, realizados em coautoria por pesquisadores de uma mesma instituição. Ter ceiro, com base nas publicações individuais e na indexação de citação delas, efetuou-se o cálculo do índice H dos programas, considerando-se toda a produção de seu respectivo NDP ou equivalente.
Nesta seção, são apresentados os resultados dos levanta mentos realizados. Primeiro, serão mostrados os resultados referentes ao índice H e aos demais indicadores para todos os programas analisados, brasileiros e estrangeiros. Segundo, serão apresentados os resultados relacionados à distribuição do índice H entre os pesquisadores de cada programa analisado. Terceiro, serão mostrados os resultados referentes ao índice H relacionado ao tempo de experiência dos pesquisadores.
4.1. Índice H e outros indicadores de impacto dos programas brasileiros e estrangeiros
Na Tabela 4, apresentam-se os resultados para cada um dos programas brasileiros e estrangeiros analisados. Entre os programas brasileiros, os resultados sugerem a existência de dois grupos: de um lado, os programas da FEA-USP, da FGV-EAESP-APG, da FGV-EAESP-AE e da FGV-EBAPE com índices H mais altos; e, de outro lado, os programas do PPGA -UFRGS e do CEPEAD-UFMG com índices H mais baixos. É relevante observar que os programas da FGV-EAESP-AE e da FEA-USP são os mais antigos do Brasil e os que apresentam maior tempo médio de atividade dos pesquisadores, especial mente o da FEA-USP. Conforme aponta Burrell (2007), o índice H favorece pesquisadores com mais tempo de atividade, já que aumenta à medida que aumenta o tempo de atividade dos pesquisadores.
Três outros fatores devem ser considerados na análise dessa tabela. Primeiro, o efeito localização. Os programas da FEA -USP, da FGV-EAESP-AE e da FGV-EAESP-APG localizam -se na região com maior concentração de pesquisadores do País, o que favorece as redes de cooperação (Capobiango, Silveira, Zerbato & Mendes, 2011), o que, por sua vez, fa vorece o impacto. Segundo, o fato de essas duas instituições sediarem periódicos tradicionais e renomados: a Revista de Administração (RAUSP), a Revista de Administração Públi ca (RAP) e a Revista de Administração de Empresas (RAE). Tal condição também pode contribuir para o impacto dos respectivos programas, mesmo que medidas contra práticas endógenas tenham sido adotadas (Wood Jr. & Chueke, 2008). Terceiro, o fato de esses programas terem um papel histórico na formação de pesquisadores. Com isso, foram criadas redes de relacionamento que também contribuem para a elevação de sua produção científica.
É relevante ainda registrar o efeito representado por pesquisadores com índice H excepcionalmente alto. No programa da FGV-EAESP-APG constatou-se que um caso dessa natureza teve efeito substantivo. Mediante simulação, foi possível constatar que, caso sua produção fosse retirada da avaliação, o índice H do programa cairia de 61 para 40. Tal caso representa sem dúvida um outlier. Verificou-se que outras instituições têm pesquisadores com índice H alto, mas em nenhum caso se pode afirmar que sejam também outliers, como no caso citado, pois seu índice H não é tão excepcional, nem tão distante dos índices H de outros pesquisadores. Ana logamente, não se pode afirmar que haja outliers com índice H muito baixo, porque o número de pesquisadores em tal condição é apreciável em todas as instituições.
Conforme esperado, alguns dos programas estrangeiros escolhidos apresentam índices H consideravelmente mais al tos do que aqueles apresentados pelos programas brasileiros. Destacam-se os programas de Wharton, em Administração de Empresas, e Harvard, em Administração Pública. De fato, esses são programas tidos como referência mundial em termos de pesquisa científica, reputação e capacidade de influência e impacto. O grande número de citações verificadas na produção dos pesquisadores desses dois programas, aliado ao grande número de professores que os compõe, contribui para o alto valor apurado para o índice H dos programas. Se na avaliação individual dos pesquisadores uma única produção com grande número de citações não se torna relevante, quando da análise dos indicadores dos programas essa mesma produção pode ter uma participação importante. Por outro lado, os programas da Lyndon B. Johnson School of Public Affairs e da I.E. Business School apresentaram índices H comparáveis aos dos programas brasileiros.
Naturalmente, não se podem comparar diretamente tais valores, por terem sido gerados em ambientes diferentes e por áreas diferentes - Administração de Empresas e Administração Pública (Hirsch, 2005). Embora o ambiente científico seja aberto e internacionalizado, o histórico do desenvolvimento das comunidades científicas privilegia, em termos de impacto, as instituições anglo-saxônicas e, no caso da Administração, especialmente as instituições estadunidenses.
O campo científico da Administração estadunidense está consolidado, com grande número de instituições de pesquisa de topo, eventos de grande porte e periódicos importantes. Além disso, tem influência mundial, atraindo pesquisadores de todos os países. Comparativamente, o campo científico brasi leiro no caso da Administração é menor, ainda insular e com pequena capacidade de atração de pesquisadores estrangeiros. Consequentemente, a publicação de um artigo em um periódico de topo estadunidense gera potencialmente maior impacto do que a publicação de um artigo em um periódico de topo brasileiro.
Por isso, comparações entre os indicadores de instituições brasileiras e estrangeiras devem ser feitas com cautela. Uma forma mais consistente para fazer comparações é a distribuição relativa dos índices H dos pesquisadores nos diversos progra mas, brasileiros e estrangeiros, como se verá a seguir.
4.2. Distribuição dos índices H dos programas brasileiros e estrangeiros
Além das diferenças em termos de índice H dos programas, procurou-se avaliar a dispersão interna dentro de cada pro grama, ou seja, como varia o índice H dentro de cada um dos NDPs ou equivalentes analisados. Na Tabela 5, apresentam-se os resultados da distribuição do índice H para cada um dos seis programas brasileiros e quatro programas estrangeiros analisa dos. A escala foi construída de forma exploratória, chegando -se a variações de cinco pontos no índice H como o valor que permite melhor visualização das diferenças. Com isso, foram definidas cinco faixas. O valor superior, correspondente a um índice H de 20, foi definido com base na literatura existente, que sugere ser esse um valor alto, e na observação dos índices H dos pesquisadores individuais. Para facilitar a visualização, foram marcados os percentuais superiores a um terço do total, que indicam concentrações importantes em determinadas faixas. Analisando-se primeiramente os programas brasileiros, conforme esperado aqueles que apresentam maiores índices H são aqueles que também apresentam o maior percentual de pesquisadores nos estratos superiores, com índice H igual ou superior a 15. Além disso, constatou-se que apenas o programa da FGV-EAESP-APG apresenta percentual significativo de pesquisadores com índice H igual ou superior a 20 (18,80%). É oportuno observar que pesquisadores de alto impacto são importantes porque tendem a consolidar em torno deles grupos de pesquisa, são capazes de conduzir trabalhos que contribuem para o avanço do conhecimento e servem de modelo para pes quisadores iniciantes.
Distribuição do Índice H dos Pesquisadores dos Programas Brasileiros e Estrangeiros Analisados
Por outro lado, deve-se registrar como ponto de atenção o alto percentual de pesquisadores com índice H inferior a 5, o que, vale lembrar, significa que parte considerável dos pesquisa dores do NDP dos programas mais bem avaliados pela CAPES no Brasil tem cinco ou menos artigos com cinco citações.
Quanto aos programas estrangeiros, chamam mais uma vez a atenção os resultados dos programas de Wharton e de Harvard, com mais de 70% dos corpos de pesquisadores, que têm grande porte, apresentando índice H maior ou igual a 20. Por outro lado, em Administração Pública, a Lyndon B. Johnson School of Public Affairs apresenta um perfil de distribuição muito similar ao da FGV-EAESP-APG; e, em Administração de Empresas, o I.E. Business School apresenta um perfil de distribuição similar ao da FEA-USP e do PPGA-UFRGS. Isso não significa dizer que essas instituições tenham impacto similar na ciência. Con tudo, pode-se especular que elas exercem influências similares em seus respectivos domínios geográficos. Tal hipótese deverá, naturalmente, ser testada em futuros estudos.
4.3. Produção individual de pesquisadores dos NDPs ao longo do tempo
Além das análises coletivas, foi também realizada uma análise da variação do índice H por tempo de atuação dos pesquisadores, tanto para os programas brasileiros quanto para os programas estrangeiros. Nas Figuras 1 e 2, mostram-se tais resultados.
Variação do Índice H com os Anos de Atividade de Pesquisadores dos Programas Brasileiros Analisados
Variação do Índice H com os Anos de Atividade de Pesquisadores dos Programas Estrangeiros Analisados
Obviamente, deve-se esperar que, quanto maior o tempo de atividade, maior o índice H. Entretanto, entre os programas brasileiros não parece haver um incremento significativo ao longo dos anos: muitos pesquisadores parecem manter índices H abaixo de 10, ou até mesmo abaixo de 5, apesar de contarem com 20 anos de experiência ou mais.
Mingers (2008) argumenta que um índice H abaixo de 10 pode significar uma produção científica de baixo impacto. Se tomar-se tal patamar como referência, constata-se que, entre os pesquisadores analisados neste estudo, e que atuam nos principais programas de pós-graduação do Brasil, a expres siva maioria apresenta produção científica de baixo impacto. Significativamente, ao analisar as listas de artigos identificados pelo PoP, chama a atenção o número de artigos sem nenhuma citação, ou com apenas uma ou duas citações.
Por outro lado, entre os pesquisadores dos programas estrangeiros, constata-se considerável dispersão, havendo um grupo representativo de pesquisadores com 20 ou mais anos de atividade e índices H abaixo de 10. Isso pode significar, como no caso brasileiro, tanto uma baixa orientação para a produção científica, quanto a existência de uma produção científica de baixo impacto, em termos de índice H.
5. CONCLUSÃO
Neste trabalho, o objetivo foi avaliar o impacto da produ ção dos NDPs de programas brasileiros de pós-graduação em Administração. Foram avaliados seis programas, por meio do índice H. Complementarmente, foram avaliados quatro programas estrangeiros, também por meio do mesmo índice.
Constataram-se diferenças significativas entre os programas e uma diversidade significativa entre pesquisadores dentro de cada programa brasileiro, em termos de impacto, conforme medido pelo índice H. Constatou-se também que parte con siderável dos pesquisadores brasileiros apresenta produção científica com baixo índice H, o que significa baixo impacto; e que apenas um número restrito de pesquisadores apresenta produção científica com índice H da mesma ordem de grandeza de pesquisadores estrangeiros de destaque. Deve-se, entretanto, mais uma vez, frisar que comparações devem ser feitas com cautela, pois pesquisadores brasileiros e estrangeiros atuam em ambientes institucionais distintos. Conforme observado anteriormente, não se pode fazer uma transposição simples de patamares de índice H do ambiente institucional de pesquisa anglo-saxão, ou estadunidense, para o ambiente institucional de pesquisa brasileiro. Eles diferem em termos de nível de maturidade, cultura de pesquisa, número e perfil dos periódicos, ação de órgãos reguladores e certificadores, e diversos outros fatores. Além disso, existem barreiras de acesso para pesquisadores brasileiros interessados em publicar em periódicos estrangeiros de alto impacto, representados pela própria língua inglesa e por diferenças nas agendas de pesquisa. Ainda assim, os resultados encontrados neste estudo, tanto aqueles relacionados ao impacto dos NDPs dos programas avaliados quanto aqueles relacionados ao impacto dos pesqui sadores, devem ser vistos como um alerta.
Para aumentar o impacto da pesquisa científica em Admi nistração no Brasil, é preciso, entre outras medidas, aperfeiçoar o ambiente institucional no qual a atividade é realizada. Os resultados reforçam, portanto, os argumentos críticos expressos por diversos autores a respeito do estado das coisas no campo da Administração no Brasil (por exemplo, Alcadipani, 2011a; 2011b; Bertero et al., 2013).
5.1. Contribuição
A principal contribuição deste estudo é chamar a atenção para a questão do impacto da produção científica e operacio nalizar critérios de mensuração que possam representar um avanço em relação aos critérios atualmente dominantes no Brasil, focados na contabilização de publicações qualificadas. Tal sistema, embora tenha representado um avanço em outro momento, tornou-se alvo frequente de críticas, por estimular uma mentalidade produtivista, que distorce a missão da ciência e prejudica a qualidade e o impacto dos trabalhos científicos (Alcadipani, 2011a; 2011b; Faria, 2011; Freitas, 2011; Machado & Bianchetti, 2011; Godoi & Xavier, 2012; Mattos, 2012).
A operacionalização de sistemas baseados no índice H é relativamente simples. Eles podem ser utilizados por pesqui sadores, interessados em monitorar o impacto de sua produção científica; por programas, interessados em monitorar o desem penho de seus NDPs; e por órgãos de regulação e controle, para avaliar grupos de pesquisa e programas.
Adicionalmente, contribuiu-se com este estudo provendo referências de programas de pós-graduação localizados fora do Brasil. Embora, conforme ressaltado, não se possam fazer comparações diretas, as informações coletadas e apresentadas sobre programas estrangeiros oferecem referências sobre o índice H de pesquisadores consagrados no campo da Administração, sobre a distribuição dos índices H nos quadros de pesquisadores, sobre a evolução do índice H ao longo do tempo, e até mesmo sobre a variação dos índices H entre os programas estrangeiros analisados.
5.2. Limitações do estudo e futuras pesquisas
Esta pesquisa teve caráter preliminar, apresentando algu mas limitações, que poderão ser tratadas em futuros trabalhos. A primeira limitação relaciona-se ao número de programas avaliados. Futuros trabalhos poderão expandir tal número, o que resultará em um retrato mais representativo da realidade brasileira. De forma complementar, poderão ser avaliados, para fins de comparação, o fator H e outros indicadores de impacto de um maior número de programas selecionados no exterior. Tal esforço poderá incluir programas de países desenvolvidos, reconhecidos pela tradição e pela excelência em pesquisa, e programas de países emergentes, mais recentes e que estão passando por processos de evolução similares ao que ocorre no Brasil. De forma similar, novos estudos poderão incluir outros campos das Ciências Humanas, como, por exemplo, a Economia. A expansão da amplitude do estudo provavelmente permitiria compreender melhor o potencial e os limites de cada campo em termos de impacto.
A segunda limitação refere-se a restrições inerentes aos indicadores utilizados, especialmente o índice H. Acredita-se que tais indicadores possam representar um avanço em relação ao sistema de medição em uso no Brasil. No entanto, eles também não são capazes de capturar de forma ampla o impacto de trabalhos científicos, de pesquisadores individuais e de programas de pós-graduação. Nesse sentido, futuros es tudos poderão identificar, avaliar e desenvolver modelos mais completos de medição de impacto, que considerem aspectos relacionados à disseminação do conhecimento e a sua aplicação para transformação da realidade.
A terceira limitação relaciona-se à dificuldade para comparar os indicadores de programas estrangeiros com os indicadores de programas brasileiros. Futuros estudos poderão explorar tal restrição, aprofundando o conhecimento sobre os respectivos ambientes institucionais, as diferenças entre eles, e como tais ambientes se alteram, facilitando ou dificultando o impacto da produção científica.
A quarta limitação refere-se às diferenças entre os NDPs dos programas, em termos de tempo de experiência, o que potencialmente afeta o índice H. Nesse sentido, futuras pesquisas poderão avaliar, de forma aprofundada, o efeito de tal variável sobre o índice H de pesquisadores que atuam no Brasil e no exterior.
A Academia Brasileira de Administração ainda é um campo relativamente jovem. Como tal, encontra-se em processo de institucionalização e de consolidação. Estimular o autoconhecimento e a apreciação de novas perspectivas pode ser um meio eficaz para acelerar tal processo. Os autores deste artigo desejam que o presente estudo tenha contribuído nesse sentido e possa estimular outros pesquisadores a explorarem esta linha de pesquisa.
-
COMO REFERENCIAR ESTE ARTIGO(De acordo com as normas da American Psychological Association[APA])Wood Jr., T., & Costa, C. C. de M. (2015, julho/agosto/setembro). Avaliação do impacto da produção científica de programas selecionados de pós-graduação em Administração por meio do índice H. Revista de Administração (RAUSP), 50(3), 325-337. doi: 10.5700/rausp1203
REFERÊNCIAS
-
Adler, R., Ewing, J., & Taylor, P. (2009). Citation statistics. Statistical Science, 24(1), 1-14. DOI: 10.1214/09-STS285
» https://doi.org/10.1214/09-STS285 - Alcadipani, R. (2011a). Resistir ao produtivismo: Uma ode à perturbação acadêmica. Cadernos EBAPE.BR (FGV), 9(4), 1174-1178.
- Alcadipani, R. (2011b). A academia e a fábrica de sardinhas. Organizações & Sociedade - O&S, 18(57), 345-348.
-
Associação Nacional de Pós-Graduação e Pesquisa em Administração [ANPAD] (2012). Análise do EnANPAD 2012. Recuperado em 10 dezembro, 2012, de http://www.anpad.org.br/evento.php?acaodestaque&cod_edicao_subsecao856&cod_evento_edicao63&cod_edicao_destaque122
» http://www.anpad.org.br/evento.php?acaodestaque&cod_edicao_subsecao856&cod_evento_edicao63&cod_edicao_destaque122 -
Batista, D. B., Campiteli, M. G., Kinouchi, O., & Martinez, A. S. (2006). Is it possible to compare researchers with different scientific interests? Scientometrics, 68(1), 179-189. DOI: 10.1007/s11192-006-0090-4
» https://doi.org/10.1007/s11192-006-0090-4 - Bertero, C. O., Caldas, M. P., & Wood Jr., T. (2005). Introdução: produção científica em administração no Brasil. In C. O. Bertero, M. P. Caldas, & T. Wood Jr., Produção científica em administração no Brasil: O estado da arte São Paulo: Atlas.
- Bertero, C. O., Vasconcelos, F. C., Binder, M. P., & Wood Jr., T. (2013). Produção científica brasileira em administração na década de 2000. Revista de Administração de Empresas - RAE, 53(1), 12-20.
-
Bornmann, L., & Daniel, H. D. (2005). Does the H-index for ranking of scientists really work? Scientometrics, 65(3), 391-392. DOI: 10.1007/s11192-005-0281-4
» https://doi.org/10.1007/s11192-005-0281-4 -
Bornmann, L., & Daniel, H. D. (2007). What do we know about the H-index? Journal of the American Society for Information Science and Technology, 58(9), 1381-1385. DOI: 10.1038/embor.2008.233
» https://doi.org/10.1038/embor.2008.233 - Bornmann, L., & Daniel, H. D. (2009). The state of H-index research. Is the H-index the ideal way to measure research performance? EMBO Reports, 10(1), 2-6.
-
Bornmann, L., Mutz, R., Neuhaus, C., & Hanz-Dieter, D. (2008). Citation counts for research evaluation: Standards of good practice for analyzing bibliometric data and presenting and interpreting results. Ethics Science. Environmental Politics, 8, pp.93-102. DOI: 10.3354/esep00084
» https://doi.org/10.3354/esep00084 -
Brasil (2012). Produção científica. Recuperado em 13 novembro, 2012, de http://www.brasil.gov.br/sobre/ciencia-etecnologia/fomento-e-apoio/producaocientifica
» http://www.brasil.gov.br/sobre/ciencia-etecnologia/fomento-e-apoio/producaocientifica -
Braun, T., Glänzel, W., & Schubert, A. (2006). A Hirsch-type index for journals. Scientometrics, 69(1), 169-173. DOI: 10.1007/s11192-006-0147-4
» https://doi.org/10.1007/s11192-006-0147-4 -
Burrell, Q. (2007). Hirsch index or Hirsch rate? Some thoughts arising from Liang's data. Scientometrics, 73(1), 19-28. DOI: 10.1007/s11192-006-0147-4
» https://doi.org/10.1007/s11192-006-0147-4 - Capobiango, R. P., Silveira, S. F. R., Zerbato, C., & Mendes, A. C. A. (2011). Análise das redes de cooperação científica através do estudo das coautorias dos artigos publicados em eventos da ANPAD sobre avaliação de políticas públicas. Revista de Administração Pública - RAP, 45(6), 1869-1990.
- Cronin, B., & Meho, L. (2006, July). Using the h-index to rank influential information scientists. Journal of the American Society for Information Science and Technology, 57(9), 1275-1278.
- Egghe, L. (2006). Theory and practice of the g-index. Scientometrics, 69(1), 131-152.
- Faria, A. (2011). Repensando produtivismo em gestão no (e a partir do) Brasil. Cadernos EBAPE.BR, 9(4), 1164-1173.
-
Franceschini, F., & Maisano, D. A. (2010). Analysis of the Hirsch index's operational properties. European Journal of Operational Research, 203(2), 494-504. DOI: 10.1016/j.ejor.2009.08.001
» https://doi.org/10.1016/j.ejor.2009.08.001 - Freitas, M. E. (2011). O pesquisador hoje: entre o artesanato intelectual e a produção em série. Cadernos EBAPE.BR, 9(4), 1158-1163.
- Garfield, E. (1999). Journal impact factor: A brief review. Canadian Medical Association Journal, 161(8), 979-980.
-
Glänzel, W. (2008). Seven myths in bibliometrics. About facts and fiction in quantitative science studies. Collnet Journal of Scientometrics and Information Management, 2(1), 9-17. DOI: 10.1080/09737766.2008.10700836
» https://doi.org/10.1080/09737766.2008.10700836 - Godoi, C. K., & Xavier, W. G. (2012). O produtivismo e suas anomalias. Cadernos EBAPE.BR, 10(2), 456-465.
-
Gross, P. L. K., & Gross, E. M. (1927). College libraries and chemical education. Science, 66(1713), 385-389. DOI: 10.1126/science.66.1713.385
» https://doi.org/10.1126/science.66.1713.385 -
Harzing, A. W. K., & Van der Wal, R. A. (2008). Google Scholar as a new source for citation analysis. Ethics in Science and Environmental Politics, 8, pp.61-73. DOI: 10.3354/esep00076
» https://doi.org/10.3354/esep00076 -
Hirsch, J. E. (2005). An index to quantify an individual's scientific research output. Proceedings of the National Academy of Sciences of the Unites States of America, 102 (46), 16569-16572. DOI: 10.1073/pnas.0507655102
» https://doi.org/10.1073/pnas.0507655102 - Horta, J. S. B. (2006). Prefácio. In L. Bianchetti, L., & A. M. N. Machado (Orgs.). A bússola do escrever: desafios e estratégias na orientação e escrita de teses e dissertações (2a ed.). Florianópolis, SC: UFSC.
- Lima, R. A., Velho, L. M. L. S., & Faria, L. I. L. (2012). Bibliometria e "avaliação" da atividade científica: Um estudo sobre o índice H. Perspectivas, 17(3), 3-17.
- Machado, A. M. N, & Bianchetti, L. (2011). (Des)fetichização do produtivismo acadêmico: desafios para o trabalhador- -pesquisador. Revista de Administração de Empresas - RAE, 51(3), 244-254.
- Marcelino, S. C. (2010). Avaliação da produção científica do INPE em periódicos indexados: Estudo do fator de impacto e índice H (2007-2009). Monografia de Pós-Graduação, Instituto Nacional de Pesquisa Espacial (INPE), São José dos Campos, SP, Brasil.
- Marques, F. (2013, maio). Os limites do índice-H. Pesquisa FAPESP, 207 ed., pp.35-39.
- Mattos, P. L. C. L. (2012). Pés de barro do texto "produtivista" na academia. Revista de Administração de Empresas - RAE, 52(5), 566-573.
- McClellan, J. E. (2003). Specialist control: The publications committee of the Académie Royale des Sciences (Paris) 1700-1793 (Transactions of the American Philosophical Society, 93). Philadelphia, PA: American Philosophical Society.
-
Mingers, J. (2008). Measuring the research contribution of management academics using the Hirsch Index Working Paper Kentucky University 162. Recuperado em 14 novembro, 2012, de http://kar.kent.ac.uk/25453/1/Hirsch1_sent_Web_Version.pdf
» http://kar.kent.ac.uk/25453/1/Hirsch1_sent_Web_Version.pdf - Motta, D. F. (1983). Validade da análise de citação como indicador de qualidade da produção científica: uma revisão. Ciência da Informação, 12(1), 54-59.
- Nicholas, D., & Ritchie, M. (1978). Literature and bibliometrics London: Clive Bingley.
-
Pegino, P. M. F. (2014). As relações acadêmicas de produção na pós-graduação em administração no Brasil. Tese de Doutorado, Fundação Getulio Vargas, Escola de Administração de Empresas de São Paulo, SP, Brasil. Recuperado em 1 agosto, 2014, de http://bibliotecadigital.fgv.br/dspace/handle/10438/11851
» http://bibliotecadigital.fgv.br/dspace/handle/10438/11851 - Ruiz, M. A., Greco, O. T., & Braile, D. M. (2009). Fator de impacto: importância e influência no meio editorial, acadêmico e científico. Revista Brasileira de Cirurgia Cardiovascular, 24(3), 273-278.
-
Sanderson, M. (2008). Revisiting H measured on UK LIS and IR academics. Journal of the American Society for Information Science and Technology, 59(7), 1184-1190. DOI: 10.1002/asi.20771
» https://doi.org/10.1002/asi.20771 -
Sandes-Guimaraes, L. V., & Costa, S. M. de S. (2012). Brazilian scientific journals that use the Open Journal Systems (OJS): a quality analysis. Journal of Information Systems and Techonolgy Management - JISTEM, 9(1), 61-88. DOI: 10.4301/S1807-17752012000100004
» https://doi.org/10.4301/S1807-17752012000100004 - Spink, P. K., & Alves, M. A. (2011). O campo turbulento da produção acadêmica e a importância da rebeldia competente. Organizações & Sociedade - O&S, 18(57), 336-343.
- Strehl, L. (2005). O fator de impacto do ISI e a avaliação da produção científica: aspectos conceituais e metodológicos. Ciência da Informação, 34(1), 19-27.
-
UT Dallas. (2013). The UTD Top 100 Business School Research Rankings. Recuperado em 10 janeiro, 2013, de http://jindal.utdallas.edu/the-utd-top-100-business-school--research-rankings//
» http://jindal.utdallas.edu/the-utd-top-100-business-school--research-rankings// -
Van Eck, N. J., & Waltman, L. (2008). Generalizing the h- and g-indices. Journal of Informetrics, 2(4), 263-271. DOI: 10.1016/j.joi.2008.09.004
» https://doi.org/10.1016/j.joi.2008.09.004 -
Van Raan, A. F. J. (2006). Comparison of the Hirsch-index with standard bibliometric indicators and with peer judgment for 147 chemistry research groups. Scientometrics, 67(3), 491-502. DOI: 10.1556/Scient.67.2006.3.10
» https://doi.org/10.1556/Scient.67.2006.3.10 - Wood Jr., T., & Chueke, G. V. (2008). Ranking de produção científica em administração de empresas no Brasil. Revista de Administração Mackenzie - RAM, 9(4), 13-31.
-
Zago, M. A. (2011). Perfil da produção científica no Brasil. Recuperado em 20 janeiro, 2012, de http://www.fapesp.br/eventos/2011/06/Marco_Antonio.pdf
» http://www.fapesp.br/eventos/2011/06/Marco_Antonio.pdf
Datas de Publicação
-
Publicação nesta coleção
Jul-Sep 2015
Histórico
-
Recebido
04 Abr 2014 -
Aceito
29 Out 2014
