Análise das citações das dissertações de mestrado e teses de doutorado em saúde pública (1990-1994): estudo exploratório

Análise das citações das dissertações de mestrado e teses de doutorado em saúde pública (1990-1994): estudo exploratório^*

Daisy Pires Noronha

Resumo

Parte de análise de dissertações de mestrado e teses de doutorado defendidas, de 1990 a 1994, nos cursos de pós-graduação em saúde pública da Escola Nacional de Saúde Pública da Fundação Oswaldo Cruz (ENSP/Fiocruz), Faculdade de Saúde Pública da Universidade de São Paulo (FSP/USP) e Instituto de Medicina Social da Universidade Estadual do Rio de Janeiro (IMS/UERJ), visando a detectar aspectos referentes às características dos documentos citados, como subsídios para estabelecimento de indicadores necessários à avaliação da produção científica brasileira no campo da saúde pública. O conjunto das citações amostradas (6 019) de 266 dissertações de mestrado e 84 teses de doutorado revelou que os artigos de periódicos contribuíram com maior número de citações (46,7%); o percentual de livros foi mais representativo para as teses de doutorado; a maior concentração dos documentos citados encontra-se no conjunto publicado de 6 a 10 anos da defesa da dissertação/tese; o idioma português predominou nas citações (49,3%) e o inglês para os artigos de periódicos; os alunos valeram-se mais de dissertações/teses de outras instituições do que das escolas que freqüentaram.

Palavras-chave

Dissertação de mestrado; Tese de doutorado; Saúde pública; Análise de citação; Produção científica.

INTRODUÇÃO

O conjunto de referências bibliográficas (citações) utilizadas na elaboração de um documento mostra relacionamento de um documento com outro, evidenciando "elos entre indivíduos, instituições e áreas de pesquisa" (Rodrigues, 1982, p.36). Sua função é dar autoridade e credibilidade para os fatos citados no texto, além de permitir aos pesquisadores da área a oportunidade de conhecer trabalhos que tratam do tema de seu interesse. Assim, a análise das citações de um trabalho contribui para avaliar a informação coletada pelo tipo de literatura utilizada, dirigir o leitor para outras fontes de informação sobre o assunto, além de contribuir para o reconhecimento de um cientista em particular, entre os pares.

A análise das citações de documentos é feita em estudos cientométricos e bibliométricos que vêm se desenvolvendo nos países avançados, principalmente nos Estados Unidos. Após a década de 60, o Institute for Scientific Information (ISI) criou os bancos de dados Science Citation Index (SCI) e Social Science Citation Index (SSCI), destinados a avaliar qualitativamente a produção científica medida nas citações pelos pares em artigos dos principais títulos de periódicos científicos do mundo. Assim, a qualidade de um trabalho científico, publicado em um dos periódicos indexados por essas obras elaboradas pelo ISI, pode ser medida pelo número de citações que o mesmo recebe da comunidade científica. No entanto, deve-se considerar, também, que "a audiência do público mais depende do interesse imediato por parte deste do que propriamente da qualidade intrínseca do artigo" (Forattini, 1996, p.7).

Para a aplicação desse indicador nos países do Terceiro Mundo, existem alguns senões que devem ser considerados, principalmente se a avaliação for baseada em dados obtidos do SCI ou SSCI, que são tendenciosos em alguns casos, subestimando resultados." Os dados de publicação e citação obtidos dentro de um determinado país periférico não podem ser comparados com aqueles obtidos para o mesmo país a partir do SCI" (Velho, 1989, p.962), delineando um quadro diferenciado para a ciência. Para essa autora, transplantar os indicadores científicos gerados nos países avançados" para uso em países cientificamente periféricos como o Brasil, como tem sido feito até hoje, é buscar mais problemas que soluções" (p.958). Uma saída está em estabelecer nossos próprios indicadores científicos, obtidos mediante estudos sobre medidas de quantificação de publicações e citações.

Neste sentido, a análise de citação, como uma das técnicas cientométricas, que estão sendo aplicadas em crescente progressão na avaliação de trabalhos de pesquisa,nas diferentes áreas, é descrita de várias maneiras na literatura. No entanto, mesmo com toda literatura existente, os estudos de avaliação da quantificação e caracterização da produção científica ainda sofrem críticas e são considerados insuficientemente desenvolvidos, em nosso meio, para serem objeto de uma abordagem qualitativa. Embora sejam apontadas limitações no seu uso, numerosos pesquisadores consideram a freqüência de citação de um documento indicador de qualidade percebida.

Enfim, enquanto as análises qualitativas são difíceis de serem estabelecidas e interpretadas, até pelo aspecto da subjetividade, as análises quantitativas não devem deixar de ser consideradas, dado que seu sucesso depende do que se propõe da avaliação a ser feita. Nos países periféricos, essas avaliações devem ser trabalhadas e incrementadas para que sejam identificadas tendências, lacunas, deficiências e necessidades para o desenvolvimento científico, procurando estabelecer seus próprios indicadores científicos (Andrade, 1992).

Mas é necessário considerar também que, independentemente dos métodos usados, da forma de processar os resultados, toda a avaliação deve ser "um processo continuado em que os resultados já alcançados em uma etapa permitam readaptar as idéias do planejamento para geração de novas estratégias que facilitem atingir as metas pretendidas" (Lima, 1986, p.132).

OBJETIVO

O objetivo do presente artigo é contribuir para ampliação do universo de estudos sobre avaliação da produtividade científica brasileira em saúde pública, medida de acordo com as diferentes características e modalidades das publicações citadas nas dissertações de mestrado e teses de doutorado desse campo.

MÉTODO

O número de referências bibliográficas identificadas nas 350 dissertações e teses analisadas foi de 35 505 citações (média de 101 citações/documento), sendo 24 098 para as 266 dissertações de mestrado e 11 407 referências mencionadas nas 84 teses de doutorado. Tendo em vista o tamanho deste universo, as referências bibliográficas foram selecionadas mediante processo de amostragem por estratos, perfazendo um total de 6 019 citações que foram classificadas quanto à tipologia do documento, temporalidade, idioma, origem geográfica, tipo de autoria.

Tipos dos documentos citados - Os documentos citados foram classificados nos seguintes tipos: livros e capítulos de livros; artigos de periódicos; dissertações e teses (mestrado, doutorado, livre-docência, cátedra, outro. Além do grau, as dissertações e teses citadas foram categorizadas segundo sua instituição de origem em ENSP, FSP, IMS, outras instituições nacionais e instituições do exterior); comunicações em eventos; relatórios técnicos; outras publicações.

Temporalidade dos documentos citados - Medida em relação ao ano da defesa da tese e agrupada nas categorias: até 2 anos, de 3 a 5 anos; de 6 a 10 anos, de 11 a 20 anos; com mais de 20 anos, sem data.

Idioma dos documentos citados - As citações foram classificadas em português, inglês, espanhol, francês, italiano, alemão, outros. No caso de publicação bilíngüe, foi considerado o idioma de maior divulgação internacional.

Procedência geográfica dos documentos citados - Nesta categoria, foi considerado o país (ou região) de origem onde foi editado o documento citado, como Brasil, América Latina, Estados Unidos da América, Inglaterra, França, Itália, Alemanha, outros países/regiões.

RESULTADOS E DISCUSSÃO

O resultado encontrado na tabulação dos dados que caracterizaram as referências bibliográficas selecionadas na amostra é apresentado a seguir:

Tipos dos documentos citados

A tabela 1 apresenta a relação dos diferentes tipos de documentos citados nas dissertações e teses, segundo o grau e as instituições onde foram defendidas. Do total de 6 019 citações, 46,7% são de artigos de periódicos mais encontrados entre as citações dos doutorados (50%). O percentual de livros citados foi de 30,4% com maior representatividade para as teses de doutorado (31,9% dos documentos citados). As citações das dissertações/teses defendidas na ENSP apresentam equilíbrio entre artigos de periódicos (37,0%) e livros (36,2%); as da FSP, um predomínio de artigos (55,6%); para o IMS o número de citações de livros foi superior ao dos artigos (44,2% e 32%, respectivamente). Os mestrandos utilizaram-se mais das dissertações e teses do que os doutorandos (3,7% e 2,6%, respectivamente).

Os resultados obtidos na análise dos tipos de documentos citados nas dissertações/teses, comparados a outros alcançados em outras investigações realizadas, comportam algumas considerações expostas a seguir. Assim, com referência à citação de artigos de periódicos (46,7% das citações são de artigos de periódicos), está mais próxima aos achados por outros trabalhos sobre análise de citações em dissertações/teses do que nas análises de citações em artigos de periódicos científicos, nas diferentes áreas. Desta forma, Andrade (1984, p.35) e Noronha (1987, p.64) encontraram, respectivamente, 62% e 60,1% de artigos citados nas teses e dissertações em saúde pública. Trabalhos em outras áreas mostram o seguinte: 48% de artigos citados em dissertações no campo da ciência da informação (Rodrigues, 1982); 28,7% em teses no campo da filosofia (Herubel, 1991); 43% em doutorados no campo da engenharia (Kriz, 1984). Com relação à análise de citações incluídas em artigos de periódicos, Price (1976) encontrou 80% das citações de artigos científicos; Carvalho (1976), 79% das citações de artigos em ciências biológicas; Noronha (1987, p.64), 70,8% das citações em de artigos em saúde pública; Ferreira e Souza (1987), 81,4% das citações em artigos sobre física; Lancaster e col. (1992), 79,3% das citações de artigos científicos; Haiqi (1995), de 61 a 67% das citações de artigos em biblioteconomia médica; Godin e col. (1995), 70,8% das citações em artigos científicos. Assim, o que ocorre, com algumas exceções, é que o predomínio de citação nas dissertações e teses é de artigos de periódicos, porém em menor escala quando comparados à proporção citada nos próprios artigos.

A baixa porcentagem de uso de teses e dissertações (3,4%) de comunicações em eventos (4,2%) e de relatórios técnicos (1,9%) pode estar relacionada ao fato de os mesmos constituírem o rol da chamada literatura cinzenta, cuja identificação e acesso são dificultados pela inexistência de fontes específicas de divulgação e pelo próprio desconhecimento de sua existência por parte dos pesquisadores. Não se deve deixar de considerar a pouca quantidade produzida dessa literatura, em especial as dissertações/teses, cuja oferta é menor, quando comparada a outros tipos de documentos.

O uso de dissertações/teses na elaboração de outras dissertações/teses e mesmo de artigos de periódicos não é marcante, conforme mostram os resultados de outros trabalhos sobre análise de citações: Carvalho (1976) encontrou 1,75% das citações de teses em artigos de ciências biológicas; 0,7% em artigos no campo da literatura inglesa (Heinzkill, 1980); 1,6% das citações em mestrados de ciências da informação (Rodrigues, 1982); no campo da saúde pública Andrade (1984, p.37) encontrou 4,5% das citações de teses e dissertações nos mestrados e doutorados analisados; 2% em trabalhos sobre o uso de literatura cinzenta na área da agricultura (Aina, 1987) ; 0,01% de citações em teses sobre filosofia foi achado por Herubel (1991); 1,7% das citações em artigos de periódicos na área da biblioteconomia médica referem-se a teses e relatórios técnicos (Haiqi, 1995).

Vale destacar, no entanto, que a pouca utilização de teses pode estar mascarada, dado que as mesmas podem ter sido citadas, mas em outro formato (como, por exemplo, artigos de periódicos, comunicações em congressos), e este detalhe não foi detectado no presente estudo. Na verdade, as dissertações/teses, tidas como fontes de grande utilização e importância pelos pesquisadores, não são tão citadas quanto são ditas utilizadas. Andrade (1992, p.134) verificou que as teses foram consideradas com maior grau de consulta para 53,2% dos docentes dos cursos de pós-graduação em saúde pública da área de epidemiologia e 66,7% da área de serviços de saúde.

Dentre os documentos agregados no conjunto "outras publicações" (tabela 2, a seguir), destacam-se, tanto para os mestrados como para os doutorados, a presença de documentos legislativos, leis, decretos, acórdãos, resoluções, bastante utilizados no campo da saúde pública, dado que muitos trabalhos são voltados a regulamentações de ações governamentais, instituições públicas de serviços, que necessitam de documentação oficial para a comprovação dos fatos. Publicações de dados estatísticos (anuários, censos, boletins estatísticos, tabelas) são também citados com bastante freqüência e consideradas fundamentais para o desenvolvimento de trabalhos no campo da saúde pública. Chama a atenção, nesta categoria, o percentual de 32,4% representado por referências que se apresentaram de forma incompleta, com falta de elementos essenciais para a identificação do documento e apresentadas de tal forma que não foi possível qualificar o tipo do documento citado. Talvez o próprio desconhecimento por parte do aluno da existência e da necessidade dessa normalização tenha contribuído para este resultado.

Alguns tipos de citações não deveriam figurar entre as referências bibliográficas, por não se tratar de informações extraídas de documentos gravados em papel ou outro formato de acesso público. É o caso de informações obtidas de comunicações pessoais, entrevistas, depoimentos, que se recomenda sejam feitas em notas colocadas em rodapé da página onde constam, e não junto às referências bibliográficas dos demais documentos utilizados. O mesmo procedimento deve ser dado aos documentos internos administrativos, como atas de reuniões, convênios, cartas, ofícios, memorandos, entre outros, que também mereciam ser destacados em notas de rodapé. Notas explicativas de como se pode obter esses documentos poderiam ser mostradas em substituição à sua menção em forma de referência bibliográfica.

Temporalidade dos documentos citados

As citações dos diferentes tipos de documentos foram agrupadas segundo sua temporalidade, em períodos de anos, e mostram o seguinte quadro:

A tabela 3, a seguir, mostra a temporalidade dos diferentes tipos de documentos citados, segundo o grau do trabalho analisado. Assim, verifica-se que a maior concentração dos documentos citados encontra-se nos conjuntos publicados entre 6 e 10 anos (30,3%) e entre 11 e 20 anos (25,3%) da defesa da dissertação/tese. Publicações de até 10 anos cobrem 60,2% das citações dos mestrados e 58,8% das citações dos doutorados. Nesse mesmo sentido, Andrade (1984, p.42) verificou que cerca de 50% das citações em mestrados e doutorados em saúde pública referem-se aos 10 anos mais recentes.

Os doutorados apresentaram maior freqüência de publicações mais recentes, dos últimos dois anos, do que os mestrados (7,2 e 6,1%, respectivamente). Por outro lado, detiveram mais publicações com 20 anos e mais (14,3%) do que os mestrados (11,8%). Este resultado pode estar refletindo maior experiência do doutorando em trabalhos de pesquisa, o que, de certa forma, capacita-o a identificar melhor as diferentes fontes de consulta para identificação de documentos de interesse e conhecer os meios existentes na seleção e obtenção de informações atualizadas, publicadas mais recentemente, sem deixar de considerar a importância de obras clássicas, ou mesmo antigas, para o desenvolvimento de seu trabalho.

O maior número de publicações "sem data" recaiu sobre os "outros tipos" de publicações, o que era esperado, dada a grande variedade de fontes incluídas nesse grupo. Esta situação ocorreu mais nos mestrados.

IDIOMAS DOS DOCUMENTOS CITADOS

A distribuição dos documentos citados nas dissertações e teses segundo o idioma de publicação pode ser visualizados, a seguir, na tabela 4. Verifica-se, no total geral, a predominância do idioma português (49,3%) e do inglês (39,6%). Esta seqüência coincide nas citações encontradas nos mestrados, porém, nas teses de doutorado, o idioma inglês (46%) é um pouco superior ao português (40,4%). Assim, é marcante o predomínio dos idiomas português e inglês, para os mestrados (90,2%) e doutorados (86,4%).

Ao se considerar o tipo de publicação, verifica-se o predomínio do idioma português para os diferentes tipos de documentos, com exceção dos artigos de periódicos cuja predominância foi o idioma inglês. Assim, a maioria dos livros utilizados nos mestrados e doutorados é em idioma português (60,7%), com predominância nos mestrados. A maioria dos artigos de periódicos utilizados é do idioma inglês (63,4%), com predominância para os doutorados. As teses citadas, com predomínio do idioma português (89,1%), aparecem também em inglês (6,9%), espanhol (3%) e outros idiomas (1%).

PROCEDÊNCIA GEOGRÁFICA DOS DOCUMENTOS CITADOS

Com relação à origem geográfica ou procedência dos documentos citados, pela tabela 5, a seguir, a seguir, pode-se verificar que, com exceção dos artigos de periódicos, cuja maior procedência foi dos Estados Unidos (42%), os demais tipos de documentos são de procedência brasileira, com maior contribuição de livros (37,1%). As publicações da América Latina foram mais representativas para os artigos de periódicos (45,2%). França e Itália foram mais representados pelos livros (60,4% e 63,8%, respectivamente).

Segundo Lancaster e col. (1992), o país de publicação de uma fonte citada está fortemente relacionado com o país da publicação citante. No entanto, no presente trabalho esta relação não foi detectada tão intensamente, dado que quase a metade das citações analisadas é de origem brasileira (49%). Este fato, além de confirmar a dependência dos países do Terceiro Mundo, como o Brasil, de informações geradas nos grandes centros, pode ser reflexo do número limitado de publicações brasileiras especializadas, da proliferação de revistas feitas sem critérios adequados de qualidade (irregularidade na publicação e distribuição, além da falta de corpo editorial e referees) ou mesmo da própria qualidade da informação prestada nas fontes nacionais, que não seja de interesse para as pesquisas em saúde pública. A valorização dada às publicações internacionais, em especial americanas, pode também estar refletindo nos resultados encontrados.

Comparando-se o idioma dos documentos citados e a sua procedência geográfica (país de origem), pela tabela 6, nota-se, para todos os países, com exceção da Alemanha, o predomínio absoluto do idioma pátrio. Assim, das publicações brasileiras (2 950), quase a totalidade (2 916) é publicada em português, 26 em inglês, sete em espanhol e uma em francês.

O idioma inglês foi o único a figurar entre as publicações dos diferentes países de origem. Do total de publicações em inglês (2 382), 60,9% são de origem americana e 20,6% de origem inglesa, o que mostra maior influência dos EUA. O Brasil contribuiu com 1,1% do total de publicações nesse idioma, superior à contribuição da América Latina (0,2%), França (0,6%) e Alemanha (0,9%).

Este resultado mostra que, embora exista uma tendência para os periódicos brasileiros editarem seus artigos em inglês para maior divulgação internacional, poucos documentos usados foram publicados neste idioma no Brasil (1,1%), que pode estar refletindo que são poucas as publicações na área da saúde pública editadas no Brasil em inglês, ou que essas publicações são preteridas pelos alunos pelo não-domínio do idioma.

As publicações de idioma francês e editadas na França somam 120 (86,3%), sendo 13,7% editadas fora desse país. Da Alemanha, foram citados 37 documentos, sendo destes a maioria em idioma inglês (59,5%) - apenas 32,4% escritas em alemão, sugerindo que, a exemplo de outros países que sofrem o problema da barreira lingüística no meio científico pelo pouco domínio do idioma pátrio fora de suas fronteiras, a Alemanha vale-se muito do inglês para maior divulgação de suas publicações.

Os 17 documentos escritos em português e os 116 em espanhol editados nos Estados Unidos possivelmente são produtos de trabalhos elaborados pela Organização Panamericana da Saúde (Opas), que é um escritório regional da Organização Mundial da Saúde (OMS), sediada em Washington, DC, EUA, voltada às Américas e Caribe, que edita vários tipos de documentos monográficos e publicações seriadas. São publicações editadas em inglês, espanhol e português, destinadas a divulgar resultados de investigações no campo da saúde pública, elaboradas por profissionais ou equipes de profissionais, que refletem os interesses da região.

Segundo Walcott (1992), publicações em inglês de outros países estão competindo fortemente com a indústria de publicações dos Estados Unidos. Em trabalho realizado, encontrou, nas citações em doutorados de geociências de instituições americanas, 96% das publicações em língua inglesa, porém, delas, 36% não são publicadas nos Estados Unidos. Outros exemplos confirmam os achados desse autor, como cientistas de países do Leste Europeu que citaram em seus trabalhos mais publicações em inglês do que da própria língua, embora as origens das publicações fossem próprias (74,1% dos documentos citados em inglês e, destes, 39% de origem americana) (Lancaster e col., 1992). Carvalho (1976), em análise de citação de artigos publicados por docentes de ciências biológicas de uma universidade brasileira, detectou que, de 69% das citações em inglês, 44% são americanas e 16% inglesas.

A preferência de uso de publicações brasileiras e escritas em português por parte dos alunos de pós-graduação na elaboração de suas pesquisas pode ser reflexo da temática desenvolvida, voltada a problemas de saúde locais ou nacional e de interesse da clientela específica brasileira. E isto sem se considerar o problema da barreira lingüística existente no meio acadêmico.

ORIGEM INSTITUCIONAL E GRAU DAS TESES CITADAS

Do total de 202 teses citadas nos mestrados e doutorados analisados, 66 (32,7%) foram apresentadas na FSP, 22 (10,9%) na ENSP, 6 (3%) no IMS, 90 (44,5%) em outras instituições nacionais e 18 (8,9%) em instituições do exterior (tabela 7, a seguir).

Quando se analisa essa população de teses pelo seu grau, verifica-se que a maioria desses documentos citados refere-se às dissertações de mestrado (52%), seguidas das teses de doutorado (29,7%), de livre-docência (9,4%) e das antigas teses de cátedra (1%). Os 16 documentos caracterizados como "outros" graus referem-se a citações que não apresentaram a especificação do grau junto à instituição onde foram defendidas (destas, nove são de instituições nacionais e sete de instituições estrangeiras).

O maior número dos mestrados citados provém de "outras instituições nacionais" (45,7%) que não a FSP, ENSP e IMS. Dos 105 mestrados citados, 27 são da FSP, 20 da ENSP, 5 do IMS e 5 do exterior. Quanto aos doutorados, a situação é um pouco diferente, pois, das 60 teses citadas, 29 (48,3%) são da FSP, 22 (36,7%) de "outras instituições nacionais", duas da ENSP, seis do exterior e uma do IMS (única defendida no período e não computada no presente estudo).

Foram 19 as teses de livre-docência citadas, sendo nove apresentadas na FSP e 10 em" outras instituições nacionais", e duas as teses de cátedra (uma da FSP e outra de "outras instituições nacionais").

Este resultado mostra que a maioria das dissertações/teses citadas (53,4%) foi defendida em outras instituições, especializadas ou não em saúde pública, o que revela serem de maior interesse ou de mais fácil acesso para os alunos de pós-graduação das instituições estudadas. No entanto, ao se considerar a informação de Christovão, citada por Oliveira e Aragão (1995), "a não-significação de uma fonte para um pesquisador/professor é decorrente do desconhecimento sobre a mesma ou dificuldade extrema de acesso" (p.99). Este resultado viria confirmar a precariedade dos serviços existentes de divulgação e de acesso aos documentos ou, mais especificamente, às teses e dissertações. Além disso, não se pode deixar de considerar que este resultado seja reflexo da diversificação dos temas desenvolvidos nas dissertações/teses possivelmente pela dispersão das linhas de pesquisas em desenvolvimento nas unidades de ensino.

Finalmente, do conjunto das 350 dissertações/teses defendidas de 1990 a 1994 e analisadas no presente trabalho, constam das referências bibliográficas 17 delas (4,9%), sendo oito mestrados defendidos na ENSP (três em 1990, quatro em 1991 e um em 1993), oito defendidos na FSP (dois mestrados defendidos em 1991 e 1992, e seis doutorados, sendo dois defendidos em 1990 e quatro em 1992) e um mestrado defendido em 1992 no IMS. Pelo restante das dissertações/teses não citadas, pergunta-se se terá sido pela diversificação de interesse devido à dispersão temática, ou pelo desconhecimento de sua existência devido à falta de uma divulgação mais agressiva?

COMENTÁRIOS E CONCLUSÕES

As dissertações e teses representam um início de atividades acadêmica e científica de seus autores, portanto esses trabalhos devem ser realizados com o rigor científico exigido para trabalho de pesquisa. As referências bibliográficas são parte integrante de qualquer trabalho científico, portanto a elas também se aplica esse rigor, tanto na sua forma como na sua adequada utilização. No entanto, preocupar-se com a normalização dos trabalhos e da apresentação das referências bibliográficas dos documentos utilizados é tido por muitos estudiosos como uma "perda de tempo". Na verdade, o pesquisador não precisa ele próprio despender seu tempo com esses" detalhes". Outros podem fazer por ele... O que vale é que esse pesquisador tenha a consciência da importância e necessidade de apresentar o discurso de seu trabalho de forma clara e que os documentos utilizados e que fundamentam todo o conteúdo do trabalho sejam "todos" referenciados de forma completa e normalizada. As citações das referências bibliográficas bem elaboradas permitem que a documentação das informações contidas no texto do trabalho possam ser efetivamente comprovadas, quando necessário. É também válida a preocupação em se apresentar as referências normalizadas, para que, em trabalhos de análises de citações que freqüentemente são elaboradas em estudos da produtividade científica, os resultados não sejam distorcidos em função de sua apresentação incompleta ou distorcida (na presente análise foram 262 citações consideradas "incompletas" ou "incorretas").

Assim, vale chamar a atenção para alguns pontos que devem ser considerados na montagem das referências bibliográficas quanto a:

a) Títulos de periódicos - Nas citações de artigos, os títulos são indicados de forma abreviada, o que é uma tradição na área. No entanto, a abreviatura foi apresentada, em alguns casos, de maneira incompreensível. A indicação do título por extenso ou do local de publicação junto ao título abreviado dos periódicos, como norma, ajudaria na identificação completa desses títulos.

b) Autores-colaboradores - A maioria das citações se valeu da expressão latina et alii ou et al. para substituir os nomes dos autores-colaboradores. Esta forma de citação, embora preconizada nas normas, inviabiliza uma análise mais completa e detalhada das autorias dos documentos citados, como, por exemplo, a identificação da elite dos autores mais citados, o impacto da produtividade científica de diferentes autores, entre outras. Pelas próprias normas, existe a possibilidade de que todos os autores (independentemente do número de colaboradores) sejam citados nas referências e, quando o documento for mencionado no texto, figurar apenas o primeiro autor acompanhado de "e col..", "e colab." ou "e colaboradores". Esta é a sugestão apresentada.

c) Nome dos autores - Outro ponto que impede uma identificação precisa dos autores dos documentos citados é o fato de os pré-nomes dos mesmos serem apresentados de forma abreviada após os sobrenomes (o que também é tradição na área). O nome dos autores deveria figurar nas referências de forma completa, na maneira como aparecem no documento citado. Aqui vale ressaltar o cuidado que os autores devem ter ao usar o seu nome de uma única forma, nos trabalhos que escrevem, pois, só assim, estarão assegurando melhor precisão quando for medido o impacto de suas publicações na comunidade científica. Outro ponto refere-se à mudança de sobrenomes de autoras ao passarem para a condição de casadas ou descasadas, o que também pode contribuir para uma identificação errônea de autorias de trabalho, escapando ao controle de análises desta natureza. Aqui fica a sugestão para as autoras adotarem sempre o mesmo sobrenome de identidade científica. A simplificação e/ou diversificação na grafia dos nomes dos autores dificulta, também, quando da identificação de grupos de elite dos autores mais citados.

A análise das citações realizada permitiu estabelecer o seguinte perfil da literatura utilizada nas dissertações/teses no campo da saúde pública:

• Os artigos de periódicos constituem-se no principal veículo de utilização na elaboração das dissertações/teses (46,7% das citações), são proporcionalmente mais utilizados nos doutorados (50%).

• Não existe muita diferença na temporalidade da literatura utilizada nos mestrados e doutorados. A maior concentração dos documentos citados encontra-se nos conjuntos publicados em até 10 anos da defesa da dissertação/tese (60,9% das citações nos mestrados e 58,8% das citações nos doutorados).

• O idioma português predomina nos diferentes tipos de documentos citados (principalmente nas citações de livros com 60,7%) com exceção dos artigos de periódicos onde prevalece o idioma inglês (63,4% das citações dos artigos). Os alunos de pós-graduação em saúde pública, mesmo desenvolvendo trabalhos de pesquisa de interesse local ou nacional, não podem prescindir do domínio do idioma inglês, cujas publicações, em especial os artigos de periódicos, são de fundamental importância no desenvolvimento de suas pesquisas.

• A literatura brasileira, com 49% das citações, não é suficiente para cobrir a demanda de informação dos alunos dos cursos de pós-graduação em saúde pública que continuam na dependência da produção de outros países para o desenvolvimento de suas pesquisas.

• Comparando-se o idioma dos documentos citados e a sua procedência geográfica (país/região de origem), existe o predomínio do idioma pátrio nas citações (quase a totalidade das publicações brasileiras citadas é editada em português; as publicações em inglês têm procedência maior dos EUA e da Inglaterra). Apenas para as publicações da Alemanha predomina o idioma inglês (59,5%). A América Latina contribuiu apenas com 4,0% das citações, influindo na pouca utilização de obras em idioma espanhol (7,6%).

• Quanto ao uso de teses, os alunos de pós-graduação mostraram mais interesse nas dissertações/teses de outras instituições (53,4% - nacionais e do exterior) do que naquelas defendidas nas escolas estudadas (46,6%), podendo-se supor ser conseqüência da diversificação de interesses nos temas desenvolvidos.

• Finalmente, observando se as dissertações e teses estudadas no presente trabalho serviram de embasamento para a realização das mesmas, conclui-se que esse tipo de fonte é pouco utilizado pelos próprios alunos de pós-graduação. Das 350 dissertações de mestrado e teses de doutorado analisadas, 17 (4,9%) foram citadas, uma única vez cada, por esses autores, o que parece estar relacionado mais à diversificação de interesse nos temas estudados e, principalmente, ao próprio desconhecimento de sua existência por parte desses alunos, do que pela sua importância como fonte de informação.

REFERÊNCIAS BIBLIOGRÁFICAS

1. AINA, L.O. Grey literature and agricultural research in Nigeria. Quarterly Bulletin of the International Association of Agricultural Librarians and Documentalists, v.32, n.1, p. 47-50, 1987. [Resumo na Base LISA/CD-ROM].

2. ANDRADE, Maria Teresinha Dias de. Literatura citada em dissertações e teses no campo da Epidemiologia, apresentadas à Faculdade de Saúde Pública da Universidade de São Paulo, no período de 1979-1982. São Paulo, 1984. [Dissertação de Mestrado - Faculdade de Saúde Pública da USP].

3. ANDRADE, Maria Teresinha Dias de. Pesquisa científica em saúde pública: produtividade da comunidade acadêmica brasileira 1983-1989. São Paulo, 1992. [Tese de Doutorado - Escola de Comunicações e Artes da USP].

4. CARVALHO, Maria de Lourdes Borges de. Estudo de citações da literatura produzida pelos professores do Instituto de Ciências Biológicas da UFMG. Ciência da Informação, v.5, n.1/2, p. 27-42, 1976.

5. FERREIRA, Delia Valerio: SOUZA, Rosali Fernandez de. Características da informação bibliográfica relevante para um grupo de pesquisa obtidas através de sua produção científica publicada: um estudo de caso. Ciência da Informação, v. 16, n.1, p. 45-52, jan./jun. 1987.

6. FORATTINI, Oswaldo Paulo. A tríade da publicação científica. Revista de Saúde Pública, S.Paulo, v.30, n.1, p. 3-12, fev. 1996.

7. GODIN, B.; BARKER, R.S.; LANDRY, M. Besides academic publications: which sectors compete, or are there competitors? Scientometrics, v.33, n.1, p. 3-12, 1995.

8. HAIQI, Zhang. A bibliometric study on articles of medical librarianship. Information Processing & Management, v.31, n.4, p. 499-510, 1995.

9. HEINZKILL, Richard. Characteristics of references in selected scholarly English literary journals. Library Quarterly, v.50, n.3, p. 352-65, July, 1980.

10. HERUBEL, Jean-Pierre V.M. Philosophy dissertation bibliographies and citations in serials evaluation. The Serials Librarian, v.20, n.2/3, p. 65-73, 1991.

11. KRIZ, H.M. Library management implications of journal citation patterns in engineering doctoral dissertations. 1984. (Publ. n.: ED243481). [Resumo na base LISA/CD-ROM]

12. LANCASTER, F.W.; BURGER, R.H.; RAUCHFUSS, B.M. Use of literature by East European scientists: what influences place of publication of sources cited? Scientometrics, v.24, n.3, p. 419-39, 1992.

13. LIMA, Regina Celia Montenegro de. Bibliometria: análise quantitativa da literatura como instrumento de administração em sistemas de informação. Ciência da Informação, v.15, n.2, p. 127-33, 1986.

14. NORONHA, Daisy Pires. Utilização de periódicos por docentes e alunos de pós-graduação de uma instituição de ensino e pesquisa em saúde pública. São Paulo, 1987. [Dissertação de Mestrado - Faculdade de Saúde Pública da USP].

15. OLIVEIRA, Margarida Pinto; ARAGÃO, Esmeralda Maria de. Padrões de comunicação científica dos professores/pesquisadores da Faculdade de Medicina/UFBA. Trans-in-formação, v.7, n.1/3, p. 85-110, jan./dez. 1995.

16. PRICE, Derek J. de Solla. O desenvolvimento da ciência: análise histórica, filosófica, sociológica e econômica. Rio de Janeiro, Livros Técnicos e Científicos Ed., 1976.

17. RODRIGUES, Maria da Paz Lins. Citações nas dissertações de mestrado em ciência da informação. Ciência da Informação, v.11, n.1, p. 35-59, 1982.

18. VELHO, Léa. Avaliação acadêmica. A hora e a vez do "baixo clero". Ciência e Cultura, v.41, n.10, p. 957-68, out. 1989.

19. WALCOTT, Rosalind. Characteristics of citations in geoscience doctoral dissertations accepted at United States academic institutions 1981-1985. Science & Technology Libraries, v.12, n.2, p. 5-16, Win. 1992.

Citation analysis of public health master dissertations and doctoral theses

Abstract

This study analyses master dissertations and doctoral theses presented at public health graduation courses, from 1990 to 1994, in "Escola Nacional de Saúde Pública da Fundação Oswaldo Cruz" (ENSP/Fiocruz), "Faculdade de Saúde Pública da Universidade de São Paulo" (FSP/USP) and "Instituto de Medicina Social da Universidade Estadual do Rio de Janeiro" (IMS/UERJ).

The aim was to point out some characteristics of their citations in order to contribute to stablish a Brazilian scientific productivity patterns in the field of public health. It was analysed a sample of 6.019 bibliographic references from 266 master dissertations and 84 doctoral these and the results showed that in general there were more references to scientific journal articles (46.7%); doctoral theses cited more books than master dissertations; there was a concentration of references made to publications between 6 to 10 years old; publications in Portuguese language were responsible for 49.3% of the citations; most of the articles cited were in English language; dissertations and theses from other institutions were more cited than those of the authors' school.

Keywords

Master dissertations; Doctoral theses; Public health; Citation analysis; Scientific production.

Daisy Pires Noronha

Escola de Comunicações e Artes da Universidade de São Paulo. Departamento de Biblioteconomia e Documentação.

Av. Prof. Lúcio Martins Rodrigues, 443 - Cidade Universitária - 05508-900 - São Paulo, SP.

E-mail: [e-mail]

Artigo aceito para publicação em 02-9-97.

• 4. CARVALHO, Maria de Lourdes Borges de. Estudo de citaçőes da literatura produzida pelos professores do Instituto de Cięncias Biológicas da UFMG. Cięncia da Informaçăo, v.5, n.1/2, p. 27-42, 1976.
• 6. FORATTINI, Oswaldo Paulo. A tríade da publicaçăo científica. Revista de Saúde Pública, S.Paulo, v.30, n.1, p. 3-12, fev. 1996.
• 9. HEINZKILL, Richard. Characteristics of references in selected scholarly English literary journals. Library Quarterly, v.50, n.3, p. 352-65, July, 1980.
• 15. OLIVEIRA, Margarida Pinto; ARAGĂO, Esmeralda Maria de. Padrőes de comunicaçăo científica dos professores/pesquisadores da Faculdade de Medicina/UFBA. Trans-in-formaçăo, v.7, n.1/3, p. 85-110, jan./dez. 1995.
• 16. PRICE, Derek J. de Solla. O desenvolvimento da cięncia: análise histórica, filosófica, sociológica e econômica. Rio de Janeiro, Livros Técnicos e Científicos Ed., 1976.
• 17. RODRIGUES, Maria da Paz Lins. Citaçőes nas dissertaçőes de mestrado em cięncia da informaçăo. Cięncia da Informaçăo, v.11, n.1, p. 35-59, 1982.
• 18. VELHO, Léa. Avaliaçăo acadęmica. A hora e a vez do "baixo clero". Cięncia e Cultura, v.41, n.10, p. 957-68, out. 1989.

*

Parte da tese de doutorado

Pós-Graduação em Saúde Pública: análise de dissertações de mestrado e teses de doutorado (1990-1994), apresentada à Faculdade de Saúde Pública da USP, nov. 1996.

Datas de Publicação

• Publicação nesta coleção
  23 Out 1998
• Data do Fascículo
  1998

Histórico

• Recebido
  02 Set 1997