Livros à mão cheia: o livro como veículo de produção acadêmica

Books as means of scientific publishing

Le livre comme modalité de production académique

El libro como medio de producción académica

ARTIGOS ORIGINAIS

Livros à mão cheia: o livro como veículo de produção acadêmica

Books as means of scientific publishing

Le livre comme modalité de production académique

El libro como medio de producción académica

Paulo Rogério Meira Menandro^I; Oswaldo Hajime Yamamoto^II; Emmanuel Zagury Tourinho^III; Antônio Virgílio Bittencourt Bastos^IV

^I Universidade Federal do Espírito Santo

^II Universidade Federal do Rio Grande do Norte

^III Universidade Federal do Pará

^IVUniversidade Federal da Bahia

RESUMO

O texto discute a importância do livro como modalidade de produção acadêmica. São apresentados argumentos em favor da visão de que periódicos e livros, em diversas áreas de conhecimento, constituem formas de veiculação de produção científica que se complementam no cumprimento de funções relevantes para o desenvolvimento da ciência e para a formação e atualização de profissionais. A metodologia adotada nos últimos anos para a avaliação dos livros produzidos no âmbito da pós-graduação em Psicologia é descrita e comentada.

Palavras-chave: Produção científica. Pós-graduação. Avaliação de livros.

ABSTRACT

This essay discusses the importance of books as means of scientific publishing. Arguments are presented which favors the view that periodicals and books, in several areas of knowledge, constitute different modes for dissemination of academic findings, complementary in the fulfillment of relevant functions for the development of sciences and for both professional formation and development. The methodology adopted in recent years in Brazil for evaluation of books produced within Graduate programs in Psychology is described and commented.

Keywords: Scientific publishing. Graduate programs. Book evaluation.

RÉSUMÉ

Ce texte discute l'importance du livre comme modalité de production académique. Il présente des arguments en faveur de la perception des revues et des livres, dans divers domaines de connaissance, en tant que formes complémentaires de diffusion de la production scientifique qui accomplissent des fonctions importantes pour le développement de la science, pour la préparation et pour la formation continue de professionnels. La méthode adoptée, dans les dernières années, pour l'évaluation des livres produits dans le contexte de la Post-Graduation en Psychologie, est décrite et commentée.

Mots-clés: Production scientifique. Post-graduation. Évaluation de livres.

RESUMEN

El texto analiza la importancia del libro como medio de producción académica. Se presentan argumentos a favor de la idea que los periódicos y libros, en diversas áreas del conocimiento, son medios complementarios de propagación de la producción científica con funciones relevantes para el desarrollo de la ciencia, la formación y actualización profesional. Se describe y comenta la metodología adoptada en los últimos años para la evaluación de los libros publicados en el contexto de posgrado en Psicología.

Palabras-clave: Producción científica. Posgrado. Evaluación de los libros.

O deslocamento da centralidade na docência para a pesquisa proposto pelo III Plano Nacional de Pós-Graduação (III PNPG/1986-1989) repercute direta, conquanto tardiamente, na configuração do sistema de avaliação da pós-graduação implantado pela Capes no biênio 1996-1997 (Kuenzer & Moraes, 2005). A produção científica ganha expressão como componente de maior impacto na avaliação da pós-graduação. A situação da área da Psicologia não é diferente: Macedo e Menandro já afirmavam, em 1998, que se tratava do item com maior peso nas decisões sobre a avaliação dos programas de pós-graduação.

A ênfase na pesquisa se traduz, na avaliação da pós-graduação, na prioridade atribuída à produção científica. Dentre os produtos possíveis resultantes do processo de pesquisa, o artigo veiculado em periódicos, forma consagrada utilizada nos meios científicos para tornar públicos resultados de pesquisas, ganha destaque. O que torna os artigos publicados em periódicos a modalidade por excelência de veiculação da produção é o atendimento das exigências de aferição de qualidade e de rapidez e eficiência na divulgação, garantida pelo sistema de arbitragem (em geral, por avaliação pelos pares), pela verificação relativamente simples - ainda que de eficácia questionável - do impacto do material publicado por meio de citações e pela periodicidade (alguns com edições semanais).

O pleno atendimento dessas exigências em algumas áreas do conhecimento, contudo, não significa que automaticamente funcionará de forma similar em todas as áreas ou, mesmo, de maneira uniforme dentro de uma mesma área. As suas diversas características - periodicidade, sistema de arbitragem, medidas de impacto - podem variar de forma bastante expressiva inter e intra-área.

Em algumas áreas de conhecimento a pesquisa é internacionalizada, ou seja, em todos os centros de pesquisa os interesses estão focados em questões similares, abordadas a partir de procedimentos também similares, e com utilização de equipamentos e recursos tecnológicos compartilhados em grande escala. Em tais casos, os periódicos podem ser, de fato, qualificados como internacionalizados, uma vez que constituem fontes de informação das quais todos os pesquisadores da área se nutrem, ao mesmo tempo em que as realimentam. Em tal quadro, fica evidente que, dentro dos limites das subáreas, todos os envolvidos na produção científica devem considerar como obrigatória a leitura do que é publicado em tais periódicos.

Em algumas áreas, o trabalho de investigação está apoiado em metodologia consagrada cujas implicações para os resultados são conhecidas e não precisam ser objeto de conjecturas e argumentações construídas caso a caso, o que significa que os avaliadores das potenciais contribuições trabalham sobre fundamentos que os demais interlocutores (os editores, os demais avaliadores, os autores, a comunidade científica da área, em geral) reconhecem como válidos.

Nessas áreas, cada constatação, descoberta ou proposição pode gerar um relato que, mesmo sendo muito sucinto - e isso ocorre frequentemente -, resulta em relatos que proporcionam pleno entendimento do que se descreve, assim como das implicações teóricas decorrentes. Em tais áreas, não se afigura impróprio afirmar que inexiste publicação de relatos de pesquisas em outros veículos que não os periódicos, diferentemente do que ocorre em outras, nas quais muitas investigações importantes tornam-se públicas em forma de livros, pela necessidade de relatos extensos em decorrência da natureza distinta do conhecimento envolvido.

A ideia de natureza distinta pode ser exemplificada por: outras modalidades de controvérsias teóricas, que podem envolver aspectos históricos e/ou políticos; necessidade de utilizar dados verbais obtidos a partir de entrevistas, questionários ou documentos de vários tipos, ou ainda dados resultantes de observação direta que não podem prescindir de descrições detalhadas e justificadas. São modalidades de dados que muitas vezes não podem ser apresentados de forma quantificada que faça sentido frente à questão de investigação, dificuldade que também contribui para que os relatos sejam mais extensos. Fiorin (2007) aborda a questão ressaltando

que o como se diz tem uma importância equivalente àquilo que se diz. O texto tem tanto valor quanto o conteúdo que é veiculado. A qualidade textual tem um valor argumentativo muito signiûcativo. Isso porque as Ciências Humanas e Sociais, embora tenham uma metalinguagem rigorosamente deûnida, não operam com uma linguagem universal, mas com as línguas naturais. (pp. 272-273)

Sobre tais áreas, mesmo considerados os limites das subáreas, é possível dizer que os envolvidos na produção científica não consideram indispensável a leitura de tudo que é publicado, trabalhando com seleção de material de forma a reservar para seu exame o que foi produzido na perspectiva em que trabalham e em perspectivas fronteiriças.

No caso da área da Psicologia, os periódicos brasileiros alcançaram, ao longo dos últimos anos, um excelente nível, embora restem muitas questões a resolver. A predominância da vinculação institucional em detrimento das sociedades científicas, a dimensão da comunidade científica que muitas vezes compromete o anonimato pretendido pelos editores, a frequente ausência de condições adequadas para a condução do trabalho das revistas, amadoras e muito dependentes de dedicação pessoal do editor, são algumas delas. A essas, adiciona-se mais uma, que tem sido motivo de insatisfação por parte da comunidade científica da área: o número ainda insuficiente de periódicos com circulação regular e de qualidade para dar vazão à crescente produção brasileira da área.

É possível contabilizar no momento, no Brasil, na área de Psicologia, cerca de 70 periódicos com edições atualizadas que são produzidos com utilização de avaliação por pares. Tais periódicos publicaram, no ano de 2010, aproximadamente dois mil artigos. Muitos destes decorrem de dissertações e teses produzidas no âmbito da pós-graduação em Psicologia do país, mas artigos também se originam de diversas outras fontes: 1) pesquisas independentes das atividades de pós-graduação conduzidas por pesquisadores contemplados com financiamentos para tal atividade; 2) monografias associadas à pós-graduação lato sensu; 3) relatos de experiência profissional externos ao ambiente acadêmico publicados por periódicos que acolhem esse tipo de contribuição; 4) pesquisas conduzidas por grupos de pesquisa sediados em instituições nas quais ainda não há pós-graduação na área; 5) pesquisas conduzidas no âmbito de estágios de pós-doutorado no país; 6) pesquisas produzidas em outros países; 7) pesquisas produzidas em programas de pós-graduação de áreas afins cujas características tornam viáveis a publicação em periódicos da Psicologia.

Considerando que foram publicados dois mil artigos em 2010, isso significa que boa parte do que se produziu não chegou a ser publicado nos periódicos nacionais da área. Para ilustração, vale mencionar que no ano de 2009 foram defendidas e aprovadas 1702 dissertações de mestrado e 286 teses de doutorado. No caso de cada dissertação resultar em um artigo e cada tese resultar em dois, já seria atingido percentual superior a 80% de todos os artigos publicados em periódicos nacionais da área.

É aceitável, portanto, concluir que, em princípio, a capacidade instalada de publicação dos periódicos brasileiros está aquém do volume de pesquisas que está sendo produzido.

Mesmo contando com periódicos nacionais de áreas afins (Educação, Neurociências, Administração, Psiquiatria, para citar apenas alguns) nos quais pesquisadores da Psicologia também publicam, a porção da produção da área nelas veiculada é inferior ao total da produção de todas essas áreas afins acolhida nos periódicos da Psicologia.

Quanto aos periódicos estrangeiros, valorizados pelo processo de internacionalização da produção pós-graduada, as informações constantes dos relatórios da pós-graduação revelam que o percentual das publicações dos programas brasileiros da área naqueles é inferior a 10%. Fiorin (2007) argumenta que isso se deve, em parte, à

natureza do objeto de estudo construído pelas Ciências Humanas e Sociais, que limita e circunscreve a dimensão externa do respectivo impacto, uma vez que o fato de tratar de temas relativos às realidades mais locais, de âmbito deûnido por fatores espaço-temporais especíûcos, justiûca o reduzido interesse e o pouco empenho de sua difusão em escala internacional. (p. 272)

Todavia, para além da questão meramente quantitativa, relativa ao escoamento da produção em periódicos, em algumas áreas do conhecimento, como a Psicologia, a produção de conhecimento disseminada por meio de outras formas de veiculação - livros e publicação de trabalhos completos em anais de eventos científicos - divide espaço em termos de importância com os artigos em revistas especializadas.

No que tange aos anais de eventos, não há tradição consolidada no sentido de tal modalidade constituir publicação terminal na área da Psicologia. Há, na realidade, uma grande probabilidade de que essa modalidade de produção reapareça na forma de artigos ou capítulos de livros.

A situação é totalmente diversa no tocante à produção em livros, integrais ou coletâneas. À semelhança de outras áreas das Ciências Humanas, são muitos os exemplos de pesquisadores com enormes contribuições publicadas em forma de livros. É possível dizer até mesmo que alguns dos pesquisadores com maior contribuição para a área concentraram sua produção em livros, deixando os periódicos em segundo plano. Na verdade, tal quadro é afetado pela diversidade interna da área. Em alguns casos, em subáreas específicas, a produção é dividida entre artigos e livros, em outras a produção principal está publicada em forma de livros. É claro que existem subáreas nas quais a publicação dos pesquisadores mais importantes é quase toda feita em periódicos, mas essa não é a regra para todos os casos.

Referindo-se a outras áreas de conhecimento no âmbito das Ciências Sociais, Fiorin (2007) destaca que algumas das contribuições mais significativas foram veiculadas por meio de livros, chamando a atenção para o papel que tiveram obras como Raízes do Brasil, de Sérgio Buarque de Holanda, ou Formação da Literatura Brasileira, de Antônio Candido, entre outros livros.

Como a avaliação da pós-graduação brasileira sempre pretendeu pautar-se por um princípio de comparabilidade absoluta, princípio esse cuja viabilidade é questionável, as áreas do conhecimento com tradição consolidada de pesquisa internacionalizada sempre pretenderam que todas as demais áreas fossem analisadas pelos mesmos critérios a elas aplicáveis. Em tal quadro, os livros passaram a ser vistos com suspeição por essas áreas tradicionais, para as quais são, como regra, considerados material didático. Para essas mesmas áreas, considerar a produção em livros significava ameaça ao equilíbrio do processo comparativo de avaliação, pelo risco de que fossem consideradas equivalentes produções comparáveis em termos quantitativos, mas discrepantes em termos das modalidades de veículos de publicação.

Por outro lado, pesquisadores das áreas em que parte importante do conhecimento produzido é publicada em livros sabem que seria absurdo abrir mão desse tipo de publicação, por várias razões.

Os limites impostos ao tamanho dos artigos forçaram simplificações nos relatos de pesquisa que, em alguns casos, chegam, no limite, à descaracterização da abrangência do estudo realizado. A imposição de tais limites, a princípio, decorreu do alto custo do material impresso, mas, na Psicologia, a inovação tecnológica dos periódicos eletrônicos e a redução de custos dela decorrente não alteraram exigências de tamanho com limite-padrão para os textos, ainda que tenha favorecido a ampliação do volume de artigos publicados. Observa-se que diversos programas de pós-graduação em Psicologia passaram a admitir e até incentivar o - talvez visando possível aumento da produção que poderia daí resultar - que dissertações e teses sejam elaboradas em formato de artigos reunidos. Em muitos casos, o resultado é interessante e promissor, mas será adequado que as investigações venham a ser planejadas para atender determinados formatos de publicação? Não estará invertida a ordem das coisas, caso assim se proceda?

A publicação de relatos de pesquisas produzidas com colaboração interinstitucional mostra-se muito mais completa e significativa quando reunida em livro, em comparação com a publicação de diversos artigos pulverizados por diferentes periódicos. O mesmo é possível dizer em relação à produção de grupos de trabalho que se reúnem periodicamente para a formulação de diretrizes para alguma subárea a partir das quais cada um se encarrega da produção de um item, mesmo que tal trabalho não constitua um projeto integrado de pesquisa multicêntrica (exemplos na área são alguns dos livros produzidos por grupos constituídos no âmbito da ANPEPP).

Eventualmente, podem ser produzidos livros que se revelem como a forma mais viável de reunir textos que atualizem a(s) visão(ões) de um programa de pós-graduação sobre a área na qual está situado, explicitando o que poderia ser chamado de pensamento do programa, a partir do qual as linhas de pesquisa são fortalecidas ou transformadas.

Livros organizados com contribuições de diferentes programas de pós-graduação podem envolver avaliação das contribuições por pares e constituir um excelente veículo de articulação da produção de diferentes programas, gerando difusão privilegiada de conhecimento, podendo produzir intercâmbios de vários tipos. Livros dessa natureza também podem ser organizados na perspectiva de solidariedade entre instituições com diferentes níveis de consolidação da pesquisa e da pós-graduação. Cabe aqui um argumento adicional sobre o papel dos livros na formação em nível de graduação. A produção científica, evidentemente, contribui para a melhoria da formação de novos profissionais, como parte da integração, que é um dos objetivos do sistema de pós-graduação. Muitos dos livros originários da pós-graduação cumprem importante papel em termos da atualização e da qualificação da formação no âmbito dos cursos de graduação da área e de áreas afins.

Não há, pois, razão inquestionável para priorizar de forma absoluta a publicação de relato de pesquisas em periódicos no âmbito da Psicologia brasileira. Pode-se, mesmo, afirmar que as produções veiculadas nos periódicos e por meio dos livros são igualmente importantes e complementares para o conhecimento da área. A título de exemplo, na Avaliação Trienal conduzida pela Capes em 2010, a produção científica da área da Psicologia, considerados apenas artigos e livros, dividia-se em 58,9% para os primeiros e 41,1% para livros e capítulos. Embora decrescente nos últimos triênios,¹ a importância dessa modalidade de produção para a área é indiscutível. Dentre os livros avaliados em 2010, por outro lado, 11,6% foram publicados em língua estrangeira (em geral, coletâneas), possivelmente refletindo interesse e demanda crescentes por interlocução com grupos estrangeiros e internacionalização da produção.

Se essa constatação tem procedência, resta ainda a questão do monitoramento da qualidade dessa produção, o ponto nodal da polêmica envolvendo a equiparação dessas modalidades de produto acadêmico na pós-graduação.

O Qualis, definido como o sistema de classificação de veículos de divulgação da produção intelectual para atender as necessidades específicas da avaliação da pós-graduação, está voltado exclusivamente para o monitoramento dos periódicos científicos. Trata-se de um sistema consolidado, conquanto controverso (Rocha-e-Silva, 2009), abrangendo as diversas áreas do conhecimento.

Na Psicologia, o sistema, resultado de uma associação entre a Comissão de Avaliação da Área da Psicologia na Capes e a ANPEPP, foi implantado em 1998 e tem sido objeto constante de debate da comunidade científica da área.² As comissões mistas, com suas diversas composições, classificam os veículos citados pelos programas de acordo com categorias indicativas da qualidade do veículo,³ possibilitando uma aferição indireta da qualidade do artigo.

Nas duas últimas avaliações dos programas de pós-graduação do país, os livros foram considerados, mas é inegável a persistência de resistências apoiadas, sobretudo, no argumento da dificuldade de estabelecer procedimentos objetivos de avaliação.

Até este ponto do texto foram mencionadas diversas questões sobre as características da produção publicada em formato de livro, sua importância para algumas áreas como forma de publicação complementar aos periódicos, seu grande alcance e sua longeva vida útil como veículo de divulgação, mas resta lidar com a questão da avaliação. Como avaliar o que representam livros, articuladamente com e em complemento aos artigos publicados em periódicos, como indicação de volume e qualidade da produção de um programa de pós-graduação na área de Psicologia? É importante registrar que respostas possíveis para tal indagação têm chance de interessar também a outras áreas.

A seguir, são apresentados procedimentos e justificativas adotados pela área da Psicologia na avaliação dos livros publicados por docentes e discentes da área, com o objetivo de mostrar que é possível colocar em prática um sistema de avaliação viável, eficiente no estabelecimento de diferenciações e válido para a finalidade de estabelecer comparações entre produções dos diferentes programas de pós-graduação da área. É impossível não reconhecer, entretanto, que tal finalidade resulta de contingências administrativas às quais a avaliação parece subordinada. Os riscos que pairam sobre processos desse tipo não são desprezíveis e muitas facetas das dificuldades envolvidas tem sido objeto de reflexão, inclusive o risco de que as avaliações (ainda que conduzida pelos pares) estejam fazendo censura (Waters, 2006), mas a discussão de tais pontos não será desenvolvida aqui.

Retornando à avaliação realizada, o aspecto inicial a ser destacado é o fato de que o volume de livros envolvidos inviabiliza exame detalhado de cada um deles. A relação de livros (incluindo aqueles nos quais aparecem capítulos isolados) registrados nos relatórios dos programas de pós-graduação em Psicologia relativos ao triênio 2007/2009 ultrapassa o volume de 1.100 títulos. Diferentemente do que ocorre no caso dos periódicos, o acesso aos livros exige uma operação especial de concentração de grande quantidade de material em local apropriado, uma vez que, em sua grande maioria, não estão disponíveis em meio eletrônico.

A proposta, cujas linhas gerais serão apresentadas à discussão mais adiante, deve ser entendida como procedimento desenvolvido para a avaliação dos programas de pós-graduação da área de Psicologia. É importante enfatizar tal finalidade para deixar claro que não está em questão qualquer avaliação direta da qualidade do livro como produto autônomo, ou seja, não há pretensão de utilização de critérios como aqueles utilizados em concursos de premiação de textos. O que se pretende é uma avaliação indireta da qualidade que não pode se dissociar do papel que este ou aquele tipo de livro cumpre como produto de um programa de pós-graduação. Diversas áreas de conhecimento representadas na Capes também utilizam como parte de sua metodologia de avaliação dos programas de pós-graduação sistemas de classificação de livros que têm similaridade com a proposta que será delineada no presente texto.

Dois pontos preliminares sobre a forma como livros e capítulos são registrados nos relatórios dos programas precisam ser destacados, para melhor compreensão do ambiente para o qual a proposta a ser apresentada adiante foi formulada:

a) A informação fornecida sobre cada livro, seja com texto integral ou com organização a cargo de docente(s) ou discente(s) do programa, está limitada a título, autoria, número de páginas, número da edição, nome da editora e se o livro está impresso ou disponível em meio eletrônico;

b) Quando há publicação de capítulo em livro cuja organização foi externa ao programa, a única informação que aparece sobre o organizador (ou organizadores) é seu nome, com o que nada se sabe a respeito do livro ter ou não sido produzido no âmbito de algum programa de pósgraduação, exceto quando o organizador é pesquisador destacado, com vínculos conhecidos. Tal insuficiência fica ainda mais ressaltada quando o organizador do livro atua em outra área de conhecimento, o que ocorre com expressiva frequência (existem capítulos de docentes e discentes dos programas da área de Psicologia publicados em livros organizados no âmbito de quase todas as áreas do conhecimento, com destaque para Educação, Saúde, Administração, Psicobiologia e quase todos os temas de interesse das Ciências Sociais).

Como decorrência da impossibilidade de leitura de todos os capítulos e livros, assim como da insuficiência dos dados constantes dos relatórios dos programas, há necessidade de obter informações adicionais sobre os livros. É preciso ter um esquema paralelo ao relatório oficial por meio do qual essas informações sejam fornecidas, sem sobrecarregar excessivamente os responsáveis pela elaboração dos relatórios dos programas.

A primeira diretriz geral da proposta é a criação de uma tipologia de livros como passo inicial para a organização do conjunto desse tipo de produção.

A segunda diretriz geral da proposta é a de solicitar que os próprios programas forneçam esclarecimentos sobre os livros (e capítulos) em que estão envolvidos e os classifiquem levando em conta a tipologia mencionada na primeira diretriz.

A terceira diretriz geral da proposta é a exigência de que todos os livros sejam examinados diretamente. Isso quer dizer que é preciso reuni- los todos em espaço no qual alguma comissão de qualificação dos livros possa atuar. O exame direto dos livros possibilita auditagem das informações fornecidas pelos programas e correção de classificações equivocadas das obras. Em termos práticos, nos momentos em que tal procedimento foi adotado, foram constatados alguns casos de classificações que beneficiavam os programas, assim como foram encontradas classificações que os prejudicavam, mas na maior parte dos casos as classificações feitas pelos programas eram irreparáveis.

A quarta diretriz geral da proposta diz respeito à proteção das informações relativas à avaliação dos livros quanto à possibilidade de utilização para finalidade diversa da avaliação da pós-graduação, como, por exemplo, o de exploração comercial. Em outras palavras, a avaliação deve assegurar que nenhum livro tenha divulgada sua nota individual, que poderia ser utilizada para qualificar ou desqualificar um livro de forma absoluta, ou poderia passar a ser utilizada publicitariamente como selo de qualidade, trazendo problemas de outra ordem para a avaliação dos programas, já tão delicada em sua configuração atual.

Nos dois últimos triênios a coordenação da área da Psicologia na Capes adotou, em linhas gerais, os procedimentos que serão descritos na sequência.⁴ A existência de um aplicativo de banco de dados, com acesso remoto, para lançamento de informações sobre os livros, só ocorreu no último triênio.⁵ Além de alimentar o banco de dados, cada programa enviou exemplares de todos os livros em que estava envolvido para a biblioteca do Instituto de Psicologia da USP, que dispõe de instalações e equipamentos apropriados para o trabalho de exame dos livros, além de dispor de pessoal qualificado para apoiar as atividades dos avaliadores. Como contrapartida à cessão de espaço e funcionários, o material enviado passou a integrar o acervo da biblioteca. No caso do programa não dispor, para envio, de exemplar de algum livro, cópia em papel ou em meio digital o substituía.

Cada livro deveria ser classificado em um dos itens constantes da tipologia de livros apresentada aos programas. É necessário lembrar que tal tipologia foi proposta com o objetivo de avaliar programas de pósgraduação e levou em conta toda a variedade de livros efetivamente registrados pelos programas em seus relatórios. Trata-se, portanto, de tipologia que não é aplicável a qualquer objetivo.

Como o objetivo do presente texto é trazer elementos para discussão, optou-se por apresentar a listagem com todos os tipos de livros encontrados nos relatórios. Essa tipologia completa não foi disponibilizada para os programas, tendo sido usadas em seu lugar categorias amplas, cada uma delas reunindo diversos tipos de livros. O trabalho partiu da listagem reproduzida a seguir, que incluiu dezenas de tipos de livros:

01) Relato e discussão de pesquisa original desenvolvida sob responsabilidade de docente (texto integral; autor único ou coautoria).

02) Apresentação e discussão de proposição teórica original desenvolvida sob responsabilidade de docente (texto integral; autor único ou coautoria).

03) Apresentação e discussão de proposição metodológica original desenvolvida sob responsabilidade de docente (texto integral; autor único ou coautoria).

04) Revisão crítica da literatura sobre um ou mais temas (texto integral; autor único ou coautoria).

05) Sistematização de resultados de um programa abrangente de pesquisa conduzido por docente ao longo se sua trajetória ou proposição teórico-metodológica original resultante de experiência consolidada como pesquisador/pensador.

06) Relatos e discussões de pesquisas originais (coletânea; textos de diferentes autores; foco em temática específica).

07) Relatos e discussões de pesquisas originais (coletânea; textos de diferentes autores; sobre temas diversos).

08) Relatos e discussões de pesquisas originais (coletânea em que um mesmo pesquisador figura como autor ou coautor de todos os textos).

09) Apresentação e discussão de proposições teóricas originais (coletânea; textos de diferentes autores).

10) Apresentação e discussão de proposições metodológicas originais (coletânea; textos de diferentes autores).

11) Revisão crítica da literatura sobre tema específico (coletânea; com textos de diferentes autores).

12) Revisão crítica da literatura sobre temas diversos (coletânea; com textos de diferentes autores).

13) Relato e discussão de pesquisa original desenvolvida como tese de doutorado (texto integral; autor único ou coautoria com orientador).

14) Apresentação e discussão de proposição teórica original desenvolvida como tese de doutorado (texto integral; autor único ou coautoria com orientador).

15) Apresentação e discussão de proposição metodológica original desenvolvida como tese de doutorado (texto integral; autor único ou coautoria com orientador).

16) Reflexões teórico-metodológicas de docentes, expressando o pensamento do pograma de pós-graduação em que atuam (coletânea).

17) Relato e discussão de pesquisa original desenvolvida como dissertação de mestrado (texto integral; autor único ou coautoria com orientador).

18) Apresentação e discussão de proposição metodológica original desenvolvida como dissertação de mestrado (texto integral; autor único ou coautoria com orientador).

19) Relato de apresentação de instrumentos de avaliação (testes, escalas, inventários), com discussão de dados obtidos no processo de seu desenvolvimento e validação.

20) Relato de apresentação de programa computacional de análise de dados, com justificativas teóricas, aplicações e discussão de resultados obtidos no processo de seu desenvolvimento, assim como das possibilidades de interpretação.

21) Obra didática, de sistematização do conhecimento disponível, visando atendimento de ensino de graduação ou pós-graduação (texto integral; autor único ou coautoria).

22) Obra didática, de sistematização do conhecimento disponível, visando atendimento de ensino de graduação ou pós-graduação (coletânea; com textos de diferentes autores).

23) Relato e discussão de experiência profissional (texto integral; autor único ou coautoria).

24) Relato e discussão de experiências profissionais (coletânea; com textos de diferentes autores).

25) Expressão de pontos de vista sobre assuntos relevantes para a área (texto integral; autor único ou coautoria).

26) Expressão de pontos de vista sobre assuntos relevantes para a área (coletânea; com textos de diferentes autores).

27) Obra individual ou coletiva visando difusão de conhecimento (divulgação, vulgarização), dirigida à população adulta em geral.

28) Obra individual ou coletiva visando difusão de conhecimento (divulgação, vulgarização), dirigida à população adolescente.

29) Obra individual ou coletiva visando difusão de conhecimento (divulgação, vulgarização), dirigida à população infantil.

30) Obra individual ou coletiva visando difusão de conhecimento (divulgação, vulgarização), dirigida a grupo específico da população: deficientes visuais, surdos, mães de crianças portadoras de deficiências, portadores do vírus HIV, homossexuais, interessados em adoção, professores de creche, indígenas, mulheres vítimas de violência, obesos, idosos, entre outros.

31) Obra de referência constituída de verbetes temáticos, biográficos, históricos ou de outra natureza (obra individual ou em coautoria abrangendo apenas o grupo de organizadores).

32) Obra de referência constituída por verbetes temáticos, biográficos, históricos ou de outra natureza (obra coletiva, com colaboradores diversos).

33) Apresentação da obra de um autor, com seleção de seus textos e discussão crítica de suas contribuições.

34) Apresentação da obra de um autor, com contribuição restrita à seleção dos textos originais.

35) Manuais de instrução sobre testes, softwares, equipamentos, normatização, busca na internet, ou similares.

36) Reunião de textos de um mesmo autor já publicados anteriormente (podendo alguns textos terem sido produzidos em coautoria).

37) Biografia.

38) História de alguma instituição.

39) Dicionários.

40) Compilação de entrevistas com diferentes personalidades relevantes para a área (sendo ou não o organizador o condutor das entrevistas).

41) Reunião de textos produzidos para apresentações de alunos em seminários internos de programas de pós-graduação.

42) Anais de Congressos, com textos completos (organização, desde que haja texto de apresentação).

43) Anais de congressos, com resumos (organização, desde que haja texto de apresentação).

44) Relatos de experiências pessoais sem tratamento científico ou acadêmico (relatos de viagem, relatos de experiências especiais vividas, ou similares).

45) Obras artísticas.

46) Obras religiosas.

Uma tipologia como a que foi descrita acima permite estabelecer, como princípio de trabalho, a ideia de que determinados tipos de livros podem ter sua pontuação iniciada em diferentes patamares. Em outras palavras, dois livros podem ter pontuação inicial, de partida, diferente, apenas pelo fato estarem classificados em diferentes categorias de livros.

Um dos fundamentos para tal diferenciação na pontuação de partida foi o grau de maturidade suposto na autoria. Exemplificando: textos originais produzidos por docentes/pesquisadores (com elevada chance de constituir contribuição inovadora para a área), fossem eles relatos de pesquisa, proposições teóricas ou proposições metodológicas, receberam pontuação inicial superior à de uma tese de doutorado publicada como livro - que, por sua vez, recebeu pontuação inicial superior à de dissertações de mestrado que se transformaram em livros.

Outro fundamento a ser considerado é a própria natureza do texto, pensada em função dos objetivos dos programas de pós-graduação. Livros cujos textos representem contribuições originais devem ter sua pontuação de partida maior do que a de textos de divulgação, ou textos opinativos nos quais os autores expressem pontos de vista pessoais, ou ainda do que livros que constituam anais de eventos, pelo fato de que divulgação, opinião e compilação não são objetivos primordiais da pós-graduação. É razoável pensar que um livro com as características daquele especificado na tipologia apresentada acima como o número 5 (Sistematização de resultados de um programa abrangente de pesquisa conduzido por docente ao longo se sua trajetória ou proposição teórico-metodológica original resultante de experiência consolidada como pesquisador/pensador) pode ser tomado como o exemplo privilegiado de livro que partirá da mais alta pontuação inicial. Por outro lado, determinados tipos de livros sequer precisam ser pontuados, por não se referirem à Psicologia: como exemplos podem ser citados os relatos de experiências pessoais sem tratamento científico ou acadêmico, as obras artísticas e as religiosas.

Independentemente da pontuação de partida, no entanto, um livro de determinado tipo pode ter características que justificam pontuação total superior à de outro livro classificado como sendo do mesmo tipo. Tal questão foi considerada na avaliação dos livros realizada na área, trabalhando- se com acréscimos de pontos em função de outros aspectos do livro.

Um dos aspectos adicionais considerado foi o esforço de cooperação. Livros que envolviam autores de diferentes programas - na maior parte dos casos, coletâneas - receberam acréscimo de pontuação não concedido aos livros em que todos os autores atuam no mesmo programa. Caso o conjunto de autores também incluísse pesquisadores radicados em instituições estrangeiras, novo acréscimo de pontuação foi computado, considerando que em tal caso está em jogo esforço de cooperação que extrapola a produção nacional.

Um segundo aspecto adicional é o fato do texto ter passado por algum crivo de qualidade reconhecido e externo ao programa. Foram considerados: a) premiações (internacionais, nacionais ou regionais), sejam anteriores à publicação, como o Prêmio Capes para teses, sejam posteriores à publicação; b) edição com apoio de agências de fomento (CNPq, FAPESP, FAPERJ, por exemplo), no âmbito de editais específicos para publicação, supondo existência de avaliação; c) edição com apoio de instituições de fomento à cultura ou associações profissionais, no âmbito de editais específicos para publicação, ou como resultado de concursos, sempre supondo existência de avaliação.

A importância e a tradição da editora na área da Psicologia foi mais um aspecto adicional considerado para efeito de acréscimo de pontuação. Deve ser assinalado que editoras universitárias receberam tratamento especial. A classificação das editoras não foi divulgada para evitar exploração comercial descontextualizada da finalidade do processo em que ocorreu.

O quarto aspecto levado em conta foi a longevidade da publicação, conforme atestada por reedições. Cada nova edição de um livro recebe pontuação equivalente a um percentual do valor que o livro receberia caso estivesse em primeira edição, elevando a pontuação do programa, mesmo não se tratando de texto produzido no triênio sob avaliação.

Outros aspectos isolados, quando presentes nas publicações, também resultaram em acréscimo de pontuação, a saber:

A) Publicação em país estrangeiro;

B) Publicação no âmbito de coleção/série com editor responsável;

C) Informações adequadas sobre autores;

D) Obra relacionada às atividades de Grupos de Trabalho da ANPEPP;

E) Obra relacionada às atividades de GTs de outras associações nacionais de pós-graduação;

F) Obra relacionada a programas de pesquisa multicêntricos financiados por instituições de fomento.

Foi possível lidar com todo esse amplo conjunto de indicadores e critérios sem ler integralmente os livros. De posse das informações enviadas pelos programas, foi suficiente, na maior parte dos casos, ler apenas os dados editoriais, as informações sobre os autores, os textos constantes das orelhas e da contracapa, o sumário, a seção de apresentação ou o prefácio (quando havia), além da leitura eventual de partes do livro.

Tal procedimento permitiu chegar a uma classificação em cinco estratos (quatro estratos válidos mais uma classe de livro considerado sem relevância como produção acadêmico-científica). O livro classificado no estrato inferior (sem relevância como produção) não gerou qualquer pontuação para o programa. O livro classificado no estrato superior gerou pontuação equivalente à de três artigos em periódicos de excelente nível, caso se tratasse de obra com texto integral cujo autor está vinculado ao programa (coletâneas podem figurar nesse mesmo estrato, mas não geram pontuação total, como está explicado ao final do parágrafo). Livros que atingiram pontuação suficiente para alcançar o estrato superior foram objeto de leitura mais detalhada, de forma que partes de todas as suas seções fossem examinadas. Após a execução de tal procedimento, fazia-se o relato do que foi constatado para a comissão de avaliadores, que decidia se o livro ficava ou não no estrato superior. É importante registrar que o percentual de livros classificados no estrato superior foi de 3,42%, ou seja, 39 títulos entre os 1142 avaliados (Tourinho & Bastos, 2010). A pontuação atribuída aos capítulos e às organizações de coletâneas correspondeu a 33,3% do valor atribuído ao livro.

Como já foi dito, não se pretendeu que essa forma de avaliar pudesse resultar em classificação precisa da qualidade das obras, como produtos autônomos, o que, de resto, afigura-se tarefa impossível. Não obstante, parece seguro afirmar que a pontuação atribuída aos diversos livros não está desconectada de sua qualidade, principalmente se a noção de qualidade agrega elementos relativos aos objetivos de produção de conhecimento que dão sentido aos programas de pós-graduação. Reafirma-se aqui que o sistema foi testado com exame cuidadoso dos livros que estavam no limiar dos pontos de corte para ver se o conjunto de indicadores discriminava efetivamente e, além disso, ao longo do processo, foram realizados ensaios de ajustes nos pesos dos indicadores de forma a burilar a classificação.

O volume de livros eletrônicos foi muito pequeno, não justificando qualquer tratamento especial. É muito provável, todavia, que na próxima avaliação trienal haja necessidade de formular critérios específicos para tal modalidade de publicação, que deve tornar-se muito mais presente no ambiente científico.

Desconhecemos procedimentos alternativos viáveis que sejam mais sensíveis na aferição comparativa das características de publicações no formato livros. Ainda assim, temos consciência de que a metodologia adotada pela área de Psicologia, que foi aqui exposta, é uma primeira proposta que, seguramente, poderá ser corrigida e aprimorada. Um importante papel que tal metodologia cumpriu foi o de convencer representantes reticentes de outras áreas de conhecimento de que livros podem constituir modalidade cuidadosa e eficiente de produção científica, e de convencê-los de que livros podem ser avaliados de forma válida. A produção científica veiculada em livros não é algo menor a ser tolerado em algumas áreas de conhecimento, mas pode ser produto nobre com grande impacto sobre a produção de conhecimento nessas mesmas áreas e em áreas afins.

Foi grande a preocupação de evitar que a avaliação assumisse características de mera avaliação métrica das propriedades dos livros. Tal afirmação fornece a deixa para o encerramento do presente texto de forma bem-humorada, com uma situação curiosa descrita pelo escritor Federico Andahazi (1997), no romance As Piedosas, que exigirá longa citação. Em certo ponto do texto é mencionado um personagem encarregado de avaliar todos os manuscritos apresentados a uma editora. Com sua larga experiência tal juiz construiu a

mais escrupulosa classificação dos grandes romances universais.... Tinha decomposto todos os elementos quantificáveis de cada romance - número de páginas, peso, quantidade de palavras, artigos, substantivos, adjetivos, advérbios, preposições, etc. - e tinha calculado as médias correspondentes. Além disso, considerou os componentes não quantificáveis, a que resolveu chamar, de forma genérica, os conteúdos espirituais que habitavam as páginas dos livros. Decidiu também que era possível objetivar tais elementos submetendo os exemplares a diferentes tratamentos. Assim, por exemplo, os expôs ao peso de enormes prensas, a temperaturas elevadas, ao vapor, a movimentos bruscos, etc., e por esse caminho descobriu que os livros que mais tinham durado na memória dos tempos eram os que, por acaso, não haviam mudado de peso após tais processos. Tomando essa peculiaridade como lei geral, idealizou aquela que resolveu chamar de máquina leitora. (pp. 79-80)

Na máquina leitora, se o manuscrito superasse os

obstáculos formais, passava à câmara dos espíritos, onde era submetido ao tratamento para objetivar os conteúdos espirituais. Caso o exemplar vencesse todas as provas, era automaticamente carimbado com uma tarja azul que dizia PUBLICÁVEL e concluía seu trajeto num tubo comprido que o conduzia à gráfica. Se, ao contrário, o manuscrito não se adequasse a algum dos parâmetros sucessivos, caía na garganta negra de uma tubulação que desembocava nos mais profundos subsolos e era qualificado com um carimbo vermelho que dizia IMPUBLICÁVEL. (p. 80)

Paralelamente às suas atividades de avaliar manuscritos, o juiz idealizador da máquina dedicou-se à

empreitada que iria justificar sua obscura existência: escrever o romance perfeito. Era, justamente, o dono da fórmula. Dez anos exigiu-lhe a redação de seu romance, que ele intitulou A Chave do Segredo. No glorioso dia em que lhe pôs o ponto final, tudo o que teria a fazer seria ir à gráfica com sua obra flamejante debaixo do braço. Ao fim e ao cabo, era ele o juiz. Mas não pode furtar-se à tentação. Abriu a portinhola de sua máquina e com um sorriso satisfeito deixou que o livro seguisse seu curso. Com espanto verificou que o artefato de sua invenção, com expeditivo desdém, cuspia o manuscrito para os infernos. (pp. 80-81)

Recebido em: 11/04/2011

Aceito em: 28/04/2011

Paulo Rogério Meira Menandro, Professor Titular, Universidade Federal do Espírito Santo, Departamento de Psicologia Social e do Desenvolvimento, Programa de Pós- Graduação em Psicologia. Endereço para correspondência: Av. Fernando Ferrari, 514, Campus Universitário, Goiabeiras, Vitória, ES, CEP: 29.075-910. Endereço eletrônico: [e-mail]

Oswaldo Hajime Yamamoto, Professor Titular do Departamento de Psicologia da Universidade Federal do Rio Grande do Norte, Centro de Ciências Humanas, Letras e Artes, Departamento de Psicologia. Endereço para correspondência: Campus Universitário UFRN, Lagoa Nova, 59078-970, Natal, RN, Brasil, Caixa-Postal: 1622. Endereço eletrônico: [e-mail]

Emmanuel Zagury Tourinho, Professor Titular da Universidade Federal do Pará, Núcleo de Teoria e Pesquisa do Comportamento. Endereço para correspondência: Rua Augusto Corrêa, 1, Guamá, 66075-110, Belém, PA, Brasil. Endereço eletrônico: [e-mail]

Antônio Virgílio Bittencourt Bastos, Professor Titular de Psicologia Social das Organizações, Departamento de Psicologia da Universidade Federal da Bahia. Endereço para correspondência: Av. Ademar de Barros, s/n, pav. 4, Ondina, 40170-110, Salvador, BA, Brasil. Endereço eletrônico: [e-mail]

• Andahazi, F. (1997). As piedosas Săo Paulo: Companhia das Letras.
• Fiorin, J. L. (2007). Internacionalizaçăo da produçăo cientíűca: a publicaçăo de trabalhos de Cięncias Humanas e Sociais em periódicos internacionais. Revista Brasileira de Pós-Graduaçăo, 4(8), 263-281.
• Kuenzer, A. Z., & Moraes, M. C. M. (2005). Temas e tramas na pós-graduaçăo em Educaçăo. Educaçăo & Sociedade, 26(93), 1341-1362.
• Macedo, L., & Menandro, P. R. M. (1998). Consideraçőes sobre os indicadores de produçăo no processo de avaliaçăo dos programas de pós-graduaçăo em Psicologia. Infocapes, 6(3), 34-38.
• Rocha-e-Silva, M. (2009). O novo Qualis, ou a tragédia anunciada. Clinics, 64(1), 1-4.
• Tourinho, E. Z., & Bastos, A. V. B. (2010). Relatório de Avaliaçăo 2007-2009 - Trienal 2010. Recuperado em 3 de abril de 2011, de http://trienal.capes.gov.br/ ?page_id=1135
• Waters, L. (2006). Inimigos da esperança - publicar, perecer e o eclipse da erudiçăo Săo Paulo: Ed. da Unesp.
• Yamamoto, O. H., Koller, S. H., Guedes, M. C., LoBianco, A. C., Sá, C. P., Hutz, C. S. et al. (1999). Periódicos científicos em Psicologia: uma proposta de avaliaçăo. Infocapes, 7, 5-11.
• Yamamoto, O. H., Menandro, P. R. M., Koller, S. H., LoBianco, A. C., Hutz, C. S., Bueno, J. L., & Guedes, M. C. (2002). Avaliaçăo de periódicos científicos brasileiros da área da psicologia. Cięncia da Informaçăo, 31(2), 163-177.

¹

A participação relativa dos livros/capítulos tem decrescido ao longo dos últimos quatro triênios: em 1998- 2000 era de 50,4%; cresce para 53,4% em 2001-2003; diminui para 44,8% em 2004-2006 para, finalmente, atingir a marca de 41,1% no último triênio.

²

Para informações sobre a classificação da área da Psicologia, consultar os relatos das comissões responsáveis pela sua implantação e condução (Tourinho & Bastos, 2010; Yamamoto et al., 1999; Yamamoto et al., 2002).

³

No sistema atualmente adotado pela Psicologia, a classificação é sustentada pela presença em bases de dados (indexadores) (Tourinho & Bastos, 2010).

⁴

O exame e a classificação dos livros para efeito da avaliação da pós-graduação aqui descrito foi conduzido, no triênio 2004-2006, por uma comissão mista CAPES/ANPEPP composta por Antônio Virgílio Bittencourt Bastos (UFBA), coordenador da Comissão; Cleci Maraschin (UFRGS); Emmanuel Zagury Tourinho (UFPA); Fermino Fernandes Sisto (USF); Gerson Yukio Tomanari (USP); Maria Amália Pie Abib Andery (PUCSP); Maria do Carmo Guedes (PUC-SP); e Paulo Rogério Meira Menandro (UFES), sob a supervisão de Oswaldo H. Yamamoto (UFRN), Representante da Área na CAPES. No triênio 2007-2009, a Comissão foi composta por Antônio Virgílio Bittencourt Bastos (UFBA), coordenador da Comissão; Anna Carolina Lo Bianco (UFRJ); Fermino Fernandes Sisto (USF); Gerson Yukio Tomanari (USP); Maria Amália Pie Abib Andery (PUC-SP); Oswaldo Hajime Yamamoto (UFRN); Paulo Rogério Meira Menandro (UFES) e William Barbosa Gomes (UFRGS), sob a supervisão de Emmanuel Zagury Tourinho (UFPA), na condição de Coordenador da Área na CAPES.

⁵

O aplicativo

Sistema para Descrição das Obras Publicadas (SDOP) foi desenvolvido pelo Centro de Estudos Interdisciplinares para o Setor Público - ISP, órgão suplementar vinculado à Universidade Federal da Bahia, e hospedado em seu sítio eletrônico (

http://www.parformacao.isp.ufba.br/Banco_de_Dados/ inscricao/Atualiza_Inscricao/isbn/endereco.htm).

Datas de Publicação

• Publicação nesta coleção
  18 Jul 2011
• Data do Fascículo
  Jun 2011

Histórico

• Aceito
  28 Abr 2011
• Recebido
  11 Abr 2011