Resumos
Com o objetivo de suscitar o debate sobre os problemas e desafios metodológicos e epistemológicos que se colocam para a pesquisa qualitativa, mais especificamente, em estudos da gestão de pessoas, o presente trabalho partiu de quatorze pesquisas que foram conduzidas na Universidade Federal de Santa Catarina, nos últimos três anos. São apresentadas sínteses dos procedimentos metodológicos que foram utilizados nos trabalhos. Os recursos de coleta mais empregados foram: a entrevista individual semi-estruturada, a análise de documentos e observações registradas em cadernos de notas; enquanto a análise de conteúdo categorial temática foi a técnica que permitiu a organização e interpretação das informações. Os estudos possibilitam tecer considerações que são agrupadas em dois segmentos: 1) o planejamento e a coleta dos dados; 2) a análise dos dados e redação do relatório de pesquisa. A condução de pesquisas nos moldes descritos também requer encontrar recursos e desencadear ações em momentos específicos para que se viabilizem os propósitos, para levar a evidências suficientes, claras, com rigor na descrição e compreensão da realidade pesquisada.
Pesquisa qualitativa; Metodologia; Epistemologia; Gestão de pessoas
With the objective of stimulating discussion of the problems and methodological/epistemological challenges that are posed by qualitative research, in studies of people's administration, the present work reviewed fourteen studies conducted at The Federal University of Santa Catarina within the last three years. Syntheses of the procedures used in the studies will be presented. The resources of data of collection most frequently used were semi-structured individual interview, analysis of documents and observations registered in notebooks. Analysis of content, both thematic and categorial, was the technique that allowed for the organization and interpretation of the information. The studies allowed for the application of considerations from two segments: 1) the planning and collection of data; and 2) the analysis of the data and composition of the research report. Conducting studies in the molds described also demands that we find resources and unchain actions in specific moments so that the purposes are made possible, to take enough and clear evidences, with seriousness in the description and understanding of the researched reality.
Qualitative research; Methodology; Epistemology; People's administration
a09v7nesp
Pesquisa qualitativa em estudos da gestão de pessoas
José Carlos Zanelli
Universidade Federal de Santa Catarina
Resumo
Com o objetivo de suscitar o debate sobre os problemas e desafios metodológicos e epistemológicos que se colocam para a pesquisa qualitativa, mais especificamente, em estudos da gestão de pessoas, o presente trabalho partiu de quatorze pesquisas que foram conduzidas na Universidade Federal de Santa Catarina, nos últimos três anos. São apresentadas sínteses dos procedimentos metodológicos que foram utilizados nos trabalhos. Os recursos de coleta mais empregados foram: a entrevista individual semi-estruturada, a análise de documentos e observações registradas em cadernos de notas; enquanto a análise de conteúdo categorial temática foi a técnica que permitiu a organização e interpretação das informações. Os estudos possibilitam tecer considerações que são agrupadas em dois segmentos: 1) o planejamento e a coleta dos dados; 2) a análise dos dados e redação do relatório de pesquisa. A condução de pesquisas nos moldes descritos também requer encontrar recursos e desencadear ações em momentos específicos para que se viabilizem os propósitos, para levar a evidências suficientes, claras, com rigor na descrição e compreensão da realidade pesquisada.
Palavras-chave: Pesquisa qualitativa, Metodologia, Epistemologia, Gestão de pessoas
Abstract
Qualitative research in studies of people's administration. With the objective of stimulating discussion of the problems and methodological/epistemological challenges that are posed by qualitative research, in studies of people's administration, the present work reviewed fourteen studies conducted at The Federal University of Santa Catarina within the last three years. Syntheses of the procedures used in the studies will be presented. The resources of data of collection most frequently used were semi-structured individual interview, analysis of documents and observations registered in notebooks. Analysis of content, both thematic and categorial, was the technique that allowed for the organization and interpretation of the information. The studies allowed for the application of considerations from two segments: 1) the planning and collection of data; and 2) the analysis of the data and composition of the research report. Conducting studies in the molds described also demands that we find resources and unchain actions in specific moments so that the purposes are made possible, to take enough and clear evidences, with seriousness in the description and understanding of the researched reality.
Key words: Qualitative research, Methodology, Epistemology, People's administration
La epistemología presente en la modernidad determina la existencia de una separación sujeto-objeto de conocimiento. En cambio, en la posmodernidad el énfasis está puesto en la inclusión del sujeto en el objeto
(Schvarstein, 1998, p.32).
Desde obras publicadas há algumas décadas, quando se tornaram correntes os estudos do organizational behavior na literatura americana, até as publicações ainda do início dos anos 90, nos estudos da gestão de pessoas, os trabalhos que utilizam tais rótulos ou conexos pouco fazem menção às possibilidades dos procedimentos qualitativos na pesquisa dos temas da área, pelo menos como são compreendidos no presente texto. No entanto, o potencial de utilização dos procedimentos qualitativos na pesquisa dos temas da área, em atividades de pós-graduação e outras atividades divulgadas nos periódicos científicos, tem sido evidente.
Denzin e Lincoln (1994), no prefácio do Handbook of qualitative research, obra que tem se tornado referência importante para as pesquisas qualitativas, assinalam que nas duas últimas décadas foram produzidas mudanças nas Ciências Sociais, com o revigoramento dos procedimentos qualitativos. "Como reflexo desta revolução, uma grande quantidade de livros-texto, artigos científicos, pesquisas monográficas e outras leituras escolares têm sido publicadas em anos recentes" (p. ix).
Ibáñez e Iñiguez (1996) asseveram que cada dia mais estudos são realizados "sobre a base dos métodos qualitativos" (p. 69). Contudo, com isto não se quer dizer que os métodos quantitativos tenham diminuído em importância e necessidade. O que está ocorrendo é uma abertura dentro de uma orientação predominante, cujo marco epistemológico operava em termos quase exclusivamente quantitativos.
Halfpenny (1979) aponta diferentes concepções do que se entende por dados qualitativos, dependendo da abordagem do pesquisador. Em geral, pesquisas qualitativas preocupam-se em desenvolver conceitos mais que aplicar conceitos pré-existentes, estudar casos particulares mais que abarcar populações extensas e descrever os significados das ações para os atores mais que codificar eventos. Outras distinções acrescentam que os pressupostos subjetivistas tendem, é claro, ao entendimento da experiência subjetiva em vez do teste de hipóteses, à lógica comparativa em vez da lógica de probabilidades, aos delineamentos de estudos de caso em vez dos delineamentos experimentais ou quase experimentais, à análise interpretativa em vez da manipulação estatística de dados e a tomar os dados na forma de palavras em vez de números (classificação nominal ou ordinal).
A escolha de um método sempre depende dos pressupostos que orientam o pesquisador ao defrontar-se com o problema de pesquisa. Morgan e Smircich (1980) advogam que a pesquisa qualitativa é mais que um conjunto particular de técnicas; está implícita no modo de encarar o fenômeno social investigado.
A formulação do problema, em si mesma, revela as tendências de quem o propõe. No processo de pesquisa, a concepção do objeto de conhecimento induz à busca de soluções metodológicas. Assim, a escolha dos procedimentos está implicada em uma base epistemológica que, por sua vez, deve ser consistente com o modo de coleta e análise. Revela, portanto, a compreensão que o pesquisador tem do objeto de pesquisa e a compatibilidade do referencial teórico utilizado para interpretar os dados. Mais do que seguir regras ou técnicas, planejar uma investigação científica exige conhecimentos necessários para o alcance dos objetivos propostos e adequados às características do objeto de pesquisa.
Dois aspectos atraem minha atenção nos estudos em que predominam os recursos qualitativos de coleta e análise: (1) a multiplicidade de procedimentos associados a diferentes posturas teóricas e epistemológicas; (2) o arrojo (para alguns, talvez, imprudência) que dilui as fronteiras entre ciência, militância e ficção em que pese (ou em nome de?) uma larga concordância sobre a ciência como construção social.
Os parágrafos precedentes já indicam alguns desafios para a pesquisa qualitativa, temática polarizadora do presente debate (ou diálogo, para usar um termo ressurgente).
Minhas pesquisas e orientações vêm sendo marcadas predominantemente por recursos de coleta e análise dos chamados métodos qualitativos. Em trabalho anterior (Zanelli, 1997a), relatei algumas pesquisas com o objetivo de clarificar as aprendizagens decorrentes de um modo de investigação que busca compreender os eventos a partir dos significados atribuídos pelos participantes.
Ambiciono, por ora, suscitar o debate sobre alguns problemas e desafios metodológicos e epistemológicos da pesquisa qualitativa no estudo de temas ligados à gestão de pessoas, com base em literatura pertinente ao assunto e a partir de pesquisas que orientei ou conduzi nos três últimos anos e que passo a sintetizar, nos limites que interessam ao presente trabalho.
Descrição dos procedimentos metodológicos
Nesta parte, a atenção está dirigida fundamentalmente para os procedimentos das pesquisas realizadas, em sínteses dos capítulos, quando monográficas, ou das seções, quando se tratam de artigos, em geral denominados Método.
Com o objetivo de gerar informações consistentes, confirmando entre si os dados obtidos por instrumentos e procedimentos orientados pelos referenciais das organizações de aprendizagem, busquei estabelecer (Zanelli, 1997b) alternativas de intervenção para o desenvolvimento de uma equipe de consultores. As informações foram apreendidas pelos seguintes instrumentos e procedimentos: entrevistas individuais semi-estruturadas, observações, técnicas projetivas, matrizes de relações, mapeamentos conceituais e confrontações interpessoais. As entrevistas tiveram uma recorrência para cada participante, que verificaram a construção das matrizes de relações dos conteúdos, conforme proposto em estudo anterior (Zanelli, 1992). A coleta sempre foi acompanhada de uma auxiliar de pesquisa que registrava as verbalizações em um gravador e outros eventos em um caderno de notas. As principais categorias que nortearam a coleta e análise centraram-se nos fatores favoráveis ou desfavoráveis a um desempenho elevado.
Luna (1997) estudou a consistência existente entre a percepção dos clientes de uma determinada organização escolar particular sobre suas próprias necessidades e a percepção dos responsáveis pelo planejamento escolar sobre tais necessidades. Para a obtenção dos dados, os nove dirigentes da escola responderam, individualmente, a uma entrevista semi-estruturada e a um questionário de questões fechadas e escolha forçada, do tipo escala comparativa de ordem de importância, elaborado especialmente para este estudo. Os documentos da escola também foram utilizados como fontes de informação. Do grupo dos clientes foi extraída uma amostra aleatória de conglomerados, por meio de uma seleção estratificada proporcional dos conglomerados. À amostra selecionada foi aplicado o mesmo questionário utilizado com os dirigentes, sendo que 446 clientes responderam. A análise foi feita conforme as categorias estabelecidas no início do estudo e integrando os dados quantitativos e os conteúdos qualitativos.
Búrigo (1997) teve como principal objetivo de pesquisa analisar a qualidade de vida no trabalho na Universidade Federal de Santa Catarina, sustentada na interpretação dos servidores e dirigentes da UFSC. Quanto ao instrumento de coleta de conteúdos, utilizou entrevistas individuais semi-estruturadas, questionários abertos e consultas a documentos. Para análise e estruturação dos relatos verbais, resultantes das transcrições das entrevistas ou das respostas escritas aos questionários, utilizou a técnica de análise de conteúdo orientada, inicialmente, pelas oito categorias de Walton.
Apresentei uma pesquisa (Zanelli, 1998, em versão completa, e Zanelli, 1999, em versão compacta) que foi desenvolvida junto aos gestores de primeiro e segundo escalão da Universidade Federal de Santa Catarina. Teve o objetivo de descrever ações estratégicas, em seus aspectos de facilidades e dificuldades de execução, e de analisar as articulações entre as estratégias prevalecentes e outros fatores no contexto da ação humana na instituição focalizada. Os registros das entrevistas, norteadas por um roteiro semi-estruturado, permitiram analisar os conteúdos, quantificar fatores em categorias e interpretar as verbalizações. Visitas a universidades nacionais e estrangeiras e entrevistas com seus informantes-chave permitiram comparar informações.
A proposta do trabalho de Souza (1998) foi estudar uma organização que se aproximasse do modelo de isonomia estabelecido por Guerreiro Ramos1 1 Para conhecer o modelo de isonomia: Ramos, A. G. (1989). A nova ciência das organizações: uma reconceituação da riqueza nas nações. Rio de Janeiro: FGV. , presumindo que, além das diferenças em termos de estrutura, objetivos e padrões de interação social, também a relação indivíduo-trabalho configurar-se-ia diferentemente daquela que é encontrada nas burocracias. Buscando, portanto, investigar a motivação para o trabalho em tal organização, adotou o modelo relacional da motivação humana desenvolvido por Joseph Nuttin2 2 Para conhecer o modelo relacional de motivação: Nuttin, L. (1983). Teoria da motivação humana: da necessidade ao projeto de ação. São Paulo: Loyola. . Foram realizadas observações, análise de documentos e entrevistas individuais semi-estruturadas, em confronto com os modelos teóricos eleitos.
Ferraz da Silva (1998) procurou identificar e analisar os fatores envolvidos no comprometimento organizacional de gestores de uma organização de serviços. Afastando-se da tradição de pesquisa na área, utilizou a história de vida como procedimento de coleta das informações. Seis participantes faziam parte do grupo de gestores que foram entrevistados, um a um, a partir de um roteiro semi-estruturado e amplo. As informações colhidas foram trabalhadas a partir da análise de conteúdo, orientada por categorias derivadas de estudos prioritariamente baseados na abordagem atitudinal-afetiva de estudo do comprometimento.
O objetivo principal de Fernandes (1999) foi descrever e analisar, sob a percepção gerencial, os aspectos que envolveram a implantação, em caráter piloto, do sistema de acompanhamento e desenvolvimento profissional, na Faculdade de Ciências e Letras da Universidade Estadual Paulista campus de Assis. Utilizou-se de duas fontes combinadas: questionários abertos e entrevistas individuais semi-estruturadas. O estudo do nível gerencial da universidade foi justificado pelo destaque que a literatura dá ao papel exercido pelos gerentes nos processos de avaliação e desenvolvimento profissional. As categorias de análise foram pós-estabelecidas, com base nos conteúdos registrados.
Em estudo da incorporação da Faculdade de Ciências e Humanidade de Pato Branco pelo Centro Federal de Educação Tecnológica do Paraná, Pastro (1999) procurou compreender o processo de estabelecimento de ações estratégicas e o processo de transição, interação e adaptação do indivíduo ao novo contexto organizacional. O objetivo principal foi descrever e analisar as reações das pessoas diante da mudança. As informações foram obtidas com o uso de entrevistas individuais semi-estruturadas, para recuperar as ocorrências de transição (portanto, com características de história oral) e captar as reações pessoais. Além disto, procedeu a uma análise de documentos, para caracterizar os aspectos formais da mudança.
Lionço (1999), com a finalidade de analisar a influência da cultura organizacional na configuração da aprendizagem dos docentes do Centro Federal de Educação Tecnológica do Paraná Unidade de Pato Branco, pretendeu proporcionar à organização pesquisada, e eventualmente a outras organizações, subsídios para melhor compreensão da cultura e da aprendizagem organizacional como responsáveis pelo desempenho das organizações diante dos desafios ambientais emergentes. A coleta de conteúdos foi realizada por meio de entrevistas individuais semi-estruturadas, de consulta aos materiais impressos e aos documentos internos. A análise das informações obtidas deu-se em conformidade com as cinco categorias de pressupostos básicos formuladas por Edgar H. Schein3 3 Para conhecer as cinco categorias de pressupostos básicos: Schein, E. H. (1985). Organizational culture and leadership. San Francisco: Jossey-Bass. .
Barbosa de Souza (1999) teve como objetivo analisar a influência da política de recursos humanos destinada aos docentes da Universidade Federal de Viçosa na proposição de uma gestão da qualidade total, considerando os componentes carreira, participação, desempenho e aperfeiçoamento. Para tanto, realizou entrevistas individuais semi-estruturadas com os dirigentes da UFV, para a coleta de dados primários. As verbalizações dos dirigentes foram analisadas com base no modelo denominado ciclo contínuo de desenvolvimento de pessoal, proposto por Antonio N. Grillo4 4 Para conhecer o modelo de ciclo contínuo de desenvolvimento de pessoal: Grillo, A. N. (1996). Desenvolvimento de pessoal nas universidades: em busca da qualidade do ensino superior. Florianópolis: Insular. . As interpretações foram feitas contrapondo trechos dos relatos dos dirigentes com a literatura e com dados documentais.
Rocha (1999) investigou a configuração dos valores gerenciais diante de um reposicionamento organizacional implementado no Banco do Estado do Amazonas em 1995. Fez uso, como base conceitual, dos estudos teóricos relativos ao reposicionamento organizacional e aos valores compartilhados. As informações foram coletadas seguindo um roteiro de entrevistas individuais semi-estruturadas, aplicado em dois grupos: os dirigentes do BEA e os gerentes de agências. A caracterização do reposicionamento também foi feita por meio de pesquisa documental. Uma análise categorial temática permitiu desvelar os valores gerenciais, a partir dos elementos do posicionamento organizacional (missão, estratégia e domínio), antes e depois de 1995.
Debetir (1999) avaliou a contribuição do programa de preparação para aposentadoria, desenvolvido na Universidade Federal de Santa Catarina, para a qualidade de vida dos servidores aposentados da instituição. Um roteiro de entrevista individual semi-estruturada constituiu o principal instrumento de coleta de dados. Como estratégia para avaliar os resultados do programa, foram utilizadas amostras intencionais compostas de dois grupos de servidores aposentados, participantes e não-participantes do PPAUFSC, que apresentavam características de similaridade. Foram utilizados os seguintes indicadores: satisfação e compromisso com o trabalho, fatores de decisão, preparação e planejamento para a aposentadoria, percepção de perdas e ganhos, vivência da aposentadoria, rendimentos, saúde física, saúde mental, relacionamento familiar, grupos de apoio e atividades ocupacionais.
A pesquisa de Mazzucco (1999) pretendeu caracterizar a qualidade de vida no trabalho na percepção dos gerentes industriais de uma empresa de revestimentos cerâmicos. Utilizou entrevistas individuais semi-estruturadas e consultas a documentos na coleta das informações. Para análise e estruturação dos conteúdos, também utilizou a técnica de análise de conteúdo guiada por categorias preestabelecidas, em base do conhecido modelo de investigação da QVT proposto por Walton5 5 Para conhecer o modelo de investigação da QVT: Walton, R. (1973). Quality of working life: what is it? Sloan Management Review, 15(1), 11-21. .
Tostes (1999) buscou configurar, nas três esferas governamentais (federal, estadual e municipal), o desempenho organizacional e o desempenho pessoal nos serviços de prevenção e assistência em Aids do Sistema de Saúde Pública em Florianópolis, fundamentada na percepção de seus profissionais. A população foi constituída de profissionais da saúde, selecionados pelo critério da experiência profissional. A entrevista individual semi-estruturada foi o principal instrumento de coleta, enquanto, para a interpretação dos relatos obtidos, foi utilizada a análise categorial temática. As categorias norteadoras da análise foram: integração, comunicação e eficácia.
Os aspectos seguintes sobressaem nos procedimentos resumidos:
o design, que oscila entre o tipo descritivo, avaliativo e exploratório;
o emprego, em geral, de um número relativamente pequeno de participantes;
a utilização de categorias para dirigir o roteiro de coleta e a análise dos dados, tomando como base modelos referenciais consagrados; em outra alternativa, as categorias foram pós-estabelecidas, com base nas informações coletadas, ou acrescentadas às categorias preestabelecidas;
o recurso da observação foi utilizado em todas as pesquisas, na medida em que todas utilizaram um caderno de notas;
a utilização das técnicas de análise de conteúdo como recurso para organizar e interpretar os dados.
Problemas e desafios metodológicos e epistemológicos
A seguir, passo a apontar aspectos que têm sido freqüentes ou que se destacam na prática efetiva da pesquisa qualitativa, nos moldes já referidos. Parece conveniente agrupar as ponderações em dois segmentos: (1) planejamento e coleta; (2) análise e redação. A conveniência da separação, também aqui, é muito mais arbitrária que real, porque os movimentos não são desconexos. O processo de pesquisa qualitativa é evidentemente permeável e recorrente em suas etapas de planejamento, familiarização com o campo, captação e registro dos dados, codificação, geração de categorias e temas, busca de padrões e forma de redigir e transmitir os achados e conclusões.
Planejamento e coleta
Planejar pesquisas com os recursos qualitativos, em particular a entrevista qualitativa (Kvale, 1996; Rubin & Rubin, 1995), como tem sido comum em nossos trabalhos, requer considerar minuciosamente o que focalizar, quem e, principalmente, por que vamos interrogar pessoas. O projeto assegura direção, rumo às informações que o problema requer e, ao mesmo tempo, preserva a ética sobreposta. O valor dos recursos que podem ser utilizados subsiste nas possibilidades que estes oferecem para o cumprimento da tarefa.
Obtenção de credibilidade e condução ética irrefutável são os pontos de convergência quando se elabora o planejamento. A busca de credibilidade diz respeito ao julgamento da articulação consistente da base conceitual e do uso rigoroso da metodologia. Além disto, o pesquisador certifica-se de que nenhum dano a outrem decorrerá da condução do estudo.
O objetivo principal é buscar entender o que as pessoas apreendem ao perceberem o que acontece em seus mundos. Neste processo de aprendizagem é muito importante prestar atenção no entendimento que temos dos entrevistados, nas possíveis distorções e no quanto eles estão dispostos ou confiantes em partilhar suas percepções. O pesquisador, por conseguinte, é também um ator importante. É importante sua competência para reconhecer o que é fundamental para a pesquisa, além de profundidade no entendimento, flexibilidade na interação e compartilhamento autêntico. O pesquisador qualitativo combina curiosidade e confiança para desafiar os próprios preconceitos, julgamentos e idéias preestabelecidas; como não existem rotas claramente definidas (a riqueza da descoberta está justamente no inusitado para o pesquisador), é receptível a múltiplas possibilidades e sabe conviver com incertezas, enganos e retomadas.
Pesquisar é, em si, um processo de aprendizagem. Aprendizagem pelas descobertas próprias do estudo e aprendizagem contínua de pesquisar. Assim, as primeiras coletas tendem a ser mais incipientes, porque fornecem poucos elementos, quando comparadas às coletas posteriores. Após a entrada no campo, o pesquisador reflete, com base no material que foi recolhido e nas evidências que surgiram, sobre a seqüência que virá. Nestes momentos, quando se tem a oportunidade de compartilhar com um grupo de pesquisadores, todos melhoram suas performances. Isto tem nos levado a estabelecer reuniões semanais, ou quinzenais, onde se promovem relatos detalhados das últimas ocorrências em cada pesquisa do projeto à conclusão (redação final).
No planejamento das pesquisas, a leitura inicial intensiva sobre o tema estudado e seus desdobramentos teóricos tem sido crucial. É assim que o pesquisador começa a estabelecer uma perspectiva, amplia seus limites pessoais e esclarece inclinações. A abertura para as múltiplas visões do que estará sob foco começa com um exame atento do que o pesquisador conhece e dos seus valores sobre o tema. Posturas arraigadas e onipotentes não se coadunam com esta maneira de construir conhecimento. A consistência do projeto depende da clareza dos pressupostos do estudo, das crenças que o pesquisador possui acerca da realidade social, da construção científica e quão coerentemente estes pressupostos são operacionalizados.
O planejamento nas pesquisas qualitativas parece ser mais flexível do que nas pesquisas locadas na orientação predominante no sentido de que permite, ou mesmo exige, em certos momentos, reencaminhar estratégias. O que se impõe, primordialmente, é a busca do melhor modo de aproximar-se das respostas que o problema requer. Entre as pesquisas descritas anteriormente, Barbosa de Souza (1999), Búrigo (1997), Debetir (1999), Fernandes (1999), Ferraz da Silva (1998), Mazzucco (1999), Rocha (1999), Souza (1998), Tostes (1999) e Zanelli (1998, 1999), de algum modo, em algum momento, alteraram algum aspecto do que havia sido proposto em seus projetos, em justa adequação aos objetivos pretendidos. Um exemplo é a mudança de uma estratégia de coleta calcada em entrevista semi-estruturada para uma coleta em base de um questionário com itens abertos.
O manejo da coleta é fundamental. Quando o recurso de coleta é a entrevista, o pesquisador está atento e facilita para que os conteúdos de interesse na pesquisa venham à tona. Quando o recurso é a observação ou a análise documental, o pesquisador procede a um constante e minucioso exame dos elementos que estão no contexto. A composição do quebra-cabeça (imagem alegórica do processo de pesquisa qualitativa) pode demorar, porque o pesquisador não percebe peças que, às vezes, há muito se escancaram diante dele.
O rigor na condução de estudos qualitativos é dado pela clareza e seqüência lógica das decisões de coleta, pela utilização de métodos e fontes variadas e pelo registro cuidadoso do processo de coleta, organização e interpretação.
A propósito do registro, o caderno de notas é indispensável, pois as anotações são feitas em abundância. O que parece menos importante em um momento se torna muito significativo em outro. Anotações feitas em um período próximo aos acontecimentos ganham em riqueza e esmero. A observação atenta dos detalhes põe o pesquisador dentro do cenário, para que possa compreender a complexidade dos ambientes psicossociais, ao mesmo tempo em que lhe permite uma interlocução mais competente.
Na interação que se estabelece na entrevista, a linguagem é vista como um sistema de ação uma seqüência de atos. O entrevistador almeja provocar no entrevistado as verbalizações, em direção aos conteúdos e seus significados.
De um modo simples, a entrevista é definida como uma conversação com um propósito. Antes de mais nada, o entrevistado aceita compartilhar crenças, valores e sentimentos com uma pessoa (o entrevistador) muitas vezes estranha e que está vendo pela primeira vez. Quando não é o caso (o participante da pesquisa está no circuito relacional do pesquisador), outras dificuldades podem se interpor, como a desconfiança quanto ao que será feito com as informações. Isto exigiu cuidados de Barbosa de Souza (1999), Búrigo (1997), Fernandes (1999), Lionço (1999), Luna (1997), Pastro (1999), Tostes (1999) e Zanelli (1998, 1999). Estes exemplos estão associados à necessidade de formular formas de apresentação dos dados que não denunciem os informantes.
O modelo que seguimos dá ênfase ao relativismo cultural, à participação ativa do entrevistador e à voz do entrevistado. A abordagem é interpretativa. Reconhece que significados emergem da interação e não são padronizados de lugar para lugar ou de pessoa para pessoa. Obriga-se, por conseqüência, a denotar significados no contexto.
Respostas que, para os entrevistados, são corriqueiras, e eles não entendem por que alguém tem interesse naqueles assuntos, para o entrevistador fornecem importantes elementos de compreensão de um evento. Em outras ocasiões, os entrevistados não conseguem explicar coisas que, para eles, fazem parte de regras ou condutas inquestionáveis. Cabe ao pesquisador deixar clara a finalidade da conversação e por que é relevante para a pesquisa.
Cooperação do participante e habilidades interpessoais do entrevistador são essenciais ao explorar um tema. No campo, a habilidade interativa do pesquisador reflete-se claramente na riqueza dos dados que obtém. É preciso saber o que procurar e saber escutar cuidadosamente. Bons entrevistadores são bons ouvintes e têm interesse profundo por pessoas. Possuem sensibilidade para com as necessidades dos atores na realidade pesquisada. Uma entrevista, se vivida como um desafio emocional e intelectual, torna a atividade de pesquisa motivadora.
Um roteiro de entrevista serve como uma intenção de trajetória; mas aprofundar o relacionamento é prioritário, na medida em que somente assim podem-se obter os conteúdos procurados. Utilizar expedientes do tipo "O que você acha...?", "O que significou para você...?", "Fale a respeito...", possibilitam, via de regra, verbalizações mais longas e minuciosas.
Não é sem razão que as entrevistas, nas pesquisas anteriormente resumidas, sempre são do tipo semi-estruturadas; em algumas situações, frouxamente estruturadas (Fernandes, 1999; Ferraz da Silva, 1998; Zanelli 1998, 1999). Isto proporciona abertura para que o entrevistado possa discorrer, nos limites de interesse da pesquisa, do modo como lhe parecer melhor. Muitas vezes o pesquisador se engana ao prever, no roteiro, "boas" estratégias de abordagem e emergência dos conteúdos. Este é o motivo de conceder ao entrevistado redirecionar a conversa. Tanto que autores como Rubin e Rubin (1995) referem-se aos entrevistados como parceiros de conversação.
É conveniente, no início, deixar que os entrevistados transitem mais livremente pelos temas e, depois, decidir o que deve ser mais explorado, sempre em busca das respostas desejadas. Assim, dá-se liberdade ao entrevistado até que se ganhe confiança e não se percam elementos que podem ampliar a visão do pesquisador.
Na fase de familiarização com o ambiente, o pesquisador pode descobrir padrões recorrentes de eventos e relacionamentos. Uma análise inicial das notas de campo pode gerar protocolos de observação apropriados ao contexto e, assim, seguir com uma observação mais dirigida, como aconteceu com Debetir (1999), Lionço (1999), Luna (1997), Mazzucco (1999), Pastro (1999), Rocha (1999), Souza (1998), Tostes (1999) e Zanelli (1997b).
As barreiras culturais na organização estabelecem fronteiras que o pesquisador busca reconhecer e atravessar. Uma boa maneira é iniciar como um observador participante. O processo é cumulativo. Amplia-se à medida que o pesquisador ganha a confiança da comunidade e aprende quais são os focos portadores das informações de que necessita.
O vocabulário cultural é um tópico que vale a pena ressaltar. Como estabelecer sintonia e empatia se a linguagem que o pesquisador utiliza reafirma a presença de um estrangeiro ou, pior, um intruso? Aprender a linguagem proporciona uma disposição para entrar no mundo dos entrevistados e aceitar suas normas e valores. Compartilhar uma linguagem é uma poderosa maneira de atravessar as fronteiras culturais. Questões de verificação sempre são necessárias como instrumentos de checagem da compreensão e inclusão do pesquisador.
Contamos com a possibilidade de retornar ao entrevistado para complementar as informações. A estratégia da recorrência pode ser utilizada, como em Zanelli (1997b), com a intenção de sistematizar os conteúdos em matrizes de relações, em que os próprios entrevistados participam para conferir a fidelidade das interpretações do pesquisador. Em outros casos (Barbosa de Souza, 1999; Búrigo, 1997; Fernandes, 1999; Lionço, 1999; Mazzucco, 1999; Pastro, 1999; Rocha, 1999), os entrevistados podem receber o roteiro de entrevista antes do encontro, pelo correio, por fax, por e-mail ou em mãos, sempre com o intuito de otimizar a produção de informações.
A condução de entrevistas põe em evidência o quanto nossos alunos chegam ao nível de pós-graduação fracamente preparados para a utilização desta técnica de coleta de informações. Isto tem demandado um largo tempo de treinamento, antes que se inicie a coleta efetiva. As primeiras orientações são intensas na promoção da aprendizagem em registrar o que é relevante, tanto para desencadear verbalizações como para captar elementos do contexto cultural e material e registrá-los no caderno de notas. O desafio para o pesquisador é começar a construir, já na coleta de dados, um padrão que articule os dados que está obtendo e as possíveis conclusões que permitem.
Recomendações quanto à utilização do gravador são abundantes na literatura, mas, como vale a regra que só se aprende fazendo, nada melhor do que seguir o iniciante nas primeiras entrevistas, seja por espelho unidirecional, seja fazendo um estudante mais experiente acompanhá-lo.
Outra questão que preocupa os pesquisadores iniciantes é quando deixar o campo e passar para outras etapas. A regra é simples: o momento desponta quando os dados começam a ressurgir e o pesquisador já articula argumentos descritivos da realidade com certo desembaraço ou, em outras palavras, as respostas que buscava se mostram com relativa evidência.
Análise e redação
Nas pesquisas estão em jogo tanto regras de interação como de interpretação. Nelas, consideram-se os significados, que são sociais portanto, circunscritos temporal e geograficamente e permitem o intercâmbio comunicativo. Chegar a respostas para o problema de pesquisa pelo acesso ao conhecimento que o outro detém sempre é um processo intrincado de decodificação e de contínua vigilância dos valores que estão envolvidos.
O pesquisador é alguém que interpreta interpretações. A relatividade do que obtém é declarada a priori, ou pressuposta. Capta-se "uma" verdade a verdade que as vivências dos participantes e os filtros do pesquisador permitem objetivar. A verdade, qualquer ou de quem for, é apenas mais uma representação.
O pesquisador mantém constante em sua consciência quem ele é e o que está fazendo no ambiente de pesquisa. Isto é um primeiro passo para distinguir sua interpretação da interpretação daqueles que está estudando.
Organizar e interpretar dados qualitativos é um processo de análise sistemática, em busca de uma descrição coerente. A organização em categorias facilita e permite atribuir significados, ou interpretar a realidade pesquisada. A análise (organizar e interpretar) é também um processo recorrente de aprendizagem para chegar à compreensão do fenômeno estudado.
A análise dos dados leva o pesquisador novato a outra angústia: quais são os dados relevantes? Entre tantas informações, quais serão descartadas? Novamente: nunca se pode perder de vista o que se está tentando responder. Este também é um momento crítico que requer a presença de um interlocutor mais experiente (pesquisador/orientador).
Trabalhar com os conteúdos que se captam pelos procedimentos de coleta presume a possibilidade de ir além de descrições simplistas da realidade. Nos estudos do comportamento humano em organizações pressupõe-se que, pela linguagem, podem-se revelar processos sociais e psicológicos que interessam, mais amplamente, aos estudos organizacionais. Pela palavra de cada entrevistado, a "cultura fala". Ou seja, o indivíduo, portador da cultura, interpreta a realidade e constrói "teorias" organiza suas representações e configura os conhecimentos que acumula em suas experiências, dia após dia. Conclui-se, então, que tais procedimentos de pesquisa permitem investigar as representações subjetivas, as construções sociais e os elementos da cultura.
Revelar, desvelar, descobrir, decodificar, decifrar, acessar significados têm sido algumas das palavras correntes no processo de interpretação dos conteúdos que se obtêm nas pesquisas que fazemos. Para isto, estudam-se informações, conteúdos ou dados que os entrevistados ou participantes forneceram ou produziram (no sentido restrito ou amplo, cultural). O pesquisador, neste processo, é receptor (mas é também interagente) em um contexto (no sentido restrito, situacional, e no sentido macro, ambiental).
Cada pesquisador desenvolve seu próprio estilo para obter notas de campo e para configurar transcrições de entrevistas. O que importa é capturar o que o investigador vê e ouve, de modo que as informações possam ser analisadas sem que se percam as particularidades e o contexto. É sempre necessária uma visão de conjunto, sistêmica ou interdependente um difícil exercício onde, ao mesmo tempo, um olho está no foco, no detalhe, e o outro está no contexto. Elementos materiais menos óbvios da cultura podem denunciar conexões reveladoras. Isto ocorreu nos estudos de Búrigo (1997), Debetir (1999), Fernandes (1999), Ferraz da Silva (1998), Lionço (1999), Mazzucco (1999), Pastro (1999), Souza (1998), Tostes (1999) e Zanelli (1997b). Como exemplo, os padrões observados na utilização de portas abertas ou fechadas nas salas dos líderes informam sobre o grau de liberdade, ou respeito, que os subordinados merecem na organização.
Vejamos alguns momentos específicos.
A gravação e a transcrição das entrevistas revelam aspectos que tornam difícil distinguir a coleta da análise, no processo de pesquisa. Ao transcrever, observe-se, o pesquisador reformula interpretações, revê categorias e pode retornar à base teórica. Transcrever uma entrevista logo após o seu término tem a vantagem de dar maior fidelidade à transcrição, bem como aprimorar a condução das entrevistas seguintes. Caso contrário, o acúmulo de entrevistas realizadas pode dificultar a lembrança de elementos que ocorrem no processo, mas não são captados pelos instrumentos de registro (como as ênfases ou as expressões faciais).
A forma que se dá ao material exige do orientador que acompanhe as verbalizações que foram gravadas em confronto com o texto transcrito, para que o iniciante perceba as distorções que ocorrem (pela pontuação indevida, por exemplo). São comuns as dúvidas sobre o que é possível filtrar ou se é necessário transcrever até os cacoetes. Por isto, como em qualquer momento da pesquisa qualitativa, o investigador mantém sempre em mente o objetivo da pesquisa.
As pausas que o entrevistado faz ao mencionar aspectos ou pessoas da organização podem ter significados até cruciais, dependendo do que se pretende. Daí, é possível deduzir que nem sempre basta gravar as verbalizações: a gravação em vídeo ou uma observação acurada pode ser, conforme as exigências da pesquisa, imprescindível.
A imersão nas falas transcritas é de suma importância, tanto para a análise, quando se tem um volume maior de dados, como no transcurso da coleta. Os conteúdos que emergem, e também as descobertas que a literatura proporciona, em um movimento necessário de idas e vindas, dão ao processo um sabor especial, um descortinar estimulante, porque revelam ao pesquisador o seu objeto de curiosidade. É comum que surjam categorias que não foram previstas a priori, porque o conhecimento de que o pesquisador dispõe ao iniciar é restrito, compreensivelmente, diante da riqueza que a realidade abarca, ainda que muito já se tenha registrado na literatura sobre o assunto. Isto ficou evidente nas pesquisas de Búrigo (1997), Debetir (1999), Mazzucco (1999) e Pastro (1999). Nestes casos, as categorias sugeridas pela literatura (como as categorias para análise da qualidade de vida no trabalho, de Walton) foram ampliadas, para dar conta das informações obtidas na coleta.
O padrão que utilizamos para a análise das informações sugere, primeiro, que se confrontem os dados que foram obtidos de proveniências diversas, para confirmações entre si, ou não. Este procedimento é chamado triangulação intramétodo (Jick, 1979). Por exemplo, é possível verificar se o conteúdo de uma verbalização tem correspondência com uma fonte documental. Posteriormente, a análise é feita com o olhar em alternância para os dados, para os conceitos ou teorias que a literatura apresenta sobre aqueles assuntos e para a articulação que o pesquisador percebe como lógica na construção discursiva. O orientador, neste momento, funciona como um elemento primordial de checagem externa.
Existem muitas maneiras de organizar o conjunto volumoso de dados em pesquisa qualitativa, talvez tantas quantos pesquisadores existem. Contudo, é muito freqüente um padrão geral no qual, em tentativas que se repetem diversas vezes, blocos ou trechos dos achados vão sendo associados a palavras ou números que representam as principais categorias. Logo após, em um processo de afunilamento, busca-se a essência dos conteúdos que podem responder ao problema ou objetivos propostos inicialmente na pesquisa.
Os mecanismos de codificação variam. Apesar das alternativas de software de que hoje dispomos, muitos pesquisadores usam cópias do material e codificam os dados em um processo artesanal de recortes e montagens sucessivas que, em si, é um exercício extenuante de busca de compreensão dos elementos que estão à sua frente.
Embora a matéria-prima da análise de conteúdo seja qualquer forma de comunicação, em nosso meio tem-se empregado materiais escritos, acentuadamente os textos gerados pelas transcrições de entrevistas. A análise de conteúdo, em contraponto com os recursos estatísticos, nas pesquisas tradicionais, tem sido muitas vezes citada como o recurso privilegiado na pesquisa qualitativa. Contudo, algumas variações, com base em diferentes pressupostos, registram-se na literatura e na prática de pesquisa: análise do discurso, análise de verbalizações, análise de narrativas e análise da conversação. Tenta-se clarificar as distinções, embora nem sempre com êxito (por exemplo: Orlandi, 1986; Polkinghorne, 1988; Coraci, 1991; Marcushi, 1991; Riessman, 1993; Nicolaci-da-Costa, 1994).
Em cada ambiente, mesmo naqueles que nos são muito familiares, existem inúmeros aspectos que podemos descobrir. Junte-se a isto o fato de cada pesquisador fazer descobertas de maneira ímpar, peculiar. Assim, a redação que se registra formalmente em um relatório ou outro documento, no término da pesquisa, sempre é apenas uma das formas possíveis de compor as interpretações. Sua aceitação depende da capacidade do pesquisador de elaborar uma articulação lógica e de convencer a comunidade científica.
De qualquer modo, é recomendável fornecer tantos detalhes quanto for possível, para que possíveis usuários possam julgar a utilidade daquelas descobertas em outro contexto (transferibilidade). Como, é claro, os dados não falam por si, devem ser articulados com os referenciais teóricos e pressupostos que norteiam a pesquisa, de modo a compor um quadro consistente. O pesquisador também clarifica limites e restrições.
O ato de escrever é recorrente, porque exige revisões e sucessivas versões. Até que se encontre o texto decisivo para aquele momento do estudo, descobrem-se novas sutilezas no conjunto das informações. A intenção é levar os leitores a entender a lógica que articula os pressupostos, os conceitos e os dados, em interpretações claras e coerentes. Ao argumento são agregadas as evidências que foram descobertas no campo e sustentadas pelo que já é conhecido na literatura (ou contrapostas a ela). Neste processo, o pesquisador é prudente, humilde e desafia a si mesmo, em busca de exemplos contrários às suas postulações.
Ao redigir, configura-se a representação final. É um ato criativo e de compartilhamento, no qual se pensa continuamente no público-alvo: a ser convencido de que o estudo é rigoroso, sistemático, disciplinado e comprometido com a realidade que investigou.
Considerações finais
Os pressupostos que dirigem as pesquisas aqui apresentadas consideram seus objetos de estudo como multifacetados, em processo contínuo de transformação, e inseridos em um contexto cultural. As ações cotidianas são interpretadas como cultural e historicamente contingentes. Assim, a apreensão da realidade psicossocial de cada organização, singular e única, depende da habilidade do pesquisador e a suposição de verdade de suas conclusões escapa aos critérios tradicionais. Por exemplo, tais estudos não são replicáveis.
Nesta perspectiva, planejar, coletar e analisar os dados são atividades de pesquisa abarcadas em um processo que é deliberado, sistemático e consciente. A condução e a apresentação das descobertas são pautadas pela observância premente de clareza e busca de entendimento do que foi executado, em termos da adequação teórica e metodológica, bem como da pertinência ética. Coletar e analisar dados requer registros minuciosos e reflexão atenta, onde se consideram os valores em jogo e as informações que a literatura fornece, para ir além de uma mera construção impressionista e vazada ideologicamente.
O conhecimento elaborado durante a pesquisa qualitativa é essencialmente interpretativo. O pesquisador produz significados à medida que conduz seu estudo. Desenvolve habilidades qualitativas de ver, ouvir, ler e atribuir sentido às suas percepções. Parte da suposição de que a realidade de cada organização é um fenômeno social construído pelos participantes em suas vidas cotidianas, e a tarefa do pesquisador é traduzir o que foi apreendido: descrever e interpretar como as pessoas atribuem sentido e agem em seus mundos de trabalho.
Enfim, tais pesquisas também requerem encontrar recursos e desencadear ações em momentos específicos para que se viabilizem os propósitos. Por esta razão, assume relevância o planejamento e a condução da pesquisa, em decisões claras, rigor metodológico, busca de evidências e explicações alternativas para o que se constata.
Notas
José Carlos Zanelli, doutor em Educação pela Universidade de Campinas, SP, é professor dos Programas de Pós-Graduação em Psicologia e em Administração da Universidade Federal de Santa Catarina. Endereço para correspondência: Rua Juvan Rocha, 132, 88025-450, Florianópolis, SC. E-mail: anza@iaccess.com.br.
Recebido em 10.01.01
Revisado em 25.04.01
Aceito em 27.09.01
- Barbosa de Souza, N. (1999). Política de recursos humanos e proposição de uma gestão da qualidade: um estudo sobre a percepção dos dirigentes de uma instituição federal de ensino superior Dissertação de mestrado não-publicada, Universidade Federal de Santa Catarina, Florianópolis.
- Búrigo, C. C. D. (1997). Qualidade de vida no trabalho: um estudo de caso na Universidade Federal de Santa Catarina Dissertação de mestrado não-publicada, Universidade Federal de Santa Catarina, Florianópolis.
- Coraci, M. J. R. F. (1991). Análise de discurso: em busca de uma metodologia. Delta, 7(1), 333-355.
- Debetir, E. (1999). Preparação para aposentadoria e qualidade de vida Dissertação de mestrado não-publicada, Universidade Federal de Santa Catarina, Florianópolis.
- Denzin, N. K., & Lincoln, Y. S. (1994). Handbook of qualitative research Thousand Oaks: Sage.
- Fernandes, J. M. (1999). Percepção gerencial do sistema de acompanhamento e desenvolvimento profissional na Faculdade de Ciências e Letras da UNESP campus de Assis Dissertação de mestrado não-publicada, Universidade Federal de Santa Catarina, Florianópolis.
- Ferraz da Silva, T. R. (1998). Comprometimento organizacional de gestores em uma organização de serviços: o caso da Fundatecno Dissertação de mestrado não-publicada, Universidade Federal de Santa Catarina, Florianópolis.
- Halfpenny, P. (1979). The analysis of qualitative data. Sociological Review, 27(4), 799-827.
- Ibáñez, T., & Iñiguez, L. (1996). Aspectos metodológicos de la Psicología Social Aplicada. In J. L. Alvaro, A. Garrido & J. R. Torregrosa (Orgs.), Psicología social aplicada Madrid: McGrawHill.
- Jick, T. D. (1979). Mixing qualitative an quantitative methods: triangulation in action. Administrative Science Quartely, 24, 602-611.
- Kvale, S. (1996). InterViews: an introduction to qualitative research interviewing. Thousand Oaks: Sage.
- Lionço, V. (1999). Pressupostos culturais e aprendizagem: um estudo no CEFET-PR/Unidade de Pato Branco Dissertação de mestrado não-publicada, Universidade Federal de Santa Catarina, Florianópolis.
- Luna, I. N. (1997). Necessidades dos clientes de uma organização escolar de Florianópolis: a percepção dos clientes e dos dirigentes Dissertação de mestrado não-publicada, Universidade Federal de Santa Catarina, Florianópolis.
- Marcushi, L. A. (1991). Análise da conversação São Paulo: Ática.
- Mazzucco, G. D. (1999). Qualidade de vida no trabalho: uma investigação no nível gerencial de uma indústria do setor cerâmico catarinense Dissertação de mestrado não-publicada, Universidade Federal de Santa Catarina, Florianópolis.
- Morgan, M., & Smircich, L. (1980). The case for qualitative research. Academy of Management Review, 5(4), 491-500.
- Nicolaci-da-Costa, A. (1994). A análise de discurso em questão. Psicologia: Teoria e Pesquisa, 10(2), 317-331.
- Orlandi, E. P. (1986). A análise de discurso: algumas observações. Delta, 2(1), 105-126.
- Pastro, I. I. (1999). Reações à incorporação da Faculdade de Ciências e Humanidades de Pato Branco pelo Centro Federal de Educação Tecnológica do Paraná Dissertação de mestrado não-publicada, Universidade Federal de Santa Catarina, Florianópolis.
- Polkinghorne, D. E. (1988). Narrative knowing and the human sciences Albany: State University of New York Press.
- Riessman, C. K. (1993). Narrative analysis Newbury Park: Sage.
- Rocha, V. Q. (1999). Reposicionamento organizacional e valores gerenciais no Banco do Estado do Amazonas Dissertação de mestrado não-publicada, Universidade Federal de Santa Catarina, Florianópolis.
- Rubin, H. J., & Rubin, I. S. (1995). Qualitative interviewing: the art of hearing data Thousand Oaks: Sage.
- Schvarstein, L. (1998). Diseño de organizaciones: tensiones y paradojas Buenos Aires: Paidós.
- Souza, A. L. (1998). A motivação em organizações isonômicas: um estudo na Associação Cultural Sol Nascente Escola Sarapiquá Dissertação de mestrado não-publicada, Universidade Federal de Santa Catarina, Florianópolis.
- Tostes, A. C. (1999). A percepção do desempenho organizacional e pessoal: um estudo de caso nos serviços públicos de prevenção e assistência em Aids no município de Florianópolis Dissertação de mestrado não-publicada, Universidade Federal de Santa Catarina, Florianópolis.
- Zanelli, J. C. (1992). Um procedimento informatizado de entrevistas recorrentes para identificação e análise de problemas organizacionais e sociais. In Associação Nacional dos Programas de Pós-Graduação em Administração (Org.), XVI Encontro da Associação Nacional dos Programas de Pós-Graduação em Administração, Anais (pp. 66-80). Canela: Autor.
- Zanelli, J. C. (1997a). Pesquisa qualitativa em psicologia e administração. In A. Tamayo, J. E. Borges-Andrade & W. Codo (Orgs.), Trabalho, organizações e cultura (pp. 83-94). São Paulo: Coletâneas da ANPEPP.
- Zanelli, J. C. (1997b). Estudo do desempenho pessoal e organizacional: bases para o desenvolvimento de uma equipe de consultores. Revista de Administração Contemporânea, 1(2), 121-143.
- Zanelli, J. C. (1998). Acompanhamento de ações estratégicas na gestão da Universidade Federal de Santa Catarina: um estudo descritivo do período 92-96 Relato de pesquisa não-publicado, Instituto de Psicologia da Universidade de São Paulo, São Paulo.
- Zanelli, J. C. (1999). Ações estratégicas na gestão da Universidade Federal de Santa Catarina: reações dos participantes. Psicologia & Sociedade,11(2), 151-174.
Datas de Publicação
-
Publicação nesta coleção
10 Set 2002 -
Data do Fascículo
2002
Histórico
-
Aceito
27 Set 2001 -
Revisado
25 Abr 2001 -
Recebido
10 Jan 2001