Versão eletrônica de questionário e o controle de erros de resposta

Electronic version of a questionnaire and control of answer errors

ARTIGOS

Versão eletrônica de questionário e o controle de erros de resposta

Electronic version of a questionnaire and control of answer errors

Sadao Omote^I; Paulo Sérgio Teixeira do Prado^I; Kester Carrara^II

Universidade Estadual Paulista – Marília – SP

Universidade Estadual Paulista – Bauru - SP

^{Endereço para correspondência}

RESUMO

O artigo relata a análise de erros cometidos em questionário impresso e a aplicabilidade de uma versão eletrônica do mesmo questionário para o controle desses erros. Sessenta estudantes de pós-graduação em Educação responderam à versão eletrônica programada em Visual Basice outros 52 responderam à versão impressa. No questionário impresso, foram cometidos 95 erros, dos quais 28 não invalidam as respostas. Os demais erros podem levar à exclusão dos participantes que os cometeram, se todos os itens forem analisados rigorosamente de acordo com as instruções. Os erros cometidos na versão impressa podem ser controlados na versão eletrônica mediante adequada programação. Nenhuma dificuldade para responder a versão eletrônica foi identificada. As vantagens apontadas pelos respondentes e a possibilidade de controle total dos erros de resposta, aliadas à eliminação de erro de tabulação mediante a inserção automática das respostas em banco de dados, recomendam o uso de versão eletrônica de questionário.

Palavras-chave: questionário eletrônico; questionário impresso, erros de resposta

ABSTRACT

The article reports the analysis of errors made in a printed questionnaire and the possibility of using an electronic version of the same questionnaire aiming to control those errors. Sixty Education graduate students answered an electronic version, programmed in Visual Basic, and another 52 answered a printed version. In the printed questionnaire, 95 errors were made of which 28 errors may be ignored. The other errors may cause the exclusion of respondents that made them, if all items were analyzed strictly in agreement with the instructions. The errors made in the printed version may be controlled in an electronic version by means of appropriate programming. No difficulty in answering the electronic version was reported. The advantages pointed out by the respondents and the possibility of total control of answer errors, allied with the elimination of tabulation errors by means of automatic database insertion of the responses, recommend the use of electronic version questionnaire.

Keywords: electronic questionnaire; printed questionnaire; answer errors

O questionário tem sido largamente utilizado como instrumento de coleta de dados de pesquisa em diversas áreas, como nas ciências sociais, na psicologia, na economia e na educação. Como recurso instrumental, é usado em pesquisas visando sondar a opinião de uma população sobre um determinado assunto, auxiliar no acesso a eventos ocorridos no passado, definir perfis sócio-econômicos de populações, fazer diagnósticos diversos, caracterizar hábitos e comportamentos, etc.

Em muitas pesquisas planejadas e conduzidas em universidades, emprega-se o questionário como um dos principais instrumentos. Aliada à sua versatilidade, o questionário apresenta ainda uma outra característica que pode estar entre as razões responsáveis pela sua vasta utilização. Trata-se da sua relativa facilidade de aplicação. O questionário pode ser aplicado em sessões individuais ou em pequenos e grandes grupos pelo próprio pesquisador ou por algum auxiliar de pesquisa convenientemente treinado.

O questionário pode ser auto-aplicável e, neste caso, ampliam-se bastante as alternativas da sua aplicação: pode ser enviado pelo correio, convencional ou eletrônico, a uma amostra de pessoas; pode ser disponibilizado na internet com convite para pessoas com determinadas características responderem; pode ser deixada uma certa quantidade do questionário em locais nos quais se pretende coletar dados, tais como escolas, igrejas, sindicatos, residências, etc.; pode ser incluído como encarte em algum jornal ou revista. Todas essas alternativas proporcionam condições bastante favoráveis também a quem vai responder, embora não sejam incomuns taxas baixas de devolução do questionário.

Além da imensa versatilidade no uso em pesquisas, os questionários têm diferentes características, podendo conter perguntas abertas, fechadas ou ambas. Parece ser comum a idéia de que as perguntas abertas são de mais fácil elaboração fornecendo, contudo, dados mais difíceis de serem analisados. As perguntas fechadas, por sua vez, são mais difíceis de serem elaboradas, porém podem produzir dados mais facilmente analisáveis. Cada caso requer um conjunto apropriado de procedimentos e técnicas para elaboração e posterior análise dos dados, assim como cada um possui limites e possibilidades. Ambos os formatos de itens do questionário podem produzir dados relativamente confiáveis, desde que na sua construção seja observada uma série de recomendações metodológicas (Converse & Presser, 1986).

Embora discorrer sobre as questões implicadas na construção de um questionário fuja ao escopo deste estudo, convém apontar que perguntas fechadas podem atender a diferentes necessidades do pesquisador mediante a adequada formulação. Um item de pergunta fechada consiste tipicamente de um enunciado seguido por várias alternativas que representam possíveis respostas do participante da pesquisa. O item pode ser construído de modo a obter do informante diferentes tipos de resposta: escolha de uma única alternativa de resposta, por exemplo, a mais importante; identificação de todas as alternativas que se aplicam e, neste caso, pode ser solicitado que o informante ordene as alternativas assinaladas segundo algum critério (por exemplo, de acordo com a importância que cada alternativa tem para ele); ordenação, segundo um dado critério, de todas as alternativas fornecidas pelo pesquisador; etc.

Além do formato dos itens, o próprio questionário pode ter uma ampla diversidade de características para atender as mais variadas necessidades do pesquisador. O questionário pode ser constituído por uma combinação de itens de formatos diferentes. Com uma estrutura um pouco mais complexa, o questionário pode conter itens que só devem ser respondidos conforme a resposta dada a algum item anterior. Neste caso, indicadores claros devem orientar o informante, no decorrer de todo o questionário, sobre o seu correto preenchimento. Podem ser organizados os itens em blocos em função de seus eixos temáticos.

Deve-se acrescentar também que a apresentação do questionário pode obedecer a diferentes modalidades, em função da sua natureza, das características dos informantes, de algum recurso disponível para a investigação ou de alguma exigência do delineamento de pesquisa empregado. Assim, o questionário pode ser aplicado oralmente em situação de entrevista face-a-face ou por telefone, pode ser impresso em tinta para aplicação em grande escala, pode ser impresso em braile para informantes cegos, pode ser elaborado para apresentação em meio eletrônico, etc.

Os meios eletrônicos começam a ser utilizados para fins de coleta de dados no desenvolvimento de pesquisa. Shaw e Davis (1996) enviaram questionário via correio convencional a 500 pessoas e via correio eletrônico a outras 500 pessoas, para estudar o uso que essas pessoas faziam dos recursos de informática. As respostas obtidas desses grupos diferiram significantemente em vários aspectos.

Há muito a ser pesquisado e esclarecido acerca do uso de diferentes meios para a coleta de dados, pois há resultados conflitantes. Bongers e Van Oers (1998) aplicaram um questionário sobre o consumo de álcool por meio de entrevista face-a-face ou enviando-o pelo correio, e não obtiveram diferença significante nos resultados. Já McBride, Anderson e Bahnson (1999) utilizaram o mesmo questionário impresso em papel ou apresentado por computador de mão e encontraram algumas diferenças nas respostas. Esses autores concluíram que esses dois métodos não podem ser considerados idênticos. Entretanto, dadas as vantagens da versão eletrônica, em termos do manejo de dados, consideraram-na altamente aceitável.

A internet também tem sido usada para a coleta de dados. Ainda que este meio possa implicar sérias questões relacionadas à amostragem, há defensores da sua utilização, pois se podem obter numerosas respostas em poucos dias ou semanas, sem erro de resposta e sem erro de tabulação, além de economizar papel, envelope e selo. Pettit (1999) deixou na rede mundial a subescala Computer Anxiety Scale, extraída da Computer Attitude Scale, e obteve 839 respostas em 21 dias. Com os dados assim coletados, o autor chegou a algumas conclusões sobre a ansiedade relacionada ao uso do computador. O resultado é de difícil interpretação, pois não foi feita a coleta de dados com o uso do mesmo instrumento apresentado de outro modo. Para verificar se as respostas obtidas em um questionário disponível na internet são fidedignas e representativas de uma amostra, há necessidade de aplicar o mesmo instrumento, com outro formato de apresentação, como o impresso em tinta, a uma amostra equivalente e comparar os resultados.

Mesmo com algumas restrições metodológicas, os usuários de computador pessoal e os que navegam no espaço virtual na internet, em particular, certamente passam a constituir-se como populações-alvo nas investigações sobre os mais variados problemas. Nesse sentido, já há sugestões e tentativas de sistematizar alguns procedimentos, quanto à elaboração de questionários, à sua apresentação e a obtenção de amostras apropriadas, para assegurar uma boa coleta de dados na internet (Bradley, 1999).

Essa diversidade de possibilidades de uso do questionário não representa apenas uma grande virtude como um recurso de coleta de dados. Ela cria também vários problemas de natureza metodológica, podendo o próprio questionário e a forma da aplicação se constituírem em uma fonte de variáveis a influir nos dados coletados. Questões dessa natureza devem ser discutidas e esclarecidas mediante investigação empírica. Os estudos acerca da ordem dos itens no questionário são bastante reveladores da complexidade desse problema. Para itens que tratam de assuntos que dependem de julgamentos pessoais, a ordem em que aparecem no questionário pode influir acentuadamente (Drury & Farhoomand, 1997; Dupagne, Salwen, & Paul, 1999). Sabe-se, adicionalmente, que tal influência pode ser determinada também pela contextualização do item pelo questionário (Almeida, 2002; Raghubir & Johar, 1999).

Num interessante estudo, De Leeuw, Mellenbergh e Hox (1996) compararam os resultados obtidos por três métodos de coleta de dados para investigar a solidão e o bem estar geral: questionário enviado pelo correio, entrevista por telefone e entrevista face-a-face. Os dados coletados pelos diferentes métodos apresentaram diferenças em vários aspectos e conseqüentemente levaram à construção de modelos diferentes de solidão e bem estar geral. Estudos dessa natureza contribuem para esclarecer como as características do instrumento ou o modo como é utilizado podem determinar a natureza dos dados coletados. Essa possibilidade sugere que o conhecimento produzido pode refletir também as limitações que o método de coleta de dados pode impor. Daí, parece justificar-se a realização de estudos empíricos sobre diferentes aspectos do desenvolvimento da pesquisa e construção do conhecimento, em busca do aperfeiçoamento metodológico.

Assim, os mais variados métodos de coleta de dados têm sido alvo de renovadas discussões, recebendo muitas vezes sugestões de novas configurações, em busca da adequação às novas demandas metodológicas e teóricas. Alguns bons exemplos podem ser vistos nas coletâneas organizadas por Pasquali (1996; 1999) e Romanelli e Biasoli-Alves (1998).

Nessa busca de aperfeiçoamento dos métodos de coleta de dados, foi desenvolvido um programa de microcomputador para auxiliar o pesquisador na análise do seu instrumento. Graesser, Wiemer-Hartings, Kreuz, Wiemer-Hastings e Marquis (2000) apresentaram um aplicativo intitulado QUAID (question-understand aid) para melhorar o vocabulário, a sintaxe e a semântica das perguntas de um questionário. A ferramenta basicamente identifica problemas que podem levar os respondentes a encontrarem dificuldades na compreensão do significado das questões.

Os autores do presente artigo recentemente conduziram estudo sobre o uso que os estudantes de pós-graduação em Educação fazem de fontes de referência na realização da sua pesquisa bibliográfica, cujo relato se encontra em etapa final de preparação. Os dados foram coletados por meio de um questionário eletrônico, com o intuito de eliminar as possibilidades de erros de preenchimento e de tabulação. O questionário foi programado de maneira a assegurar que cada informante obedecesse rigorosamente às instruções para responder a cada questão. Qualquer erro de preenchimento era identificado, com a informação sobre o erro cometido e a instrução para que o item fosse respondido corretamente. Com o intuito de verificar a natureza dos erros que seriam cometidos pelos respondentes, caso o questionário não acusasse as falhas e não exigisse a devida correção, foi também aplicada a versão impressa em tinta do mesmo questionário a um outro grupo de estudantes.

O presente artigo faz uma análise metodológica das duas alternativas empregadas naquele estudo, com o objetivo de identificar e analisar erros que podem ser cometidos ao responder questionário com certa complexidade e diversidade de tarefas, quando apresentado em papel. Analisam-se também dados relativos a dificuldades para responder a versão eletrônica do mesmo questionário, assim como vantagens e desvantagens apontadas pelos participantes, com o intuito de demonstrar que a informatização de um questionário pode ser recomendada para reduzir, ou virtualmente anular, a possibilidade de ocorrência de erros, seja no ato da resposta, seja na tabulação de dados.

Método

Participantes

Um grupo de 60 alunos de um programa de pós-graduação em Educação, sendo 28 de mestrado e 32 de doutorado, respondeu ao questionário eletrônico. Esses estudantes tinham idade entre 23 a 56 anos, com a média de 37 e o desvio padrão de 8 anos. Quatorze participantes eram do sexo masculino e 46 eram do sexo feminino. Quanto à área de formação, 18 eram graduados em Pedagogia, 4 em Pedagogia mais um outro curso, 12 em Psicologia e os demais 26 distribuídos em vários cursos de graduação.

Um outro grupo de 52 alunos do mesmo programa de pós-graduação, sendo 28 de mestrado e 24 de doutorado, respondeu à versão impressa do mesmo questionário. A idade dos participantes variou de 25 a 56 anos, com a média de 38 e o desvio padrão de 9 anos. Quarenta e um participantes eram do sexo feminino e apenas 11, do sexo masculino. Quanto à área de formação, 22 eram graduados em Pedagogia, cinco em Psicologia, cinco em Letras e os demais em diferentes cursos de graduação.

Material

Foram utilizadas duas versões de um questionário contendo itens para caracterizar os comportamentos dos participantes, com relação à utilização de fontes de referência para a realização da pesquisa bibliográfica. A versão eletrônica foi programada em Visual Basic e a outra foi impressa em tinta. Para a coleta de dados por meio da versão eletrônica, foi utilizado um microcomputador instalado em uma sala com acomodações e condições apropriadas para tal fim.

O questionário continha 14 questões na versão eletrônica e 13 questões na versão impressa. A única diferença entre as duas versões do questionário foi a inclusão da 14ª pergunta na versão eletrônica. Esta questão continha duas partes, indagando o informante sobre as vantagens que vê na informatização do questionário de coleta de dados e sobre eventuais dificuldades encontradas para responder.

O questionário desenvolvido apresenta algumas características que justificam a sua informatização, com vantagens sobre a versão impressa. Destacam-se as seguintes características que podem ser rigorosamente observadas em versão eletrônica: (1) todos os itens devem ser respondidos, na seqüência em que são apresentados; (2) a apresentação de alguns itens está condicionada à natureza das respostas dadas em itens anteriores; (3) em alguns itens, todas as alternativas apresentadas devem ser colocadas numa ordem hierárquica, mediante a atribuição de postos, sem a repetição do mesmo posto para duas ou mais alternativas; (4) em alguns outros itens, o mesmo procedimento de hierarquização é solicitado, porém apenas em relação a alternativas assinaladas pelo participante; (5) obrigatoriedade de preenchimento de espaços em branco, sempre que o participante assinalar as alternativas que expressam respostas não específicas (como a alternativa outros procedimentos, que aparece em alguns itens); e (6) alguns itens exigem a escolha de uma única alternativa. Pode-se visualizar facilmente que, em versão impressa, podem ocorrer equívocos na resposta ao questionário, motivados por desobediência às instruções por parte de participantes mais desatentos, sobretudo em questionário auto-aplicável.

Apenas a título de ilustração, apresentamos, a seguir, uma descrição detalhada da questão 1, das respostas por ele solicitadas e da sua relação com outros itens, acompanhada da transcrição de algumas das questões envolvidas.

Na primeira questão, o participante é solicitado a informar as fontes em que se baseia para realizar a sua pesquisa bibliográfica. O enunciado pede para assinalar as alternativas, no total de sete, que se aplicam à situação do participante e para ordená-las de acordo com a sua importância, caso sejam assinaladas duas ou mais alternativas, atribuindo-lhes o número 1 para a mais importante, 2 para a segunda mais importante e assim por diante. Esta ordenação deve começar obrigatoriamente com o posto 1, não podendo repetir o mesmo posto nem pular nenhum posto. A última alternativa refere-se a outras fontes, para que o participante possa informar alguma outra fonte não especificada em nenhuma das seis alternativas anteriores. Caso esta alternativa seja assinalada, é exigida a especificação da fonte. O enunciado do primeiro item contém instruções sobre esse procedimento de resposta.

Questão 01. Em quais fontes você se baseia para realizar a sua pesquisa bibliográfica? Assinale todas as alternativas que se aplicam ao seu caso. Se você assinalar duas ou mais alternativas, coloque um número no final de cada alternativa assinalada, em [ ], indicando a ordem de importância da fonte para a sua pesquisa bibliográfica, atribuindo o número 1 à fonte mais importante, o número 2 à segunda fonte mais importante e assim por diante.

As respostas dadas à primeira questão determinam quais devem ser respondidas na seqüência. As questões 2, 3, 4, 5 e 7 devem ser respondidas, ou não, dependendo das alternativas assinaladas na primeira. A questão 2 está transcrita, a seguir, para ilustrar tal vinculação.

Questão 02 (só responda esta questão, caso tenha assinalado a alternativa "Bases de dados eletrônicas" na questão 01). Ao usar bases de dados eletrônicas, como você procede? Assinale as alternativas que se aplicam ao seu caso.

Obedecendo ao mesmo critério, a questão 3 deve ser respondida, caso o participante tenha assinalado a alternativa "Obras de referência" na questão 1; a questão 4, caso tenha assinalado a alternativa "Periódicos"; a questão 5, caso tenha assinalado a alternativa "Livros"; e a questão 7, caso tenha assinalado a alternativa "Periódicos". A questão 7, por sua vez, determina se o participante deve responder ou não as questões 8 e 10. As questões 7 e 8 estão transcritas, a seguir, para ilustrar essa vinculação.

Questão 07 (só responda esta questão, caso tenha assinalado a alternativa "Periódicos" na questão 01). Nas pesquisas bibliográficas realizadas em periódicos, que tipo de artigos você costuma analisar? Assinale todas as alternativas que se aplicam ao seu caso. Se você assinalar duas ou mais alternativas, coloque um número no final de cada alternativa assinalada, em [ ], indicando a ordem de importância do tipo de artigo para a sua pesquisa bibliográfica, atribuindo o número 1 ao tipo de artigo mais importante, o número 2 ao segundo mais importante e assim por diante.

Questão 08 (só responda esta questão, caso tenha assinalado a alternativa "Relato de pesquisa" na questão 07). Ao analisar um relato de pesquisa, você costuma fazer a leitura seguindo rigorosamente a seqüência do texto, isto é, na ordem em que diferentes partes do artigo aparecem?

Se o participante assinalou a alternativa "Relato de pesquisa" na questão 7, deve também responder a questão 10, que solicita colocar as partes do artigo em ordem da importância que atribui a cada parte, isto é: título, resumo, introdução, método, resultados, discussão e referências bibliográficas.

Questão 10 (só responda esta questão, caso tenha assinalado a alternativa "Relato de pesquisa" na questão 07). Enumere cada uma das partes do artigo, indicando a importância que você atribui a cada uma delas. Atribua 1 à parte que você considera mais importante, 2 à segunda parte mais importante e assim por diante.

Assim, pode-se visualizar a estrutura relativamente complexa do instrumento empregado na nossa investigação para estudar o comportamento de alunos de pós-graduação para a realização da sua pesquisa bibliográfica. É facilmente previsível que, na resposta a um questionário dessa natureza, impresso em tinta, sejam cometidos erros de diferentes espécies.

Na versão eletrônica, o assinalamento de cada alternativa deve ser feito preenchendo-se, por intermédio do teclado e do mouse, os campos apropriados. O ordenamento deve ser feito colocando-se os números em espaços apropriados localizados ao final do texto correspondente a cada alternativa. Esses espaços só aparecem na tela a partir do momento em que duas ou mais alternativas sejam assinaladas pelo participante. Encerrar a questão 1 e avançar para a 2 depende de o participante responder à primeira obedecendo rigorosamente à instrução. Caso tente avançar para a questão seguinte sem assinalar nenhuma alternativa, é apresentada uma mensagem de alerta informando da obrigatoriedade de resposta. Caso assinale duas ou mais alternativas e tente avançar para a questão seguinte sem o ordenamento das alternativas assinaladas, uma mensagem de alerta apropriada é apresentada. Caso o ordenamento seja feito sem obedecer à instrução para iniciar em 1 e prosseguir sem pular nenhuma posição na seqüência, outra mensagem de alerta é exibida. Caso assinale a sétima alternativa relativa a outras fontes, a especificação é obrigatória. Assim, sempre que alguma dessas exigências não seja satisfeita, é apresentada a mensagem de alerta correspondente. A questão seguinte só aparece na tela, quando a primeira é respondida rigorosamente de acordo com as instruções. A questão a ser habilitada depende das alternativas assinaladas na primeira.

Nas demais questões do questionário, ocorrem vinculações e tarefas semelhantes.

Procedimento

Foi desenvolvido inicialmente o questionário em papel para ser testada a adequação dos itens com seis estudantes de pós-graduação, equivalentes aos da amostra final, e posteriormente foi transformado em versão eletrônica. Para o desenvolvimento do questionário eletrônico e dos aplicativos para o gerenciamento do banco de dados foi contratado serviço especializado, que utilizou o Visual Basic para programação. A versão eletrônica do questionário foi detalhadamente analisada pelos autores do projeto, bem como submetida a um pré-teste com quatro estudantes. Em vista dos erros identificados, o aplicativo foi devolvido ao desenvolvedor para a necessária correção.

Para a coleta de dados com a versão eletrônica, cada participante, determinado por sorteio simples a partir da totalidade do corpo discente de um curso de pós-graduação em Educação, foi conduzido à sala na qual estava instalado o microcomputador com o questionário eletrônico, para responder sob a supervisão de um dos autores ou de algum auxiliar. Respondido o questionário, as respostas alimentavam automaticamente o banco de dados.

A versão impressa do questionário foi aplicada a participantes previamente sorteados, individualmente ou em pequenos grupos de dois ou três, por um dos autores. A maioria dos participantes respondeu na mesma sala em que era feita a coleta de dados com a versão eletrônica, porém em um outro horário. Alguns participantes responderam na própria sala de aula em que se encontravam. Os dados assim coletados foram inseridos manualmente em um banco de dados com os mesmos campos daquele que era alimentado automaticamente na versão eletrônica do questionário, exceto os campos relativos à questão de número 14, que não aparecia na versão em papel.

Resultados

Este texto trata de algumas questões metodológicas relativas ao uso de versões eletrônica e impressa de um mesmo questionário. Os dados relativos aos assuntos investigados, isto é, o comportamento dos estudantes de pós-graduação em Educação na realização da pesquisa bibliográfica, são relatados em outros artigos, atualmente submetidos a avaliação para publicação. No presente relato, são inicialmente analisados os erros cometidos pelos respondentes da versão impressa e, em seguida, analisadas as dificuldades que os respondentes da versão eletrônica relataram e as vantagens e desvantagens que eles viram na informatização de um questionário de coleta de dados.

Erros cometidos na versão impressa

Os participantes que respondem ao questionário impresso podem cometer diferentes espécies de erros. Dependendo da natureza dos erros cometidos, eventualmente o respondente deve ser excluído da amostra. Outras vezes, o erro cometido pode não comprometer a compreensão correta da resposta dada pelo respondente. Com o intuito de verificar os erros que podem ser cometidos, e rigorosamente controlados na versão eletrônica, foi aplicada a versão impressa do questionário a uma amostra de estudantes de pós-graduação em Educação. No total, ocorreram 95 erros, conforme pode ser visto na Tabela 1.

As ocorrências anotadas como erro de coerência correspondem à quebra de vinculação entre as questões, como aquela existente entre as alternativas assinaladas na questão 1 e as de números 2, 3, 4, 5 e 7. Houve cinco casos de resposta a uma dessas questões sem o assinalamento da alternativa correspondente na primeira questão. Em outros cinco casos, alguma dessas questões não foi respondida mesmo tendo assinalado a alternativa correspondente na primeira questão. Esses dez casos foram considerados erros de coerência e correspondem a 10,52% do total de erros.

Os erros de coerência invalidam o questionário, o que obriga o pesquisador a excluir os respondentes que tenham cometido esse tipo de erro, reduzindo conseqüentemente o tamanho da amostra. No primeiro tipo de erro, não é suficiente simplesmente ignorar as respostas dadas aos itens indevidos. Levanta-se dúvida quanto a se os itens respondidos o foram indevidamente ou se houve erro na resposta à primeira questão. O segundo tipo de erro impossibilita o pesquisador de analisar mais detalhadamente o uso que os respondentes fazem da fonte apontada no primeiro item, se os respondentes que o cometem não forem excluídos. Os demais itens do questionário dependem, em alguma extensão, das respostas dadas a esses itens iniciais.

No questionário, há cinco perguntas que envolvem a tarefa de ordenar alternativas. Em duas delas, o respondente deve ordenar todas as alternativas apresentadas, como na questão 10. Em três outras questões, como nas de números 1 e 7, o respondente deve ordenar as alternativas assinaladas, caso o forem em número de dois ou mais. Portanto, nestas últimas questões, a ordenação nem sempre é realizada. Analisando a Tabela 1, verifica-se que proporção maior de erros cometidos diz respeito a algum problema ocorrido na ordenação de alternativas.

Os erros de ordenação somam 43, correspondendo a 45,26% do total de erros cometidos no questionário impresso. Houve 18 casos de ordenação de alternativas, sem que estas fossem assinaladas; sete casos em que as alternativas foram assinaladas e não foram ordenadas; e seis casos em que foi atribuído o mesmo posto a duas ou mais alternativas. Todos esses casos de erro de ordenação impedem o aproveitamento pleno do questionário respondido e conseqüentemente ocorre a redução no número de respondentes em alguns itens. O único tipo de erro de ordenação verificado no nosso estudo, que não implica nenhum prejuízo ao questionário respondido, diz respeito à ordenação de alternativas quando isto não era necessário. Foram registradas dez ocorrências desse tipo de erro.

Foram observados outros dois tipos de erro que também levam à perda de parte dos dados do questionário respondido. Uma das perguntas do questionário indaga o respondente se retorna à leitura de um mesmo texto, caso trate o assunto de maneira que lhe interessa. Se a resposta for afirmativa, o respondente deve fornecer duas outras respostas na mesma questão: a quantidade aproximada de vezes que retorna à leitura e o modo como o realiza habitualmente. Esta questão gerou 22 erros identificados como resposta incompleta, correspondendo a 23,16% do total de erros. Em oito questões, havia uma última alternativa correspondente a outras respostas. Caso algum respondente assinalasse esta opção, era exigido que a sua resposta fosse especificada. De um modo geral, esta alternativa foi poucas vezes assinalada e foi verificada a ocorrência de apenas dois erros, correspondendo a 2,10% do total de erros.

A Tabela 1 mostra, por fim, um tipo de erro que absolutamente não compromete a validade do questionário. Refere-se ao uso incorreto dos espaços, como a colocação da marca X ou dos postos, na tarefa de ordenação, fora do local reservado para esse fim. Dezoito casos desse tipo de erro foram verificados.

Pela análise dos dados constantes da Tabela 1, verifica-se que a maior parte dos erros registrados compromete o aproveitamento pleno do questionário dos respondentes que os cometeram. Foram verificadas 95 ocorrências de erros de resposta em diferentes perguntas do questionário. Deste total, 67 erros comprometem, de diferentes maneiras, o aproveitamento pleno das respostas dos participantes e ocorreram em 24 questionários. Os demais 28 erros não prejudicam em nada a análise dos questionários respondidos e referem-se à ordenação não solicitada e uso incorreto dos espaços. Dentre os 24 questionários com algum problema de erro, seis devem ser considerados inaproveitáveis, pois apresentam erros de coerência, que é suficientemente grave para excluir da amostra os respectivos respondentes. Os demais 18 questionários podem ser aproveitados, desde que não haja nenhuma necessidade de manter constante o tamanho da amostra em todos os itens do questionário, o que ocorre freqüentemente em investigações que utilizam este tipo de instrumento de coleta de dados. Portanto, do total de 52 questionários, 28 não apresentam problema nenhum e podem ser aproveitadas as respostas dadas a todas as questões; 18 apresentam problemas que invalidam resposta dada a um ou no máximo quatro itens do questionário; e seis apresentam erros de coerência, que, na avaliação dos autores, são suficientemente graves para considerar inaproveitáveis as respostas dadas aos demais itens.

Vantagens e desvantagens da versão eletrônica

A última questão do questionário eletrônico contém duas partes relativas ao próprio instrumento de coleta de dados. Numa delas é solicitado que os participantes informem as possíveis dificuldades encontradas e na outra, as vantagens e desvantagens da versão eletrônica comparativamente ao mesmo questionário impresso em tinta.

Apenas cinco dos 60 participantes reportaram ter encontrado alguma dificuldade para a realização das tarefas no questionário eletrônico. As dificuldades relatadas por um mestrando e quatro doutorandos dizem respeito à realização das tarefas exigidas pelas perguntas e não ao formato do questionário, isto é, a versão eletrônica. Portanto, ninguém reportou dificuldade decorrente da versão eletrônica do questionário.

Quanto às vantagens e desvantagens da versão eletrônica, houve indicação de vantagens por parte de 53 participantes e de desvantagens por 17 participantes. Esses 17 participantes indicaram também as vantagens. Houve sete participantes que não se manifestaram a esse respeito. A Tabela 2 mostra as diferentes vantagens e desvantagens da versão eletrônica relatadas pelos respondentes.

Das 53 anotações de vantagens, seis foram consideradas não pertinentes, porque os participantes se referiam à busca de informações por meios eletrônicos, e não exatamente à versão eletrônica de um questionário. As 47 anotações válidas de vantagens podem ser examinadas segundo dois critérios: (1) a pessoa que é beneficiada pela versão eletrônica de um questionário e (2) a natureza da vantagem apontada.

Como o enunciado da questão não especificava a quem - pesquisador ou respondente - uma versão eletrônica de questionário poderia beneficiar, os participantes apontaram vantagens para o pesquisador ou para o participante. Nesse sentido, 28 anotações especificam claramente as vantagens para o respondente e quatro, para o pesquisador. Quinze anotações não especificam a quem a versão eletrônica traz vantagem, comparativamente à versão em papel.

As vantagens para o respondente dizem respeito, em geral, à rapidez e facilidade na resposta, facilidade de leitura e preenchimento, atratividade propiciada pela interatividade e "limpeza" do questionário sem rasuras. Somente dois participantes apontaram a característica que os autores deste estudo consideram como sendo vantagem maior de uma versão eletrônica de questionário, com a programação para controlar rigorosamente a apresentação de questões que dependem de respostas a questões anteriores, bem como para controlar o preenchimento incorreto do questionário, impedindo que o respondente avance para item seguinte, se a questão não for respondida de modo correto, obedecendo rigorosamente à instrução. A descrição das demais vantagens faz crer que esses participantes interagiram com o questionário eletrônico, compreendendo-o tão somente como um outro meio de apresentação do mesmo questionário impresso em tinta.

As vantagens para o pesquisador, apontadas por apenas quatro participantes, referem-se a características que efetivamente tornam vantajoso um questionário eletrônico convenientemente programado. Referem-se à confiabilidade dos dados coletados e maior organização e agilidade na apuração dos dados coletados. De fato, o questionário eletrônico foi programado de modo que a tabulação fosse automática, na medida em que os participantes fossem respondendo os itens do questionário. Essa possibilidade não só torna ágil e rápida a organização dos dados, como também torna inteiramente confiável a tabulação, reduzindo a zero qualquer possibilidade de erro nesse sentido. Com as tabelas de banco de dados preenchidas, a análise por meio de planilha eletrônica ou algum aplicativo de estatística é imediata sem qualquer risco de se introduzirem erros de digitação ou cálculo.

As desvantagens da versão eletrônica foram apontadas por 17 participantes. Cinco das anotações são consideradas não pertinentes, pois se referem à busca de informação por meio eletrônico. Das doze anotações consideradas válidas, oito se referem a alguma espécie de dificuldade decorrente do uso de computador (dificuldade pessoal de usar equipamento de informática, necessidade de o respondente deslocar-se até o local em que está instalado o equipamento e a limitação imposta pelo uso do computador, que não habilita qualquer pessoa como respondente). Três desvantagens anotadas dizem respeito às tarefas exigidas no questionário, como a dificuldade de ordenação das alternativas escolhidas e a dificuldade resultante de escolha forçada de alternativas. Somente uma desvantagem apontada se refere propriamente à versão eletrônica de um questionário. Esse respondente anotou que gosta de voltar às questões respondidas, o que era impossibilitado na versão eletrônica. Na verdade, o programa foi elaborado de modo que, ao retornar à questão anterior, fosse removida toda a resposta, justamente para reduzir a possibilidade de a resposta a uma questão ser orientada pelo conteúdo das anotações feitas nos itens anteriores.

Discussão

A relação entre o texto que se apresenta num questionário – instruções, enunciados, alternativas, etc. – e o repertório do respondente pode não ser exatamente a esperada pelo pesquisador, interferindo nas respostas. A interpretação que o participante faz daquilo que lê está sujeita a uma série de fatores, os mais variados e difíceis de controlar, incluindo idiossincrasias, aprendizagens anteriores, estado emocional no momento, familiaridade com a situação, etc., além de possíveis dificuldades inerentes ao próprio instrumento.

No presente estudo, os participantes foram pessoas com formação privilegiada e repertório acadêmico sofisticado, pois tratava-se de alunos de um curso pós-graduação em nível de mestrado e doutorado. No entanto, isso não impediu a ocorrência de erros que podem comprometer, em algum grau, a confiabilidade dos dados obtidos ou reduzir o tamanho da amostra mediante o descarte de questionários cujos respondentes cometeram erros graves.

Os erros mais freqüentemente cometidos referem-se ao procedimento de ordenação. A tarefa de ordenação das alternativas foi a que mais freqüentemente ocasionou alguma dificuldade para os respondentes, segundo seus relatos. Para alguns respondentes pode ser difícil, no exato momento da resposta, atribuir diferentes graus de importância a diferentes alternativas que, na sua avaliação subjetiva, podem ser igualmente relevantes.

A perda de 6 questionários no total de 52 aplicados, correspondendo a 11,54%, pode não ser motivo de preocupação em situações nas quais o pesquisador pode dispor de participantes em quantidade suficiente para não comprometer, com a redução no tamanho da amostra, a pesquisa realizada. Apesar disso, a ocorrência de uma grande quantidade de respondentes que não conseguem cumprir rigorosamente as instruções do questionário pode levantar pelo menos duas questões metodológicas relevantes: (1) pode-se levantar dúvida quanto à confiabilidade dos dados, mesmo daqueles que responderam corretamente, pois a ocorrência de muitos erros sugere a possibilidade de os itens, seja na sua formulação seja na tarefa exigida, não serem inteiramente apropriados para a população a que se destina; e (2) o descarte de uma quantidade expressiva de respondentes, na totalidade do questionário ou apenas em alguns itens, pode introduzir viés amostral, pois o descarte realizado em função de erros cometidos certamente não é inteiramente randômico. Portanto, a ocorrência de muitos erros deve ser interpretada como sendo uma indicação da necessidade de adequar melhor os itens nos quais são registrados tais erros.

A versão eletrônica do questionário pode contribuir para que as instruções para resposta sejam cumpridas rigorosamente, eliminando a ocorrência de erros por parte dos informantes. Esse recurso pode ser particularmente vantajoso na aplicação de questionários compostos por itens que exigem diferentes comportamentos do respondente, como o assinalamento de uma única alternativa, obrigatoriedade de preenchimento de espaços em branco, ordenação de um conjunto de alternativas mediante atribuição de postos (ranking), etc.

Apesar das vantagens aqui evidenciadas, há que se investigar melhor o uso de questionários eletrônicos ou meios eletrônicos de coleta de dados. McBride, Anderson e Bahnson (1999) compararam a versão eletrônica e a versão impressa de um questionário para a avaliação da qualidade de um serviço de saúde por parte de usuários, e concluíram que as duas versões não podem ser consideradas rigorosamente iguais. Verificaram maior quantidade de erro de resposta na versão eletrônica, mas, na verdade, esses erros resultaram de uma programação inadequada. Há, entretanto, um dado preocupante com relação à consistência interna da escala. Na versão eletrônica, o índice de confiabilidade (Alfa de Cronbach) foi menor do que na versão impressa especialmente em duas das cinco subescalas. Por outro lado, os escores de qualidade, que são os dados essenciais da avaliação realizada, têm médias estatisticamente equivalentes nas cinco subescalas que compõem o instrumento, razão por que os autores consideraram a coleta de dados por meio de questionário eletrônico altamente aceitável.

Na verdade, o uso de uma versão eletrônica se justifica sobretudo na extensão em que ela pode controlar rigorosamente os erros de resposta que podem ser cometidos em versão impressa. Erro no preenchimento de questionário não pode acontecer em uma versão eletrônica. Outras diferenças entre a versão eletrônica e a impressa apontadas na literatura especializada podem dever-se a viés amostral. Shaw e Davis (1996) encaminharam um mesmo questionário a duas amostras, cada uma constituída por 500 pessoas, por meio de correio convencional a uma amostra e por meio de correio eletrônico a outra. Os autores encontraram várias diferenças expressivas entre as amostras. Como o questionário tratava do uso que as pessoas faziam de diversas ferramentas computacionais (como editor de texto, correio eletrônico, catálogos online, etc.), as pessoas que retornaram o questionário via correio eletrônico podem ter hábitos ou facilidades de uso de recursos de informática diferenciados das pessoas que o fizeram por meio do correio convencional.

Os erros habitualmente cometidos na versão impressa de questionário são virtualmente controláveis mediante adequada programação na versão eletrônica. Outros erros, como aqueles devidos a viés amostral, devem ser controlados mediante adequado delineamento. Até mesmo questionário disponibilizado em internet por um período pode coletar dados bastante confiáveis mediante adequados planejamento e interpretação dos resultados, conforme aponta Bradley (1999). Na verdade, tanto a definição do formato apropriado das questões quanto o meio de apresentação do questionário precisam ser decididos em função de fatores como a temática investigada, a variável que se pretende mensurar e as características da amostra à qual será aplicado. Isto significa, acima de tudo, que, além de o questionário ser construído com todos os cuidados metodológicos necessários, deve ser submetido a um bom pré-teste, como recomendam Cenverse e Presser (1986).

Por fim, convém destacar que, dos 17 participantes que anotaram alguma desvantagem para a versão eletrônica do questionário no presente estudo, cinco referiram-se a problemas representados pela busca eletrônica de informações bibliográficas (e por isso foram consideradas não pertinentes na análise). Dentre as 12 anotações restantes de desvantagens, oito se referiam a alguma dificuldade no uso de computador e não propriamente ao questionário em si. Mesmo estes souberam responder a versão eletrônica, não tendo ocorrido a perda de nenhum sujeito.

No presente estudo, a versão eletrônica do questionário mostrou ser uma alternativa altamente viável para a utilização em investigações dessa natureza, tanto por anular a possibilidade de ocorrência de erros de resposta e de tabulação, quanto por facilitar a análise de dados coletados. Há necessidade, entretanto, de se realizarem muitas investigações sobre o uso de diferentes modos de construção dos itens, os diferentes tipos de itens de que se compõe o questionário e a forma da sua apresentação, em função da natureza das informações que se pretende levantar e das características das populações a serem estudadas.

Agradecimentos

Esta pesquisa foi financiada pela Fundação de Amparo à Pesquisa do Estado de São Paulo/FAPESP (processo 00/05449-6), à qual registramos os nossos agradecimentos.

Recebido em 18.nov.04

Revisado em 19.set.05

Aceito em 17.out.05

Sadao Omote, livre-docente em Educação Especial pela Universidade Estadual Paulista Júlio de Mesquita Filho, em Marília, é professor na mesma UNESP/Marília.

Paulo Sérgio Teixeira do Prado, doutor em Psicologia pela Universidade de São Paulo, é Professor na Universidade Estadual Paulista Júlio de Mesquita Filho, campus de Marília.

Kester Carrara, livre-docente em Psicologia da Educação pela Universidade Estadual Paulista Júlio de Mesquita Filho, é professor adjunto no Departamento de Psicologia da Faculdade de Ciências de Bauru – UNESP.

• Almeida, A. C. (2002). O efeito do contexto e posição da pergunta no questionário sobre o resultado da medição. Opinião Pública, 8(2), 328-339.
• Bongers, I. M. B., & Van Oers, J. A. M. (1998). Mode effects on self reported alcohol use and problem drinking: mail questionnaires and personal interviewing compared. Journal of Studies on Alcohol, 59(3), 280-286.
• Bradley, N. (1999). Sampling for internet survey. An examination of respondent selection for internet research. Journal of the Market Research Society, 41, 387-395.
• Converse, J. M., & Presser, S. (1986). Survey questions: handcrafting the standardized questionnaire Thousand Oaks: Sage.
• De Leeuw, E. D., Mellenbergh, G. J., & Hox, J. J. (1996). The influence of data collection method on structural models: a comparison of a mail, telephone, and a face-to-face survey. Sociological Methods & Research, 24(4), 443-472.
• Drury, D. H., & Farhoomand, A. (1997). Improving management information systems research: question order effects in surveys. Information Systems Journal, 7, 241-251.
• Dupagne, M., Salwen, M. B., & Paul, B. (1999). Impact of question order on the third-person effect. International Journal of Public Opinion Research, 11(4), 334-345.
• Graesser, A. C., Wiemer-Hastings, K., Kreuz, R., Wiemer-Hastings, P., & Marquis, K. (2000). QUAID: A questionnaire evaluation aid for survey methodologists. Behavior Research Methods Instruments & Computers, 32(2), 254-262.
• McBride, J. S., Anderson, R. T., & Bahnson, J. L. (1999). Medical Care, 37(7), 647-651.
• Pasquali, L. (Org.). (1996). Teoria e métodos de medida em ciências do comportamento Brasília: UnB/INEP.
• Pasquali, L. (Org.) (1999). Instrumentos psicológicos: manual prático de elaboração Brasília: UnB:IBAPP.
• Pettit, F. A. (1999). Exploring the use of the world wide web as a psychology data collection tool. Computer and Human Behavior, 15(1), 67-71.
• Raghubir, P., & Johar, G. V. (1999). Hong Kong 1997 in context. Public Opinion Quarterly, 63(4), 543-556.
• Romanelli, G., & Biasoli-Alves, Z. M. M. (Orgs.). (1998). Diálogos metodológicos sobre prática de pesquisa Ribeirão Preto: Legis Summa.
• Shaw, D., & Davis, C. H. (1996). The Moderns Language Association: electronic and paper surveys of computer-based tool use. Journal of the American Society for Information Science, 47(12), 932-940.

Datas de Publicação

• Publicação nesta coleção
  09 Fev 2007
• Data do Fascículo
  Dez 2005

Histórico

• Revisado
  19 Set 2005
• Recebido
  18 Nov 2004
• Aceito
  17 Out 2005