Análise Fatorial com informação completa de uma prova de Compreensão em Leitura em Estatística

Análisis factorial con información completa de una prueba de Comprensión en Lectura en Estadística

Full information Factorial Analysis o a Reading Comprehension Test in Statistics

ARTIGOS

Análise fatorial com informação completa de uma prova de compreensão em leitura em estatística

Full information Factorial Analysis o a Reading Comprehension Test in Statistics

Análisis factorial con información completa de una prueba de Comprensión en Lectura en Estadística

Anelise Silva Dias ^*; Claudette Maria Medeiros Vendramini ^**

Universidade São Francisco

RESUMO

O objetivo principal deste estudo foi o de verificar evidência de validade de construto de uma prova de compreensão em leitura de um texto com informações estatísticas em estudantes de Psicologia. Foram participantes 206 estudantes regularmente matriculados no curso de Psicologia, sendo 79,1% do gênero feminino, com idades variando de 17 a 54 anos, M = 25,9 e DP = 6,8; 82,5% do período diurno e noturno. Foi utilizada uma prova de compreensão em leitura formada a partir de um texto específico que envolve conceitos estatísticos. O instrumento foi aplicado coletivamente em uma sessão, em horários regulares de aula. Os resultados da análise fatorial com informação completa revelaram a predominância unidimensional para os itens da prova de leitura específica, explicando 24,8% da variância entre os itens. O coeficiente de fidedignidade avaliado pelo coeficiente de Kuder-Richardson, igual a 0,813, indicou que a prova apresenta uma boa precisão.

Palavras-chave: Estatística, Estudantes universitários, Psicologia educacional.

ABSTRACT

The aim of this research was to verify the construct validity evidences of a reading comprehension test composed of a text that included Statistics information. The participants were 206 undergraduate psychology students, 79.1% female, aged 17 to 54 years old, M = 25.9 years and SD = 6.8, 82.5% of them study in the day and night period. The research instrument was a reading comprehension test composed of a specific text that included Statistical concepts. This test was collectively applied during regular class time. The full information factorial analysis brings out that the specific reading test is predominantly unidimensional, and this dimension explains 24.8% of the items variance. The Kuder-Richardson' reliability coefficient of 0.813 indicated a good precision of the test.

Keywords: Statistics, College students, Educational psychology.

RESUMEN

El objetivo principal de este estudio fue verificar evidencia de validez de constructo de una prueba de comprensión en lectura de un texto con informaciones estadísticas en estudiantes de psicología. Participaron 206 estudiantes matriculados regularmente en el curso de Psicología, siendo 79,1% del sexo femenino, con edades variando de 17 a 54 años, P= 25,9 e DP = 6,8; 82,5% de los turnos vespertino y nocturno. Fue utilizada una prueba de comprensión en lectura formada a partir de un texto específico que envuelve conceptos estadísticos. El instrumento fue aplicado colectivamente en una sesión, en horarios regulares de clase. Los resultados del análisis factorial con información completa revelaron la predominancia unidimensional para los ítems de la prueba de lectura específica, explicando 24,8% de la variancia de los ítems. El coeficiente de fiabilidad evaluado por el coeficiente de Kuder-Richardson, igual a 0,813, indicó que la prueba presenta una buena precisión.

Palabras clave: Estadística, Estudiantes universitarios, Psicología Eeducacional.

A leitura faz parte do conjunto de atividades da vida diária das pessoas, sendo importante para o desenvolvimento e ação do homem moderno, pois é uma das maneiras de obtenção do conhecimento, e, assim, possibilita a reflexão e a opinião sobre diversos aspectos da vida (Silva, 1998). Segundo Braibant (1997) e Martins e cols. (2003) a leitura pode ser compreendida como uma habilidade, que visa atribuir um significado a um símbolo, e, desta forma, não é apenas a decodificação de registros gráficos, mas a interpretação das letras de modo a compreender a mensagem contida no texto.

A habilidade de leitura tem uma função importante na vida do sujeito, principalmente no que se refere ao sistema educacional, uma vez que visa a aprendizagem de conceitos específicos por meio de atividades que requerem tal habilidade (Santos, Primi, Taxa & Vendramini, 2002). Destaca-se, ainda, que a leitura é uma habilidade essencial no processo de ensino-aprendizagem nos diversos níveis de ensino, principalmente no ensino superior, já que nesse é a última oportunidade dos estudantes para tornarem leitores competentes e que utilizem de forma adequada as informações que são adquiridas por meio da leitura (Witter, 1999).

No âmbito acadêmico, a leitura pode ser vista como um dos meios que possibilita o estudante a ter acesso às informações, destacando aquelas que são impressas. Desta forma, a leitura neste nível de escolaridade, na grande maioria dos cursos, é basicamente fundamentada por textos técnico-científicos. Sendo que as informações obtidas por meio desses textos, são utilizados pelos universitários para formar a base de seu conhecimento, que é indispensável ao desempenho profissional de qualquer área (Witter, 1990, 1997, 1999).

Estudos realizados por Witter (1999) indicam que, a habilidade de leitura dos estudantes não está sendo desenvolvida no decorrer de sua vida acadêmica, evidenciando que os leitores não são críticos, com poucas habilidades argumentativas e baixo repertório para a resolução de problemas. Outras pesquisas realizadas em estudantes brasileiros revelam o hábito limitado de leitura dos universitários e as deficiências na compreensão do que é lido, sendo que esses indícios estão diretamente relacionados com o baixo desempenho acadêmico. Essas pesquisas mostram o contraste das exigências de leitura nos diferentes níveis do processo de escolarização, para o universitário, há uma grande exigência em atividades que envolvam a leitura, bem como um nível mais alto de compreensão e apresentação dos conteúdos complexos, quando comparados com outras etapas escolares (Joly & Paula, 2005; Oliveira, 2003; Oliveira, Santos & Primi, 2003; Pellegrini, 1996; Santos, Vendramini, Suehiro & Santos, 2006; Silva & Santos, 2004; Vicentelli, 1999; entre outros).

Em especial para o universitário, é disponibilizada na mídia impressa textos com diversos tipos de informação, e muitos deles apresentam em seu conteúdo informações resultantes de análises estatísticas de dados, que incluem assim, medidas estatísticas. Exemplos de tais textos são aqueles publicados em revistas científicas, além dos manuais de testes psicológicos, como no caso dos estudantes e profissionais da psicologia.

São muitos os problemas encontrados na área de avaliação psicológica, mais especificamente quanto à utilização dos testes psicológicos. Além das dificuldades encontradas com os instrumentos, há também a má utilização do instrumental por parte dos profissionais, como por exemplo, a falta de domínio e de conhecimento do instrumento, e avaliação incorreta dos resultados obtidos (Noronha, Primi & Alchieri, 2005; Primi, 2003).

Nesta perspectiva, alguns estudos foram realizados nos últimos anos, como a pesquisa relatada por Almeida, Prieto, Muñiz e Bartram (1998), e também por Noronha (2002), nos quais se verificou que, dentre os problemas mais graves e mais freqüentes em relação ao uso de testes psicológicos, um relativo à construção, às normas e às características dos instrumentos. E o outro quanto ao seu uso inadequado, em que a aplicação é feita: indevida, indiscriminada e mecanicamente; por pessoal não qualificado, sem critérios; com instruções erradas; com avaliações incorretas; sem ter clareza das limitações dos instrumentos, quanto às normas; e, com interpretações que extrapolam o instrumento.

Desta forma, é fundamental que os estudantes de psicologia desenvolvam habilidades de leitura não só de textos de interesse geral, mas também de conceitos estatísticos, que têm o objetivo de resumir as informações em medidas descritivas, tabulares ou gráficas. Em especial para os estudantes de psicologia, uma vez que, as informações estatísticas estão presentes no seu instrumental de trabalho, para que se possa garantir uma utilização adequada e correta dos testes psicológicos, de forma a garantir resultados confiáveis e precisos.

Devido à importância da capacidade dos estudantes em compreender as informações que são lidas, tão necessário no processo de aprendizagem de novos conteúdos, destaca-se a relevância de se avaliar o nível de compreensão do leitor a fim de identificar como o universitário entende o significado do material que está sendo lido (Joly, 2001). Um dos métodos que tem sido muito freqüente neste tipo de avaliação é a aplicação da técnica de cloze.

Essa técnica vem sendo amplamente utilizada para o diagnóstico de compreensão em leitura de textos técnicos de diversas áreas científicas, como biologia, contabilidade, física, psicologia, entre outros (Castro, Fukuda & Gritti, 1997; Centofanti, Ferreira & Tedesco, 1997; Costa, 2006; Martins & Andrade, 2004; Silva, Malozze & Leme, 1997). A partir dos estudos mencionados, percebe-se a necessidade de novas pesquisas com estudantes de Psicologia, em temas mais específicos, no que se refere à leitura de textos da área psicológica, mais precisamente aqueles que envolvem conceitos estatísticos. Esses conceitos estão presentes em vários textos, sejam de leitura científica ou de atuação prática do psicólogo, como os manuais de testes psicológicos, tornando-se relevante uma vez que são instrumentos utilizados na prática e atuação profissional.

Desta forma, o teste de cloze é uma técnica que pode ser utilizada no diagnóstico da compreensão em leitura, em textos de conteúdos diversos, de caráter geral ou específico de qualquer área de conhecimento, uma vez que avalia o nível funcional da compreensão, como um instrumento surgido do próprio texto (Alliende & Condemarín, 2005; Kletzein, 1991). Vale destacar ainda, que a técnica de cloze é consistente com os objetivos das avaliações em compreensão em leitura, tanto em termos teóricos, para compreender as habilidades necessárias, quanto na prática, para o uso apropriado dos escores obtidos por um instrumento que possui qualidades psicométricas (Abraham & Chapelle, 1992).

De acordo com Anastasi e Urbina (2000), é necessário que se realizem avaliações no que se refere às qualidades técnicas dos instrumentos utilizados em pesquisas referentes a características como validade, fidedignidade, nível de dificuldade e normas, para que se possa garantir a funcionalidade do teste. A partir dessas análises torna-se possível assegurar a adequação de um instrumento a seus objetivos específicos, além da utilização congruente para o tipo de pessoas nas quais se planeja avaliar.

A preocupação com as qualidades psicométricas nas avaliações dos instrumentos utilizados é fundamentada no pressuposto real de que o instrumento fornece dados relevantes ao profissional, e que, portanto, é necessário que esses dados produzidos sejam confiáveis e verdadeiros (Adánez, 1999; CFP, 2001; Ottati, Noronha & Salviati, 2003). Essa preocupação deve estar presente tanto na avaliação psicológica quanto na avaliação educacional. Assim, a presente pesquisa visou buscar evidências de validade de uma prova de compreensão em leitura de um texto específico, a qual poderá contribuir com pesquisadores e professores que atuam nesta área de conhecimento.

A partir da importância da utilização de instrumentos válidos e confiáveis para inferir sobre o comportamento de uma pessoa ou grupo, faz-se necessário destacar aspectos importantes para construção e utilização de testes psicológicos e educacionais. Para a realização de uma avaliação deve-se não apenas escolher um instrumento adequado para obter informações desejadas, como também garantir a confiabilidade das inferências feitas a partir da aplicação de tal instrumento de pesquisa, o qual deve ter propriedades psicométricas. Essas propriedades são obtidas por meio de métodos de avaliação que incluem essencialmente a determinação de sua fidedignidade e de sua validade em situações específicas (Anastasi & Urbina, 2000; Pasquali, 2003).

A fidedignidade definida por Anastasi e Urbina (2000, p.84) é a "consistência dos escores obtidos pelas mesmas pessoas quando elas são reexaminadas com o mesmo teste em diferentes ocasiões, ou com diferentes conjuntos de itens equivalentes, ou sob outras condições variáveis de exame". De acordo com as autoras, todos os tipos de fidedignidade preocupam-se com o grau de consistência ou concordância entre dois conjuntos de escores independentes, assim, todos eles podem ser expressos em termos de um coeficiente de correlação (r) que indica o grau de correspondência ou associação entre dois conjuntos de escores. Um dos métodos que é utilizado para a determinação do grau de fidedignidade de um instrumento de medida é o coeficiente Kuder-Richardson.

A outra característica importante de um bom instrumento, já citada anteriormente, é a validade, que pode ser compreendida como uma verificação direta da possibilidade do instrumento satisfazer o seu objetivo (Pasquali, 2003). Os padrões para testagem psicológica e educacional propõem que o processo de validação envolva o acúmulo de evidências, com o objetivo de gerar base científica para interpretações confiáveis. De acordo com estes padrões a validade se refere ao grau de evidência e suporte para as interpretações dos escores do teste, vinculados aos usos propostos pelos testes. As fontes de evidência podem dar subsídios para diferentes aspectos da validade, porém esses dados obtidos não são suficientemente capazes de representar em si, os diferentes tipos de validade existentes.

São diversas as técnicas empregadas para a determinação do índice de validade de um instrumento, porém, neste estudo terá como base a evidência de validade de construto. Segundo Anastasi e Urbina (2000) a validade de construto de um teste é a extensão em que se pode dizer que o teste mede um construto teórico ou um traço. Uma das análises que pode ser realizada para a obtenção de evidências de validade de construto é a análise fatorial.

Uma análise que vem sendo muito utilizada é a análise fatorial com informação completa (full information), que pode ser realizada pelo programa TESTFACT. Esse novo método de análise de itens é baseado na Teoria de Resposta ao Item (TRI), esta não requer o cálculo das intercorrelações entre os itens, porém, trabalha com as informações completas substituindo a utilização dos métodos de informação sumarizada, como as correlações (Pasquali, 2003). Partindo desse pressuposto, a análise clássica dos itens de um teste baseia-se nos parâmetros descritivos dos itens, que auxiliam na interpretação da distribuição das respostas em cada alternativa do item.

Assim, pretendeu-se com este estudo verificar evidência de validade de construto para uma prova de leitura que possui conceitos estatísticos em seu conteúdo. O presente trabalho pretende discutir questões relativas à compreensão em leitura de estudantes do curso de Psicologia, a partir de um texto de leitura específica com informações estatísticas. Essa escolha surgiu principalmente da necessidade de realizar estudos acerca da compreensão em leitura de universitários em textos técnicos que envolvem conceitos específicos, e também pela necessidade de pesquisas que comprovem, com bases científicas, a validade das técnicas que são empregadas para este fim.

Método

Participantes

A amostra foi composta por conveniência por 206 universitários regularmente matriculados no curso de Psicologia de uma universidade do interior do Estado de São Paulo. Do total de participantes, 79,1% eram do gênero feminino, dos turnos diurno (17,5%) e noturno (82,5%). As idades variaram de 17 a 54 anos, com média de 25,92 anos (DP = 6,80). Os estudantes eram provenientes de cinco anos da graduação, do primeiro (23,3%), segundo (21,4%), terceiro (16,5%), quarto (18,0%) e quinto (20,9%) ano, incluindo, portanto, estudantes que não haviam e já haviam cursado Estatística e Psicometria, uma das disciplinas que exige dos alunos o conhecimento de conceitos estatísticos.

Instrumento

Prova de Compreensão em Leitura

A prova de compreensão em leitura específica utilizada neste estudo foi composta por um texto elaborado a partir do manual de teste psicológico, sendo este a Escala de Inteligência Wechsler para Adultos (WAIS-III, Nascimento, 2004), buscando incluir alguns dos conceitos básicos de Estatística que freqüentemente estão presentes em manuais de testes psicológicos. Para a elaboração do texto, selecionaram-se partes do manual de forma a criar um texto coeso e que permitisse ao estudante o entendimento do objetivo do instrumento selecionado. Assim, o texto contempla esclarecimentos gerais sobre o instrumento e em seqüência parágrafos com informações estatísticas que se referem à avaliação do teste.

A técnica utilizada para a elaboração da prova foi o Sistema Orientado de Cloze (SOC) de Joly (2006), que é baseada na Técnica de Cloze descrita por Taylor (1953), em que o primeiro parágrafo é mantido em sua forma original, e o apagamento de palavras inicia-se a partir do quinto vocábulo do parágrafo seguinte. As omissões, substituídas por lacunas, são todas do mesmo tamanho. Após a quadragésima lacuna, o texto mantém sua forma original, com aproximadamente 300 palavras.

Na técnica SOC as lacunas são identificadas por um número, e cada uma delas possui cinco alternativas de respostas, que são dispostas em um quadro ao lado direito do texto. Os sujeitos escolhem entre as cinco alternativas de múltipla escolha, a palavra que preenche corretamente cada lacuna, dando sentido à frase. As alternativas de múltipla escolha possuem: uma resposta correta, uma palavra da mesma classe gramatical da palavra que foi omitida, duas palavras relacionadas à classe gramatical e uma palavra de classe gramatical diferente da omitida.

São consideradas corretas as palavras que completam a lacuna de forma exatamente igual ao texto original. As respostas em branco são computadas como erro e para cada acerto é atribuído um ponto, de tal forma que a pontuação total na prova pode variar de 0 a 40 pontos. As orientações para o participante estão descritas no instrumento, antecedendo o texto. O tempo de aplicação médio é de aproximadamente 40 minutos.

Procedimento

Após a aprovação do projeto pelo Comitê de Ética em Pesquisa, foi feito o contato com a universidade para a aplicação dos instrumentos. Após a autorização dos professores para a realização da pesquisa em turmas já selecionadas, foram aplicadas as provas em horários pré-estabelecidos.

O instrumento de pesquisa foi aplicado coletivamente em uma única sessão, nas salas de aulas com no máximo 40 estudantes que aceitaram participar da pesquisa. As instruções de preenchimento da prova de compreensão em leitura foram lidas pelo aplicador, que esclareceu as dúvidas que ocorreram antes de sua realização. Foi recomendado que primeiramente o participante realizasse uma leitura silenciosa do texto, e após retornasse ao início do texto e começasse o preenchimento das lacunas.

Resultados e Discussão

Para uma maior confiança dos resultados obtidos por meio desta prova de compreensão em leitura específica dos estudantes de Psicologia julgou-se relevante analisar a qualidade psicométrica dos instrumentos utilizados na pesquisa. Os resultados encontrados na análise dos itens segundo a Teoria Clássica dos Testes (TCT) e apresentados na Tabela 1 indicam as propriedades psicométricas dos itens da prova. Foram analisados os seguintes paramentos pela TCT: média de acertos, índice de facilidade, índice de dificuldade e correlação ponto bisserial.

A média do total de acertos dos participantes que acertaram um determinado item (lacuna) da prova de leitura específica foi superior a todas as outras médias para o item 9, indicando que este item está entre os mais difíceis na prova, uma vez que esses participantes atingiram o melhor desempenho na prova como um todo. Esse mesmo resultado também pode ser verificado pelo índice de facilidade, igual a 0,359, que é um dos menores valores apresentados entre os itens da prova, ressaltando que dos quarenta itens dessa prova, a média de acertos para os participantes que acertaram um determinado item variou de 29,1 a 31,3. Ainda com relação à média de acertos que os participantes tiveram na prova, independente de acertar ou não um determinado item, foi superior a 50% dos 40 itens (M = 28,7; DP = 5,5).

O índice de facilidade indicou que a proporção de participantes que responderam corretamente a cada item variou de 0 (nenhum participante acertou) a 1 (todos os participantes acertam), de forma que, quanto mais o índice apresentado estiver próximo de 1 maior a facilidade dos estudantes para resolver a questão (Cronbach, 1996). Os resultados revelados na Tabela 1 mostram que a prova de leitura específica, quase que em sua maioria, são muito fáceis (itens 2, 5, 6, 10, 13, 16, 17, 18, 21, 24, 26, 27, 28, 31, 32, 36, 38, 39 e 40). No entanto, a prova também inclui itens fáceis (itens 1, 3, 7, 11, 12, 14, 15, 19, 25, 33 e 35) e itens de nível médio (itens 4, 8, 20, 30, 34 e 37). Pode ser observado ainda, que apenas um item foi considerado muito difícil (item 22), e também, apenas três itens foram difíceis (itens 9, 23 e 29). Esses resultados revelam que não houve uma distribuição equilibrada dos itens em relação à sua facilidade.

Assim, quando considerado o índice de facilidade os itens dessa prova de compreensão analisados como difíceis e muito difíceis, referem-se a duas classes gramaticais, a saber, artigo (itens 22 e 29) e substantivo (itens 9 e 23) Deve-se destacar que, os substantivos evidenciados em tal análise são identificados como palavras de conteúdo, que são aquelas características do discurso do texto, sendo portanto, as lacunas mais difíceis de serem completadas. Esses achados foram coerentes com os encontrados por Santos (1991), em que as lacunas mais difíceis de serem preenchidas corretamente foram aquelas relacionadas a adjetivos, advérbios, substantivos e verbos. Resultados semelhantes também foram evidenciados por Santos e cols. (2002), no qual, os substantivos apresentaram uma dificuldade média de acertos na amostra de universitários analisada.

O índice de dificuldade, que corresponde ao índice de facilidade calculado em uma escala delta (?) de média 13 e desvio padrão 4, que varia em uma escala intervalar de 1 a 25, é uma transformação da escala dos escores z da curva normal (? = 13 + 4z). Esta transformação facilita a sua leitura, uma vez que os valores de z variam em uma escala que vai de -3,00, item mais fácil, a +3,00, item mais difícil (Pasquali, 2003).

Assim, os resultados apresentados na Tabela 1 revelam que os níveis de dificuldade da prova variam entre 5,96 a 16,74. Desta forma, não possui itens que são classificados como quase sem dificuldade, com valores entre 1 a 5, porém apresentam itens pouco difíceis, com valores entre 6 e 10, representando 65,0% da prova (26 itens), como os itens 2, 3 e 5, entre outros. Também há itens com dificuldade média, valores entre 11 e 15, correspondendo a 32,5% (13 itens) do total de itens, como o 1, 4, 8 e 9, entre outros. Apenas o item 22 apresentou maior dificuldade, com um índice igual a 16,74. Vale ressaltar ainda, que não houve itens muito difíceis, isto é, com índices de 21 a 25.

No que se refere ao índice de discriminação, apresentados na Tabela 1, a correlação ponto-bisserial mensura o grau com que cada item consegue diferenciar participantes com pontuações altas dos que obtiveram baixas pontuações na prova. Desta forma, itens que são classificados como muito fáceis (aqueles que a maioria dos participantes acerta) ou muito difíceis (a maioria dos participantes erram), apresentam baixo índice de discriminação (Pasquali, 2003).

Os resultados revelaram que 32,5% dos itens possuem índices de discriminação muito bons (itens 5, 12, 13, 14, 15, 18, 24, 28, 32, 33, 35, 37 e 39), cerca de 42,5% da prova apresentou um bom índice (itens 1, 2, 4, 6, 7, 9, 10, 16, 17, 19, 21, 26, 27, 30, 31, 34 e 38), 15% dos itens possuem índices médios (itens 3, 8, 11, 25, 29 e 36) e 10% índices fracos (correlação ponto bisserial menor que 0,20 - itens 20, 22, 23, e 40). Desta forma, 75% dos itens da prova, 30 dos 40 itens, foram capazes de separar os participantes que possuem melhores pontuações daqueles que possuem menores pontos na prova, sendo necessário rever os itens que apresentaram um fraco índice de discriminação. Os itens 22 e 23 apresentaram-se como sendo muito difícil e difícil, respectivamente, e os itens 20 e 40, como de dificuldade mediana e fácil, respectivamente.

Quando considerado os itens em função do índice de discriminação, ressalta-se que aqueles que apresentaram índices fracos são os relativos às seguintes classes gramaticais, artigo (item 22), substantivo (item 23) e verbo (itens 20 e 40). Lembrando que esses itens apresentaram índices de dificuldade média e difícil, o que pode ter contribuído para a redução do índice de discriminação, além das lacunas se referirem a palavras que estão relacionadas a um conteúdo específico, característicos do texto utilizado. Tais resultados, foram evidenciados por Santos e colaboradores (2002), em que, as palavras de conteúdo revelaram índices de discriminação próximo de zero.

A evidência de validade de construto para a prova de leitura específica foi obtida a partir da análise fatorial dos 40 itens que compõem a prova. A medida de adequação da amostra de Kaiser-Meyer-Olkin para a análise fatorial, igual a 0,721, indicou um resultado satisfatório.

O teste de esfericidade de Bartlett que permite avaliar a hipótese de igualdade de variância-covariância no grupo estudado, isto é, que a matriz de correlação é uma matriz identidade, revelou que existe correlação entre as variáveis estudadas (Hair, Anderson, Tatham & Black, 2005; Pestana & Gageiro, 2003). O valor do teste de hipótese para a prova de leitura específica foi igual a X²(780) = 1694,2 com significância de p < 0,001. A partir desses dados realizou-se então, a análise fatorial com informação completa para a prova de compreensão em leitura, com o auxílio do programa TESTFACT.

Com o auxílio do TESTFACT foi possível também verificar a consistência interna da prova. A fidedignidade da prova, verificada por meio da utilização da técnica de Kuder-Richardson, permitiu verificar que os itens apresentam uma boa consistência interna (KR-20 = 0,814).

Para a verificação da unidimensionalidade, ou ainda para que se possa assumir um fator predominante no modelo unidimensional da prova de compreensão em leitura, foi realizada neste estudo, a Análise Fatorial com Informação Completa. Este tipo de análise inclui índices que indicam a contribuição de um fator para a explicação das correlações entre os itens, possibilitando fazer previsões das respostas dos participantes aos itens a partir das curvas dos itens.

Por meio da análise com informação completa pode-se perceber ainda que, diferentes padrões de resposta podem ser esperados quando os itens são completamente independentes, mediando mais de um fator, ou quando medem um único fator. A verificação da adequação de um modelo ser unidimensional ou multidimensional aos padrões de respostas dos participantes é por meio do teste Qui-quadrado (Pasquali, 2003). Na Tabela 2 estão apresentadas às cargas fatoriais dos itens nos três fatores considerados para a análise fatorial dos dados, bem como as comunalidades, que se referem à porcentagem de variância explicada de cada item em relação à prova como um todo.

Foi realizada a rotação PROMAX para os itens da prova, por meio da análise fatorial com informação completa, os resultados evidenciaram que, considerando o modelo unidimensional, 24,80% da variância total pode ser explicada por esse modelo. Incluindo-se um segundo fator, modelo bidimensional, a variância explicada aumenta para 30,94%. Ao se considerar um modelo tridimensional, a variância total explicada aumenta muito pouco (35,85%).

Pode-se observar, na Tabela 2, que sete (17,5%) itens apresentaram carga fatorial menor que 0,30. A análise fatorial com informação completa pelo método de rotação PROMAX indicou que os três fatores considerados na análise (Tabela 2) possuem correlações significantemente diferentes de zero que revelam uma boa associação entre esses fatores (r12 = -0,482; r13 = 0,540; r23 = -0,467). Um outro resultado refere-se à correlação média tetracórica (rtet = 0,225) entre os 776 pares de combinações, dois a dois, dos itens. Lembrando que a correlação tetracórica é utilizada quando duas variáveis contínuas e normalmente distribuídas foram artificialmente reduzidas a duas categorias (dicotomizadas), ou seja, é utilizada para relacionar duas medidas binárias.

Optou-se por realizar uma segunda extração para a verificação da predominância unidimensional da prova, observando-se assim, que a maioria dos itens apresenta cargas fatoriais maiores que 0,30, exceto os itens 8, 11, 20, 22, 23, 25, 29 e 40, em que foi observada uma tendência de escolha da opção errada pelos participantes que obtiveram os escores mais altos no teste. Vale ressaltar que somente desses itens que apresentaram cargas inferiores ao valor crítico, os de número 8, 11, 23 e 25 não apresentaram cargas satisfatórias quando analisados com três fatores, os de número 20, 22, 29 e 40 apresentaram cargas fatoriais elevadas para o terceiro, segundo e primeiro fator, respectivamente. Para essa nova análise, de apenas um fator, a análise indicou uma correlação média tetracórica rtet = 0,2255 entre os 776 pares de combinações.

Assim, para aumentar a consistência interna entre os itens, sugere-se então, que sejam retirados os itens com cargas fatoriais inferiores a 0,30 na prova de leitura específica. Porém, pode-se considerar a prova como predominantemente unidimensional, dado que a cada dimensão pouca variância explicada foi acrescida e a prova possui boa consistência interna.

Considerações Finais

Diversos profissionais de diferentes áreas, como psicólogos e educadores, julgam a leitura como uma atividade fundamental no processo de aprendizagem, além de ser uma das principais fontes de aquisição de novos conhecimentos. Devido a essa importância, deve-se destacar também, a relevância na avaliação das dificuldades relacionadas à leitura, sendo que essas não incluem apenas o ato de ler, mas a capacidade de compreensão, a atitude crítica, a reorganização, a interpretação, além da reflexão das idéias obtidas por meio da leitura (Santos & Di Nucci, 1984).

Ainda, destacando a relevância da avaliação da compreensão das informações que são obtidas por meio da leitura, pesquisas têm revelado cada vez mais, que os universitários ingressam nos mais diversos cursos, com muitas dificuldades em leitura (Centofanti & cols., 1997; Nassri, 2002; Oliveira, 2003; Pellegrini, 1996; Silva & cols., 1997) que precisam ser avaliados e trabalhados na universidade. Para a avaliação do nível de compreensão que os universitários estão apresentando, uma técnica que vem sendo muito utilizada em pesquisas psicológicas ou educacionais é a técnica de cloze.

Considerando a importância da avaliação da compreensão das informações de diversas áreas de conhecimento, lidas pelos universitários, com o propósito de auxiliar os estudantes para a superação das dificuldades em atividades de ensino-aprendizagem nas diferentes disciplinas, nesta pesquisa com atenção especial à disciplina de Estatística, este estudo se propôs verificar evidência de validade de construto para uma prova de compreensão em leitura de um texto com informações estatísticas em estudantes de Psicologia.

Considerando ainda que, muitas das informações contidas nos manuais de testes psicológicos são derivadas de conceitos estatísticos, o estudante de Psicologia deve apresentar domínio de alguns conceitos de estatística para que os resultados de pesquisa apresentados nos manuais tenham significado, facilitando assim, a análise e interpretação do conteúdo lido. Além desse fato, os instrumentos que são utilizados na prática devem apresentar certas qualidades psicométricas, que garantam a utilização de dados confiáveis, como validação e normatização. Tais características dos testes envolvem conceitos estatísticos, evidenciando ainda mais, a necessidade da compreensão de textos que engloba tal conteúdo específico.

Assim sendo, a partir da análise fatorial com informação completa realizada nos dados obtidos pela amostra avaliada, os achados revelaram que houve uma predominância unidimensional para os itens da prova de leitura específica, explicando 24,8% da variância entre os itens. Os dados referem-se a uma evidência de validade para a prova, uma vez que, esta foi predominantemente unidimensional, avaliando desta forma a compreensão das informações de um texto que possui dados específicos. Também, obteve-se o coeficiente de fidedignidade avaliado pelo coeficiente de Kuder-Richardson, igual a 0,813, que indicou uma boa precisão da prova. Fornecendo assim, algumas qualidades psicométricas à prova de compreensão, de forma que, os resultados obtidos a partir deste instrumento demonstram-se confiáveis.

Ainda, no que diz respeito aos dados obtidos pelo estudo, convém destacar que a amostra avaliada não é representativa, de modo que os seus resultados não podem ser generalizáveis. Assim, sugere-se que novos estudos sejam realizados com amostras maiores, com estudantes de diversas regiões, incluindo universidades públicas.

Finalizando, este trabalho se propôs fornecer subsídios para uma complementação nos estudos dessa área, inteirando assim, análises sobre provas que avaliem conceitos específicos que fazem parte da leitura científica dos universitários para a aquisição do conhecimento. Embora, tenha-se optado por analisar a qualidade de uma prova específica com uma amostra limitada de estudantes de Psicologia, outros estudos podem ser realizados para verificar se existiriam diferenças nos parâmetros ajustados, quando se considera uma amostra maior de diferentes localidades, incluindo universidades públicas. Além disso, sugere-se que outros estudos sejam realizados com este ou outro texto que contenham informações estatísticas visando uma prova com qualidade psicométrica que garanta inferências confiáveis sobre a compreensão em leitura de textos com conteúdos específicos de estatística, presentes no dia a dia do estudante de Psicologia.

Recebido em: 02/09/2008

Revisado em: 10/12/2008

Aprovado em: 17/12/2008

Sobre as autoras:

Nota das autoras

Essa pesquisa é parte da Dissertação de mestrado da primeira autora sob a orientação da segunda autora, defendida em 2008. Contou com o apoio financeiro da CAPES.

• Abraham, R. G., & Chapelle, C. A. (1992). The meaning of cloze test scores: an item difficulty perpective. The Modern Language Journal, 76(4), 468-479.
• Adanéz, G. A. (1999). Procedimientos de construcción y análisis de tests psicométricos. Em S. M. Wechsler & R. S. L. Guzzo (Orgs.), Avaliação Psicológica: Perspectiva Internacional (pp. 57-100). São Paulo: Casa do Psicólogo.
• Alliende, F., & Condemarín, M. (2005). A leitura: teoria, avaliação e desenvolvimento (8ª ed.). Porto Alegre: Artmed.
• Almeida, L. S., Prieto, G., Muñiz, J., & Bartram, D. (1998). O uso dos testes em Portugal, Espanha e países Ibero-Americanos. Psychological, 20, 27-40.
• Anastasi, A., & Urbina, S. (2000). Testagem psicológica (7ª ed.). Porto Alegre: Artmed.
• Braibant, J. M. (1997). A decodificação e a compreensão: Dois componentes essenciais da leitura no 2° ano primário. Em J. Grégoire & B. Piérart (Orgs.), Avaliação dos problemas de leitura: Os novos modelos teóricos e suas implicações diagnósticas (pp. 166-187). Porto Alegre: Artes Médicas.
• Castro, C. A. S., Fukuda, M., & Gritti, N. H. S. (1997). Compreensão em leitura entre universitários de curso de letras. Em G. P. Witter (Org.), Psicologia: leitura e universidade (pp. 111-122). Campinas: Alínea.
• Centofanti, E. M., Ferreira, S. M., & Tedesco, T. D. (1997). Compreensão em leitura por universitários de psicologia. Em G. P. Witter (Org.), Psicologia: leitura e universidade (pp. 33-60). Campinas: Alínea.
• Conselho Federal de Psicologia - CFP (2001). Resolução 25/01 Disponível: www.pol.org.br.
• Costa, P. S. (2006). O Teste Cloze na Avaliação de Aprendizagem: O Caso dos Alunos do Curso de Ciências Contábeis da Universidade Federal do Rio Grande do Norte. Em 7º Congresso USP de Controladoria e Contabilidade, São Paulo. Anais do Congresso. [On-line]. Disponível: http://www.congressoeac.locaweb.com.br/artigos62006/573.pdf. Recuperado: 25 ago 2007.
• Cronbach, J. L. (1996). Fundamentos da testagem psicológica Porto Alegre: Artmed.
• Hair, J. J. F., Anderson, R. E., Tatham, R. L., & Black, W. C. (2005). Análise Multivariada de dados (5ª ed.). Porto Alegre: Bookman.
• Joly, M. C. R. A. (2001). Leitura no contexto educacional: avaliando estratégias para aquisição de habilidades criativas. Em F. F. Sisto, E. T. B. Sbasdelini & R. Primi (Orgs.), Contextos e questões da avaliação psicológica (pp. 99-116). São Paulo: Casa do Psicólogo.
• Joly, M. C. R. A. (2006). Cloze Oriented System (COS) in an electronic comprehension program and reading attitude in Brazil. Em A. Mendéz-Villas, B. G. Pereira, J. M. González & J. A. M. González (Eds.), Current Developments in Technology-Assisted Education (pp. 1669-1674). Badajoz: INDUGRAFIC.
• Joly, M. C. R. A., & Paula, L. M. (2005). Avaliação do uso de estratégias de aprendizagem e a compreensão em leitura de universitários. Em M. C. R. Joly, A. A. A. Santos & F. F. Sisto (Orgs.), Questões do cotidiano universitário (pp. 33-57). São Paulo: Casa do Psicólogo.
• Kletzien, S. B. (1991). Strategy use by good and poor comprehenders reading expository text of differing levels. Reading research quarterly: International Reading Association, XXVI(1), 67-86.
• Martins, G. A., & Andrade, J. X. (2004). Compreensibilidade de livros-texto de contabilidade: um estudo empírico com a utilização da técnica cloze. Em 4º Congresso USP de Controladoria e Contabilidade, São Paulo. Anais do Congresso (CD_ROM), 2004, v. 1, pp. 1-20.
• Martins, M. C., Capovilla, F., Gombert, J. E., Oliveira, J. B. A., Morais, J. C. J., Adams, M. J., & Beard R. (2003). Alfabetização do Brasil: Políticas e Práticas Brasília: Ministério da Educação. Comissão de educação e cultura. Relatório de Pesquisa. (pp. 50-53).
• Nascimento, E. (2004). Escala de Inteligência Wechsler para Adultos - III: Adaptação e Padronização de uma amostra Brasileira (1ª ed.). São Paulo: Casa do Psicólogo. Original: Wechsler, D. (1997).
• Nassri, R. C. B. M. (2002). Compreensão em leitura de universitários de Direito e Medicina. Em G. P. Witter (Org.), Psicologia: tópicos gerais (pp. 180-191). Campinas: Alínea.
• Noronha, A. P. P. (2002). Os problemas mais graves e mais freqüentes no uso dos testes psicológicos. Psicologia: Reflexão e Crítica, 1(15), 135-142.
• Noronha, A. P. P., Primi, R., & Alchieri, J. C. (2005). Instrumentos de avaliação mais conhecidos/utilizados por psicólogos e estudantes de psicologia. Psicologia Reflexão e Critica, 18(3), 390-401.
• Oliveira, K. L. (2003). Compreensão de leitura, desempenho acadêmico e avaliação de aprendizagem em universitários Dissertação de Mestrado, Universidade São Francisco, Itatiba.
• Oliveira, K. L., Santos, A. A. A., & Primi, R. (2003). Estudo das relações entre compreensão em leitura e desempenho acadêmico na universidade. Interação em Psicologia, 7(1), 19-25.
• Ottati, F., Noronha, A. P. P., & Salviati, M. (2003). Testes psicológicos: qualidade de instrumentos de interesse profissional. Interação em Psicologia, 7(1), 65-71.
• Pasquali, L. (2003). Psicometria: teoria dos testes na psicologia e na educação Petrópolis: Vozes.
• Pellegrini, M. C. K. (1996). Avaliação dos níveis de compreensão e atitudes frete à leitura em universitários Dissertação de Mestrado, Universidade São Francisco, Itatiba.
• Pestana, M. H., & Gageiro, J. G. (2003). Análise de dados para ciências sociais: a complementaridade do SPSS (3ª ed.). Lisboa: Silabo.
• Primi, R. (2003). Inteligência: Avanços nos Modelos Teóricos e nos Instrumentos de Medida. Avaliação Psicológica, 2(1), 67-77.
• Santos, A. A. A. (1991). Desempenho em leitura: um estudo diagnóstico da compreensão e hábitos de leitura entre universitários. Estudos de Psicologia, 8(1), 6-19.
• Santos, A. A. A., & Di Nucci, S. H. P. (1984). A Utilização de Questões de Estudo Cloze como Técnicas de Desenvolvimento da Compreensão em Leitura com Estudantes Universitários. Psico-USF, 2(5), 11-30.
• Santos, A. A. A., Primi, R., Taxa, F. O. S., & Vendramini, C. M. M. (2002). O Teste de Cloze na avaliação da compreensão em leitura. Psicologia: Reflexão e Crítica, 15(3), 549-560.
• Santos, A. A. A., Vendramini, C. M. M., Suehiro, A. C. B., & Santos, L. A. D. (2006). Leitura compreensiva e utilização de estratégias de aprendizagem em alunos de Psicologia. Estudos de Psicologia, 23(1), 83-91.
• Silva, E. M. T. (1998). Compreensão de leitura em estudantes de direito Dissertação de Mestrado, Instituto de Psicologia, Pontifícia Universidade Católica de Campinas, Campinas.
• Silva, E. M. T. S., Malozze, G. L. M., & Leme, M. L. C. S. (1997). Compreensão de leitura entre universitário do primeiro e quinto ano de Direito. Em G. P. Witter (Org.), Psicologia: leitura e universidade (pp. 101-110). Campinas: Alínea.
• Silva, M. J. M., & Santos, A. A. A. (2004). A avaliação da compreensão em leitura e o rendimento acadêmico de universitários. Psicologia em estudo, 9(3), 459-467.
• Taylor, W. I. (1953). Cloze procedure: a new tool for measuring readability. Journalism Quarterly, 30, 415-433.
• Vicentelli, H. (1999). Problemética de la lectura en estudiantes universitarios. Psicologia Escolar e Educacional, 3(3), 195-202.
• Witter, G. P. (1990). Pesquisa documental, pesquisa bibliográfica e busca de informação. Estudos de Psicologia, 7(1), 5-30.
• Witter, G. P. (1997). Leitura e Universidade. Em G. P. Witter (Org.), Psicologia: leitura e universidade (pp. 09-18). Campinas: Alínea.
• Witter, G. P. (1999). Metaciência e leitura. Em G. P. Witter (Org.), Leitura: textos e pesquisas (pp. 13-22). Campinas: Alínea.

Datas de Publicação

• Publicação nesta coleção
  03 Mar 2009
• Data do Fascículo
  Dez 2008

Histórico

• Aceito
  17 Dez 2008
• Recebido
  02 Set 2008
• Revisado
  10 Dez 2008