Escalas de avaliação da leitura e da escrita: evidências preliminares de confiabilidade

Resumos

BACKGROUND: reliability of Reading and Writing Assessment Instruments. AIM: to investigate the reliability of two scales created to evaluate both reading and writing of children with ages between 8:0 and 11:11 years. METHOD: two scales were created: a reading scale, composed of 12 testing items organized into four competency fields (letter knowledge and phonographemic relation, decoding of isolated items, reading fluency, reading comprehension), and a writing scale, with five items organized into three fields (letter writing and graphophonemic relation, codification of isolated items, writing construction). One hundred students (64 girls) from Public Schools, with ages raging between 8:0 and 11:11 years, were selected. Twenty students (12 girls) participated in the applicability study, resulting in the study version of the Scales. These scales were later applied to the remaining 80 students (52 girls). The obtained responses were assessed and computed for score assignment: item scores, competence field score (CFS) and raw scale score (RSS). Data were submitted to statistical analysis: the Cronbach's alpha coefficient was calculated and correlations between items (Pearson's correlation coefficient) were verified. A significance level of 0.05 was used. RESULTS: a = 0.866 and a = 0.461 were obtained for the Reading and Writing Scales, respectively. Correlations between the items were observed, ranging from weak to strong, and confirmed the alpha values. CONCLUSION: the Reading Scale was proven reliable, achieving acceptable levels for diagnostic instruments; the Writing Scale did not present an acceptable reliability level to measure the performance of the tested children.

Reading; Handwriting; Assessment; Speech; Language and Hearing Sciences

ARTIGOS ORIGINAIS DE PESQUISA

Escalas de avaliação da leitura e da escrita: evidências preliminares de confiabilidade^*

Adriana de Souza Batista KidaI, ^**; Brasília Maria Chiari^II; Clara Regina Brandão de Ávila^III

^IFonoaudióloga. Doutoranda em Distúrbios da Comunicação Humana pela Universidade Federal de São Paulo (Unifesp). Pesquisadora Associada do Núcleo de Ensino, Assistência e Pesquisa em Escrita e Leitura (Neapel) do Departanmento de Fonoaudiologia da Unifesp

^IIFonoaudióloga. Livre-Docente pela Unifesp. Professora Titular da Disciplina dos Distúrbios da Comunicação Humana da Unifesp

^IIIFonoaudióloga. Doutora em Distúrbios da Comunicação Humana pela Unifesp. Professora Associada do Departamento de Fonoaudiologia da Unifesp

RESUMO

TEMA: confiabilidade de Instrumentos de avaliação da leitura e escrita. Objetivo: investigar a confiabilidade de duas escalas elaboradas para a avaliação da leitura e escrita de crianças de 08 a 11:11 anos.

MÉTODO: foram elaboradas duas escalas: de leitura, composta por doze itens de testes organizados em quatro campos de competências (conhecimento de letras e relação fono-grafêmica, decodificação de itens isolados, fluência de leitura de textos, compreensão de leitura), e de escrita com cinco itens organizados em três campos (escrita de letras e relação grafo-fonêmica, codificação de itens isolados, construção escrita). Selecionaram-se 100 escolares (64 meninas) de rede pública com idade de 8 a 11:11 anos. Vinte (12 meninas) participaram do estudo de aplicabilidade, que resultou na versão de estudo das escalas, posteriormente aplicadas aos demais 80 escolares (52 meninas). As respostas obtidas foram analisadas e computadas para atribuição dos escores de itens, escores por campo de competência (ECC) e do escore bruto da escala (EBE). Os dados foram analisados estatisticamente, obtidos o coeficiente alpha de Cronbach e, complementarmente, as correlações entre os itens (coeficiente de correlação de Pearson). Adotou-se nível de significância de 0,05.

RESULTADOS: Obtiveram-se α = 0,866 e α = 0,461 para as escalas de leitura e escrita, respectivamente. Correlações entre os itens foram observadas, variando de fracas a fortes e corroboraram os valores de alpha.

CONCLUSÃO: a escala de leitura mostrou-se confiável, atingindo níveis admissíveis para instrumentos diagnósticos, enquanto que a escala de escrita não apresentou nível de confiabilidade admissível para mensurar o desempenho das crianças da amostra.

Palavras-Chave: Leitura; Escrita; Avaliação; Fonoaudiologia.

Introdução

A identificação clínica dos Transtornos de Leitura e de Escrita, como a de qualquer outro distúrbio, necessita de instrumentos válidos, fidedignos, padronizados e normatizados, capazes de apoiar o diagnóstico, a definição de condutas e a organização de programas de intervenção¹. Protocolos que não atendam a essas especificações podem comprometer a confiança nas evidências clínicas necessárias ao diagnóstico². Dentre testes nacionais disponíveis^3-8; alguns avaliam desde aspectos de processamentos subjacentes até competências leitoras e de escrita. Entretanto, não apresentam normas de referência, e não possibilitam a comparação dos desempenhos avaliados. Outros se restringem a avaliar, especificamente, as capacidades de reconhecimento e decodificação na leitura e de codificação na escrita de itens isolados sob ditado, sem, contudo, apresentarem normas de referência e dados de confiabilidade. Há ainda testes com normas de referência que, entretanto, não apresentam dados de confiabilidade.

Esta pesquisa teve como objetivo investigar a confiabilidade de duas escalas elaboradas para avaliarem a leitura e a escrita de crianças de 8 a 11:11anos, assumindo como hipótese que ambas as escalas apresentariam características de mensuração de instrumentos diagnósticos. Para mostrar a importância do estudo das propriedades de mensuração do material proposto para testes diagnósticos, serão apresentadas as escalas e, sobretudo, o método adotado para a elaboração e pesquisa de confiabilidade desses instrumentos.

Método

Pesquisa aprovada pelo CEP Universidade Federal de São Paulo (UNIFESP) (número 11.111/05) realizada em seis etapas, segundo normas para construção de testes de avaliação cognitiva¹: elaboração das escalas; seleção da amostra; estudo prévio de aplicabilidade; aplicação das escalas e coleta das respostas; atribuição dos escores; estudo da consistência interna.

A elaboração das escalas de leitura (EL) e de escrita (EE) ateve-se às normas quando considerou: os objetivos definidos, o levantamento bibliográfico de métodos de avaliação, a definição do formato do teste, a seleção de materiais de avaliação, estímulos de teste e procedimentos de análise.

A priori, definiu-se que as escalas avaliariam o desempenho de escolares de 8 a 11:11 anos, quanto às competências envolvidas no aprendizado e capacidades da leitura e da escrita. A seguir, levantaram-se indicadores de desempenho em leitura^2,9-11 e escrita^12-15 apropriados às faixas etárias definidas, e testes e métodos de avaliação da leitura^4,16-20 e da escrita^3-4,16,21-23. A partir das competências a serem investigadas, delimitaram-se campos de competências: de conhecimento de letras e da relação grafo-fonêmica; de decodificação de itens isolados; de fluência da leitura de texto e de compreensão leitora da EL; e de conhecimento da relação fono-grafêmica; de codificação e de construção da escrita, da EE.

Definiram-se itens de teste para cada escala e selecionaram-se: o material lingüístico, os procedimentos de avaliação (incluindo instruções de aplicação) e critérios de análise do desempenho para cada item.

Na versão piloto, a EL continha doze itens de teste e a EE, cinco (Quadro 1).

Participaram 100 escolares (64 meninas) entre 8 e 11:11anos de idade, de segundo ao sexto ano do ensino fundamental de escolas da rede pública, selecionados dentre 132 indicados pelos professores por apresentarem bom desempenho acadêmico. Seguiram-se os critérios inclusivos: ausência de queixas ou indicadores de déficits auditivos e/ou visuais, de distúrbios neurológicos, comportamentais ou cognitivos; queixas de dificuldades ou transtornos do aprendizado ou do aproveitamento escolar; ausência de retenção no histórico escolar; assinatura do Termo de Consentimento Livre e Esclarecido; aprovação em triagem fonoaudiológica^6,24-25: provas de emissão e recepção oral e escrita. Foram subagrupados segundo faixas etárias: 8 a 8:11anos; 9 a 9:11anos; 10 a 10:11anos; 11 a 11:11anos. Cinco de cada faixa, selecionados ao acaso, integraram a amostra do estudo prévio de aplicabilidade¹ que avaliou a primeira versão das Escalas e indicou a necessidade de modificações. Aplicaram-se as escalas nos 20 escolares para observação: do tempo de aplicação das escalas; da efetividade de compreensão das instruções pelos estudantes; do grau de dificuldade dos estímulos de teste propostos por faixa etária, e da funcionalidade das folhas de registro de desempenho (FRD). Dois itens de teste da EE e da FRD de ambas as escalas foram modificados.

Obtida a versão final, avaliou-se, individualmente, cada um dos 80 participantes, em duas sessões (35 minutos cada), nas escolas, em salas com níveis de ruído que não interferiram na compreensão das instruções.

Adotou-se um sistema de escores que uniformizou a análise dos desempenhos e possibilitou o estudo de confiabilidade: o escore por itens, o escore por campo de competência (ECC) e o escore bruto por escala (EBE).

Os escores por itens variaram de 2 a 0 e representaram, respectivamente, do melhor ao pior desempenho. Os desempenhos, quantificados segundo os critérios de análise (Quadro 1) foram tabulados por criança e tratados estatisticamente. Estabeleceram-se medidas de tendência central, adotando-se a mediana e terceiro quartil como parâmetros. Definiram-se critérios de atribuição dos escores por itens para cada faixa etária. A mediana representou o escore 2, valores compreendidos entre a mediana e terceiro quartil o escore 1, e valores inferiores ao terceiro quartil o escore zero. Os ECC (soma dos escores por itens) informaram sobre o desempenho em cada Campo de Competência e permitiram analisar se os itens de cada campo examinaram uma mesma competência. Os EBE (soma dos ECC), informaram sobre o desempenho total nas Escalas. Permitiram verificar se todos os itens selecionados relacionaram-se ao constructo da leitura ou da escrita.

O estudo da consistência interna das escalas atendeu ao objetivo de analisar a confiabilidade^1;26: diferentes itens de teste deveriam medir uma mesma variável^2,26. Optou-se por analisar a consistência interna inter itens^26,28. Reavaliaram-se as respostas de cada participante, as quais, receberam um escore (escore por item). Os demais escores (ECC e EBE) também foram computados por participante para análise.

Resultados

Utilizou-se o Statistical Analysis System em sua versão 13.0. Aplicaram-se as Análises do Coeficiente alpha de Cronbach (α), utilizado para analisar a consistência interna, por meio do estudo do grau de covariância dos itens entre si. Verificou-se a congruência de cada item de uma escala com os demais itens que a compuseram e o efeito de cada item sobre o instrumento, por meio do estudo complementar da confiabilidade após a supressão de itens de teste. Valores de α inferiores a 0,6 indicaram grau de covariância em níveis inadmissíveis; valores entre 0,6 e 0,7 indicaram covariância fraca; entre 0,7 a 0,8 covariância aceitável; entre 0,8 e 0,9 grau de covariância bom e acima de 0,9 indicaram covariância muito boa.

O nível de significância adotado para este estudo foi de 0,05.

A consistência interna da EL e de seus campos de competências (Tabela 1) mostrou bom grau de covariância para os campos de decodificação de itens isolados, de fluência de leitura de texto e para o total da Escala. O campo de compreensão da leitura mostrou grau de covariância muito baixo.

A supressão de itens revelou que os valores de α mantiveram boa covariância para decodificação de itens isolados (supressão do item 3: α = 0,848; item 4: α = 0,855; item 5: α = 0,870; item 6: α = 0,896), fluência de leitura de texto (supressão do item 7: α = 0,855; item 8: α = 0,812; item 9: α = 0,893; item 10: α = 0,848) e para o total da EL (supressão do item 2: α = 0,887; item 3: α = 0,843; item 4: α = 0,840; item 5: α = 0,846; item 6: α = 0,848; item 7: α = 0,842; item 8: α = 0,835; item 9: α = 0,853; item 10: α = 0,838; item 11: α = 0,882; item 12: α = 0,871). Em razão dos campos de conhecimento de letras e da compreensão da leitura constituírem-se de dois itens, suas consistências internas mediante a supressão de itens não pôde ser analisada.

A consistência interna da EE e de seus campos de competências (Tabela 2) mostrou níveis de covariância muito baixos. A consistência interna do campo de construção da escrita não foi analisada por este se constituir de um único item de teste.

A exclusão dos itens 1 e 2, aumentou a covariância para esta escala, que, contudo, não elevou o coeficiente da EE a níveis aceitáveis, mantendo variância muito fraca (α = 0,506).

Discussão

A reconhecida importância dos testes e procedimentos de avaliação na prática clínica indica que testes de avaliação cognitiva devem apresentar características que demonstrem suas propriedades de mensuração: validade e confiabilidade. Devem proporcionar informações precisas e estáveis sobre desempenhos em determinada habilidade; sensibilidade e especificidade, na identificação apropriada de sujeitos saudáveis e de portadores de alterações; e parâmetros normativos, essenciais ao diagnóstico^1-2,26-27.

Buscando atender essas determinações, a elaboração das Escalas de Leitura e de Escrita seguiu as normas de construção de testes¹. O estudo da confiabilidade evidenciou que as diferentes tarefas selecionadas nem sempre examinaram um mesmo conteúdo ou processamento pretendido, indicando que nova seleção de procedimentos de avaliação deve ser realizada, o que proverá maior segurança na coleta e análise de evidências que deem suporte a raciocínios científico e clínico².

O estudo da consistência interna inter itens, adotada como forma de avaliação das escalas, foi realizado para responder se os itens selecionados estavam relacionados a um mesmo constructo teórico, compreendido ora como leitura ora como escrita, representados pelos ebe de cada escala ou ainda como cada um dos campos de competências, representados pelos ECC. A presença de valores admissíveis de covariância, superiores a 0,7²⁸; era desejada para atestar a confiabilidade dos instrumentos quanto a propriedades de mensuração do desempenho, por faixa etária.

A seleção de escolares da rede pública de mesma região da cidade de São Paulo visou a um mesmo perfil sócio-cultural, e a indicação dos melhores escolares buscou minimizar a influência de possíveis efeitos de alterações de linguagem e aprendizagem sobre a avaliação das capacidades de mensuração dos instrumentos.

A adequação da EL para fins diagnósticos foi atestada, pela consistência interna da escala e dos campos de decodificação de itens isolados e fluência da leitura de texto. Os itens selecionados mediram o mesmo constructo demonstrando sua confiabilidade^26,28-29. O campo de conhecimento de letras, que não teve seu α calculado, apresentou um efeito teto que impossibilitou a análise da consistência interna.

O campo de compreensão da leitura foi o único a não atingir níveis de confiabilidade diagnóstica. Contudo, a exclusão dos itens 11 e 12 não alterou a consistência da EL, sugerindo que ambos contribuam para a avaliação da capacidade leitora. A utilização de diferentes procedimentos de avaliação pode requerer diferentes competências e habilidades para responder ao teste²⁶; interferindo nos valores de consistência interna. Assim, os baixos valores de α para o Campo de Compreensão podem ter sido determinados pela variabilidade das demandas impostas pelos procedimentos de avaliação²: de reconto do texto lido e de resposta a questões de múltipla escolha.

A consistência interna da EE revelou inadequação do instrumento para fins diagnósticos²⁹ ou de rastreamento²⁶. Assim, a concepção teórica que norteou a construção da EE não foi apropriadamente representada pelos itens selecionados para compor este instrumento. Dois fatores podem ter interferido: a heterogeneidade de procedimentos de avaliação dos itens de teste e a ausência de dados de validade atestando a confiabilidade dos itens selecionados, a partir da literatura, para avaliar um determinado constructo.

A presente pesquisa demonstrou a importância do estudo e adoção dos parâmetros de confiabilidade na construção de instrumentos de avaliação clínica. Os dados indicaram, como continuidade, que a EL deve ser submetida a estudos complementares sobre sua propriedade discriminativa, sensibilidade e especificidade, que atestem sua acurácia para uso clínico. Posteriormente, deve-se proceder ao estudo da normatização, que fornecerá parâmetros de desempenho de crianças típicas segundo a escolaridade e idade, critérios diagnósticos estabelecidos pelo DSM IV³⁰. Já a EE deve ter seus itens revistos e sua confiabilidade reestudada. Somente estes estudos atestarão ao clínico a qualidade dos instrumentos na obtenção de dados confiáveis para o diagnóstico e planejamento terapêutico em leitura e escrita.

Conclusão

O estudo da confiabilidade das Escalas de Leitura e de Escrita indicou a possibilidade de utilização da EL para avaliar e diagnosticar as competências relacionadas ao conhecimento de letras e relação fono-grafêmica, a decodificação e a compreensão leitora. Já a EE mostrou-se inapropriada para mensuração do desempenho de escolares para o conhecimento da relação fono-grafêmica, a codificação e a construção da escrita, necessitando de revisões substanciais e reavaliação de suas propriedades de mensuração.

Recebido em 01.12.2009.

Revisado em 06.10.2010.

Aceito para Publicação em 30.11.2010.

Conflito de Interesse: não

Artigo Submetido a Avaliação por Pares

• 1. American Psychology Association (APA). Standards for educational and psychological testing. New York: American Educational Research Association, 1999.
• 2. Leslie L, Caldwell JA. Formal and Informal measures of reading comprehension. In: Israel SE, Duffy GG, editores. Handbook of research on reading comprehension. New York: Routledge; 2009. p.403-427.
• 3. Braz HA, Pelliciotti THF. Exame de linguagem Tipiti. São Paulo: MNJ LTDA; 1988.
• 4. Stein LM. Teste de Desempenho Escolar: Manual de aplicação e interpretação. São Paulo: Editora Casa do Psicólogo, 1994.
• 5. Capovilla FC, Capovilla AGS. Problemas de leitura e escrita: como identificar, prevenir e remediar numa abordagem fônica. Ed. Memnon, São Paulo: 2000.
• 6. Scliar-Cabral L. Guia prático de alfabetização, baseado em princípios alfabéticos do português do Brasil. São Paulo: Ed. Contexto, 2003.
• 7. Saraiva RA, Moojen SMP e Murarki R. Avaliação da compreensão leitora de textos expositivos. São Paulo: Casa do Psicólogo, 2006.
• 8. Capellini SA, Cunha VLO. Provas de habilidades metalingüísticas e de leitura. São Paulo: Revinter, 2009.
• 9. Seymour PHK. Individual cognitive analysis of competent and impaired reading. Br J Psychol. 1987:78:483-506.
• 10. Jenkins J, Fuchs L, Fuchs D, Hosp M. Oral reading competence: a theoretical, empirical and historical analysis. Sci Stud Read. 2001:5(3):239-56.
• 11. Geva E, Zadeh ZY. Reading efficiency in native English-speaking and English-as-a-second-language children: the role of oral proficiency and underlying cognitive-linguistic processes. Sci Stud Read. 2006:10(1):31-57.
• 12. Bishop DVM, Clarkson B. Written language as a window into residual language deficits: a study of children with persistent and residual speech and language impairments. J.cortex. 2003:39:215-37.
• 13. Puranik CS, Lombardino LJ, Altmann LJ. Writing through retellings: an exploratory study of language-impaired and dyslexic populations. Read Writ. 2007:20: 251-72.
• 14. Puranik CS, Lombardino LJ, Altmann LJP. Assessing the microstructure of written language using a retelling paradigm. Am J Speech Lang Pathol. 2008:17:107-20.
• 15. Caravolas M, Hulme C, Snowling MJ. The foundations of spelling ability: evidence from a 3-year longitudinal study. Journal of Memory and Language. 2001:45:751-74.
• 16. Ramos CS. Avaliação da leitura em escolares com indicação de dificuldades de leitura e escrita [tese]. São Paulo(SP): Universidade Federal de São Paulo; 2005.
• 17. Cuetos FV. Psicologia de la lectura: diagnostico y tratamiento. Madrid: Ed. Escuela Espanola; 1990.
• 18. Goikoetxea E. Reading errors in first and second-grade readers of a shallow ortography: evidence from Spanish. British Journal of Educational Psychology. 2006:76:333-50.
• 19. Trabasso T, van der Broek P. Causal thinking and the representation of narrative events. Journal of memory and language. 1985:24:617-30.
• 20. Carvalho CAF, Ávila CRB, Chiari BM. Níveis de compreensão de leitura em escolares. Pró-Fono R Atual Cient. 2009 jul-set;21(3):207-12.
• 21. Bereiter C, Burtis PJ, Scardamalia M. Cognitive Operations in constructing main points in written composition. Journal of memory and language. 1988(27): 261-78.
• 22. Ministério da Educação (Brasil). Secretaria de Educação Fundamental. Parâmetros curriculares nacionais: língua portuguesa. Brasília: Secretaria de Educação Fundamental; 1997.
• 23. Gelderen AV, Oostdam R. Effects of fluency training on the application of linguistic operations in writing. Educational Studies in Language and Literature. 2005:5: 215-40.
• 24. Sanchez Miguel E. Compreensão e Redação de Textos: dificuldades e ajudas. Porto Alegre: Ed. Artmed, 2002.
• 25. Paolucci JF, Avila CRB. Competência ortográfica e metafonológica: influências e correlações na leitura e escrita de escolares da 4a série. Rev Soc Bras Fonoaudiol. 2009;14 (1):48-55.
• 26. Domino G, Domino ML. Psychological Testing. New York: Cambridge University Press; 2006.
• 27. Goulart BNG, Chiari BM. Testes de rastreamento x testes de diagnóstico: atualidades no contexto da atuação fonoaudiológica. Pró-Fono R Atual. 2007;19(2):223-32.
• 28. Messick S. Validity of psychological assessment. American Psychologist. 1995;50:741-49.
• 29. Dahlstrom WG. Tests. Small samples, large consequences. American Psychologist. 1993;48:393-9.
• 30. American Psychology Association (APA). Diagnostic and Statistical Manual of Mental Disorders - 4th. Washington: American Psychology Association; 1994.

*

Trabalho Realizado na Unifesp sendo parte da Tese de Doutorado apresentada ao Departamento de Fonoaudiologia da Unifesp - Escola Paulista de Medicina, para Obtenção do Título de Doutor em Ciências, com Fomento da Agência Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES).

Datas de Publicação

• Publicação nesta coleção
  14 Jan 2011
• Data do Fascículo
  Dez 2010

Histórico

• Aceito
  30 Nov 2010
• Revisado
  06 Dez 2010
• Recebido
  01 Dez 2009