Open-access Pontos de corte, sensibilidade e especificidade para rastreamento da fluência leitora em crianças

RESUMO

Objetivo  estabelecer pontos de corte para valores de velocidade e acurácia de leitura, a fim de obter valores mínimos para compreensão de textos, e permitir classificar alunos de 2º a 5º ano do Ensino Fundamental, de acordo com bom ou pobre desempenho em leitura.

Método  foram analisados ​​147 protocolos de avaliação de leitura oral e compreensão textual de escolares de 3º a 5º ano com e sem dificuldades de leitura. A taxa de leitura oral de texto e os valores de acurácia foram analisados. Curvas ROC foram construídas e a sensibilidade e a especificidade, calculadas para cada parâmetro de fluência de leitura por ano escolar.

Resultados  A sensibilidade e a especificidade para medidas de taxa e acurácia na leitura de texto foram calculadas para o 3º, 4º e 5º anos. A taxa e a precisão sob a curva ROC não diferiram estatisticamente. Os valores do 2º ano foram estimados matematicamente.

Conclusão  Foram identificados os valores de corte esperados para escolares do 2º ao 5º ano, com recomendações de utilização da taxa de leitura de texto oral para procedimentos de rastreamento da compreensão leitora.

Descritores:  Leitura; Rastreamento; Estatística; Sensibilidade e Especificidade; Ensino Fundamental

ABSTRACT

Purpose  to establish cut-off point for reading speed and accuracy, to obtain minimum values for comprehending texts, and allow classifying students from 2nd to 5th grade of elementary school according to good or poor reading performance.

Methods  147 assessment protocols for oral reading and text comprehension of students from 3rd to 5th grade of Elementary School with and without reading difficulties were analyzed. The oral text reading rate and accuracy values were analyzed. ROC curves were constructed, and sensitivity and specificity calculated for each reading fluency parameter, and each school grade.

Results  Sensitivity and specificity for measures of rate and accuracy in text reading were calculated for the 3rd, 4th, and 5th grades. Rate and precision under the ROC curve did not differ statistically. The values for the 2nd grade were mathematically estimated.

Conclusion  The cutoff values expected for students from 2nd to 3rd grade were identified, with recommendations for using the oral text reading rate for reading comprehension screening procedures

Keywords:  Reading; Statistics; Screening; Sensitivity and Specificity; Primary Education

INTRODUÇÃO

Durante o aprendizado da leitura, as condições de decodificação modificam-se constantemente, até que o leitor demonstre ao ler, a mesma velocidade e entonação que imprime em sua produção de fala durante o discurso oral espontâneo, mostrando, assim, que alcançou o reconhecimento automático das palavras escritas(1,2), um dos componentes da fluência de leitura envolvidos na compreensão do texto lido(3). Indubitavelmente, características da compreensão linguística auditiva e de alguns de seus componentes como o vocabulário, o conhecimento de mundo, a capacidade de elaborar inferências e a de monitorar o próprio entendimento, podem predizer dificuldades de compreensão de leitura(2).

Baixas taxas de acurácia de leitura (número de palavras lidas corretamente por minuto) podem interferir na compreensão do texto(4). Algumas pesquisas têm demonstrado a pertinência de buscar e considerar valores mínimos de acurácia como condição para garantir que a compreensão leitora possa acontecer e, portanto, ser avaliada de forma apropriada(2).

A leitura fluente e acurada e a compreensão do texto lido podem ser avaliadas clinicamente e no ambiente escolar(5). Pesquisadores investigaram um valor limite de decodificação abaixo do qual estariam estudantes que podem falhar em compreender textos(6).

Com propósito semelhante, investigou-se até que ponto aumentar a taxa de leitura pode melhorar a compreensão do texto lido(2). Nesse estudo, a autora procurou identificar quais taxas de leitura oral poderiam ser o valor mínimo de velocidade e precisão para permitir compreensão do texto, na presença ou ausência de transtorno de leitura. A pesquisa mostrou aumento dos valores de taxa de leitura em função da escolaridade, com melhora da compreensão leitora apenas nas faixas entre 35 palavras lidas corretamente por minuto (p.c.p.m.) para o transtorno de leitura e 75 p.c.p.m. para escolares típicos no 2º ano. Para os de 4º ano, entre 40 p.c.p.m. e 90 p.c.p.m., respectivamente à presença, ou não, do transtorno. Ou seja, ler com taxas superiores a essas não se revelou nenhuma vantagem para a compreensão de leitura.

Estudos nacionais publicaram valores de referência para médias de velocidade e acurácia de leitura de escolares brasileiros, nas suas diferentes formas de avaliação - com leitura de palavras isoladas ou de texto(1,7) e procedimentos seguidos nessas avaliações(8). Entretanto, nenhum desses estudos considerou o desempenho mínimo em fluência para o alcance da compreensão, a partir das taxas mencionadas.

No âmbito da aprendizagem escolar, procedimentos de rastreamento das condições de leitura devem ser de rápida aplicação. São utilizados para a identificação de escolares em risco de apresentarem déficits de desempenho acadêmico. Tais déficits podem aparecer desde etapas mais remotas do desenvolvimento relacionadas à época da alfabetização até fases ulteriores de demandas de compreensão leitora de textos cujas complexidades aumentam a cada ano escolar(1). Em ambiente educacional, pode ser um procedimento eficaz de monitoramento continuado do progresso da leitura, possibilitando a identificação da condição através de duas categorias: falha, se não atingir o ponto de corte; e passa, caso evidencie desempenho igual ou superior ao ponto de corte.

Este estudo foi elaborado e executado para atender às necessidades de triar estudantes do Ensino Fundamental I pela fluência de leitura com vistas à avaliação da compreensão leitora. Para garantir condições de decodificação e fluência, suficientes para a compreensão do texto investigaram-se, retrospectivamente, os valores de taxa e acurácia de leitura textual de escolares com e sem queixa de problemas de leitura, que participaram de outros dois estudos(9,10) .

O objetivo desta pesquisa retrospectiva foi estabelecer pontos de corte de taxa e acurácia na leitura de escolares, do 2º ao 5º ano do Ensino Fundamental, a fim de separar leitores por valores mínimos de fluência de leitura para a compreensão e verificar qual dos dois parâmetros de fluência, se taxa ou acurácia, melhor determina essa condição de leitura. Desse modo, propôs-se estabelecer pontos de corte por meio de uso de tarefas de rastreamento para o clínico e o pesquisador interessados em estudar a relação entre fluência e compreensão de leitura.

MÉTODO

Estudo retrospectivo, de caráter exploratório, realizado a partir da análise de dados de protocolos constituídos em pesquisas anteriores (CEP-Unifesp/Aprovações: 0839/06, 1490/08).

Amostra

Analisaram-se 147 protocolos de avaliação da leitura de escolares matriculados do 3º ao 5º ano do Ensino Fundamental de escolas públicas e particulares do município de São Paulo (SP). Independentemente dos objetivos das pesquisas, as crianças foram selecionadas por seus professores. Segundo eles, estavam ausentes queixas ou indicadores de: déficits motores ou sensoriais auditivos ou visuais (não corrigidos); déficits ou distúrbios neurológicos, comportamentais ou cognitivos; alterações da comunicação oral; indicação de retenção no histórico escolar. A seguir, os professores separaram os escolares segundo julgaram seus desempenhos em leitura e, assim, definiram-se dois grupos distintos: G1-escolares com bom desempenho em leitura (n=96); G2-escolares com dificuldades de fluência leitora e/ou de interpretação de texto, classificados como maus leitores (n=51). Essa classificação foi utilizada, no presente estudo, para distribuir as crianças dicotomicamente em duas categorias para posterior análise nas curvas ROC.

As crianças também foram distribuídas por ano escolar: 30 eram do 3º ano (média de idade=8,42; DP=0,05); 59 do 4º ano (média de idade=9,24; DP=0,22); e 58 do 5º ano (média de idade = 10,21; DP=0,07). Das 147 crianças, 66,7% eram meninas. Os pais ou responsáveis assinaram o Termo de Consentimento Livre e Esclarecido para participação de seus filhos e filhas nas pesquisas, cujos dados permitiram este estudo.

Os únicos dados disponíveis eram dos três anos escolares. Assim, o ponto de corte para diferenciar bons e maus leitores para o 2º ano foi predito estatisticamente. Embora as avaliações tenham sido realizadas ao longo de 05 anos, os procedimentos e protocolos foram idênticos e aplicados com todos os escolares no segundo semestre letivo.

Procedimento de coleta dos dados

A leitura oral de texto permitiu coletar informações sobre taxa e acurácia leitora. Um texto para cada ano escolar foi selecionado dos livros de Língua Portuguesa utilizados nas escolas (Material Suplementar). Os escolares foram instruídos a ler o texto em voz alta a partir do título. As leituras, individuais, foram gravadas para posterior análise e cálculo de duas medidas contínuas, a saber, a taxa (número de palavras lidas por minuto, i.e., total de palavras no texto dividido pelo tempo de leitura) e a acurácia (número de palavras corretas lidas por minuto).

O critério de acerto foi o de reconhecimento automático das palavras, o que implica dizer que qualquer atividade de reparo da leitura foi considerada erro, não importando se para ajuste da decodificação ou compreensão. Para cada texto, após a leitura, a compreensão foi avaliada por 06 questões de múltipla escolha (Material Suplementar) e pela análise do reconto oral da história lida, segundo o número de ideias apresentadas(9,10). A possibilidade do total de pontos variou por texto lido: 27, 25 e 41 ideias para os textos do 3o, 4o e 5o ano, respectivamente. Procedeu-se à soma da pontuação obtida na tarefa de reconto e nas respostas às questões referentes ao texto lido.

Procedimento de análise estatística

Para discriminar os bons e maus compreendedores foi feita uma pergunta simples às professoras, que buscava inferir se a criança em questão tinha ou não problemas de leitura e/ou compreensão de texto: “Com base no desempenho do aluno X em fluência de leitura e compreensão leitora, você o classificaria como bom ou mau leitor?”. A partir da categorização feita pelas professoras, em uma dessas duas possibilidades, isto é, bons ou maus leitores/compreendedores, foram construídas curvas ROC (Receiver Operating Characteristics curve) e calculadas as áreas abaixo delas. Usar o professor como gold-standard é um procedimento comum e usualmente feito em pesquisas em diversas áreas do desenvolvimento infantil(11,12).

Esse procedimento foi utilizado com as duas medidas de desfecho do estudo: taxa e acurácia. A medida contínua que demonstrasse os melhores resultados seria utilizada para estimar os prováveis pontos de corte para as crianças do 2º ano de escolarização. Caso as medidas não diferissem, a mais facilmente coletada (a saber, a taxa) seria utilizada. A estimativa dos valores de ponto de corte para o 2º ano foi feita a partir da progressão dos pontos de cortes das crianças dos demais anos escolares por meio do programa DataFit 9 (https://datafit.software.informer.com/9.0/). Assim, os três valores de ponto de corte obtidos, um para cada ano escolar, foram plotados e, a partir deles, diferentes possibilidades de trajetórias de crescimento foram testadas frente a um acréscimo de um novo ano escolar (i.e., o 2º ano). Sabendo-se que a distância entre os quatro anos no que tange o eixo x é equidistante, foi possível estimar, para cada modelo preditivo avaliado, possibilidades para o valor referente ao eixo y (taxa) para 2º ano. Deu-se preferência por trajetórias não lineares, dada a própria conformidade dos três pontos iniciais.

RESULTADOS

A Tabela 1 mostra a área abaixo da curva ROC para a taxa e a acurácia, seus erros-padrão e significância estatística, a partir de uma pressuposição não erros-padrão paramétrica, para os três anos. A partir dessas áreas, verificou-se que ambas as medidas apresentaram valores maiores que 0,80. Há uma progressão não-linear dos valores de ponto de corte em relação ao desenvolvimento da criança.

Tabela 1
Área sob a Curva ROC para os três anos escolares e valores de ponto de corte, sensibilidade e especificidade para as medidas de taxa e acurácia na leitura

Estatisticamente, os valores da área sob a curva ROC não diferiram para taxa ou para acurácia (i.e., produziram em todos os anos áreas, sob a curva, semelhantes). Pela facilidade de coleta da taxa, utilizou-se esta medida para a estimação. Assim, a estimação do ponto de corte do 2º ano baseou-se em quatro funções não lineares: exponencial, polinomial de primeira ordem, logaritmo modificado e exponencial modificado(16). Uma vez que os resultados obtidos na curva ROC, para cada um dos três anos (dados reais), não se encaixaram perfeitamente para cada uma das funções não-lineares testadas, conduziram-se aproximações. Originalmente, os valores obtidos para 3º, 4º e 5º ano estão descritos na Tabela 1; porém, a Figura 1, mostra que os valores originais sofrem aproximações para se adequarem em cada um dos quatro modelos não-lineares usados para estimar o valor da taxa do 2º ano. A Figura 1 mostra esses valores de aproximações e, para cada um dos dados reais, há uma função e uma estimação do ponto de corte específica para o 2º ano. Uma média dos três pontos de corte estimados para o 2º ano foi computada e essa média refere-se ao ponto de corte final adotado para esse ano (ou seja, (53,08 + 50,40 + 43,35 + 41,24)/4= 47,01.

Figura 1
Pontos de corte por ano a partir dos quatro modelos de estimação

DISCUSSÃO

Procedimentos de rastreamento são de rápida aplicação e são utilizados para o necessário monitoramento do desenvolvimento da leitura durante a escolarização(1,5,8). O acompanhamento das capacidades leitoras pode ter como objetivo não somente o conhecimento do nível de leitura do escolar, como também a identificação precoce de dificuldades de leitura de forma a prover informações para a intervenção e o suporte educacional ou clínico(1). Geralmente acompanham programas de RTI e fornecem o suporte para o acompanhamento do escolar.

Conhecer valores liminares de parâmetros de fluência leitora pode ser útil para compor amostras de estudantes em pesquisas sobre a compreensão de leitura, uma vez que ambas as competências mostram associação em diferentes anos escolares(3,4). Este estudo calculou e apresentou pontos de cortes para rastreamento por taxa ou acurácia mínimas para a realização de leitura com compreensão para os anos iniciais do ensino fundamental(2,6). Por não haver diferenças aparentes na área sob a curva ROC entre a taxa e a acurácia de leitura, optou-se por usar uma medida que pode ser usada facilmente e sem cálculo, a saber, a taxa. Assim, os números 65, 70 e 91 de p.p.m. foram considerados valores mínimos de fluência leitora como condição para garantir a compreensão de leitura no 3º, 4º e 5º ano do ensino fundamental, respectivamente. Os textos utilizados (Material Suplementar) constituíram-se em ferramenta útil, breve e fácil para rastrear a velocidade com vistas à compreensão.

Os valores obtidos para a taxa e acurácia mostraram uma queda na especificidade (i.e., probabilidade de detecção de verdadeiro positivo) do 3º para o 5º ano (Tabela 1). É possível que os professores sejam menos sensíveis às dificuldades de compreensão de crianças maiores. Por exemplo, em estudo com escolares brasileiros(17) foram encontrados sete casos de leitura deficiente de palavras reais e 12 de decodificação entre crianças de 10 anos julgadas competentes pelas professoras. É possível também que nesse grupo de crianças, por terem a fluência leitora mais desenvolvida, outros fatores, como vocabulário e capacidade de monitoramento, tenham interferido mais na compreensão leitora.

Uma das limitações deste estudo é que, embora tenham mostrado diferenças significantes em seus desempenhos, os grupos experimentais foram formados por opinião dos professores sobre a presença de dificuldades genéricas de leitura ou específicas de interpretação e compreensão leitora(7,10). Relatos e indicações dos professores são vistos como importante fonte primária de informação para os demais componentes da equipe educacional(12,16) e, por isso, têm papel fundamental no acompanhamento das diferentes etapas do aprendizado. Entretanto, outros estudos devem ser conduzidos com grupos clínicos, com diagnóstico de problemas específicos de aprendizagem, para melhorar as informações trazidas pela área sob a curva ROC, principalmente nos anos finais em que os valores de sensibilidade e especificidade foram menos adequados, embora ainda satisfatórios (Tabela 1).

Espera-se que esses valores sejam parecidos, caso outros textos narrativos adequados ao ano escolar e com mesmas características linguísticas dos aplicados neste estudo, sejam utilizados em procedimento semelhante. Assim, pesquisas que possibilitem saber se outros textos produziriam taxas similares aos pontos de corte obtidos, ainda devem ser realizadas. Sabe-se que textos variam conforme o tipo (narrativo ou expositivo), frequência de palavras, nível de conhecimento necessário para o entendimento, e outros aspectos que interferem em sua complexidade. Por isso, recomenda-se fortemente, que os mesmos textos narrativos usados neste estudo sejam utilizados para a identificação do valor mínimo de palavras lidas por minuto para garantir a compreensão do texto lido. Essa recomendação visa, inclusive, à redução de possível margem de erro.

Outra limitação importante é o fato de os pontos de corte das crianças mais jovens terem sido estimados (Figura 1). Apesar disso, é necessário reconhecer que valores estimados de pontos de corte produzem resultados fidedignos em situações em que os erros de medida são aceitáveis, como o caso dos obtidos na presente pesquisa(18).

Ainda assim, ressalta-se que o valor aqui estimado é mais apropriado e mais bem destinado a pesquisas científicas, que a procedimentos de rastreamento clínico ou educacional. Essa limitação foi superada, em certa medida, pela estimação dos pontos de corte por meio da estatística aqui utilizada. Dessa forma, os clínicos e pesquisadores podem utilizar um texto apropriado para crianças de 2º ano com a expectativa de desempenho para os pontos de corte adotados.

Pesquisadores e clínicos poderão se beneficiar desses dados para avaliação rápida e em futuras pesquisas com amostra ampliada de crianças na faixa etária estudada e que forneçam validação cruzada dos valores aqui apresentados. Outra possibilidade é investigar se os pontos de corte aqui fornecidos são válidos para separar crianças escolares em bons e maus compreendedores, também, em amostras independentes, por meio de validação cruzada.

CONCLUSÃO

Estabeleceram-se pontos de corte para taxa e acurácia de leitura oral de texto para escolares do 2º ao 5º ano, com recomendações de utilização dos valores da taxa de leitura de cada ano escolar para procedimentos de rastreamento da compreensão leitora.

Material Suplementar

Este artigo acompanha material suplementar.

Textos selecionados para a pesquisa, extraídos de livros de Língua Portuguesa utilizados nas escolas, e questões correspondentes

Este material está disponível como parte da versão online do artigo na página: https://doi.org/10.1590/2317-1782/20232021263pt

  • Trabalho realizado no Departamento de Fonoaudiologia, Escola Paulista de Medicina - EPM, Universidade Federal de São Paulo - UNIFESP - São Paulo (SP), Brasil.
  • Fonte de financiamento: Fundação de Amparo à Pesquisa do Estado de São Paulo - FAPESP (06/54714-0, 2008/57186-0).

REFERÊNCIAS

  • 1 Alves LM, Santos FL, Miranda ICC, Carvalho MI, Ribeiro LG, Freire LSC, et al. Evolução da velocidade de leitura no Ensino Fundamental I e II. CoDAS. 2021;33(5):e20200168. http://dx.doi.org/10.1590/2317-1782/20202020168 PMid:34259754.
    » http://dx.doi.org/10.1590/2317-1782/20202020168
  • 2 O’Connor RE. Reading fluency and students with reading disabilities: how fast is fast enough to promote reading comprehension? J Learn Disabil. 2018;51(2):124-36. http://dx.doi.org/10.1177/0022219417691835 PMid:29179613.
    » http://dx.doi.org/10.1177/0022219417691835
  • 3 Li L, Doyle A. Reading fluency and the role of its dimensions: conceptualizations and mechanisms. CJNSE. 2021;12(1):78-84.
  • 4 Martins MA, Capellini SA. Relação entre fluência de leitura oral e compreensão de leitura. CoDAS. 2019;31(1):e20170244. http://dx.doi.org/10.1590/2317-1782/20182018244 PMid:30810631.
    » http://dx.doi.org/10.1590/2317-1782/20182018244
  • 5 Gentilini LKS, Andrade MEP, Basso FP, Salles JF, Martins-Reis VO, Alves LM. Desenvolvimento de instrumento para avaliação coletiva da fluência e compreensão de leitura textual em escolares do ensino fundamental II. CoDAS. 2020;32(2):e20190015. http://dx.doi.org/10.1590/2317-1782/20192019015 PMid:32130312.
    » http://dx.doi.org/10.1590/2317-1782/20192019015
  • 6 Wang Z, Sabatini J, O’Reilly T, Weeks J. Decoding and reading comprehension: a test of the decoding threshold hypothesis. J Educ Psychol. 2019;111(3):387-401. http://dx.doi.org/10.1037/edu0000302
    » http://dx.doi.org/10.1037/edu0000302
  • 7 Kawano CE, Kida ASB, Carvalho CAF, Avila CRB. Parâmetros de fluência e tipos de erros na leitura de escolares com indicação de dificuldades para ler e escrever. Ver Soc Bras Fonoaudiol. 2011;16(1):9-18. http://dx.doi.org/10.1590/S1516-80342011000100004
    » http://dx.doi.org/10.1590/S1516-80342011000100004
  • 8 Basso FP, Piccolo LR, Miná CS, de Salles JF. Instrumento de Avaliação da Fluência de Leitura Textual: da decodificação à compreensão de leitura. Let Hoje. 2019;54(2):146-53. http://dx.doi.org/10.15448/1984-7726.2019.2.32519
    » http://dx.doi.org/10.15448/1984-7726.2019.2.32519
  • 9 Carvalho CAF. Relação entre a função pragmática da linguagem e compreensão de textos [dissertação]. São Paulo: Universidade Federal de São Paulo; 2008.
  • 10 Nascimento TA, Carvalho CAF, Kida ASB, Avila CRB. Fluência e compreensão leitora em escolares com dificuldade de leitura. J Soc Bras Fonoaudiol. 2011;23(4):335-43. http://dx.doi.org/10.1590/S2179-64912011000400008 PMid:22231054.
    » http://dx.doi.org/10.1590/S2179-64912011000400008
  • 11 Lúcio PS, Pinheiro AMV. Escala da avaliação da competência da leitura pelo professor (EACOL)-evidências de validade de critério. Temas Psicol. 2013;21(2):499-511. http://dx.doi.org/10.9788/TP2013.2-15
    » http://dx.doi.org/10.9788/TP2013.2-15
  • 12 Baudson TG, Fischbach A, Preckel F. Teacher judgments as measures of children’s cognitive ability: a multilevel analysis. Learn Individ Differ. 2016;52:148-56. http://dx.doi.org/10.1016/j.lindif.2014.06.001
    » http://dx.doi.org/10.1016/j.lindif.2014.06.001
  • 13 Camargo M. O veterinário maluco. 16. ed. São Paulo: Ática; 1991. (Série Lagarta Pintada).
  • 14 Lobato M [Internet]. A coruja e a águia. 2013 [citado em 2021 Oct 15]. Disponível em: https://contobrasileiro.com.br/a-coruja-e-a-aguia-fabula-de-monteiro-lobato/
    » https://contobrasileiro.com.br/a-coruja-e-a-aguia-fabula-de-monteiro-lobato/
  • 15 Vasconcelos JM. O meu pé de laranja lima. 2. ed. São Paulo: Editora Melhoramentos. 1975.
  • 16 Christ TJ, Silberglitt B, Yeo S, Cormier D. Curriculum-based measurement of oral reading: an evaluation of growth rates and seasonal effects among students served in general and special education. School Psych Rev. 2010;39(3):447-62. http://dx.doi.org/10.1080/02796015.2010.12087765
    » http://dx.doi.org/10.1080/02796015.2010.12087765
  • 17 Pinheiro ÂMV. Heterogeneidade entre leitores julgados competentes pelas professoras. Psicol Reflex Crit. 2001;14(3):537-51. http://dx.doi.org/10.1590/S0102-79722001000300009
    » http://dx.doi.org/10.1590/S0102-79722001000300009
  • 18 Spanos A. Curve fitting, the reliability of inductive inference, and the error-statistical approach. Philos Sci. 2007;74(5):1046-66. http://dx.doi.org/10.1086/525643
    » http://dx.doi.org/10.1086/525643

Datas de Publicação

  • Publicação nesta coleção
    02 Jun 2023
  • Data do Fascículo
    2023

Histórico

  • Recebido
    15 Out 2021
  • Aceito
    26 Maio 2022
location_on
Sociedade Brasileira de Fonoaudiologia Al. Jaú, 684, 7º andar, 01420-002 São Paulo - SP Brasil, Tel./Fax 55 11 - 3873-4211 - São Paulo - SP - Brazil
E-mail: revista@codas.org.br
rss_feed Acompanhe os números deste periódico no seu leitor de RSS
Acessibilidade / Reportar erro