MAPEANDO A PROFICIÊNCIA EM LEITURA E COMPREENSÃO ORAL EM INGLÊS DE ALUNOS DE LETRAS

MAPPING ENGLISH LANGUAGE AND LITERATURE UNDERGRADUATE STUDENTS’ READING AND LISTENING PROFICIENCY

RESUMO

Este artigo apresenta os resultados de uma pesquisa de natureza quantitativa acerca da proficiência em leitura e compreensão oral em língua inglesa de alunos de cursos de Letras (Inglês) de uma universidade pública brasileira. Os objetivos do estudo foram mapear o nível de proficiência dos alunos do início até a metade do curso e identificar se há progressão de nível conforme avançam nas cadeias de disciplinas específicas para as habilidades escritas e para as orais. Um questionário sobre o perfil acadêmico e simulados das provas de leitura e de compreensão oral do International English Language Testing System (IELTS) foram aplicados a 385 alunos, dos quais 243 fizeram a prova de leitura e 198, a prova de compreensão oral. Ainda, destes, 32 refizeram a prova de compreensão oral, e 15, a de leitura. Os dados foram analisados com estatística descritiva e inferencial não paramétrica. Os resultados revelam progressão de nível de proficiência, tanto em leitura quanto em compreensão oral, do início do curso para o final das cadeias de habilidades.

Palavras-chave:
avaliação de proficiência; língua estrangeira; leitura; compreensão oral; IELTS

ABSTRACT

This article presents the results of a quantitative research on the English reading and listening proficiency of students of English Language and Literature undergraduate degrees in a Brazilian public university. The objectives of the study were to map students’ proficiency level from beginning to mid-course semesters and to identify if there is level progression as students advance in the sequence of specific written-skills and oral-skills courses. A questionnaire about their academic profile and simulated reading and listening tests of the International English Language Testing System (IELTS) were administered to a total of 385 students, of which 243 took the reading test and 198 took the listening test. Besides, out of those, 32 retook the listening test, and 15 the reading test. Data were analyzed with descriptive and non-parametric inferential statistics. Results reveal a progression of proficiency level both in reading and listening from the beginning of the undergraduate course to the end of the specific skills course sequences.

Keywords:
language assessment; foreign language; reading; listening; IELTS

INTRODUÇÃO

Inicio este artigo com a definição do conceito de avaliação que orienta minhas discussões e ensino na área: avaliação é o processo de coletar e analisar informações que permitam subsidiar a tomadas de decisão. Sem a necessidade (prévia) da decisão, não há motivo para avaliação.

A motivação desta investigação surgiu da necessidade de levantar informações a fim de tomar decisões referentes à estrutura curricular dos cursos de Letras da Universidade de Brasília (UnB), num momento em que as reformas curriculares de diferentes licenciaturas estavam em discussão.

Nos currículos dos cursos de Letras que têm a língua inglesa como um dos principais eixos estruturantes – que compõem, para fins desta pesquisa, o que denomino curso de Letras-LI (ver seção "Metodologia") –, a formação para o desenvolvimento da proficiência do aluno organiza-se a partir da divisão das habilidades por modalidade linguística.¹ Há duas cadeias de disciplinas que se iniciam no primeiro semestre e seguem até o quinto, ou seja, até por volta da metade do fluxo curricular, e que organizam as disciplinas de modo que a anterior é sempre pré-requisito para a subsequente. Além das disciplinas obrigatórias, os alunos podem expandir sua formação com disciplinas optativas.² Todas essas disciplinas possuem turmas mistas, compostas por alunos dos diferentes cursos que constituem o curso de Letras-LI. A cadeia da modalidade oral inclui as disciplinas obrigatórias Compreensão Oral 1 (CO1), Expressão Oral 1 (EO1) e Expressão Oral 2 (EO2). Por sua vez, a cadeia da modalidade escrita inclui Compreensão de Textos 1 (CT1), Expressão Escrita 1 (EE1) e Expressão Escrita 2 (EE2). Assim, essa grade curricular organiza as disciplinas de língua estrangeira separadamente por habilidade linguística, refletindo a visão estruturalista de língua à época da implementação dos cursos de Licenciatura e de Bacharelado em Letras-Inglês na universidade, em 1971 (CYNTRÃO; UNTERNBÄUMEN, 2013).

Apesar disso, as práticas pedagógicas inseridas nesses espaços refletem uma visão diferente, compreendendo que a aprendizagem da língua estrangeira deve se voltar para seu uso autêntico, que não ocorre separadamente por habilidade. Nessas disciplinas não são adotados livros didáticos, e é comum a integração de habilidades linguísticas. São atividades típicas os exemplos que apresento: em Expressão Oral, os alunos são convidados a ler um artigo para debatê-lo, ou a assistir a um vídeo para conversarem sobre ele; em Compreensão Oral, os alunos assistem a uma palestra e redigem um resumo ou fazem uma apresentação oral formal sobre ela; em Expressão Escrita, os alunos leem um conto para compreenderem o gênero e criam seus próprios contos. De fato, a inadequação entre a estrutura curricular e as visões de língua mais atuais foi uma das questões que impulsionaram tentativas anteriores de reformulação curricular que acabaram não sendo implementadas. Essa importante questão retornou ao debate e ganhou fôlego durante discussões em reformas mais recentes.

Sabemos que há forte relação entre as habilidades linguísticas. Autores como Asher (1977) e Krashen (1982) destacam o proeminente papel da compreensão oral sobre a aquisição de línguas de modo geral, sendo aquela ainda mais fortemente correlacionada à leitura (BOZORGIAN, 2012a). Ademais, Shanaham (2016) identifica três correntes de investigação sobre a relação entre as habilidades de ler e escrever: cognitiva, sociocognitiva e integradora. Em todas elas, os resultados apontam para a existência de relação entre as habilidades. Enquanto os trabalhos de base cognitiva explicam essa relação a partir das semelhanças entre os processos cognitivos de leitores e de escritores acionados pelas características dos textos e das tarefas, as pesquisas de base sociocognitiva oferecem explicações com base nos estudos do letramento sobre a relação leitor-escritor: considerar o leitor durante o processo de planejamento do texto leva à produção de textos de melhor qualidade. Por sua vez, a terceira corrente baseia-se na premissa de que, ao nos engajarmos em uma tarefa comunicativa, alternamos entre as duas habilidades, e uma oferece suporte à outra: o ler-para-escrever é um construto bastante investigado nessa perspectiva.

Especificamente sobre a relação entre as habilidades da modalidade escrita, a maior parte dos estudos investiga a influência da leitura sobre a produção escrita. Shanahan (2016) apresenta o estado da arte sobre a relação entre as duas habilidades e observa que os resultados dos estudos empíricos indicam haver correlação positiva tanto na aquisição de língua materna quanto na de língua estrangeira. De modo geral, sugerem o que Rodriguez (2006, apud GAO, 2013, p. 1) afirma: que bons leitores são também bons escritores e que a chave para escrever bem é ler bem. Porém, Shanaham (2016) destaca que a literatura atual tem mostrado, na verdade, que essa relação é complexa e dependente dos contextos, formatos das atividades de leitura e de escrita, faixa etária e nível de letramento dos alunos. Bozorgian (2012b), por exemplo, encontrou correlação apenas moderada entre leitura e produção escrita.

Já a influência da escrita sobre o desenvolvimento da habilidade de ler é discutida por Graham e Hebert (2011) e Shanahan (1980) em duas metanálises envolvendo contextos de língua materna. Os autores concluem que o ensino da escrita exerce impacto positivo significativo na habilidade de leitura. Para o contexto de língua estrangeira, Marzec-Starwiarska (2016) e Gao (2013) discutem a influência de tarefas de escrita de resumos de textos lidos sobre a proficiência em leitura. Para os dois autores, as conclusões são as mesmas: o ensino da redação de resumos exerce influência sobre a proficiência em leitura. Marzec-Starwiarska (2016, p. 95, 96, tradução minha) afirma que a tarefa de resumir (ler-para-escrever) exerce tal impacto porque

reflete diretamente os processos necessários para construir a macroestrutura textual [...] e envolve os alunos nas mais relevantes operações para a compreensão do texto: selecionar as informações mais importantes do texto, identificar seus detalhes de suporte argumentativo, organizá-los numa rede hierárquica, generalizar, eliminar informação redundante e irrelevante, e finalmente construir a ideia principal de um parágrafo, um grupo de parágrafos ou um texto. Todas essas operações também resultam na extração do tema do texto. [...] Consequentemente, escrever resumos pode ensinar os alunos a responder o que é provavelmente a pergunta mais difícil sobre um texto: "Sobre o que é o texto?".³

No que diz respeito à relação entre as habilidades orais, Liu e Costanzo (2013) e Rost (1994 apud BOZORGIAN, 2012a) afirmam que a compreensão oral desempenha papel fundamental no desenvolvimento da habilidade de falar. Uma das razões é que, ao precisarmos nos comunicar, é imprescindível compreender o interlocutor; nesse processo, as possíveis dificuldades de compreensão impulsionam a proficiência em produção oral. Bozorgian (2012a), por exemplo, encontrou forte correlação entre a proficiência em compreensão e produção oral nos resultados das provas de 1.800 candidatos ao International English Language Testing System (IELTS) que não haviam recebido nenhuma preparação específica para a prova.

À luz desses estudos brevemente apresentados, podemos afirmar que as práticas pedagógicas no contexto anteriormente descritas proporcionam oportunidades de desenvolvimento da proficiência global em todas as disciplinas, embora seja provável que não haja ensino especificamente focado no desenvolvimento das habilidades receptivas naquelas disciplinas de produção oral ou escrita. Assume-se, então, que o desenvolvimento da proficiência em leitura e em compreensão oral se dá de modo proposital e vinculado aos objetivos de aprendizagem nas disciplinas de primeiro semestre, porém indiretamente nos semestres subsequentes. Uma das discussões que este estudo pode ajudar a elucidar é justamente a necessidade (ou não) de investimento direto e por mais semestres nas habilidades receptivas, seja em disciplinas que as tratem de modo separado ou integrado num novo currículo após a reforma.

Além da questão da divisão por habilidades, o currículo aqui descrito não faz nenhuma alusão a níveis sequenciais de proficiência em cada cadeia de disciplinas. Uma das propostas apoiadas pelo Instituto de Letras da UnB (IL) – formado pelos diretores, pelos coordenadores de cursos do Instituto, pelos membros dos Núcleos Docentes Estruturantes (NDE) e também pelo corpo de professores do curso de Letras-LI – era a de vincular as ementas e conteúdos programáticos ao Quadro Europeu Comum de Referência para as Línguas (QECRL). O QECRL descreve o que os usuários da língua estrangeira são capazes de fazer, na e por meio da língua estrangeira, em seis níveis (A1-C2), considerando as habilidades linguísticas e as especificidades do contexto de uso da língua (CONSELHO DA EUROPA, 2001). Constitui, atualmente, a mais difundida e mais completa referência de marcadores de níveis de proficiência no mundo.

Entendo que a decisão dos níveis iniciais em cada curso, disciplina, cadeia de disciplinas ou ciclo é importante para assegurar a qualidade do curso, e idealmente tal decisão deve ser informada por dados coletados e analisados com rigor científico. O estudo maior do qual este artigo é um recorte objetivou trazer esse retrato para apoiar as decisões acadêmicas no âmbito do curso de Letras-LI. Aqui são organizados e reanalisados resultados encontrados nas pesquisas inseridas no bojo do projeto "Mapeamento da proficiência linguístico-pedagógica do aluno de Letras", conduzido entre 2017 e 2021, conforme relatado em Silva, M. e Borges-Almeida (2018; 2019), Cruz e Borges-Almeida (2019), Brito e Borges-Almeida (2020), Yoshida e Borges-Almeida (2020; 2021) e Silva, L e Borges-Almeida (2020; 2021).

Para o recorte deste artigo, elegi as seguintes perguntas de pesquisa: considerando os padrões de um exame de proficiência internacional, (1) qual o nível de proficiência, em leitura e em compreensão oral, do aluno: (a) no início do curso?; e (b) ao longo dos semestres em que há ensino formal da língua estrangeira em componentes curriculares?; e (2) há progressão em proficiência conforme os alunos avançam no curso?

1. O FORMATO E OS CONSTRUTOS DE LEITURA E COMPREENSÃO ORAL NO IELTS

Há duas modalidades do exame IELTS.⁴ Neste estudo, utilizo o IELTS Acadêmico, que é um exame padronizado de proficiência em língua inglesa para falantes não nativos desenvolvido para avaliar a proficiência de pessoas que não têm o inglês como língua materna e pretendem estudar ou trabalhar em um país anglófono ou exercer qualquer atividade que exija um certificado de proficiência na língua. É administrado pelo consórcio British Council, IDP: IELTS Australia e Cambridge Assessment English.

O exame é composto por uma bateria de quatro provas (compreensão oral, leitura, produção escrita e produção oral), cujos resultados são reportados em faixas, tanto separadamente por prova quanto numa faixa geral. Para esta pesquisa, utilizo apenas simulados das provas das habilidades investigadas.

A prova de leitura do IELTS Acadêmico tem duração de uma hora, e consiste na leitura de três textos escritos de diversos gêneros acadêmicos e tipologias textuais – narrativa, descritiva ou argumentativa –, cujas fontes podem ser livros, artigos, jornais, revistas, escritos para não especialistas, abordando tópicos de interesse geral. Os textos podem ter elementos não verbais, como diagramas, gráficos e ilustrações. Quando o texto possui termos técnicos, um glossário é fornecido ao participante. Há 40 itens objetivos dos seguintes formatos: seleção (múltipla escolha; verdadeiro vs. falso; relacionamento de títulos/temas a parágrafos do texto) e resposta construída curta usando até três palavras (preenchimento de lacunas; respostas curtas).⁵ Mesmo esses últimos são fechados e corrigidos dicotomicamente (certo vs. errado) a partir de gabaritos. Por sua vez, a prova de compreensão oral tem duração de 40 minutos – 30 minutos de audição seguidos de 10 minutos para transcrição das respostas –, sendo composta por quatro seções, em áudios distintos, que só podem ser ouvidos uma única vez. As duas primeiras seções da prova contêm situações cotidianas, sendo uma um monólogo e a outra uma conversa entre dois interlocutores. As duas seções finais contêm situações de contexto educacional ou profissional, sendo uma um monólogo e a outra uma conversa entre até quatro pessoas. Há também 40 itens objetivos dos seguintes formatos: múltipla escolha e preenchimento de lacunas usando até três palavras.

A respeito dos itens de construção de respostas curtas, é importante compreender que a relação entre item e texto, escrito ou oral, é estabelecida de modo a evitar que os resultados das provas de leitura e de compreensão oral do IELTS sejam significativamente influenciados pela proficiência em produção escrita do candidato. Na prova de leitura, o candidato é direta e explicitamente solicitado a escolher palavras do próprio texto para responder as questões (exemplo a). Na prova de compreensão oral, semelhantemente, todas as respostas corretas aparecem de modo explícito nos áudios (exemplo b). Os exemplos a seguir, retirados do primeiro simulado aplicado nesta pesquisa, são itens típicos das provas:

(a)

Reading Passage 3

Texto: [...] And we mustn’t forget the plants, without whose prior invasion of the land none of the other migrations could have happened. [...]

Enunciado: Choose NO MORE THAN TWO WORDS from the passage for each answer.

Item: (27) What had to transfer from sea to land before any animals could migrate?

Gabarito: Plants

(b)

Listening – Section 2

Áudio: The whole place has been given a minimalist look with the company’s signature colours of black and red. The first three floors have a huge range of sports clothing as well as equipment, and on the top floor there’s a café and a book and DVD section. (...) As well as that, a whole section of the third floor is devoted to sports bags, including the latest designs from the States. [...]

Enunciado: Write ONE WORD AND/OR A NUMBER for each answer.

Itens: (13) has sports and equipment on floors 1 - 3

(16) has a special section which just sells

Gabarito: (13) clothing; (16) sports bags

O resultado do IELTS é calculado primeiramente em notas, que são convertidas e divulgadas em faixas para cada habilidade, podendo variar entre 1 (não usuário da língua) e 9 (usuário experiente da língua), conforme Quadro 1, inclusive com faixas intermediárias (por exemplo 5,5).

Quadro 1
Faixas de proficiência IELTS.

Faixa	Denominação	Descritor
9	Usuário excelente	O candidato tem pleno comando da língua. O uso do inglês é apropriado, preciso e fluente, e demonstra um completo entendimento.
8	Usuário muito bom	O candidato tem pleno comando da língua apenas com imprecisões não sistemáticas e uso inapropriado ocasionais. Pode compreender mal algumas coisas em situações não familiares. Lida bem com argumentação complexa e detalhada.
7	Usuário bom	O candidato tem comando operacional da língua, embora com imprecisões, uso inapropriado e incompreensões ocasionais. Geralmente lida bem com linguagem complexa e compreende argumentação detalhada.
6	Usuário competente	O candidato tem comando eficiente da língua apesar de algumas imprecisões, uso inapropriado e incompreensões. Consegue usar e compreender linguagem relativamente complexa, principalmente em situações familiares.
5	Usuário modesto	O candidato tem comando parcial da língua e lida com o sentido geral na maior parte das situações, apesar de cometer muitos erros. Deve ser capaz de lidar com a comunicação básica em sua própria área.
4	Usuário limitado	A competência básica do candidato é limitada a situações familiares. Frequentemente demonstra problemas na compreensão e expressão. Não é capaz de fazer uso de linguagem complexa.
3	Usuário extremamente limitado	O candidato expressa e entende apenas o sentido geral em situações de muita familiaridade. Há falhas frequentes na comunicação.
2	Usuário intermitente	O candidato tem grande dificuldade de compreender a língua escrita e falada.
1	Não usuário	O candidato não possui capacidade para usar a língua, a não ser poucas palavras isoladas.
0	Não realizou a Prova	O candidato não respondeu as questões.

• Fonte: Traduzido pela autora de https://www.ielts.org/about-the-test/how-ielts-is-scored.

Desde os anos 1990, vários estudos buscaram investigar a relação entre diversos exames europeus de língua inglesa – dentre eles, o IELTS e o então recente QECRL (TAYLOR, 2004). No caso do IELTS, tal tarefa mostra-se consideravelmente complexa, uma vez que, diferentemente de outros exames internacionais como o Certificate of Proficiency in English (CPE), ou o First Certificate in English (FCE), ou ainda o Business English Certificate (BEC), ele não se configura como um exame para um nível específico pré-estabelecido, mas objetiva identificar o nível de proficiência dentre um espectro muito amplo de níveis. Atualmente, o agregado de evidências científicas – tanto teóricas quanto empíricas – já permite posicionar o escore geral do IELTS de modo mais próximo aos níveis do QECRL (Figura 1).

Figura 1
Equivalência entre o IELTS e o QECRL.

Ainda assim, há necessariamente que se interpretar com cuidado tais relações, uma vez que não representam equivalências exatas; porém, são suficientes para "comunicar relações entre provas e níveis em termos gerais dentro de um quadro comum" (TAYLOR, 2004, p. 3, tradução minha).⁶ Entendemos que para as interpretações necessárias a este estudo tal relação é suficiente, e, portanto, é relevante compreender como as duas escalas dialogam, principalmente considerando-se que muitos professores de línguas e pesquisadores em avaliação não estão familiarizados com faixas IELTS, mas é bastante plausível que estejam com as faixas do QECRL.⁷

Segundo o consórcio British Council, IDP: IELTS Australia e Cambridge Assessment English,⁸ as provas de leitura e compreensão oral do IELTS Acadêmico são desenhadas para avaliar uma ampla variedade de habilidades, que incluem compreensão da ideia central, dos detalhes e da sequência de argumentação lógica que embasa a organização das ideias, bem como da opinião, atitudes e propósito do autor.

Weir et al. (2009b) desenvolveram e reportam uma série de investigações sobre o construto de leitura do IELTS, a partir de metodologias de métodos mistos, pela análise de conteúdo das provas escritas, com painel de juízes, questionários a 766 alunos de graduação usuários do inglês como língua adicional ou falantes nativos, e 301 aplicações de provas IELTS. Em relação especificamente à validade de conteúdo, o IELTS apresenta tópicos acadêmicos introdutórios para leitura para um público geral, geralmente na forma de artigos de vulgarização científica tipicamente publicados em jornais de circulação geral e revistas não científicas. A análise de um corpus de 14 provas (42 textos) por um painel de juízes, somada à comparação com um corpus de 42 textos de trechos de materiais de leitura altamente relevantes⁹ em 14 diferentes áreas do conhecimento em nível de graduação, indica que

os textos que aparecem na prova [...] de fato têm muitos dos elementos dos tipos de textos encontrados por alunos de graduação. Embora haja pequenas diferenças atribuídas à fonte (frequência de palavra) e extensão (razão forma/item), os textos do IELTS incluem um vocabulário e uma complexidade gramatical que os colocaria dentro do bojo de textos encontrados no primeiro ano do estudo [com alunos de primeiro e segundo ano da graduação] (WEIR et al., 2009b, p. 147).¹⁰

Os autores ainda investigaram a natureza da leitura, ou as estratégias de leitura, mais recorrentemente exigidas para a realização da prova, e apontaram que o foco principal do IELTS recai sobre a leitura intensiva e cuidadosa, um conceito que na literatura tem sido também referido como close reading e que está comumente associado ao "ler para aprender": Weir et al. (2009b) identificaram apenas um quarto de textos e itens que requerem leitura rápida. É de se compreender esse fato, uma vez que se espera que na universidade a leitura em língua estrangeira sirva mais a propósitos instrucionais do que a outras razões de natureza social diversa, como ler para ter uma ideia geral sobre um tema sobre o qual não necessariamente se decide aprofundar.

Weir et al. (2009b), entretanto, relatam que os resultados do estudo apontam que os alunos indicam como mais relevantes e necessárias as habilidades e estratégias de leitura rápida e processos de ler para se ter um entendimento geral do tema (skimming), de leitura seletiva de trechos do texto para o entendimento de detalhes (search reading) e de varredura em busca de elementos específicos geralmente facilmente identificáveis, como números e nomes (scanning). Nesse ponto, é interessante notar que as maiores dificuldades quanto à leitura acadêmica mencionadas pelos alunos referem-se justamente às estratégias e habilidades de leitura rápida. Isso se aplica tanto aos usuários do inglês como língua adicional quanto aos falantes nativos. Habilidades e estratégias de leitura rápida de textos longos de forma cadenciada/veloz, seletiva e eficiente podem ser consideradas precursoras da leitura cuidadosa, em que nos engajamos quando localizamos informação sobre a qual julgamos relevante nos deter (WEIR et al., 2000, apud WEIR et al., 2009b, p. 101). Na leitura rápida, o leitor engaja-se tanto em processos cognitivos descendentes (quando seleciona quais trechos ler) quanto ascendentes (quando sua atenção está voltada para a leitura do trecho selecionado), de modo que um modelo de leitura que faria sentido para o IELTS seria um modelo híbrido e interativo (KINTSH, 2004, apud Weir et al., 2009b), mas também multidimensional de leitura, que se estabelece na interação entre as estratégias metacognitivas do leitor, seu conhecimento linguístico e seu conhecimento do assunto.

Posteriormente, Weir et al. (2009a) utilizaram protocolos verbais para entender a natureza dos processos cognitivos e habilidades e estratégias de leituras utilizadas por 352 alunos de graduação da mesma universidade que participavam de um curso preparatório para o IELTS. Ao contrário do estudo anterior (que não havia empregado protocolos), os resultados indicaram que "[...] a leitura rápida de fato exerce um papel importante no modo como eles [os participantes] buscam responder as perguntas [do IELTS]"¹¹ (WEIR et al., 2009a, p. 178, tradução minha), e que a leitura rápida e a leitura cuidadosa parecem estar integradas, uma vez que os processos de leitura seguiram o padrão de "[...] leitura rápida e seletiva seguida de leitura cuidadosa e intensiva de partes relevantes do texto"¹² (WEIR et al., 2009a, p. 178). Ademais, essa investigação revelou que os itens do IELTS exigem o processamento da leitura para além do nível da sentença.

No que concerne à prova de compreensão oral do IELTS, há quatro seções. As duas primeiras organizamse em torno de "necessidades sociais" não acadêmicas: a primeira apresenta uma interação entre dois falantes, enquanto a segunda, um monólogo. Diferentemente, a terceira e a quarta partes têm conteúdo mais próximo ao uso do inglês em ambiente acadêmico: a terceira enfoca a compreensão de uma interação oral sobre um tema supostamente estudado ou sobre tarefas acadêmicas; a quarta parte testa a compreensão de uma palestra (FIELD, 2012, p. 393-394).

Khalili Sabet e Babaee Bormanaki (2017) investigaram as características das tarefas¹³ e dos itens de 40 provas de compreensão oral do IELTS (348 tarefas e 1.575 itens) utilizando-se de um quadro de análises adaptado da proposta de Moore, Morton e Price (2012 apud KHALILI SABET; BABAEE BORMANAKI, 2017), para a caracterização em um contínuo dos itens em duas dimensões: nível de engajamento e tipo de engajamento. Nível de engajamento é definido como "[...] a quantidade de texto com que o ouvinte precisa se engajar para responder uma tarefa"¹⁴ (KHALILI SABET; BABAEE BORMANAKI, 2017, p. 52, tradução minha). Essa dimensão distingue entre nível local (pequenas quantidades de texto oral, como no nível da sentença ou pequenos grupos de sentenças) e nível global (porções mais extensas de texto, tipicamente uma série de parágrafos ou mesmo o texto todo). Por sua vez, a dimensão denominada tipo de engajamento refere-se ao

modo (ou modos) como se espera que o ouvinte se engaje com o texto para processar o material para responder a tarefa. Estes modos ou processos podem ser literais ou interpretativos. Processos literais, estando em linha com processamento ascendente, denotam a compreensão literal[¹⁵] do material, enquanto o engajamento interpretativo, estando em concordância com processamento descendente aponta para a compreensão pragmática das unidades textuais.( KHALILI SABET; BABAEE BORMANAKI, 2017, p. 52, tradução minha, grifos meus). ¹⁶

Os autores caracterizam a prova de compreensão oral do IELTS como tipicamente local-literal, avaliando uma compreensão oral mais simples de unidades textuais relativamente curtas. As habilidades de compreensão mais global-interpretativas foram encontradas, em sua grande maioria, nos itens de múltipla escolha, que correspondiam a 23,8% dos itens analisados. Tais resultados parecem estar em linha com a perspectiva de que exames acadêmicos devem ser equipados para diagnosticar a habilidade de rapidamente encontrar informação específica (ALDERSON, 2000). Assim, habilidades mais refinadas de compreensão global, como a percepção de atitudes e intenção do falante, de natureza fortemente pragmática, não são tão recorrentes na prova.

2. METODOLOGIA

Esta pesquisa tem natureza quantitativa e insere-se no contexto dos cursos de Letras da UnB, que têm a língua inglesa como um dos principais eixos estruturantes, cujos currículos compartilham as mesmas disciplinas de formação na língua estrangeira: Licenciatura e Bacharelado em Letras-Inglês, Bacharelado em Tradução-Inglês e Bacharelado em Línguas Estrangeiras Aplicadas (LEA). Neste estudo, não abordo as diferenças na proficiência por curso; os resultados das pesquisas de Silva, M. e Borges-Almeida (2019; 2018) e Cruz e Borges-Almeida (2019) indicam não haver diferenças entre cursos tanto para proficiência em leitura quanto em compreensão oral. Assim, neste artigo, denomino Letras-LI a reunião de todos esses cursos. A pesquisa foi aprovada pelo Comitê de Ética em Pesquisa do Instituto de Humanas CEP-CONEP (CAAE 87671516.0.0000.5540) e desenvolveu-se em três etapas. Todos os alunos foram convidados a participar do estudo como voluntários no ano de 2017, bem como todos os calouros a cada semestre entre 2018 e 2019. No total, participaram desta pesquisa 385 alunos, distribuídos entre todos os semestres do curso de Letras-LI; porém, nem todos participaram de todas as etapas da pesquisa.

Para a coleta de dados, foram aplicados os seguintes instrumentos: (a) um questionário; e (b) simulados de provas reais de leitura e de compreensão oral do exame IELTS Acadêmico aplicadas em anos anteriores e publicadas pela Cambridge University Press. A primeira fase da coleta – aplicação do questionário – objetivou conhecer o perfil acadêmico dos alunos e sua autoavaliação de proficiência linguística. Participaram desta fase 299 alunos, que representam uma amostragem de em torno de 75% dos ingressantes entre 2017 e 2019. Os resultados foram analisados qualitativa e quantitativamente por porcentagens e médias.

A segunda fase consistiu na aplicação de simulados das provas de leitura e compreensão oral do IELTS Acadêmico (P1). No total, 243 alunos realizaram a primeira prova de leitura (amostragem de 61%), e 198 alunos fizeram a primeira prova de compreensão oral (amostragem de 49,5%). Esta fase permitiu a descrição e comparação entre grupos que estavam em diferentes semestres do fluxo curricular.

Os dados da terceira fase vêm da segunda aplicação do simulado (P2) àqueles alunos que já haviam feito a prova na primeira fase. O simulado da terceira fase consistiu numa versão paralela, não sendo a reaplicação da mesma prova. No total, 15 alunos fizeram a prova de leitura pela segunda vez (6,17% dos participantes), e 32 alunos fizeram a prova de compreensão oral (16,16% dos participantes).

As aplicações dos simulados aconteceram de modo presencial a cada início de semestre. Em 2017, a coleta de dados envolveu alunos de todos os semestres letivos. Entre o segundo semestre de 2017 e o segundo semestre de 2019, por motivos de ordem prática, as aplicações aconteceram durante aulas de disciplinas específicas das duas cadeias por modalidade (oral e escrita). A P1 foi aplicada aos alunos de primeiro semestre, matriculados nas disciplinas Compreensão Oral 1 (CO1) e Compreensão de Textos 1 (CT1), a P2, aos alunos que estavam no terceiro semestre, matriculados em Expressão Oral 2 (EO2) e Expressão Escrita 2 (EE2).

Para fins da discussão em relação aos anos ou semestres curriculares, foi considerada a distribuição das cadeias de sequencialidade das disciplinas obrigatórias e optativas no fluxo curricular (Quadro 2).

Quadro 2
Cadeias de disciplinas de habilidades escritas e orais.

Cadeia	Ano	Fluxo	Disciplina	Cód.	Natureza	Pré-requis.
Escrita	1	1	Compreensão de Textos 1	CT1	Obr	Nenhum
		2	Expressão Escrita 1	EE1	Obr	CT1
	2	3	Expressão Escrita 2	EE2	Obr	EE1
		4	Expressão Escrita 3	EE3	Obr./Opt.18	EE2
	3	5	Expressão Escrita 4	EE4	Opt./Obr.19	EE3
Oral	1	1	Compreensão Oral 1	CO1	Obr./Opt.20	Nenhum
		2	Expressão Oral 1	EO1	Obr./Opt.	CO1
	2	3	Expressão Oral 2	E02	Obr./Opt.	EO1
		4	Expressão Oral 3	EO3	Opt.	EO2

• Fonte: Elaborado pela autora.¹⁷¹⁸¹⁹

Os simulados foram corrigidos a partir de gabarito por dois corretores treinados especificamente para fins desta pesquisa. As respostas às questões objetivas de construção de resposta curta tiveram suas discrepâncias dirimidas pela autora e pesquisadora responsável pelo estudo. Os escores totais de cada prova foram tabulados e analisados com estatística descritiva e inferencial não paramétrica. Na comparação entre grupos de alunos de diferentes semestres no fluxo curricular, foram utilizados os testes de Kruskal-Wallis e U de Mann-Whitney; já na comparação entre as notas dos alunos que refizeram as provas, foi empregado o teste dos postos sinalizados de Wilcoxon (WILCOXON, 1945).²⁰ O intervalo de confiança é de 95% (p<0,05). Os resultados são apresentados tanto em escores quanto em faixas IELTS e, posteriormente, em faixas do QECRL, para fins de mais compreensão, devido à familiaridade da maioria dos professores de língua estrangeira.

3. RESULTADOS E ANÁLISE

3.1 Perfil dos participantes

Os resultados apresentados para definição do perfil do aluno, como já afirmado anteriormente, provêm das respostas fornecidas ao questionário por 75% dos participantes da pesquisa. Eles são, em sua grande maioria, alunos de Letras-LI, porém há uma pequena fração de alunos de outros cursos, que fazem as disciplinas de língua inglesa como matérias optativas, nas mesmas turmas.

A média de idade é 21,25 anos, e a mediana, 20. O participante mais novo tem 17 e o mais velho, 59 anos. A mulheres são a maioria, representando 71% dos participantes, contra 21% de homens. Quanto à raça, 48% declararam-se pardos, morenos ou mulatos; 43%, brancos; 8%, pretos; e 1%, amarelo ou oriental.

A investigação sobre a experiência educacional anterior à universidade mostrou que 61% concluíram o ensino médio em escola pública, e 39%, em escola particular. Outro dado interessante mostra que 40% dos participantes já haviam estudado inglês prioritariamente em centros de línguas privados, e 37%, nos denominados Centros Interescolares de Línguas (CILs) – escolas públicas voltadas para o ensino de línguas estrangeiras para estudantes da rede pública do Distrito Federal (DF) –somando 87% de alunos com estudo na língua estrangeira em escolas de línguas especializadas. Somente 13% haviam estudado inglês apenas na educação básica.

Foi solicitado aos participantes que se autoavaliassem quanto a sua proficiência em leitura e compreensão oral, com base nos descritores da escala de autoavaliação do próprio QECRL. A maioria se autoavalia nos níveis B2 (43%) e C1 (23%) em leitura, e C1 (33%) e B2 (32%) em compreensão oral, conforme figuras 2 e 3.

Figura 2
Autoavaliação em leitura.

Figura 3
Autoavaliação em compreensão oral.

Na Tabela 1, estão reunidos os resultados da estatística descritiva do primeiro simulado de leitura e de compreensão oral aplicado aos participantes.

Tabela 1
Descritivas da P1 em leitura e compreensão oral por nota e faixa IELTS.

	n	M	Md	Mín	Máx	dp	V	Simetria	Curtose
Leitura	243
Nota		23,77	23,00	6,00	39,00	8,20	67,22	-,07	-,94
Faixa			6	3	9		1,74	,16	-,72
Comp. oral	198
Nota		21,60	21,00	0,00	40,00	9,41	88,60	,05	-,89
Faixa			5,5	1	9	1,54	2,36	,15	-,35

• Fonte: Elaborada pela autora.

A Tabela 1 e as figuras 4 e 5 permitem observar que a distribuição dos participantes não apresenta normalidade, e que a proficiência em leitura é levemente mais homogênea (dp=8,20) do que a proficiência em compreensão oral (dp=9,41). Ademais, ambas as distribuições são levemente positivamente assimétricas (à esquerda), com razoável dispersão, mas não há outliers.

Figura 4
Boxplot da nota da P1 em leitura.

Figura 5
Boxplot da nota da P1 em compreensão oral.

Em leitura, a faixa IELTS mediana é a 6, enquanto em compreensão oral a faixa é a 5,5. Traduzindo para o QECRL, em leitura, o grupo formado pela totalidade dos participantes está incluído no nível B2 e, em compreensão oral, em posição limítrofe entre os níveis B1 e B2.

3.2 Diferenças entre semestres: aplicação da P1

Como já explicado, esta discussão apoia-se em dois tipos de análises. A primeira considera os resultados da aplicação da P1 ao total de participantes, distribuídos em diferentes semestres do curso. A amostragem (não aleatória) foi gerada a partir do voluntariado dos alunos que quiseram participar da pesquisa. Por envolverem uma amostragem relevante, são dados que aqui permitem ter uma fotografa de como a proficiência se distribui ao longo do curso. A Tabela 2 apresenta a distribuição das notas e faixas dos participantes por semestre no fluxo curricular.

Tabela 2
Descritivas de leitura e compreensão oral na P1 por semestre no fluxo.²¹²²

Fluxo	n	M	Md	Mín	Máx	dp	V	Simetria	Curtose
Leitura 22	243
1º	126
Nota		22,51	21,50	6,00	39,00	8,21	67,32	,12	-,93
Faixa			5,5	3	9	1,31	1,70	,35	-,49
2º	31
Nota		27,42	27,00	13,00	37,00	6,47	41,85	-,42	-,53
Faixa			6,5	4,5	8,5	1,12	1,25	-,04	-,89
3º	66
Nota		22,62	22,00	7,00	37,00	8,18	66,85	,03	-,77
Faixa			5,5	3,5	8,5	1,31	1,72	,22	-,60
4º	20
Nota		29,85	30,50	16,00	38,00	6,53	42,66	-,66	-,54
Faixa			7	5	8,5	1,15	1,32
Comp. Oral 23	198
1º	144
Nota		20,65	20,50	2,00	39,00	8,77	76,84	,12	-,83
Faixa			5,5	2,5	9	1,39	1,94	,28	-,44
2º
Nota	16	23,63	24,50	7,00	40,00	10,16	103,32	,30	-,89
Faixa			6	3,5	9	1,64	2,69	-,04	-,69
3º
Nota	27	22,89	21,00	5,00	39,00	10,36	107,26	-,04	-1,24
Faixa			5,5	3	9	1,70	2,89	,14	-,89
4º
Nota	10	30,60	33,50	17,00	40,00	8,24	67,82	-,54	-1,31
Faixa			7,5	5	9	1,49	2,22	-,29	-1,47

• Fonte: Elaborada pela autora.

As figuras 6 e 7 facilitam a observação de que, tanto em leitura quanto em compreensão oral, os ingressantes são o grupo que apresenta a maior amplitude de proficiência (diferença entre escores mínimo e máximo), em oposição aos alunos do quarto semestre do curso. No entanto, o olhar mais atento revela que a evolução da dispersão (tamanho da caixa) parece acontecer de modo inverso para cada habilidade. No caso da leitura, a dispersão mostra um grupo mais heterogêneo entre os ingressantes e, ao quarto semestre, o grupo é consideravelmente mais homogêneo. No caso da habilidade de compreensão oral, observamos justamente o contrário: o grupo de ingressantes é mais homogêneo do que o grupo de alunos do quarto semestre. Novamente, não há outliers em nenhum dos grupos.

Figura 6
Boxplot da nota na P1 de leitura por semestre.

Figura 7
Boxplot da nota na P1 de compreensão oral por semestre.

Na análise de diferenças entre grupos, o teste de Kruskal-Wallis retornou valores significativos para diferenças por semestre, tanto para leitura quanto para compreensão oral. Assim, há diferenças em leitura por nota (χ²=21,89; p=0,000) e faixa (χ²=19,57; p=0,000), e também em compreensão oral por nota (χ²=11,27; p=0,010) e faixa (χ²=10,98; p=0,012).

Para entender quais diferenças eram significativas, foi rodado o teste U de Mann-Whitney, que confirmou diferenças significativas para leitura entre 1º vs 2º (U=1252,00; p=0,002), 1º vs 4º (U=618,50; p=0,000) e 3º vs 4º (U=328,50; p=0,001). Observando as notas médias e as faixas medianas dos grupos, percebemos que os resultados não mostram progressão linear e contínua, de modo que os alunos do segundo semestre (que concluíram CT1) pontuam significativamente mais que os ingressantes, porém também mais que os alunos do terceiro semestre. É possível que tais resultados se devam aos efeitos da instrução da única disciplina obrigatória específica em leitura (CT1), cujo enfoque é o desenvolvimento de estratégias de leitura. Assim, os participantes que concluíram há pouco tempo essa disciplina específica - menos de quatro meses - podem levar para o simulado essas experiências recentes e obter pontuação mais alta; mas, com o tempo, a pontuação mediana volta a cair. Essa é, entretanto, uma hipótese que necessitaria ser investigada. Porém, as diferenças de proficiência ficam evidentes quando os participantes chegam ao quarto semestre e à segunda metade da cadeia de habilidades escritas, com a conclusão de EE2. Nesse momento, as diferenças estatisticamente significativas representam também um grande salto na proficiência, da faixa IELTS 5,5 para a 7, o que representa, no QECRL, uma mudança do limiar entre as faixas B1 e B2 para uma provável faixa C1.

Em compreensão oral, os resultados de Mann-Whitney são significativos para os seguintes pares: 1º vs 4º (U=292,00; p=0,002) e 3º vs 4º (U=71,00; p=0,028). No teste de Kruskal-Wallis entre 1º, 2º e 3º semestres, a proficiência em compreensão oral não apresenta notas ou faixas estatisticamente diferentes (χ²=2,39 em p=0,302 para nota e χ²=2,12 em p=0,347 para faixa), indicando que, do ingresso até o terceiro semestre do curso, os participantes não apresentam progressão em proficiência em compreensão oral. Essa realidade muda quando estão na segunda metade da cadeia de disciplinas específicas para habilidades orais - conclusão de EO2. Neste ponto do curso, semelhantemente ao que observamos para leitura, as diferenças são estatisticamente significativas e qualitativamente perceptíveis, uma vez que os alunos passam de uma faixa IELTS 5,5 para a faixa 7,5, ou seja, progridem do limiar entre B1 e B2 para a proficiência típica da faixa C1.

3.3 Progressão no curso: o olhar ao mesmo participante na P2

O segundo tipo de análise foi conduzido durante a terceira e última fase da investigação, e faz um recorte apenas pelo grupo dos alunos que haviam feito a P1 quando cursavam o primeiro semestre e que no momento da coleta de P2 encontravam-se cursando as disciplinas específicas de produção escrita e oral do terceiro semestre. Esta etapa, portanto, embora apresente uma amostragem pequena (n=15 em leitura; n=32 em compreensão oral), permite entender com mais detalhes o desenvolvimento da proficiência, dado que acompanha os mesmos participantes. A Tabela 3 apresenta a estatística descritiva da aplicação dos simulados nas duas vezes.

Tabela 3
Descritivas de leitura e compreensão oral em P1 e P2.

	n	M	Md	Min	Max	dp	V	Curtose	Simetria
Leitura	15
P1
Nota		23,33	24,00	7,00	36,00	8,16	66,52	-,35	-,28
Faixa			6	3,5	8	1,24	1,53	,00	,04
P2
Nota		22,33	23,00	6,00	38,00	9,12	83,24	-,54	,14
Faixa			6	3	8,5	1,50	2,24	-,28	,15
Comp. Oral	32
P1
Nota		20,78	20,00	9,00	33,00	6,40	41,02	-,85	,21
Faixa			5/5,5	3,5	7,5	1,00	1,00	-,68	,13
P2
Nota		23,56	25,00	8,00	39,00	8,31	69,09	-,91	-,06
Faixa			6	3,5	9	1,35	1,82	-,28	,28

• Fonte: Elaborada pela autora.

O teste dos postos sinalizados de Wilcoxon mostrou não haver diferença significativa entre a primeira e a segunda aplicação do simulado de leitura (Z=-0,25; p=0,801). Esse resultado reforça as evidências encontradas na fase dois do estudo (ver Tabela 2 e figuras 6 e 7) de que não há diferenças de proficiência em leitura entre os calouros e os alunos que concluíram o primeiro ano no curso, que permanecem na faixa IELTS 6.

Já para compreensão oral, percebemos diferença significativa entre as duas aplicações, tanto se considerarmos a nota (Z=-2,84; p=0,005 2-tailed) quanto se considerarmos a faixa (Z=-2,69; p=0,007). Assim, para os 32 participantes que fizeram as duas provas de compreensão oral, houve certo desenvolvimento em proficiência, haja vista que passam da faixa IELTS 5 (com a mediana entre as faixas 5 e 5,5) para a 6.

4. DISCUSSÃO

Retomando os objetivos deste estudo, as perguntas que me propus a responder neste artigo foram: (1) qual o nível de proficiência, em leitura e em compreensão oral, do aluno: (a) no início do curso?; e (b) ao longo dos semestres em que há ensino formal da língua estrangeira em componentes curriculares?; e (2) há progressão em proficiência conforme os alunos avançam no curso?

De forma geral, os resultados em leitura e em compreensão oral são parecidos. Quando traduzidos para faixas do QECRL, indicam que os alunos ingressam no curso no limítrofe entre os níveis B1 (intermediário) e o B2 (intermediário superior). Em leitura, cabe considerar como os usuários desses níveis são capazes de ler de modo geral, mas também mais especificamente quando a finalidade é obter informações e compreender argumentos. No nível B1, o usuário da língua "é capaz de ler textos objectivos simples acerca de assuntos relacionados com a sua área de interesse, com um grau satisfatório de compreensão" (CONSELHO DA EUROPA, 2001, p. 107, grifos meus).²³ Esse leitor

é capaz de identificar as conclusões principais de textos argumentativos claramente articulados. É capaz de reconhecer uma linha de argumentação no tratamento das questões apresentadas, embora não necessariamente em pormenor [...] e de reconhecer questões significativas em artigo de jornal simples sobre assuntos que lhe são familiares (CONSELHO DA EUROPA, 2001, p. 109, grifos meus).

Ao passo que um usuário B2

é capaz de ler com um elevado grau de independência, adaptando o estilo e a velocidade de leitura a diferentes textos e fins e utilizando de forma selectiva fontes de referência adequadas. Possui um amplo vocabulário de leitura, mas pode sentir alguma dificuldade com expressões idiomáticas pouco frequentes. [...] É capaz de obter informações, ideias e opiniões de fontes altamente especializadas no âmbito da sua área. É capaz de entender artigos especializados fora do âmbito da sua área, desde que possa utilizar eventualmente um dicionário para confirmar a sua interpretação da terminologia. É capaz de entender artigos e relatórios relacionados com problemas actuais nos quais o escritor adopta uma posição ou um ponto de vista próprios. (CONSELHO DA EUROPA, 2001, p. 107, 109, grifos meus).

Por sua vez, em compreensão oral, destaco o que tipifica a proficiência dos usuários desses níveis de modo geral e, também, especificamente na compreensão da interação entre falantes nativos e na audição ao vivo como membro de um auditório. No nível B1, o usuário

é capaz de compreender informações factuais simples sobre tópicos comuns do dia a dia ou relacionados com o trabalho e identificar quer mensagens gerais quer pormenores específicos, desde que o discurso seja claramente articulado com uma pronúncia geralmente familiar. É capaz de compreender as questões principais de um discurso claro, em língua-padrão, sobre assuntos que lhe são familiares, ocorrendo com regularidade no trabalho, na escola, nos tempos livres, etc., incluindo narrativas curtas. [...] É capaz de seguir, de um modo geral, as questões principais de uma longa discussão a que está a assistir, desde que o discurso seja articulado de forma clara em língua-padrão. [...] É capaz de seguir uma conferência ou palestra sobre um assunto da sua área, desde que lhe seja familiar e que a exposição esteja estruturada de forma simples e clara. É capaz de seguir o plano de exposições curtas e simples acerca de assuntos que lhe sejam familiares, desde que o discurso seja articulado de forma clara, em língua padrão. (CONSELHO DA EUROPA, 2001, p. 103, 104, grifos meus)

Em contrapartida, no nível B2:

É capaz de entender a linguagem-padrão falada, em directo ou transmitida pela rádio, quer acerca de assuntos que lhe são familiares quer acerca de outras áreas comuns na vida pessoal, social, académica ou profissional. Apenas a ocorrência de ruído de fundo extremo, uma estrutura discursiva inadequada e/ou os usos idiomáticos influenciam a capacidade de compreender. É capaz de compreender as ideias principais de um discurso, em língua-padrão, linguística ou proposicionalmente complexo, tanto acerca de assuntos abstractos como concretos, incluindo discussões técnicas sobre a sua área de especialização. É capaz de seguir um discurso longo e linhas de argumentação complexas desde que o assunto lhe seja razoavelmente familiar e que a organização da exposição seja marcada explicitamente. [...] É capaz de acompanhar uma conversa animada entre falantes nativos. É capaz, com algum esforço, de apanhar muito do que é dito à sua volta, mas pode ser-lhe difícil participar com eficácia em discussões com vários falantes nativos que não modifiquem de alguma forma o seu discurso. [...] É capaz de seguir o essencial de conferências, palestras ou outras exposições académicas ou profissionais linguística ou proposicionalmente complexas. (CONSELHO DA EUROPA, 2001, p. 103, 104, grifos meus).

Assim, este estudo evidenciou que os alunos de Letras-LI já ingressam no curso com um nível de proficiência em leitura e em compreensão oral que lhes permite acompanhar as aulas dadas na língua estrangeira – podendo esclarecer suas dúvidas quando a dificuldade que se apresenta é devido ao seu nível de proficiência – e cumprir parte das leituras que porventura sejam requisitadas, ainda que essa leitura possa ser superficial no entendimento das nuances do texto.

Já no quarto semestre, próximo à metade do curso, apresentam nível C1, tanto em leitura quanto em compreensão oral. No caso de um leitor de nível C1, as dificuldades com expressões idiomáticas características do nível inferior já não são mais típicas. Além disso, a complexidade dos gêneros e a falta de familiaridade com o tópico (conhecimento do assunto) deixam de ser impeditivos para a compreensão. Esse usuário "é capaz de entender em pormenor textos longos e complexos relacionados ou não com a sua área de especialidade, desde que possa voltar a ler as secções difíceis" (CONSELHO DA EUROPA, 2001, p. 107, grifo meu) e de "entender em pormenor um vasto leque de textos longos e complexos, passíveis de ocorrerem na vida social, profissional ou académica, identificando pequenos pormenores que incluem atitudes e opiniões implícitas ou abertamente expressas" (CONSELHO DA EUROPA, 2001, p. 109, grifo meu).

Em compreensão oral, o nível C1 descreve um usuário que possui repertório linguístico e estratégico suficientemente amplo para compreender tanto monólogos quanto diálogos fora de sua área de especialidade, e nuances sociolinguísticas (por exemplo, no registro) e atitudinais implicitamente marcadas. Este é o nível da compreensão dos sentidos implícitos. No C1, o usuário

é capaz de compreender o suficiente para seguir um discurso longo sobre assuntos complexos e abstractos estranhos à sua área, embora necessite de confirmar pormenores ocasionais, especialmente se o sotaque não lhe for familiar. É capaz de reconhecer um vasto leque de expressões idiomáticas e de coloquialismos, notando as mudanças de registo. É capaz de seguir um discurso longo, mesmo quando ele não está claramente estruturado e quando as relações entre as ideias se encontram implícitas e não são marcadas explicitamente. [...] É capaz de seguir com facilidade interacções complexas entre terceiros numa discussão ou num debate de grupo, mesmo sobre assuntos abstractos, complexos e que não lhe são familiares. [...] É capaz de seguir a maior parte das conferências, discussões e debates com relativa facilidade. (CONSELHO DA EUROPA, 2001, p. 103, 104, grifos meus).

Ao chegarem ao final da cadeia de disciplinas obrigatórias na modalidade oral, os alunos desenvolveram sua proficiência para ouvir em contextos gerais e acadêmicos num patamar em que já apresentam relativa facilidade para acompanhar praticamente todo tipo de interação oral na língua estrangeira.

Desta forma, os resultados permitem afirmar que há progressão de nível de proficiência nas habilidades receptivas quando comparados os resultados no início do curso e ao término das cadeias de ambas as modalidades escrita e oral, por volta da metade do fluxo curricular. Nesse intervalo entre o início e a finalização dessas cadeias, o desenvolvimento da proficiência não se apresenta de modo linear, com ganhos que possam ser observados em pontuação ou mesmo em faixa semestre a semestre, e as diferenças encontradas nem sempre são significativas. Em leitura, observamos ganhos significativos entre os alunos que acabaram de concluir a única disciplina específica para a habilidade de ler (CT1) – momento em que há avanço não apenas na pontuação, mas, também, na faixa de proficiência. Porém, de acordo com o acompanhamento ao grupo que fez o simulado duas vezes, esses resultados parecem flutuar e não se sustentarem um semestre depois, na ausência de um componente curricular focado nessa habilidade. Embora os resultados sejam animadores com relação à faixa de proficiência ao final da cadeia da modalidade escrita, aumentar o investimento na habilidade de leitura durante a primeira metade do curso pode ser um catalisador para o desenvolvimento dessa proficiência.

Em compreensão oral, semelhantemente, os ganhos aparecem de modo bastante significativo no quarto semestre do curso, quando os alunos concluem a última disciplina obrigatória da cadeia de oralidade (EO2). Em contrapartida, ao longo desse percurso, temos um quadro mais linear do que aquele observado em leitura. Os resultados do acompanhamento do mesmo grupo mostram certa progressão nessa habilidade após a conclusão do segundo semestre, com uma movimentação mais rápida em direção à consolidação do nível B2. No final da cadeia das disciplinas obrigatórias na modalidade oral, os alunos atingem o nível C1.

Com tais resultados sendo observados em disciplinas não especificamente focadas nas mesmas habilidades avaliadas, parece-me razoável apoiar-me tanto nos resultados deste estudo quanto na literatura que aponta a relação entre habilidades linguísticas (BOZORGIAN, 2012a; 2012b; SHANAHAN, 1980; 2016; GRAHAM; HEBERT, 2011) para afirmar que, a fim de que os alunos continuem progredindo em proficiência em leitura e compreensão oral, é preciso estarmos atentos às demais experiências acadêmicas linguísticas proporcionadas a eles durante a graduação.

Uma dessas experiências pode ser o uso da língua estrangeira como meio de instrução nos componentes curriculares de eixos não linguísticos, como, por exemplo, aqueles da cadeia pedagógica. Sabemos que a proficiência se desenvolve no uso da língua socialmente estabelecido, o que pressupõe negociação de sentidos. Portanto, independentemente de se tratar de uma disciplina de leitura ou não, todas as experiências acadêmicas em que os alunos se engajem no uso da língua estrangeira podem proporcionar oportunidades de ler e ouvir significativamente e com propósitos definidos, e exercer impacto sobre sua proficiência.

Porém, se queremos impulsionar e consolidar níveis altos de proficiência, pode ser relevante considerar a pertinência de ofertar mais disciplinas optativas com foco específico nas habilidades acadêmicas de leitura e compreensão oral, além de estimular os alunos a cursarem-nas. Como é preciso estar atento aos efeitos de tais decisões, recomendo que mapeamentos semelhantes a este sejam conduzidos de tempos em tempos.

CONSIDERAÇÕES FINAIS

Avaliamos para tomar decisões. Esta investigação fornece informações relevantes sobre o progresso da proficiência dos alunos de Letras-LI no contexto de uma universidade e pode subsidiar reflexões sobre as decisões curriculares a serem tomadas em conjunto pelo colegiado do curso de graduação a fim de assegurar que os alunos alcancem níveis almejados de proficiência para atuarem nas diversas esferas de uso da língua estrangeira. Estudos como este podem subsidiar decisões importantes em contextos de ensino semelhantes.

Uma das decisões já tomadas na universidade em questão, após o compartilhamento dos resultados do estudo com os docentes, foi a de implementar investigações semelhantes em intervalos regulares de tempo, principalmente para acompanhar a formação dos alunos após a implantação do novo currículo. Outra decisão foi alinhar os objetivos pedagógicos nos dois primeiros semestres ao nível B2 do QECRL, e estabelecer o nível C1 como objetivo a ser atingido até o final do curso, no novo currículo, que se organiza de forma diferente do currículo apresentado neste trabalho.

Este estudo tem algumas limitações. A pandemia da Covid-19 (2020-2022) interrompeu a coleta de dados da última fase, fazendo com que a amostragem para as análises do grupo que fez o simulado duas vezes ficasse consideravelmente pequena. Outra limitação, de natureza metodológica, é o recorte às duas habilidades receptivas, o que não possibilita asserções sobre as habilidades de produção escrita e oral. Pesquisas que investiguem essas outras habilidades são necessários, porém, devido à complexidade especialmente no que tange à confiabilidade e praticidade, são inviáveis de serem conduzidos com muitos participantes, considerando a realidade da universidade. Ainda que com amostras consideravelmente menores, trabalhos que investiguem o desenvolvimento da proficiência oral dos alunos em momentos-chave do curso são importantes para o contexto.

DECLARAÇÃO DE DISPONIBILIDADE DE DADOS DA PESQUISA

Os dados não estão disponíveis ao público, uma vez que este material contém informações que podem vir a comprometer a privacidade e a segurança dos participantes na investigação.

• 1
  Descrevo o currículo vigente à época da coleta de dados. Posteriormente, o currículo foi reformulado.
• 2
  Não discuto aqui a formação específica que envolve os estudos formais em Linguística do Inglês – como morfossintaxe e fonética e fonologia –, por entender que essa discussão fugiria ao escopo deste estudo, uma vez que as disciplinas desse eixo não têm o objetivo de desenvolver a proficiência (para o uso da língua).
• 3
  The effectiveness of summarising may be attributed to the fact that preparing a summary directly reflects the processes necessary for constructing macrostructure […] and engages students in operations that are the most essential for comprehending a text: selecting the most important information from a text, identifying its supporting details, organising them into a hierarchical network, generalising, eliminating redundant and non-important information, and finally constructing the main idea of a paragraph, a group of paragraphs or of a text. All these operations also result in the extraction of the gist of a text. […] Consequently, writing a summary may teach students how to answer what is probably the most difficult question concerning a text, namely: "What is the text about?"
• 4
  https://www.ielts.org/about-the-test/test-format
• 5
  Alderson (2000) denomina esse formato como item semiobjetivo; Bachman e Palmer (1996), como item de resposta de produção limitada (limited production response type).
• 6
  [...] to communicate relations between tests and levels in broad terms within a common frame of reference [...].
• 7
  O leitor encontrará os descritores da escala global do QECRL em Conselho da Europa (2001, p. 49).
• 8
  Disponível em: https://www.ielts.org/for-test-takers/test-format.
• 9
  Foram selecionados junto à biblioteca da universidade, dentre os livros mais retirados por alunos dos cursos que recebiam grandes volumes de estrangeiros (mais de três mil alunos), e aqueles indicados nas respostas ao questionário aplicado. A extensão desses textos era semelhante à dos textos do IELTS, de 500 a 1.500 palavras.
• 10
  The texts appearing in the test do […] have many of the features of the kinds of text encountered by undergraduates. Although there are minor differences attributable to source (word frequency) and length (TTR), the IELTS texts include a vocabulary and a level of grammatical complexity that would place them within the range of texts encountered in the first year of study.
• 11
  [...] expeditious reading in fact plays and important role in the way they seek to answer questions.
• 12
  [...] quick and selective search reading followed by intensive careful reading of relevant text parts.
• 13
  Os autores entendem tarefa como cada agrupamento que reúne diversos itens de mesmo formato orientados por um mesmo tema.
• 14
  [...] the quantity of a text that the listener is needed to engage with, in order to respond to a task.
• 15
  Ou semântica.
• 16
  [...] type of engagement refers to the way (or ways) a listener is expected to engage with the text in order to process the material to respond to the task. These ways or processes can be literal or interpretive. Literal engagement being in line with bottom-up processing denotes to the literal comprehension of the material, whereas interpretive engagement being in consistent with the top-down processing points to the pragmatic understanding of the textual units.
• 17
  Obrigatória para Tradução e Letras-Inglês; optativa para LEA.
• 18
  Obrigatória para Tradução; optativa para os demais cursos.
• 19
  Todas as disciplinas de compreensão oral e expressão oral são optativas para Tradução.
• 20
  O teste de Wilcoxon é um teste de hipóteses não-paramétrico utilizado quando se deseja comparar duas amostras relacionadas para avaliar se os postos médios populacionais diferem (é um teste de diferenças pareadas). Pode ser usado como uma alternativa ao teste t de Student, para amostras dependentes quando não se pode assumir que a população é normalmente distribuída (LOWRY, 2017).
• 21
  1º = alunos calouros, com nenhum dos créditos da cadeia concluídos, cursando CT1; 2º = cursando EE1; 3º = cursando EE2; 4º = cursando EE3.
• 22
  1º = alunos calouros, com nenhum dos créditos da cadeia concluídos, cursando CO1; 2º = cursando EO1; 3º = cursando EO2; 4º = concluíram EO2; podem estar cursando EEO3 ou não, já que não é obrigatória para todos os cursos do Letras-LI.
• 23
  Em todos os descritores apresentados, grifo características que sinalizam diferenças entre níveis adjacentes. A citação direta é a tradução oficial do QECRL para a língua portuguesa na variante europeia.

REFERÊNCIAS

• ALDERSON, J. C. (2000). Assessing reading. Cambridge, UK: Cambridge University Press.
• ASHER, J. J. (1988). Learning another language through actions: the complete teacher’s guidebook. Los Gatos: Sky Oaks.
• BACHMAN, L. F.; PALMER, A. S. (1996). Language testing in practice: designing and developing useful language tests. Cambridge, UK: Cambridge University Press.
• BOZORGIAN, H. (2012a). The relationship between listening and other language skills in International English Language Testing System. Theory and Practice in Language Studies, v. 2, n. 4, p. 657-663. Disponível em: https://doi.org/10.4304/tpls.2.4.657-663 Acesso em: 12 out. 2022.
  » https://doi.org/10.4304/tpls.2.4.657-663
• BOZORGIAN, H. (2012b). Listening skill requires a further look into second/foreign language learning. International Scholarly Research Network, v. 2012, Article ID 810129. Disponível em: https://doi.org/10.5402/2012/810129 Acesso em: 1 out. 2022.
  » https://doi.org/10.5402/2012/810129
• BRITO, G. S.; BORGES-ALMEIDA, V. (2020). Nível de proficiência em leitura em inglês os alunos de Letras da UnB: diferenças entre anos e opções de curso. Relatório de Iniciação Científica. Instituto de Letras, Universidade de Brasília, Brasília.
• BROWN, H. D. (2010). Assessing reading. In: _____. Language assessment: principles and classroom practices. New York: Longman. p. 185-217.
• CONSELHO DA EUROPA. (2001). Quadro europeu comum de referência para as línguas: aprendizagem, ensino, avaliação. Porto: Edições ASA. Coleção Perspectivas Actuais/Educação. Disponível em: https://periodicos.sbu.unicamp.br/ojs/index.php/tla/article/view/8668276/28547 Acesso em: 1 set. 2020.
  » https://periodicos.sbu.unicamp.br/ojs/index.php/tla/article/view/8668276/28547
• CRUZ, R. O.; BORGES-ALMEIDA, V. (2019). Investigando níveis de proficiência em compreensão oral dos alunos de Letras Inglês da UnB: primeiras avaliações. Relatório de Iniciação Científica. Instituto de Letras, Universidade de Brasília, Brasília.
• CYNTRÃO, S. H.; UNTERNBÄUMEN, E. H. (2013). Mémorias e perspectivas: 50 anos de Letras da Universidade de Brasília (1962-2012). Brasília: Instituto de Letras. Disponível em: http://www.il.unb.br/index.php?option=com_content&view=article&id=83&Itemid=83 Acesso em: 1 out. 2022.
  » http://www.il.unb.br/index.php?option=com_content&view=article&id=83&Itemid=83
• FIELD, J. (2012). The cognitive validity of the lecture-based question in the IELTS listening paper. In: TAYLOR, L.; WEIR, C. J. (ed.). IELTS collected papers 2: research in reading and listening assessment. Cambridge, UK: Cambridge University Press. p. 391-453.
• GAO, Y. (2013). The effect of summary writing on reading comprehension: the role of mediation in EFL classroom. Reading Improvement, v. 50, n. 2, p. 43-47.
• GRAHAM, S.; HEBERT, M. (2011). Writing to read: a meta-analysis of the impact of writing and writing instruction on reading. Harvard Educational Review, v. 81, n. 4, p. 710-744. Disponível em: https://doi.org/10.17763/haer.81.4.t2k0m13756113566 Acesso em: 30 set. 2022.
  » https://doi.org/10.17763/haer.81.4.t2k0m13756113566
• KHALILI SABET, M.; BABAEE BORMANAKI, H. R. (2017). An analytical reverse engineering of IELTS listening tasks for a construct model. International Journal of Applied Linguistics & English Literature, v. 6, n. 7, p. 49-64. Disponível em: http://dx.doi.org/10.7575/aiac.ijalel.v.6n.7p.49 Acesso em: 23 ago. 2021.
  » http://dx.doi.org/10.7575/aiac.ijalel.v.6n.7p.49
• KRASHEN, S. (1982). Principles and practices in second language acquisition New York: Pergamon,.
• LIU, J.; COSTANZO, K. (2013). The relationship among TOEIC listening, reading, speaking and writing skills. Compendium Study. Princeton, NJ: Educational Testing Service. Disponível em: https://www.ets.org/Media/Research/pdf/TC2-02.pdf Acesso em: 30 set. 2022.
  » https://www.ets.org/Media/Research/pdf/TC2-02.pdf
• LOWRY, R. Concepts and applications of inferential statistics, [S.l.: s.n., s.d.]. Disponível em: https://web.archive.org/web/20170601125133/http://vassarstats.net/textbook/ch12a.html Acesso em: 10 out. 2022.
  » https://web.archive.org/web/20170601125133/http://vassarstats.net/textbook/ch12a.html
• MARZEC-STAWIARSKA, M. (2016). The influence of summary writing on the development of reading skills in a foreign language. System, v. 59, p. 90-99. Disponível em: https://doi.org/10.1016/j.system.2016.04.006 Acesso em: 15 set. 2022.
  » https://doi.org/10.1016/j.system.2016.04.006
• RODRIGUEZ, K. E. (2006). Contemporary issues and decisions: reading, writing, and thinking in today’s world. New York: Pearson Longman. Disponível em: https://doi.org/10.1080/19388078009557556 Acesso em 30 set. 2022.
  » https://doi.org/10.1080/19388078009557556
• SHANAHAN (1980). The impact of writing instruction on learning to read. Reading World, v. 19, n. 4, p. 357-368. Disponível em: https://doi.org/10.1080/19388078009557556 Acesso em 30 set 2022.
  » https://doi.org/10.1080/19388078009557556
• SHANAHAN. T. (2016). Relationships between reading ans writing development. In: McARTHUR, C. A.; GRAHAM, S.; FITZGERALD, J. (ed.). Handbook of writing research 2nd ed. New York: The Guilford Press. p. 194-207.
• SILVA, L. C. E. O. E.; BORGES-ALMEIDA, V. (2020). Vivências do aluno de Letras Inglês do ingresso à metade do curso: proficiência, formação acadêmica e experiências correlatas. Relatório de Iniciação Científica. Instituto de Letras, Universidade de Brasília, Brasília.
• SILVA, L. C. E. O. E.; BORGES-ALMEIDA, V. (2021) Desenvolvimento da proficiência em leitura de alunos de Letras Inglês: do primeiro ao terceiro ano. Relatório de Iniciação Científica. Instituto de Letras, Universidade de Brasília, Brasília.
• SILVA, M. J.; BORGES-ALMEIDA, V. (2018). Perfil acadêmico e nível de proficiência do aluno ingressante em Letras – Inglês na UnB. Relatório de Iniciação Científica. Instituto de Letras, Universidade de Brasília, Brasília.
• SILVA, M. J.; BORGES-ALMEIDA, V. (2019). Investigando níveis de proficiência em leitura dos alunos de Letras Inglês da UnB: primeiras avaliações. Relatório de Iniciação Científica. Instituto de Letras, Universidade de Brasília, Brasília.
• TAYLOR, L. (2004). IELTS, Cambridge ESOL Examinations and the Common European Framework. Research Notes, v. 18, p. 2-3. Disponível em: https://www.cambridgeenglish.org/Images/23135-research-notes-18.pdf Acesso em: 14 fev 2023.
  » https://www.cambridgeenglish.org/Images/23135-research-notes-18.pdf
• WEIR, C.; HAWKEY, R.; GREEN, A.; DEVI, S. (2009a). The cognitive processes underlying the academic reading construct as measured by IELTS. IELTS Research Reports, v. 9, p. 157-189.
• WEIR, C.; HAWKEY, R.; GREEN, A.; UNALDI, A.; DEVI, S. (2009b). The relationship between the academic reading construct as measured by IELTS and the reading experiences of students in their first year of study at a British university. IELTS Research Reports, v. 9, p. 97-156.
• WILCOXON, F. (1945). Individual comparisons by ranking methods. Biometrics Bulletin, v. 1, n. 6, p. 80-83. Disponível em: https://sci2s.ugr.es/keel/pdf/algorithm/articulo/wilcoxon1945.pdf Acesso em: 25 set. 2022.
  » https://sci2s.ugr.es/keel/pdf/algorithm/articulo/wilcoxon1945.pdf
• YOSHIDA, R. H. A.; BORGES-ALMEIDA, V. (2020). Nível de proficiência em compreensão oral em inglês os alunos de Letras da UnB: diferenças entre anos e opções de curso. Relatório de Iniciação Científica. Instituto de Letras, Universidade de Brasília, Brasília.
• YOSHIDA, R. H. A.; BORGES-ALMEIDA, V. (2021) Desenvolvimento da proficiência em compreensão oral de alunos de Letras Inglês: do primeiro ao terceiro ano. Relatório de Iniciação Científica. Instituto de Letras, Universidade de Brasília, Brasília.

Datas de Publicação

• Publicação nesta coleção
  01 Maio 2023
• Data do Fascículo
  Jan-Apr 2023

Histórico

• Recebido
  02 Set 2021
• Aceito
  08 Dez 2022
• Publicado
  17 Fev 2023