A Study of Formative Feedback in Mathematics Assessment and its Connection to Grading

bolema Bolema: Boletim de Educação Matemática Bolema 0103-636X 1980-4415 UNESP - Universidade Estadual Paulista, Pró-Reitoria de Pesquisa; Programa de Pós-Graduação em Educação Matemática Abstract The tests with summative characteristics are the predominant instrument in Mathematics’ school evaluation. After corrected, the tests are returned to the students with grades or concepts added. These evaluative feedbacks contribute little to students’ learning. On the other hand, formative assessments characterized by feedbacks more focused on learning, seem utopian, distant from the teacher's reality. The lack of time, the bloated curriculum, the lack of concepts related to a formative assessment or the absence of professional autonomy are barriers for the teacher to break the exam culture up, so incorporated in school systems. This article is an excerpt from a doctoral thesis on formative assessment, in which characteristics of formative feedback are discussed, presenting a pragmatic way of evaluating formatively. For this, an investigation was carried out with 51 professionals and students related to mathematics teaching, who corrected, assigned grades, and provided feedbacks for six different solutions to the same question. Initially, we propose a distinction between formative feedbacks and neutral feedbacks, then we investigate the connection between grading and the quality of feedback from teachers. This allows us to suppose that transforming school tests into evaluations with more formative characteristics may not be a utopia. 1 Introdução Em 1967, Scriven, em seu artigo intitulado The Methodology of Evaluation, ofereceu uma distinção entre avaliação formativa e somativa. Na concepção de Scriven (1967), tanto a concepção somativa como a formativa são essenciais. Essa distinção promoveu grandes implicações pedagógicas no processo avaliativo, “uma vez que passou de uma única modalidade, a avaliação final feita através de testes e exames, para duas modalidades com objetivos e funções diferenciados” (BARREIRA, 2019, p. 192). Perrenoud (1999) aponta três funções básicas da avaliação escolar: prevenção, certificação e regulação. Segundo este autor, ao alertar a família de um possível fracasso do estudante, a avaliação apresenta um sentido de prevenir “no duplo sentido de impedir e de advertir” (PERRENOUD, 1999, p. 12). A função de certificação está associada à relação com terceiros. O papel do diploma é informar aos empregadores que aquele candidato possui o domínio das técnicas necessárias para desenvolver aquele trabalho, não necessitando ser submetido a novos exames. Os exames escolares, realizados no percurso acadêmico ou a aprovação em uma série ou ano de escolarização, fornecem à sociedade uma espécie de ‘certificado’ de aprendizagens (grifo nosso). Por essa função, a avaliação escolar “serve para controlar o trabalho dos alunos e, simultaneamente, para gerir os fluxos” (PERRENOUD, 1999, p. 13). A função reguladora descrita por Perrenoud (1999) está relacionada à ideia de avaliação formativa. Nesta perspectiva, o papel da avaliação não está mais associado à criação de hierarquias, nem tampouco a emitir certificados. A relação aqui é com o próprio estudante, com a função de regular a aprendizagem, ou seja, de “delimitar as aquisições e os modelos de raciocínio de cada aluno o suficiente para auxiliá-lo a progredir no sentido do objetivo” (PERRENOUD, 1999, p. 14). O principal objetivo da regulação é a aprendizagem, ou seja, identificar até que ponto os processos avaliativos contribuem ou não para a aprendizagem (SANTOS, 2011). Talvez o sistema educacional ainda não esteja preparado para que a avaliação formativa, sem atribuição de notas, seja implementada em substituição à avaliação somativa. Embora a regulação da aprendizagem através de avaliações formativas tenha sua eficiência comprovada por importantes estudos na Educação (BLACK; WILLIAM, 1998), nos parece que a função de criar hierarquias e emitir certificados ainda é, e talvez seja sempre, necessária e indissociável da escola ou da universidade. Considerando ainda um contexto em que professores geralmente atuam sob a pressão de um extenso currículo e com pouca autonomia pedagógica (BRITTO, 2002), oferecer uma avaliação formativa, voltada para as aprendizagens e centrada no estudante, não é, definitivamente, uma tarefa fácil. Isto porque conceber a avaliação como um processo contínuo perpassa pela utilização de um número maior de instrumentos avaliativos ao longo de diversos momentos e não apenas no final de um ciclo (HADJI, 2001; BURIASCO; FERREIRA; CIANI, 2009; FERNANDES, 2009). Há diversas pesquisas que apontam caminhos, até mesmo mais pragmáticos, em como utilizar avaliações mais formativas. Um deles consiste em atribuir à prova – instrumento avaliativo que os professores comumente utilizam, com características somativas – a função formativa. Isso pode ocorrer através utilização das provas em fases, em que um mesmo instrumento é utilizado e reutilizado em dois ou mais momentos com os estudantes (PIRES; BURIASCO, 2017; MENDES; BURIASCO, 2018), da prova com cola, em que os estudantes devem estudar o conteúdo para selecionar, sintetizar e construir a cola que será utilizada (FORSTER, 2015) ou, simplesmente, pela utilização de feedbacks nas provas escritas, individuais e sem consulta (BLACK; WILLIAM, 1998; TARAS, 2005, 2009; WILLIAM, 2011). Este artigo é um recorte de uma tese em andamento. No início desta pesquisa de doutoramento, investigou-se a correção de provas: a atribuição de notas e os vieses cometidos por professores e licenciandos em Matemática durante a correção (VAZ; NASSER, 2019). O recorte apresentado neste texto relaciona-se à segunda fase da pesquisa, que investiga a devolução das provas corrigidas. O primeiro objetivo deste artigo é discutir o que seria um feedback formativo em uma prova de Matemática. O segundo, é investigar se, e como, a qualidade do feedback se relaciona com a pontuação dada por professores na correção de questões de Matemática. Inicialmente, é apresentada uma abordagem teórica sobre a utilização formativa de provas somativas. Em seguida, a partir dos resultados de uma investigação com 51 profissionais e/ou estudantes do ensino de Matemática, são discutidos os feedbacks fornecidos pelos respondentes. A partir daí, propõe-se a distinção entre dois tipos de feedbacks avaliativos em relação aos seus efeitos na aprendizagem: o feedback neutro e o feedback formativo. O terceiro ponto deste artigo problematiza a conexão entre a qualidade do feedback e a atribuição de notas desses respondentes. 2 A Função formativa da avaliação Na sua função formativa, a avaliação é usada para melhorar e desenvolver uma atividade contínua (ou programa, pessoa, produto, etc.), já na sua função somativa, a avaliação é usada para prestação de contas, certificação ou seleção. Hadji (2001), utiliza o termo cumulativa no lugar de somativa. A avaliação cumulativa tem função de certificação, é “sempre terminal, é mais global e refere-se a tarefas socialmente significativas” (HADJI, 2001, p. 19). O que permite diferenciar as modalidades de avaliação é a função (ou funções) para qual ela é pensada ou executada. São os propósitos para os quais a avaliação se destina que permitem diferenciar as formativas das somativas, por exemplo, não o seu tipo. Ou seja, uma prova escrita tradicional de Matemática – compreendida como exame escrito, individual, sem consulta e com tempo delimitado – pode ter um caráter mais formativo que somativo (SANTOS, 2011). Quanto à natureza das avaliações, Fernandes (2009) considera que a avaliação somativa é normativa, pois compara a aprendizagem do estudante com uma norma. A avaliação formativa, por outro lado, compara o estudante consigo mesmo, sendo denominada ipsativa. Ambas as avaliações seriam criteriais, ou seja, são norteadas por um critério estabelecido. A figura 1 ilustra a classificação proposta por Fernandes. Figura 1 Natureza das avaliações Fonte: FERNANDES (2009) Segundo Perrenoud (1999), a avaliação formativa esteve durante muito tempo associada à imagem da aplicação de um teste após um período de aprendizagem, seguido de ações de remediação para os alunos que não demonstrassem o domínio dos conhecimentos avaliados neste exame. Por essa concepção, os professores atuariam com a perspectiva formativa durante os testes em períodos específicos, limitados e distanciados. Tal concepção evoluiu através do reconhecimento de ações de observação, intervenção e regulação mais frequentes e ampliadas. Uma avaliação mais formativa não toma menos tempo, mas dá informações, identifica e explica erros, sugere interpretações quanto às estratégias e atitudes dos alunos e, portanto, alimenta diretamente a ação pedagógica, ao passo que o tempo e a energia gastos na avaliação tradicional desviam da intenção didática e das inovações (PERRENOUD, 1999, p. 68). Uma avaliação é considerada formativa quando seus resultados são utilizados para adaptar o ensino e identificar as dificuldades dos estudantes. De acordo com Hadji (2001, p. 79), “a avaliação só é formativa se for informativa”. Para ser informativa, a avaliação deve responder perguntas que permitam conhecer o objeto avaliado, compreender o que o aluno é capaz, o que ele compreendeu e “se sabe, se sabe fazer, se sabe ser… (o quê?)” (HADJI, 2001, p. 79). As tarefas avaliativas devem servir para estimular os estudantes a “pensar, refletir, criticar, levantar hipóteses, compreender e correlacionar conteúdos. Assim, a avaliação da aprendizagem escolar ao interpor os processos de ensino e aprendizagem, não pode ser feita de modo a apenas classificar os estudantes” (BURIASCO; FERREIRA; CIANI, 2009, p. 76). O modo que o professor lida com o erro do estudante também deve ser ressignificado para que uma avaliação formativa seja implementada. Consideramos que o erro reflete “muito mais do que aquilo que o aluno não sabe”, podendo “refletir também uma dificuldade do aluno de se expressar matematicamente, carência em pré-requisitos teóricos, bloqueios psicológicos” (VAZ; NASSER; BELFORT, 2014, p. 52, grifo dos autores). Considerando que a avaliação formativa consista em um oportuno momento de aprendizagem, o erro cometido em uma avaliação não deve ser compreendido como um resultado apenas, e sim como um processo natural na aprendizagem. Black e William (1998) realizaram um amplo estudo bibliográfico com pesquisas de diversos países sobre a avaliação formativa. Ao longo de nove anos de estudo, examinaram edições de mais de 160 periódicos, investigando pesquisas anteriores, num total de 580 artigos ou capítulos. Uma das conclusões foi que avaliações formativas podem contribuir mais com a aprendizagem dos estudantes considerados mais fracos do que com os demais. 2.1 O papel do feedback Buriasco (2000) afirma que a função verdadeira da avaliação é a construção da aprendizagem, “até porque o mais importante não é o resultado, pronto e acabado, mas as considerações que acompanham o trabalho da escola nas diferentes fases” (BURIASCO, 2000, p. 166). Nesse sentido, o feedback que o professor transmite ao estudante para orientá-lo partindo do erro para a aprendizagem, se configura como um relevante elemento. Santos (2019) considera o feedback como uma ação fundamentada e reativa tomada pelo professor. Na concepção somativa, o feedback corresponde “a todo comentário que informa sobre a qualidade do objeto sujeito à avaliação” (SANTOS, 2019, p. 173) e podemos incluir aí as notas ou conceitos atribuídos após a correção de uma prova, por exemplo. O feedback formativo consiste em toda informação que permite ao aluno identificar o que falta fazer e como fazer para alcançar o esperado. Enquanto o feedback somativo se resume às notas e às explicações do porquê dessas notas, o feedback formativo tem por finalidade orientar as aprendizagens (SANTOS; PINTO, 2018; PINTO, 2019). Black e William (1998) destacam o papel do timing para um feedback mais eficiente. Quando o professor apresenta a resposta esperada ao aluno precipitadamente, ele não contribui tanto como poderia para a aprendizagem do estudante. Fazer perguntas aos seus alunos faz parte da atuação do professor, no entanto, se o professor não oferece tempo adequado para que os estudantes trabalhem na resposta, o aprendizado fica comprometido. Santos e Pinto (2018) alertam que o feedback é um processo dialógico e não somente o envio de uma mensagem, ou seja, o que é decisivo é a forma como o aluno adapta e incorpora o feedback. De certa forma, o ensino deve ser adaptado e adaptável para a melhoria da aprendizagem dos estudantes. Para isso, é necessário que se desenvolva uma cultura de sala de aula de questionamento e pensamento profundo, na qual os alunos aprendam com discussões compartilhadas com professores e colegas. O que emerge muito claramente aqui é a indivisibilidade das instruções e práticas de avaliação formativa (BLACK; WILLIAM, 1998, p. 146). De acordo com Dolin e colaboradores (2018), somente oferecer conceitos ou notas aos estudantes como a única forma de feedback, indicando apenas o quão bom é o trabalho não é consistente com o objetivo de usar a avaliação para ajudar na aprendizagem. Se os estudantes recebem apenas conceitos ou notas, eles não se beneficiam do feedback. O pior cenário é aquele em que alguns alunos que obtêm notas baixas em determinado momento, já obtiveram notas baixas em um momento anterior e esperam obter notas baixas da próxima avaliação. Esse ciclo de repetidas falhas se torna parte de uma crença compartilhada entre esses alunos e os colegas de classe deles (BLACK; WILLIAM, 1998, p. 144). O feedback sobre testes, trabalhos de aula e trabalhos de casa, em uma perspectiva formativa, deve fornecer orientações a cada aluno sobre como melhorar, oferecendo uma oportunidade para trabalhar na superação de suas dificuldades e no desenvolvimento de sua aprendizagem. A utilização do feedback pode promover, em um teste de Matemática com caraterísticas tradicionais, uma ideia de continuidade. A avaliação passa a ser entendida como um processo, que não se encerra no momento da sua aplicação, continua na entrega do teste corrigido e comentado, por exemplo. Vaz e Nasser (2019) defendem a dupla diversificação avaliativa, que consiste em uma proposta na qual o processo de avaliação seja diversificado em momentos e em instrumentos. “A avaliação escolar não deve ser restrita aos exames esporádicos em momentos específicos (normalmente nos finais de ciclos) nem, tão pouco, utilizando apenas um instrumento avaliativo, que pode beneficiar alguns grupos em detrimento de outros” (VAZ; NASSER, 2019, p. 307). A dupla diversificação avaliativa proposta tem como objetivo a redução dos vieses cometidos por professores na correção de provas de Matemática. Dentro do contexto de ensino, consistente com a visão social construtivista da aprendizagem, o feedback pode ser dado de aluno para professor, de professor para aluno ou de aluno para aluno. Comentários de aluno para professor permitem que este saiba como os alunos estão respondendo às atividades de aprendizagem e o direcionam na escolha das ações a tomar para ajustar as oportunidades e desafios oferecidos aos alunos. As cinco estratégias chave para o pleno desenvolvimento de uma avaliação formativa são: 1.Clarificar, compartilhar e compreender as intenções de aprendizagem e os critérios do sucesso. 2.Engendrar discussões eficazes em sala de aula, atividades e tarefas que promovam evidências de aprendizagem. 3.Promover feedback que conduza à aprendizagem. 4. Motivar os estudantes a atuarem como pesquisadores da sua aprendizagem e a de seus pares. 5. Fazer com que os estudantes se reconheçam como responsáveis pela própria aprendizagem (WILLIAM, 2011, p. 46). Em resumo, o feedback “é um elemento chave na avaliação formativa, talvez mesmo o mais poderoso mediador para melhorar o desempenho” (SANTOS; PINTO, 2018, p. 513). Considerando que as avaliações de Matemática são comumente representadas por testes apresentando características somativas, seria possível utilizá-los com características formativas? 2.2 A utilização formativa de testes somativos A ideia da utilização formativa em testes somativos foi proposta por Black e William (1998). Black (2003) argumenta que usar preparação pré-teste ou acompanhamento pós-teste como estratégias avaliativas aprimoram o desempenho dos alunos nas avaliações somativas e/ou promovem autorregulação. Para Fernandes (2019) a utilização formativa de testes somativos parece ser aceitável, no entanto, a utilização de testes formativos para fins somativos parece, inicialmente, “mais problemática tendo em conta a sua natureza e sua inserção no processo pedagógico” (FERNANDES, 2019, p. 152). Refletindo sobre a possibilidade de coexistência das avaliações somativas e formativas, Fernandes (2019) e Borralho, Cid e Fialho (2019) analisam três perspectivas diferentes: são conceitos dicotômicos, opostos, com objetos, finalidades e funções diferentes; são duas dimensões de um mesmo constructo, existindo uma espécie de continuum entre os dois polos extremos: a avaliação formativa informal e avaliação somativa formal, havendo práticas avaliativas híbridas; são conceitos distintos, mas complementares, partilham aspectos comuns, tais como a coleta de informação do que os alunos sabem e são capazes de fazer. Essa terceira concepção é defendida por Fernandes (2019) ao afirmar que do ponto de vista epistemológico, as avaliações somativas e formativas não podem ser interpretadas como dimensões de um mesmo constructo, por outro lado, considerá-las como dicotômicas talvez não faça sentido “uma vez que, por exemplo, ambas contribuem para gerar informação fundamental para distribuir feedback de elevada qualidade” (FERNANDES, 2019, p. 153). Hadji (2001) considera a possibilidade de articulação entre as duas modalidades de avaliação, em que uma avaliação formativa pode ter características somativas e vice-versa. toda avaliação, mesmo no centro da ação, tem uma dimensão cumulativa. Sempre faz o balanço das aquisições dos alunos. E toda avaliação tem – ou deveria ter, em um contexto pedagógico – uma dimensão prognóstica, no sentido que conduz – ou deveria conduzir – a um melhor ajuste ensino/aprendizagem (HADJI, 2001, p. 19-20). Segundo Taras (2005, 2009), toda avaliação é inicialmente somativa e o que se faz a seguir é o que a torna formativa. Se a avaliação for interrompida no julgamento, ela será somativa, mas se a avaliação somativa for acrescida de algum feedback que contribua para a aprendizagem, essa avaliação poderá ser classificada como formativa. Avaliação Formativa = Avaliação Somativa + Feedback (TARAS, 2005 , 2009 ) Deste modo, a ideia de Black e William (1998) de implementar nos testes somativos um caráter formativo foi bem aceita pelos pesquisadores Fernandes (2009, 2019), Hadji (2001) e Taras (2005, 2009). Este trabalho se fundamenta nessa possibilidade. 3 A investigação Este estudo é oriundo de um recorte de uma tese de doutorado em desenvolvimento. Participaram da investigação descrita a seguir quatro professores universitários, vinte e oito professores (estudantes de Pós-Graduação) e dezenove licenciandos em Matemática. Esses profissionais e estudantes participaram de duas oficinas em dois momentos no ano de 2019. Durante essas oficinas, os cinquenta e um participantes preencheram um documento em que eram solicitados a corrigir seis questões, pontuando, justificando a pontuação e oferecendo um feedback escrito ao estudante para cada uma das soluções. A ideia era supor que o corretor fosse o professor regente de uma turma do sexto ano do Ensino Fundamental, e que ele deveria corrigir seis soluções de estudantes dessa turma. A questão a ser corrigida está descrita na Figura 2. Figura 2 A questão investigada e seu gabarito Fonte: Elaborada pelos autores Os 51 respondentes deveriam, além de atribuir uma pontuação de 0 a 1, explicar o critério para a pontuação e oferecer um feedback escrito, nas lacunas correspondentes, para cada uma das seis soluções conforme ilustra a Figura 3. Figura 3 Quadro referente a primeira solução Fonte: Elaborada pelos autores As seis soluções dos estudantes fictícios foram elaboradas a partir da experiência dos autores na atuação na Escola Básica, na formação de professores e na correção de exames de larga escala. A ideia era diversificar as respostas entre soluções erradas, incompletas e alternativas, para ampliar as possibilidades de análise das respostas coletadas. Como este artigo analisa a qualidade dos feedbacks apresentados pelos respondentes e a existência de uma conexão entre essa qualidade e as notas atribuídas, para categorizar os feedbacks foi necessário formular critérios a partir da revisão de literatura, sobre o que seria um bom feedback na perspectiva da Avaliação Formativa e o que não seria. 4 Os resultados Como os alunos eram do sexto ano do Ensino Fundamental, a resolução esperada seria aquela apresentada no gabarito da Figura 2, em que se utiliza o algoritmo da multiplicação e da subtração em sequência. Nesse contexto, diante dos diferentes tipos de solução apresentadas nesse estudo (Figura 4), o que poderíamos considerar como um bom feedback? O que seria um feedback formativo em Matemática? Figura 4 As seis soluções utilizadas na investigação Fonte: Elaborada pelos autores 4.1 Um bom feedback ou feedback formativo De acordo com Marzano, Pickering e Pollock (2001), o feedback precisa da natureza “corretiva”, oportuna, específica ao critério e ao aluno envolvido. Suas pesquisas indicam que simplesmente dizer a um aluno que sua resposta em um teste é certa ou errada não possui nenhum efeito positivo na aprendizagem. Para um melhor feedback possível, uma explicação sobre o que é preciso e o que é impreciso na solução dos estudantes é necessária. Um processo [de feedback] que se baseia nos pontos fortes das crianças, em vez de se concentrar em suas fraquezas, é altamente positivo. O fornecimento de feedback descritivo pode evitar fazer julgamentos avaliativos sobre os alunos e também dará aos professores mais informações para compartilhar com esse aluno, seus pais e outro professor. […] O objetivo do feedback descritivo é coletar informações sobre o que um aluno aprendeu e como ele aprendeu, bem como para que cada aluno esteja ciente de seus próprios processos de aprendizado (BARRY, 2008, p. 5). Para Santos e Pinto (2018), o feedback avaliativo traduz-se, sobretudo, num juízo de valor, com utilização implícita ou explícita de normas, centrado nas características/atitudes do aluno, enquanto que o feedback descritivo incide na realização do aluno e na tarefa proposta. A partir dessa distinção, esses autores apresentam uma tabela que propõe uma classificação de feedbacks. Quadro 1 Classificação de feedbacks Feedback Tipo Comentário Pouca atenção! Não estudaste! Avaliativo, reprovação; Transmissão de informação; Dirigido ao self. O professor recorre ao seu poder, fazendo uma inferência não assente em evidência Tens de estudar mais. Avaliativo, castigo ou incentivo; Transmissão de informação; Dirigido ao self. Estudar o quê? Não fornece suficientes pistas para o aluno prosseguir. Bem feito! Avaliativo, aprovação; Transmissão de informação; Dirigido à tarefa. Não preciso fazer mais nada? O que está bem feito? O teu trabalho está cheio de erros de cálculo! Corrige-os Descritivo, aperfeiçoamento específico; Transmissão de informação; Dirigido à tarefa. Mas quais são? Não esclarece o suficiente para o aluno prosseguir Se em vez destes valores tivesses outros chegarias à mesma conclusão? Experimenta e compara com os teus resultados. O que concluis? Descritivo, construção do percurso a seguir; Anotação como diálogo; Dirigido ao processo. Dá pistas ao aluno como continuar/reformular Relê o enunciado da tarefa. Vai anotando as diferentes informações. No final, compara-as com as que usaste. São as mesmas? Descritivo, construção do percurso a seguir; Anotação como diálogo; Dirigido à regulação. Dá pistas ao aluno como continuar/reformular Fonte: SANTOS; PINTO (2018, p. 516-517) Neste estudo, classificaremos como um feedback formativo aquele que oferece pistas de como continuar, descritivo, dirigido à regulação, ou seja, que permite ao aluno identificar o que falta fazer e como fazer para alcançar o esperado, que propõe uma situação que leve o estudante a rever sua solução e/ou identificar exatamente qual foi o erro do processo e, principalmente, que o ajude a identificar o que errou, porque errou e como resolver o item corretamente. Um feedback neutro, por sua vez, se aproxima mais do feedback avaliativo, é dirigido ao self e/ou não oferece pistas de como continuar. Oferece informações relacionadas a um julgamento, com informações gerais que não auxiliam diretamente na aprendizagem. Trata-se daquele que apenas identifica o erro, mas não oferece nenhuma ajuda para como superar a dificuldade. Foram enquadradas nessa categoria respostas que não seriam necessariamente um feedback, como por exemplo elogios ou críticas não acompanhadas de nada mais. Na solução em que o estudante apresenta somente a resposta (aluno B) consideramos que o melhor feedback possível seria aquele que solicita ao estudante que apresente sua resolução inicialmente omitida. No entanto, reconhecendo as limitações da própria investigação realizada, sobretudo em relação ao instrumento de coleta de dados, vamos classificar como um bom feedback, nessas questões, aquele que alerta ao aluno que as resoluções devem ser apresentadas para obter a pontuação máxima. O Quadro 2 apresenta a solução dos estudantes A, B e C e alguns feedbacks oferecidos pelos corretores. Quadro 2 Feedbacks das soluções A, B e C Aluno/Solução Feedbacks Formativos Feedbacks Neutros Observe quanto é 61+6. O que você pode dizer sobre a resposta? (Corretor 11) Como 5 unidades é menor que 6 unidades, “pedimos” 10 unidades emprestadas ao 6 que representa 6 dezenas (60). Daí, 15 – 6 = 9. Logo, a resposta é 59. (Corretor 49) Rever conceitos de operação com número naturais. (Corretor 6) Se atente à subtração! (Corretor 14) Fazer mais exercícios semelhante. (Corretor 17) Prestar mais atenção! Cuidado ao subtrair! (Corretor 43) Como você sabe que ficaram 59 carrinhos? É preciso apresentar a resolução. (Corretor 2) Não dar resposta sem a justificativa. (Corretor 8) Apresente seu desenvolvimento! Ele é mais importante que a resposta final) (Corretor 13) Observe que 13 × 5 é o mesmo que 13+ 13+ 13 + 13 + 13 e este número não pode ser tão grande como 515. (Corretor 1) Ao efetuar 5 × 3 = 15, temos que 15 é igual a 1 dezena e 5 unidades. Logo, o dígito 1 deveria ser somado ao resultado de 5 × 1= 5, obtendo 6 e formando o número 65. (Corretor 49) Atenção às contas! (Corretor 3) Mais cuidados com os cálculos! (Corretor 28) Revise! (Corretor 26) Rever conceitos sobre operações com números naturais. (Corretor 6) Fonte: Elaborado pelos autores Dentre os feedbacks encontrados, alguns não identificam exatamente o erro cometido no desenvolvimento, muito menos, indicaram como proceder especificamente com esse erro: _ Estude mais. _ Faça mais exercícios. _ Tenha mais atenção aos algoritmos. (Feedbacks neutros oferecidos pelos respondentes, 2019). Mesmo dentre os feedbacks classificados como bons, é possível identificar dois tipos relevantes. O primeiro é composto daqueles comentários que permitem ao aluno não somente identificar o erro, mas oferecem a possibilidade de pensar em uma prova real e, também, identificar erros semelhantes cometidos em outras oportunidades. _ Observe quanto é 61+6. O que você pode dizer sobre a resposta? _ Observe que 13 x 5 é o mesmo que 13+ 13+ 13 + 13 + 13 e este número não pode ser tão grande como 515. (Feedbacks formativos oferecidos pelos respondentes, 2019). Consideramos também bons feedbacks aqueles que identificaram o caminho correto. _ Como 5 unidades é menor que 6 unidades, pedimos 10 unidades emprestadas ao 6 que representa 6 dezenas (60). Daí, 15 – 6 = 9. Logo, a resposta é 59. _ Como você sabe que ficaram 59 carrinhos? É preciso apresentar a resolução. (Feedbacks formativos oferecidos pelos respondentes, 2019). Talvez, esse segundo grupo de respostas não ofereça um feedback tão bom quanto o anterior, pois apenas indica o erro e/ou o caminho certo, diferentemente do primeiro grupo que traz algo agregado, uma técnica de testagem, de prova real. Classificamos esses dois tipos de comentários como feedbacks formativos. Em relação à solução do aluno A, dos 51 entrevistados, 42 ofereceram feedbacks neutros, 2 deixaram em branco e apenas 7 ofereceram feedbacks formativos. Dos formativos, em apenas um o professor não apresentou a resposta correta, respeitando a ideia de “timing”. No caso da solução do estudante B, todos os participantes ofereceram feedbacks positivos. Como dito anteriormente, foi considerado como formativo o feedback que solicitava apresentar as contas. Somente dois professores entrevistados propuseram modificar a nota mediante a apresentação de nova resolução. Alguns motivos podem justificar essa postura dos entrevistados: o primeiro deles se refere à falta de autonomia da profissão, outra possibilidade está no modo engessado como a avaliação é comumente interpretada. Para a solução do estudante C, 17 dos participantes ofereceram feedbacks formativos, 2 deixaram em branco e os demais, feedbacks neutros. O quadro 3 apresenta alguns dos feedbacks dados às soluções dos alunos D, E e F. Quadro 3 Feedbacks das resoluções D, E e F Aluno/Solução Feedbacks Formativos Feedbacks Neutros … imagine 20 caixas com 300 carrinhos em cada uma! Esse sistema não funcionaria. Seria muito difícil. (Corretor 18) … E se eu dissesse pra você que havia 500 caixas, cada uma com 13 carrinhos…? (Corretor 2) Considerando os algoritmos praticados em sala, você saberia utilizá-los e apresentar outra solução? … nem sempre uma representação como essa é viável – por exemplo, quando os números são maiores. (Corretor 11) Praticar resolução das quatro operações como ministrado em sala. (Corretor 7) Treinar contas. (Corretor 8) Parabéns! (Corretor 32) Explicar ao aluno que a operação multiplicação é soma de várias parcelas iguais. Em seguida, mostrar uma solução mais rápida. (Corretor 40) Que tal ir ao quadro e compartilhar com a turma como você pensou? (este respondente dividiu a resolução em partes correspondentes a 5 × 13 e 65 – 6). (Corretor 11) Há uma forma mais prática de resolver. (Corretor 3) Parabéns! (Corretores 26 e 32) Ficou muito confuso os cálculos, porém chegou à resposta correta. (Corretor 39) Melhorar a organização da expressão! Tive a impressão que o ‘nove’ veio do nada. (Corretor 45) Faltou tirar 6 carrinhos! (Corretor 4) O que representa 13 × 5 no problema? Você percebeu que carrinhos foram retirados? (Corretor 1) Leia a questão e verifique que está faltando uma parte da resolução… (Corretor 30) Faça mais exercícios! Fique atento ao enunciado da questão! (Corretor 17) Tenha mais atenção ao questionamento do problema! (Corretor 50) Leia o enunciado atentamente! (Corretor 44) Precisa aprender a interpretar os dados do problema. (Corretor 36) Fonte: Elaborado pelos autores As soluções apresentadas pelos alunos D e E estão matematicamente corretas. Os entrevistados ofereceram 28 feedbacks classificados como positivos para a resposta do aluno D e 23 para a do aluno E. Essas duas soluções alternativas fornecem aos professores informações sobre o que o aluno não sabe. Não fica claro se o aluno E domina os algoritmos de multiplicação e subtração, essa dúvida fica mais evidente quando observamos a solução do estudante D que utiliza traços na contagem, refletindo um grau de aprendizagem (ou cognitivo) inferior ao do estudante E. Note que diferentemente dos dois exemplos anteriores, o estudante F conhece o algoritmo da multiplicação. No entanto, há algumas possibilidades para a incompletude da questão: falta de tempo, esquecimento ou não compreensão do texto. Em uma perspectiva formativa, aquela que concebe a avaliação para as aprendizagens, ou seja, incluída no processo de ensino, o único modo de atuar ajudando esse estudante seria reconhecer qual é o motivo dessa incompletude e, desse modo, há um forte indício de uma prática formativa quando o professor convida o aluno a comparecer ao quadro para discutir com a turma sua solução alternativa ou, pelo menos, permite ao estudante refazer suas contas. Desse modo, feedbacks como os representados a seguir permitem aos estudantes ao mesmo tempo refletirem sobre a quão limitada foi a estratégia inicialmente adotada e sobre a necessidade de um aprofundamento na resolução, o que no caso seria a apropriação de novos algoritmos. _ E se eu dissesse pra você que havia 500 caixas, cada uma com 13 carrinhos…? _ Tente refazer o problema com 7043 carrinhos em cada caixa. (Outros feedbacks formativos oferecidos pelos respondentes, 2019) Por outro lado, consideramos que os feedbacks descritos abaixo não oferecem contribuições específicas para a aprendizagem do tópico em questão. _ Releia o enunciado, praticar a resolução de problemas elementares envolvendo as quatro operações. _ Precisa melhorar a multiplicação. _ Ficou muito confuso os cálculos, porém chegou à resposta correta. (Outros feedbacks neutros oferecidos pelos respondentes, 2019) Se o aluno errou a operação de multiplicação, estudar mais a multiplicação, provavelmente, é óbvio até mesmo para o estudante. A questão central aqui é que ‘o não efetuar corretamente a multiplicação’ pode estar associado a diferentes tipos de erros. Nesse sentido, um bom feedback deve ajudá-los a compreender o erro e direcioná-los ao caminho correto/esperado. O erro se constitui como um conhecimento, é um saber que o aluno possui, construído de alguma forma, e é necessário elaborar intervenções didáticas que desestabilizem as certezas, levando o estudante a um questionamento sobre suas respostas (CURY, 2007, p. 80). A compreensão de diferentes interpretações feita pelos alunos pode “oferecer elementos para a recondução do processo de ensino e aprendizagem, tanto em seus aspectos metodológicos, quanto na abordagem dos conceitos e procedimentos associados ao conteúdo em estudo” (MANDARINO et. al., 2008, p. 71). Consideramos que as concepções defendidas por pesquisadores de Análise de Erros, em que o erro seja ressignificado e utilizado como um trampolim para a aprendizagem (BORASI, 1985; CURY, 2007; MANDARINO et al., 2008; VAZ; NASSER, 2014), dialogam com as ideias dos pesquisadores de avaliação ao defenderem a utilização de feedbacks a partir das soluções dos estudantes (FERNANDES, 2009; WILLIAM, 2011; SANTOS; PINTO; 2018; VAZ; NASSER, 2019). 4.2 Notas x feedback O maior desvio padrão ocorreu com as notas atribuídas na solução do estudante B, o que pode ser justificado pela inexistência de um senso comum entre os professores em relação à reposta seca (resposta sem a presença de justificativas ou contas). Note que neste caso, todos os feedbacks foram classificados como formativos. Mesmo dando nota máxima ou mínima, todos os professores alertaram aos estudantes sobre a necessidade de apresentar as contas. A média das notas atribuídas pelos professores e licenciandos que ofereceram feedbacks formativos foi ligeiramente superior àquela atribuída por professores e licenciandos com feedbacks neutros. Esse resultado sugere que a capacidade dos professores em oferecer melhores feedbacks pode estar diretamente ligada a uma maior valorização do desenvolvimento dos estudantes, ou seja, os professores que atribuem maiores notas estão mais aptos a oferecer melhores feedbacks. O gráfico da Figura 5 apresenta a comparação entre as médias oferecidas pelos participantes que forneceram feedbacks formativos e as médias relacionadas aos feedbacks neutros. Figura 5 Notas atribuídas x qualidade do feedback Fonte: Elaborada pelos autores Alguns aspectos observáveis nesse gráfico fornecem indícios para interpretar como a Matemática escolar é compreendida pelos professores. (1) Os entrevistados ofereceram notas inferiores para a solução do estudante C em comparação com a solução do estudante A. Nas duas soluções os estudantes cometeram apenas um erro em uma das duas operações necessárias. Se considerarmos a complexidade da operação realizada, o aluno A erra numa subtração, enquanto ao aluno C erra numa multiplicação, talvez esse segundo tenha errado uma operação mais complexa. O que justificaria essa diferença significativa entre as médias (0,58 na solução A e 0,34 na solução C)? Uma explicação possível está relacionada a dois efeitos estudados na psicologia: efeito halo e efeito âncora. A ordem das questões e suas respectivas soluções em um teste poderiam influenciar a correção de professores de Matemática, mais precisamente, influenciar a nota atribuída por eles, seja pela ordem propriamente dita (efeito halo) ou pela presença de uma solução inicial, diferente das demais, que influencie a correção das seguintes (efeito âncora) (VAZ; NASSER, 2019). Neste sentido, talvez, a ordem em que o erro aparece na solução pode causar efeito similar, ou seja, quando o erro aparece no início, provoca um efeito negativo maior na concepção do professor. Outra possibilidade remete à ordem de grandeza, visto que na solução do estudante C há uma discrepância maior da resposta esperada e a resposta encontrada pelo estudante. (2) É relevante destacar que os entrevistados atribuíram um maior peso à resposta final do que às habilidades matemáticas propriamente ditas. As médias atribuídas às soluções dos estudantes D e E foram muito superiores àquelas atribuídas às demais soluções. A habilidade de compreender os algoritmos de subtração e multiplicação foi subvalorizada. Se por um lado, os fictícios estudantes A, C, D e E interpretaram corretamente o problema, fica evidente que apenas os estudantes A e C demostraram conhecer os dois algoritmos necessários, mesmo acertando apenas um deles (ao desenvolver corretamente uma multiplicação na solução apresentada por A e uma subtração apresentada por C). O estudante D, por exemplo, resolveu esse problema com o artifício de contagem, através de “pauzinhos”, demonstrando um atraso em sua aprendizagem muito maior do que os estudantes A e C. A resposta correta parece ser mais valorizada que o desenvolvimento, que as habilidades necessárias para a solução da mesma. Consideramos que, por se tratar de uma avaliação aplicada no sexto ano, o domínio dos algoritmos deveria ser mais valorizado. Tal situação, talvez, reflita a concepção positivista que os professores possuem da Matemática, como uma ciência pronta e acabada em que os erros são execrados. Para verificar se há de fato alguma conexão nos dados obtidos entre a qualidade do feedback e a atribuição de notas do corretor, como sugere a Figura 5, classificamos os corretores como Corretores Formativos ou Corretores Neutros. A Figura 6 ilustra as pontuações atribuídas pelos onze primeiros corretores analisados. Nas colunas de A a F estão as notas atribuídas, respectivamente, a essas questões. Dessas notas, as destacadas em azul correspondem a feedbacks formativos, as em cinza, ao feedback neutro e as em branco (sem destaque), correspondem aos corretores que deixaram o campo do feedback em branco. Figura 6 Notas e feedbacks dos 11 primeiros corretores Fonte: Elaborada pelos autores Na última coluna, está o somatório das seis notas atribuídas pelos corretores. Cada corretor que conseguiu fornecer, pelo menos, 3 feedbacks formativos foi classificado de Corretor Formativo, tendo seu somatório destacado em azul. Os corretores que conseguiram fornecer até 2 feedbacks formativos foram classificados como Corretores Neutros. O décimo primeiro corretor não atribuiu uma pontuação à questão B, por isso, no lugar da referida pontuação, está a abreviação de não informado (NI). Por não ter informado uma das notas, desprezou-se os dados coletados do corretor 11 na análise seguinte. Deste modo, utilizou-se os dados dos 50 corretores restantes para um estudo estatístico de independência entre as notas e o feedback. As pontuações foram agrupadas em três intervalos (vide Tabela 1). Tabela 1 Corretores x Pontuações Corretores Intervalo de pontuações totais [2,1, 3,1] ]3,1, 4,1] ]4,1, 5,2] Total Formativos 2 16 10 28 Neutros 9 10 3 22 Total 11 26 13 50 Fonte: Elaborada pelos autores Em seguida realizou-se um teste de independência denominado X(qui) quadrado com os dados da Tabela 1. O valor encontrado foi 9,17, um valor maior que o valor de referência tabelado: 5,991. Conclui-se que a hipótese de independência não é satisfeita para um nível de significância de 0,05. Em outras palavras, podemos garantir com 95% de certeza que os corretores de nossa amostra que atribuíram maiores pontuações tendem a fornecer um feedback formativo. 5 Considerações finais Este trabalho destaca a importância de interpretar a avaliação como agente da aprendizagem. Isso ocorre sob dois pontos de vista. Primeiro, porque sempre é possível fornecer ao aluno uma oportunidade de entender seu erro e tentar, por si mesmo, corrigi-lo, contribuindo para sua aprendizagem. Por outro lado, a análise das resoluções dos alunos pode fornecer ao professor orientação sobre o que os alunos não aprenderam e sobre como direcionar suas estratégias de ensino para suprir essas falhas (CURY, 2007; VAZ, 2013). Perrenoud (1999) afirma que mudar a avaliação significa mudar a escola. Para proporcionar uma avaliação mais formativa, o professor deve possuir maior autonomia em sua atuação profissional e abandonar o que Fernandes (2009) denomina de paradigma psicométrico da avaliação escolar, associando a avaliação – representada pela prova – a um instrumento de medida, preciso e justo. Propomos aqui, oferecer uma contribuição à “fórmula” de avaliação de Taras (2005, 2009). Partindo do pressuposto que nem todo feedback contribui para as aprendizagens, somente o Feedback Formativo poderá transformar uma avaliação somativa em formativa, propomos esta nova versão: Avaliação Formativa = Avaliação Somativa + Feedback Formativo Há outros dois aspectos que merecem destaque neste estudo. O primeiro se refere à utilização de feedbacks em uma prova. A visão dicotômica entre as avaliações somativa e formativa representam um obstáculo para a utilização da avaliação voltada para a aprendizagem. Neste sentido, oferecer aos professores uma “fórmula” capaz de atribuir às provas e testes, tão incorporados na prática docente, características formativas é muito positivo. O segundo ponto relevante deste artigo se refere à conexão existente entre a nota atribuída pelos professores e a qualidade do feedback que eles fornecem, ou seja, nesta pesquisa, os professores que atribuíram uma nota maior, tenderam a oferecer melhores feedbacks e/ou vice-versa. Talvez esse resultado seja explicado pelo modo como o professor compreende a Educação, a Matemática e o ensino de Matemática. O modo como o professor avalia está intrinsicamente conectado ao modo como esse docente ensina, e provavelmente, como seu aluno aprende. A avaliação como elemento estruturante do ensino pode, consequentemente, ser um rico momento de aprendizagem, e nesse sentido, nos parece, que ainda temos muito a aprender. 1 Valor de referência qui quadrado para uma tabela com 2 linhas e 3 colunas, que fornece dois graus de liberdade [(2 – 1) (3 – 1) = 2], com um nível de significância de 0,05. Referências BARREIRA C. M. F. Concepções e práticas de avaliação formativa e sua relação com os processos de ensino de aprendizagem ORTIGÃO M. I. R. Avaliar para aprender no Brasil e em Portugal: perspectivas teóricas, práticas e de desenvolvimento 1 Curitiba CRV 2019 191 218 BARREIRA, C. M. F. Concepções e práticas de avaliação formativa e sua relação com os processos de ensino de aprendizagem. In: ORTIGÃO, M. I. R. et al. (org.). Avaliar para aprender no Brasil e em Portugal: perspectivas teóricas, práticas e de desenvolvimento. v. 1. Curitiba: CRV, 2019. p. 191-218. BARRY V. J. Using Descriptive Feedback in a Sixth Grade Mathematics Classroom Action Research Projects. 9. Nebraska-Lincoln 2008 Disponível em: https://digitalcommons.unl.edu/cgi/viewcontent.cgi?article=1006&context=mathmidactionresearch BARRY, V. J. Using Descriptive Feedback in a Sixth Grade Mathematics Classroom. Action Research Projects. 9. Nebraska-Lincoln. 2008. Disponível em: https://digitalcommons.unl.edu/cgi/viewcontent.cgi?article=1006&context=mathmidactionresearch BORASI R. Using errors as springboards for the learning of mathematics: an introduction Focus on Learning Problems in Mathematics Framingham 7 3-4 1 14 1985 BORASI, R. Using errors as springboards for the learning of mathematics: an introduction. Focus on Learning Problems in Mathematics, Framingham, v. 7, n. 3-4, p.1-14, 1985. BORRALHO A. CID M. FIALHO I. Avaliação das (para as) aprendizagens das questões teóricas às práticas de sala de aula ORTIGÃO M. I. R. Avaliar para aprender no Brasil e em Portugal: perspectivas teóricas, práticas e de desenvolvimento 1 Curitiba CRV 2019 219 240 BORRALHO, A.; CID, M.; FIALHO, I. Avaliação das (para as) aprendizagens das questões teóricas às práticas de sala de aula. In: ORTIGÃO, M. I. R. et al. (org.). Avaliar para aprender no Brasil e em Portugal: perspectivas teóricas, práticas e de desenvolvimento. v. 1, Curitiba: CRV, 2019. p. 219-240. BURIASCO R. L. C. Algumas considerações sobre avaliação educacional Estudos em avaliação educacional São Paulo 11 22 155 178 2000 BURIASCO, R. L. C. Algumas considerações sobre avaliação educacional. Estudos em avaliação educacional, São Paulo, v. 11, n. 22, p. 155-178, 2000. BURIASCO R. L. C. FERREIRA P. E. A. CIANI A. B. Avaliação como prática de investigação: alguns apontamentos Bolema Rio Claro 22 33 69 96 2009 BURIASCO, R. L. C.; FERREIRA, P. E. A.; CIANI, A. B. Avaliação como prática de investigação: alguns apontamentos. Bolema, Rio Claro, v. 22, n. 33, p. 69-96, 2009. BLACK P. WILIAM D. Inside the Black Box: Raising Standards through Classroom Assessment The Phi Delta Kappan Bloomington 80 2 139 148 1998 BLACK, P.; WILIAM, D. Inside the Black Box: Raising Standards through Classroom Assessment. The Phi Delta Kappan, Bloomington v. 80, n. 2, p. 139-148, 1998. BLACK P. The nature and value of formative assessment for learning Improving schools Edinburgh 6 3 7 22 2003 BLACK, P. The nature and value of formative assessment for learning. Improving schools, Edinburgh, v. 6, n. 3, p. 7-22, 2003. BRITTO L. P. L. Livro didático e autonomia docente Scripta Belo Horizonte 6 11 162 170 2002 BRITTO, L. P. L. Livro didático e autonomia docente. Scripta, Belo Horizonte, v. 6, n. 11, p. 162-170, 2002. CURY H. N. Análise de Erros: O que podemos aprender com as respostas dos alunos Belo Horizonte Autêntica 2007 CURY, H. N. Análise de Erros: O que podemos aprender com as respostas dos alunos. Belo Horizonte: Autêntica, 2007. DOLIN J. Exploring relations between formative and summative assessment DOLIN J. EVANS R. Transforming assessment Cham Springer 2018 53 80 DOLIN, J. et al. Exploring relations between formative and summative assessment. In: DOLIN, J.; EVANS, R. (org.). Transforming assessment. Cham: Springer, 2018. p. 53-80. FERNANDES D. Avaliar para aprender: fundamentos, práticas e políticas São Paulo Editora Unesp 2009 FERNANDES, D. Avaliar para aprender: fundamentos, práticas e políticas. São Paulo: Editora Unesp, 2009. FERNANDES D. Para um enquadramento teórico da avaliação formativa e da avaliação sumativa das aprendizagens escolares ORTIGÃO M. I. R. Avaliar para aprender no Brasil e em Portugal: perspectivas teóricas, práticas e de desenvolvimento 1 Curitiba CRV 2019 139 164 FERNANDES, D. Para um enquadramento teórico da avaliação formativa e da avaliação sumativa das aprendizagens escolares. In: ORTIGÃO, M. I. R. et al. (org.). Avaliar para aprender no Brasil e em Portugal: perspectivas teóricas, práticas e de desenvolvimento. v. 1, Curitiba: CRV, 2019. p. 139-164. FORSTER C. A utilização da prova-escrita-com-cola como recurso à aprendizagem. 2015. Dissertação (Mestrado em Ensino de Ciências e Educação Matemática) – Programa de Pós-Graduação de Ensino de Ciências e Educação Matemática Universidade Estadual de Londrina Londrina 2015 FORSTER, C. A utilização da prova-escrita-com-cola como recurso à aprendizagem. 2015. Dissertação (Mestrado em Ensino de Ciências e Educação Matemática) – Programa de Pós-Graduação de Ensino de Ciências e Educação Matemática, Universidade Estadual de Londrina, Londrina, 2015. HADJI C. Avaliação desmistificada Porto Alegre Artmed Editora 2001 HADJI, C. Avaliação desmistificada. Porto Alegre: Artmed Editora, 2001. MANDARINO M. Soluções inesperadas na resolução de problemas matemáticos: erro ou acerto? INTERNACIONAL COTIDIANO: DIÁLOGOS SOBRE DIÁLOGOS, 2, 2008, Niterói Anais… Niterói UFF 2008 67 86 MANDARINO, M. et al. Soluções inesperadas na resolução de problemas matemáticos: erro ou acerto? In: INTERNACIONAL COTIDIANO: DIÁLOGOS SOBRE DIÁLOGOS, 2, 2008, Niterói. Anais… Niterói: UFF, 2008. p. 67-86. MARZANO R. PICKERING D. POLLOCK J. Classroom instruction that works: Research based strategies for increasing student achievement Alexandria Association for Supervision and Curriculum Development 2001 MARZANO, R.; PICKERING, D.; POLLOCK, J. Classroom instruction that works: Research based strategies for increasing student achievement. Alexandria: Association for Supervision and Curriculum Development, 2001. MENDES M. T. BURIASCO R. L. C. O dinamismo de uma prova escrita em fases: um estudo com alunos de cálculo diferencial e integral Bolema Rio Claro 32 61 653 672 2018 MENDES, M. T.; BURIASCO, R. L. C. O dinamismo de uma prova escrita em fases: um estudo com alunos de cálculo diferencial e integral. Bolema, Rio Claro, v. 32, n. 61, p. 653-672, 2018. PERRENOUD P. Avaliação: da excelência à regulação das aprendizagens – entre duas lógicas Porto Alegre Artes Médicas Sul 1999 PERRENOUD, P. Avaliação: da excelência à regulação das aprendizagens – entre duas lógicas. Porto Alegre: Artes Médicas Sul, 1999. PINTO J. Avaliação Formativa: uma prática para a aprendizagem ORTIGÃO M. I. R. Avaliar para aprender no Brasil e em Portugal: perspectivas teóricas, práticas e de desenvolvimento 1 Curitiba CRV 2019 19 44 PINTO, J. Avaliação Formativa: uma prática para a aprendizagem. In: ORTIGÃO, M. I. R. et al (org.). Avaliar para aprender no Brasil e em Portugal: perspectivas teóricas, práticas e de desenvolvimento. v.1, Curitiba: CRV, 2019. p. 19 – 44. PIRES M. N. M. BURIASCO R. L. C. Professores dos anos iniciais, a prova em fases e a possibilidade de aprender Zetetiké Campinas 25 3 474 495 2017 PIRES, M. N. M.; BURIASCO, R. L. C. Professores dos anos iniciais, a prova em fases e a possibilidade de aprender. Zetetiké, Campinas, v. 25, n. 3, p. 474-495, 2017. TARAS M. Assessment–summative and formative–some theoretical reflections British Journal of Educational Studies London 53 4 466 478 2005 TARAS, M. Assessment–summative and formative–some theoretical reflections. British Journal of Educational Studies, London, v. 53, n. 4, p. 466-478, 2005. TARAS M. Summative assessment: The missing link for formative assessment Journal of Further and Higher Education London 33 1 57 69 2009 TARAS, M. Summative assessment: The missing link for formative assessment. Journal of Further and Higher Education, London, v. 33, n. 1, p. 57-69, 2009. SANTOS L. Reflexões em torno da avaliação pedagógica ORTIGÃO M. I. R. Avaliar para aprender no Brasil e em Portugal: perspectivas teóricas, práticas e de desenvolvimento 1 Curitiba CRV 2019 165 190 SANTOS, L. Reflexões em torno da avaliação pedagógica. In: ORTIGÃO, M. I. R. et al. (org.). Avaliar para aprender no Brasil e em Portugal: perspectivas teóricas, práticas e de desenvolvimento. v. 1, Curitiba: CRV, 2019. p. 165-190. SANTOS L. Que critérios de qualidade para uma avaliação formativa? FERNANES D. Avaliação em educação: olhares sobre uma prática social incontornável Pinhais Editora Melo 2011 155 165 SANTOS, L. Que critérios de qualidade para uma avaliação formativa? In: FERNANES, D. (org.). Avaliação em educação: olhares sobre uma prática social incontornável. Pinhais: Editora Melo, 2011. p. 155-165. SANTOS L. PINTO J. Ensino de conteúdos escolares: A avaliação como fator estruturante VEIGA F.H. O ensino na escola de hoje: teoria, investigação e aplicação Lisboa Climepsi 2018 503 539 SANTOS, L.; PINTO, J. Ensino de conteúdos escolares: A avaliação como fator estruturante. In: VEIGA, F. H. O ensino na escola de hoje: teoria, investigação e aplicação. Lisboa: Climepsi, 2018. p. 503-539. SCRIVEN M. The methodology of evaluation TYLER R. W. Perspective on Curriculum Evaluation Chicago Rand Mc Nally 1967 39 83 SCRIVEN, M. The methodology of evaluation. In: TYLER, R. W. (org.). Perspective on Curriculum Evaluation. Chicago: Rand Mc Nally, 1967. p. 39-83. VAZ R. F. N. Metodologia didática de análise de soluções aplicada no ensino de frações. 2013. 81 81 Dissertação (Mestrado em Ensino de Matemática) Instituto de Matemática, Universidade Federal do Rio de Janeiro Rio de Janeiro 2013 VAZ, R. F. N. Metodologia didática de análise de soluções aplicada no ensino de frações. 2013. 81f. Dissertação (Mestrado em Ensino de Matemática) – Instituto de Matemática, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2013. VAZ R. F. N NASSER L. BELFORT E. Alunos analisando suas próprias soluções: Adição de frações Boletim Gepem 65 2014 VAZ, R. F. N; NASSER, L.; BELFORT, E. Alunos analisando suas próprias soluções: Adição de frações. Boletim Gepem, n. 65, 2014 VAZ R. F. N. NASSER L. Em busca de uma avaliação mais “justa” Com a Palavra o Professor 4 10 311 329 2019 VAZ, R. F. N., NASSER, L. Em busca de uma avaliação mais “justa”. Com a Palavra o Professor, v. 4, n. 10, p. 311-329, 2019. WILLIAM D. Embedded formative assessment Bloomington Solution Tree Press 2011 WILLIAM, D. Embedded formative assessment. Bloomington: Solution Tree Press, 2011.