Percepções docentes sobre avaliação da qualidade do ensino na Educação Superior

Teacher’s perceptions about quality evaluation of teaching in Higher Education

Percepciones de los maestros sobre la evaluación de la calidad docente en la Educación Superior

Resumo

Na Educação Superior, a avaliação da qualidade do ensino docente pelos estudantes é amplamente utilizada, apesar das críticas frequentes à sua validade, procedimentos e utilização da informação recolhida. Dez professores de três universidades públicas portuguesas foram entrevistados, tendo-se procedido a uma análise temática exaustiva das mesmas. Os docentes consideram importante que os estudantes avaliem o ensino. Como aspectos positivos, assinalam a oportunidade de escuta aos estudantes e as contribuições daí decorrentes para aprimoramento das práticas pedagógicas. Contudo, as críticas e os aspectos negativos prevalecem, destacando a pouca validade dos inquéritos, a fraca representatividade dos estudantes que respondem ou a falta de uma política institucional de rentabilização da informação recolhida. Algumas implicações são retiradas perspectivando a avaliação e melhoria das práticas pedagógicas.

Ensino superior; Avaliação do ensino; Inquéritos pedagógicos

Abstract

In Higher Education the evaluation of the quality of teaching by students is widely used, despite frequent criticism of its validity, procedures and use of the information collected. Ten teachers from three Portuguese public universities were interviewed, and an exhaustive thematic analysis was performed. Teachers consider important students to evaluate teaching. On the positive side, they point out the opportunity to listen to students and the resulting contributions to improve teaching practices. However, the criticism and the negative aspects prevailed, highlighting the little validity of the surveys, the weak representation of the students who respond, or the lack of institutional policy about the utilization of the information collected. Some implications are presented with a perspective on evaluation and improvement of pedagogical practices.

Higher Education; Student Evaluations of Teaching; Pedagogic Surveys

Resumen

En la Educación Superior la evaluación de la calidad de la enseñanza de los maestros es ampliamente utilizada, pese a las críticas de su validez, a sus procedimientos y al uso de la información recogida. Diez profesores de tres universidades públicas portuguesas fueron entrevistados, y fue realizada una análisis temática exhaustiva. Los maestros consideran importante que los estudiantes evalúen la enseñanza. De manera positiva, apuntan el espacio de escucha de los estudiantes y las contribuciones que este aporta para mejorar las prácticas de enseñanza. Sin embargo, las críticas y los aspectos negativos prevalecieron, destacando la poca validez de los cuestionarios, la débil representación de los estudiantes que responden, o la falta de políticas institucionales sobre la utilización de la información recogida. Se presentan algunas implicaciones con una perspectiva de evaluación y mejora de las prácticas docentes.

Educación Superior; Evaluación de la enseñanza; Cuestionarios pedagógicos

1 Introdução

Nos últimos tempos, a democratização do acesso à Educação Superior (ES) generalizou-se, refletindo a ideia de que o direito a uma educação de nível superior é elemento essencial na construção da sociedade, no fortalecimento dos valores democráticos, no desenvolvimento da cidadania e no crescimento econômico e social das nações. A ES está positivamente associada à ampliação das possibilidades de emprego, de inclusão socioeconômica e de redução das assimetrias existentes na sociedade. Nesse sentido, o processo de democratização da ES se insere nas políticas públicas que almejam a consolidação de uma sociedade mais justa e igualitária assente numa ampla e qualificada formação acadêmica das pessoas. A esse respeito, a Unesco (2009a) tem reiterado a necessidade de se garantir o acesso igualitário e generalizado à ES.

Face a estas considerações, a ES apresenta um crescimento quantitativo exponencial em todo o mundo, estando aberta a públicos não tradicionais e proporcionando no seu seio uma grande diversificação do perfil estudantil (OCDE, 2014; UNESCO, 2009b). Os processos de expansão e de democratização, entretanto, não podem se limitar à criação de mais instituições, de mais cursos e de mais vagas ou à ampliação das oportunidades de acesso. É igualmente necessário garantir condições adequadas para a permanência, o sucesso e concretização das expectativas dos estudantes, referendados em critérios de qualidade científica e social (UNESCO, 2009a).

Por essa razão, cada vez mais a implantação e ampliação das políticas de democratização do acesso reacendem o debate acerca da relação entre democratização, massificação e qualidade. Surgem preocupações de que as políticas de maior abertura à ES e de democratização do acesso conduzam ao enfraquecimento dos padrões acadêmicos de excelência (GUSMÃO, 2013; MORAIS; ALMEIDA; MONTENEGRO, 2006; PITMAN, 2014; RISTOFF, 2013), associando a democratização à massificação e baixa qualidade. Por outras palavras, reconhecida a necessidade de aumentar as taxas populacionais com estudos de nível superior, receia-se uma massificação da ES e, com ela, uma deterioração da qualidade dessa formação. Por estes motivos, a preocupação com a qualidade tem sido intensificada, levando a implementação de sistemas de garantia de qualidade nas instituições, com mecanismos de regulação e de avaliação. É neste cenário que se insere a temática da avaliação da qualidade do ensino, foco deste trabalho.

Entre as mudanças e desafios da ES nos dias de hoje, as instituições devem assegurar uma educação de qualidade e investir esforços para a sua promoção. Igualmente, há também um crescente reconhecimento de que o ensino é uma dimensão prioritária e, por essa razão, as práticas pedagógicas dos docentes acabam por ser alvo dos sistemas de avaliação e de garantia da qualidade das Instituições de Educação Superior (IES). À luz dessa conjunção, constata-se que a avaliação da qualidade do ensino pelos estudantes (AQE), ou a avaliação do professor pelo estudante, é um mecanismo de autoavaliação institucional que está mundialmente estabelecido (KULIK, 2001; MARSH, 2007; MORAIS et al., 2006; PENNY, 2003; RICHARDSON, 2005; SPOOREN; BROCKX; MORTELMANS, 2013). A AQE é uma prática bastante comum nas instituições que requerem, no final de cada semestre letivo, que os estudantes preencham questionários ou inquéritos classificando as práticas pedagógicas dos docentes, o funcionamento das disciplinas e das aulas e, em vários casos, a qualidade das suas próprias aprendizagens. Segundo estudo realizado com a participação de 451 instituições do Espaço Europeu de Educação Superior, o instrumento mais utilizado para avaliar a qualidade do ensino é o questionário respondido pelos estudantes, usado por 93% das IES, seguido do portfólio docente (45%) e do feedback dos pares (37%) (SURSOCK, 2015). Tradicionalmente, esta avaliação era realizada através do preenchimento de questionários impressos durante o horário da aula, contudo nos últimos anos, com os avanços da tecnologia e da internet, aumentou a administração on-line destes inquéritos (Benton; Cashin, 2012; Johnson, 2003). Este esforço avaliativo é assumido institucionalmente como forma de assegurar e promover constantemente a qualidade do processo ensino-aprendizagem.

Entretanto, apesar desse compromisso com a qualidade e da ampla utilização da AQE, a avaliação do ensino dos professores pelos estudantes é um campo controverso cujas discussões tratam frequentemente dos problemas associados à sua validade e ao efetivo uso que lhe é dado (KULIK, 2001; PENNY, 2003; SPOOREN et al., 2013). A título de exemplo, os estudantes universitários valorizam e apoiam este sistema de avaliação, todavia, questionam a efetiva utilização dos resultados (ASASSFEH et al., 2014; BISINOTO; ALMEIDA, 2016; IQBAL et al., 2016; KITE; SUBEDI; BRYANT-LEES, 2015; OTANI; KIM; CHO, 2012). O corpo docente, por seu turno, também considera importante, mas mostra-se ambivalente acerca do real valor da avaliação do ensino pelos estudantes (ANDERSON, 2006; BERAN; ROKOSH, 2009; BURDEN, 2010; CHAN; LUK; ZENG, 2014; NASSER; FRESKO, 2002; SOJKA; GUPTA; DEETER-SCHMELZ, 2002; WONG; MONI, 2014).

Em síntese, ao mesmo tempo em que os Sistemas de Educação Superior se expandem e democratizam, também tem crescido a implementação de sistemas de garantia de qualidade e particularmente a prática de avaliar a qualidade do ensino pelos estudantes. Esta prática avaliativa é fonte de controvérsia junto de alunos e, mais ainda, dos professores. Frente aos muitos (des)entendimentos acerca dos conceitos de avaliação, de qualidade e de ensino-aprendizagem, avaliar a qualidade do ensino faz sentido se permitir apreender elementos que podem indicar as potencialidades e fragilidades do processo de ensino e aprendizagem, evidenciar práticas pedagógicas melhor sucedidas e apontar caminhos que podem reorientar os espaços de ensino, de aprendizagem e de avaliação das aprendizagens (BISINOTO; ALMEIDA, 2016). Antecipando, e numa visão equilibrada e assumida como complementar a outras fontes de informação, acredita-se que a AQE é um dos mecanismos que informam sobre o processo de ensino e aprendizagem, elemento crucial na promoção do desenvolvimento dos estudantes e na sua formação acadêmica.

No quadro deste estudo, tendo em conta os questionamentos em torno da validade e da confiança na opinião dos estudantes, os preconceitos e mitos que geram descrédito nos resultados destas avaliações, e o pouco reconhecimento do real impacto dos resultados encontrados, entrevistamos professores universitários de Portugal com objetivo de identificar as suas principais percepções acerca do sistema para a avaliação da qualidade do ensino instituído nas suas universidades. Neste estudo, esse sistema refere-se especificamente à prática de avaliar a qualidade do ensino por meio de questionários semestrais que são disponibilizados eletronicamente aos estudantes, os quais recolhem suas opiniões sobre a preparação científica e pedagógica do docente, a qualidade das práticas pedagógicas, a atualidade dos assuntos ou a relação com os estudantes, por exemplo, nas disciplinas em que estiveram inscritos no semestre em questão.

2 Método

2.1 Participantes

Participaram dez professores universitários, seis homens e quatro mulheres, pertencentes a três universidades públicas de Portugal, duas da região Norte e uma da região Centro do país. Os professores atuam nos cursos de Engenharia, Física, Ensino, Ciências da Educação e Psicologia, sendo que cinco professores trabalham na área de Ciências Sociais e Humanas (CS&H), e cinco na área de Ciências e Tecnologias (C&T). O tempo de docência na Educação Superior varia de sete a 28 anos, e o tempo médio de docência é de 19,3 anos, todos com experiência de avaliação da qualidade do seu ensino pelos estudantes nas respectivas universidades. A pesquisa foi realizada no segundo semestre do ano letivo 2015/2016 e a amostra de conveniência foi definida pela disponibilidade dos professores em participar. O critério de saturação foi utilizado para definir o número de participantes ou de entrevistas a realizar.

2.2 Instrumento

Para apreender a percepção dos professores em relação ao sistema de avaliação da qualidade do ensino foram realizadas entrevistas semiestruturadas, individuais, com duração média de 50 minutos. O roteiro de entrevista era composto por quatro questões centrais que exploravam as percepções sobre a importância atribuída ao sistema de avaliação da qualidade do ensino, os aspectos positivos e negativos do referido sistema, assim como sugestões para a sua melhoria. As entrevistas baseavam-se na experiência pessoal e acadêmica dos participantes em relação à AQE que é realizada ao final de cada semestre letivo. De destacar que o questionário usado na avaliação das percepções dos estudantes sobre a qualidade do ensino ministrado é muito similar nas instituições públicas de ES em Portugal.

2.3 Procedimentos

A coleta dos dados foi realizada em contexto acadêmico. Os participantes foram informados acerca dos objetivos do estudo e foi-lhes garantida a confidencialidade da informação recolhida. As entrevistas foram gravadas e posteriormente transcritas. Os dados foram analisados qualitativamente, por meio de análise temática (BRAUN; CLARKE, 2006, 2013), com apoio do software MAXQDA. O processo de análise iniciou pela leitura das transcrições, seguido da seleção das unidades de análise (sentenças, frases e parágrafos) que guardavam relação com o objetivo do estudo. A seguir, as unidades de análise foram atribuídas a códigos temáticos de acordo com o assunto. Foi adotada uma codificação aberta que permitiu a criação, a qualquer tempo, de novos códigos e a fusão entre eles. Considerando as conexões entre os conteúdos dos códigos temáticos, avançou-se para o agrupamento dos mesmos, o que possibilitou a construção dos temas e subtemas de análise. A verificação da convergência de significados internos a cada tema foi realizada por um segundo pesquisador visando garantir sua coerência interna. O processo de análise das dez entrevistas gerou 209 códigos associados a cinco temas de análise, os quais são apresentados e discutidos a seguir.

3 Resultados

Inicialmente, antes de apresentar os resultados relativos às entrevistas com os professores, cabe esclarecer que cada uma das universidades em que os professores participantes deste estudo trabalham tem seu próprio sistema interno de garantia da qualidade, conforme está previsto na legislação nacional, como a Constituição da República Portuguesa (PORTUGAL, 2005), o Regime Jurídico das Instituições de Ensino Superior [(Lei nº 62/2007 (PORTUGAL, 2007a)] e o Regime Jurídico da Avaliação do Ensino Superior [Lei nº 38/2007(PORTUGAL, 2007b)], e em consonância com os Standards and Guidelines for Quality Assurance in the European Higher Education Area (ENQA, 2015), principal referencial europeu para a avaliação na Educação Superior. Tanto os referenciais europeus quanto a legislação portuguesa respeitam a autonomia das instituições na definição de seus sistemas e procedimentos de avaliação, de modo que não é possível assumir a existência de um modelo único. Ainda assim, no que se refere especificamente à avaliação da qualidade do ensino a partir da opinião dos estudantes, nas três universidades ela tem sido realizada ao final de cada semestre letivo por meio de questionários construídos por cada IES, mas basicamente muito similares no tipo de questões ou domínios avaliados. Nestas três universidades, o questionário fica disponível para preenchimento pelos estudantes em plataforma virtual, por aproximadamente quatro a seis semanas e a participação dos estudantes é voluntária.

Relativamente às percepções dos professores entrevistados observa-se, de modo geral, uma posição favorável à avaliação da qualidade do ensino, acompanhada de um vasto conjunto de críticas e discordâncias advindas da experiência pessoal e profissional. A Tabela apresenta a distribuição das respostas dos participantes (identificados como P1 até P10) entre os cinco temas de análise e ilustra que 35,4% dos códigos foram associados às percepções negativas dos docentes em relação à AQE. Depois, 19,6% correspondem a opiniões gerais sobre a avaliação e outros 19,6% a sugestões apresentadas para melhoria do sistema de avaliação do ensino. Os aspectos positivos apontados pelos professores contemplam, apenas, 11% dos códigos.

Tabela
Distribuição das respostas dos professores acerca da avaliação da qualidade do ensino.

Variável	P1	P2	P3	P4	P5	P6	P7	P8	P9	P10	Total	%
Opinião geral	3	4	5	1	9	5	1	4	7	2	41	19,6
Aspectos positivos	1	2	0	4	3	0	0	4	4	5	23	11
Aspectos negativos	10	6	8	9	9	12	4	4	6	6	74	35,4
Sugestões de melhoria	4	2	5	4	5	6	1	9	2	3	41	19,6
Funcionamento do sistema	2	5	1	3	3	1	2	5	4	4	30	14,4
Total	20	19	19	21	29	24	8	26	23	20	209	100

• Fonte: Dados da pesquisa (2016).

Em relação à contribuição dos professores em cada tema de análise, sete docentes concentraram-se nos aspectos negativos, três dos quais não apontaram um único aspecto positivo; apenas um professor centrou-se nas sugestões de melhoria; e dois professores equilibram suas falas entre dois temas, a saber, opinião geral e aspectos positivos (P9) e aspectos negativos e positivos (P10). O número de contribuições é bastante semelhante entre todos os docentes, com exceção de um professor (P8). Para a apresentação dos resultados serão utilizados fragmentos das respostas dos participantes, selecionados por sua representatividade em relação ao sentido geral do tema analisado. Os fragmentos estão acompanhados da identificação do participante, gênero, área de atuação e tempo de docência na Educação Superior, informado em anos.

O primeiro tema de análise, opinião geral sobre o processo de avaliação da qualidade do ensino pelos estudantes, reúne conteúdos relacionados a importância atribuída ao processo de avaliação na dinâmica universitária, crença ou descrença dos docentes nesse processo, e sentidos atribuídos à avaliação do ensino. Todos os participantes deste estudo são favoráveis e consideram importante haver um processo de AQE que dê feedback sobre o funcionamento, as fragilidades e potencialidades das atividades desenvolvidas junto dos estudantes. As posições favoráveis prendem-se sobretudo à compreensão de que é relevante ouvir os alunos e saber o que pensam, por considerarem que os estudantes são uma importante fonte de feedback sobre o trabalho docente e as atividades de ensino, em particular as aulas: “Ter o feedback dos alunos eu acho que é muito importante pra nós, não é? Nem concebo as coisas de outra forma” [P3, F, C&T, 23a]. Portanto, conceitualmente, são a favor da AQE feita pelos estudantes, entretanto, ao tomarem em análise o sistema de avaliação que está instituído em suas universidades, surgem discordâncias e emerge um sentimento de descrença em virtude de aspectos que consideram negativos:

Na verdade eu estou muito descrente com o processo no momento. Eu não me vejo nele e nem acredito no que está a acontecer no processo. [...] Isso para falar um pouco da avaliação institucional que está principalmente centrada nestes inquéritos e que nesse momento eu acho que não funciona [P1, M, C&T, 21a].

Em relação aos sentidos atribuídos ao processo de avaliação, referem que os docentes compreendem a prática avaliativa como uma atividade burocrática e uma forma de controle que na maioria das vezes gera receio, fazendo-os atribuir um sentido negativo a avaliação:

Mas de facto nós lidamos muito mal com a questão da avaliação. As pessoas têm muito receio de serem avaliadas e avaliar o outro. [...] A avaliação supostamente não é uma forma de controlo, pior que tendencialmente nós olhamos isso não propriamente como uma forma de feedback mas como uma forma de controlo e aí é um péssimo ponto de partida [P5, F, CS&H, 19a].

Em outra direção, argumentam sobre a necessidade de vê-la como uma ferramenta de auxílio ao trabalho do docente cujo objetivo é melhorar as práticas.

O segundo tema, aspectos positivos em relação ao sistema de avaliação da qualidade do ensino, engloba quatro subtemas: a qualidade do instrumento, o procedimento de aplicação e de análise, a utilidade da avaliação, e as ações de melhoria. Em relação à qualidade do instrumento utilizado para apreender as percepções da população estudantil, referem que os inquéritos traçam adequadamente o perfil docente, contém espaço para comentários dos alunos e fornecem relatórios pertinentes. Quanto aos procedimentos, referem os ganhos advindos do método on-line, responsável por benefícios ambientais, de economia de tempo e de recursos, bem como maior agilidade no tratamento e divulgação dos resultados. Sobre a utilidade da avaliação, a consideram um espaço de escuta sobre a opinião dos estudantes, uma oportunidade para aprimorarem a prática de ensino a partir do pronunciamento dos principais interessados, uma maneira institucional de monitorar o trabalho pedagógico docente e o desenvolvimento das disciplinas, além de representar um estímulo para que façam o melhor que podem por saberem que o sistema existe: “É um elemento que de alguma forma tem um efeito regulador da atividade, portanto, do docente quanto da qualidade do ensino. O docente acaba por perceber que há algum, digamos, acompanhamento da sua atividade” [P4, M, CS&H, 21a]. Quanto às ações de melhoria a partir do feedback obtido mencionam redistribuição das atividades docentes, elaboração de relatórios pelo docente e pelo coordenador de curso sobre as razões que justificam o resultado na avaliação, e medidas de correção com intervenção do coordenador de curso junto ao docente e à disciplina.

O terceiro tema, aspectos negativos em relação ao sistema de avaliação da qualidade do ensino, foi três vezes mais mencionado do que os aspectos positivos anteriormente apresentados. Este tema integra quatro subtemas que versam sobre a qualidade e pertinência do instrumento, os procedimentos relacionados com a coleta das opiniões dos discentes, a utilidade da avaliação, e os efeitos perversos do sistema. O subtema dos procedimentos congrega 55,4% do tema aspectos negativos, sendo responsável pela maior parte das críticas docentes. Em relação à qualidade do instrumento, alguns professores referem que as questões são subjetivas e que o inquérito é igual para todos os tipos de disciplina e para os diferentes cursos/áreas: “Logo a partida as disciplinas estão formatadas como teóricas, teórico-práticas, práticas laboratoriais, digamos que essas são as três principais vertentes com as quais nos deixam formatar uma disciplina. O inquérito não consegue cobrir isso tudo” [P1, M, C&T 21a]. Ainda no que diz respeito aos procedimentos mencionaram, por um lado, a desconfiança sentida pelos estudantes uma vez que precisam efetuar login no sistema da universidade para fazer a avaliação, por outro lado, referiram que a ausência de identificação do estudante acaba por não gerar um senso de responsabilidade pela avaliação feita. Comentam também que os estudantes têm que preencher o mesmo questionário várias vezes, consoante ao número de professores que têm nas disciplinas cursadas no semestre, o que torna cansativo e monótono o processo, colocando em causa a objetividade dos dados recolhidos.

Ainda no âmbito dos procedimentos de coleta das opiniões, enfatizam a baixa taxa de resposta e de participação, o que na opinião dos professores não permite ter uma amostra representativa dos estudantes matriculados nas disciplinas. Todos os professores participantes deste estudo fizeram referência ao baixo percentual de resposta obtida no processo de avaliação e o apontaram como uma grave fragilidade do sistema: “Eu diria que aquilo que de facto contribui para que neste momento esse sistema de avaliação não funcione é o formato eletrônico, eu diria que nesse momento é o principal problema que existe aqui” [P5, F, CS&H, 19a]. Esclarecem que a redução significativa na participação do corpo discente ocorreu com a implantação do sistema on-line de coleta da avaliação discente: “O que eu verifico como o mais complicado é a obtenção de respostas através de amostras significativas. Na versão tradicional de papel investíamos 10 minutos da aula e tínhamos uns 100% dos presentes a responder” [P2, M, C&T, 7a]. Lembram que a existência de um momento específico para preencher os inquéritos ao final das disciplinas favorecia a participação dos estudantes. Ainda em relação aos procedimentos, na percepção de alguns professores os inquéritos são respondidos por alunos que não frequentam as aulas e/ou os que não ficaram satisfeitos com os resultados finais e, por essa razão, “querem dizer mal” do docente. Tais razões os levam a considerar que “as avaliações dos alunos são elas próprias muito discutíveis não é, nós sabemos muitas vezes que os questionários são respondidos por alunos que querem dizer mal” [P9, M, C&T], de modo que ao receberem o feedback das avaliações “olham para aqueles resultados e percebem que as respostas de avaliação dos alunos [...] são aqueles com quem tu te aborreceste ao longo do processo porque descobriste que estavam a plagiar, porque descobriste que estavam a utilizar um trabalho de outro colega do ano anterior” [P6, F, CS&H, 26a].

Também como aspectos negativos criticam a utilidade desta avaliação. Segundo os professores, não se verifica implantação de mudanças decorrentes do feedback dos estudantes, “realmente essas avaliações que nós fazemos, nós somos obrigados a fazer às nossas unidades curriculares, não tem repercussões no ano seguinte, na melhoria, aliás” [P6, F, CS&H, 26a]. Sobre esse mesmo aspecto e referindo-se às percepções dos estudantes, concordam que os alunos não reconhecem mudanças porque de fato elas não ocorrem. Há, ainda, referências ao fato do sistema de avaliação não avaliar realmente a qualidade do ensino e o processo pedagógico, mas focar-se sobretudo na obtenção de indicadores quantitativos que pouco impactam o aperfeiçoamento da prática pedagógica: “A avaliação não é a séria, porque não é do ponto de vista da qualidade, só do ponto de vista da quantidade” [P8, M, C&T, 18a].

O último subtema relativo aos aspectos negativos trata dos efeitos perversos do sistema de avaliação do ensino decorrentes do desvirtuamento da concepção original do sistema de avaliação. Na opinião de alguns professores o que se tem observado é a inversão da preocupação original e central da promoção da qualidade do ensino e da aprendizagem dos estudantes para uma preocupação com a sistematização de indicadores quantitativos:

E o que eu acho é que o sistema perverteu com todas essas transformações a que nos obrigou a aderir [...], porque é um processo muito burocrático, administrativo, de gestão, compreende-se não é, até para comparação entre as instituições, de nivelamento na mesma instituição, mas realmente havia propósitos mais pedagógicos e havia propósitos mais de desenvolvimento da própria aprendizagem que eu acho que realmente esse sistema por ter realizado tantas outras coisas tornou-se perverso [P6, F, CS&H, 26a].

Soma-se a essa inversão dos usos relacionados com a avaliação o fato de que em virtude da associação entre os resultados das avaliações da qualidade do ensino e a carreira docente, alguns professores lançam mão de estratégias como planejar as aulas em função dos questionários para obter melhores indicadores, não estando verdadeiramente preocupados com o aperfeiçoamento do ensino.

Outro desvirtuamento decorre da associação temporal entre o preenchimento dos inquéritos de avaliação do ensino e os resultados finais das disciplinas, pois “os professores têm vários receios, um é esse, que se não derem boas notas, os alunos possam avaliá-los, classificá-los mal” [P10, F, CS&H, 28a]. Em síntese, referem que os propósitos pedagógicos voltados para a melhoria da qualidade das práticas de ensino e promoção da aprendizagem dos estudantes foi se transformando ao longo do tempo, de modo que a atual preocupação de estudantes e também de professores já não é com a aprendizagem, mas com “as manhas do sistema de avaliação. Os estudantes querem aprender as manhas dos professores e os professores querem aprender as manhas do sistema. Então o que eu acho muito sinceramente é que estamos um bocadinho reféns do lado perverso do sistema” [P6, F, CS&H, 26a]. Por fim, este subtema integra também percepções docentes de que os estudantes também fazem uso desvirtuado do sistema de avaliação: “Eles avaliam para, no nosso caso, o que eu tenho sentido neste momento, eles avaliam para castigar, uma coisa correu mal com eles, em particular” [P1, M, C&T, 21a].

De forma coerente com as críticas apontadas, o quarto tema de análise dos resultados, sugestões para melhoria do sistema de avaliação da qualidade do ensino, traz algumas propostas de aperfeiçoamento. Entretanto, se entre os aspectos negativos o subtema dos procedimentos foi o mais referido, nas sugestões foi a utilidade da avaliação que mais teve comentários, correspondendo a 58,5% das sugestões. No tocante à qualidade do instrumento sugerem que poderia buscar um “equilíbrio entre questões que possam procurar ser minimamente transversais e que interessem a todos e que deem uma imagem minimamente rica de cada realidade” [P10, F, CS&H, 28a]. Em relação aos procedimentos para obtenção do feedback, sugerem aumentar a participação do corpo discente, tanto por garantias mais efetivas de anonimato quanto pela utilização de recursos tecnológicos em sala de aula para preenchimento dos inquéritos, além de adotar estratégias mais qualitativas e dialogadas como complemento às informações colhidas por meio dos questionários: “Mais dialogada e mais centrada, mais local, mais feita pelas pessoas que estão a intervir” [P1, M, C&T, 21a]. As sugestões de natureza qualitativa foram motivadas pelo entendimento de que o diálogo do próprio docente com os alunos permite obter elementos mais voltados ao processo de ensino-aprendizagem, inclusive com sugestões de mudança numa perspectiva de futuro e não apenas do que já aconteceu.

No que diz respeito ao subtema utilidade da avaliação, as sugestões contemplam disponibilizar feedback para os estudantes e para os professores; estabelecer um nível de referência institucional que defina os resultados considerados satisfatórios, os quais poderiam ser distintos para as áreas de conhecimento; criar um sistema formal de apoio ao docente para auxiliá-lo na compreensão dos problemas apontados pelos estudantes e na sua modificação; disponibilizar apoio em virtude do impacto emocional que o feedback tem sobre os docentes:

Quando a avaliação de alguma forma aponta alguns aspectos que é preciso melhorar, é importante sentar com essa pessoa, perceber que dificuldades é que tem [...] ter oportunidade de refletir um bocadinho sobre essas questões, inclusivamente essa pessoa ter oportunidade de pedir ajuda se for o caso e, portanto, criar aqui mecanismos de apoio a estes docentes [P5, F, CS&H, 19a].

Sugerem também a adoção de estratégias institucionais de investimento na melhoria do ensino, como “ações coletivas da universidade, por exemplo sobre novos métodos de ensino, incentivos para melhorar os métodos de ensino, recursos para fazer isso, ações de formação, convidar pessoas com novas perspectivas de educação para darem aqui ações de formação aos professores” [P9, M, C&T, 18a]. Neste subtema, as estratégias institucionais de apoio aos docentes para a melhoria das práticas de ensino foram muito valorizadas pelos professores das diferentes áreas de ensino.

Por fim, o último tema de análise, funcionamento institucional do sistema de avaliação da qualidade do ensino, refere-se às descrições relacionadas com a organização e funcionamento do sistema, particularmente quanto aos aspectos que têm impacto sobre os professores. Este tema não tinha sido previsto no roteiro de entrevista e, entretanto, emergiu durante os diálogos numa perspectiva de contextualização da dinâmica institucional, sendo aqui considerados por tonalizarem as percepções dos professores. Em relação à divulgação, alguns professores relatam que por várias vezes consecutivas acabam por não receber nenhum feedback da sua prática de ensino pelo fato de não ter sido alcançada a quantidade mínima de respostas dos estudantes (em geral cinco). Sobre os resultados da avaliação, recebem notificação para aceder aos resultados no sistema institucional, os quais são apresentados na forma de relatório. Alguns referem que

nós temos acesso à nossa avaliação comparada com a avaliação média das outras unidades curriculares, o que é bom para fazer benchmarking” [P2, M, C&T, 7a], outros dizem que “não tem nada comparativo, portanto eu fico sem saber se estou bem ou se estou mal relativamente aos outros [P8, M, C&T, 18a].

Apesar dessa diferença entre instituições, todos os professores relatam que os resultados são disponibilizados aos professores e aos coordenadores de curso, não incluindo os estudantes. A principal ação de acompanhamento e melhoria mencionada é da responsabilidade do coordenador de curso, a quem compete analisar os resultados e, nos casos insatisfatórios, realizar uma escuta ao professor, elaborar relatório com as justificativas para o baixo resultado e propor melhorias. Por outro lado, há professores que desconhecem as ações implementadas a partir do feedback recebido: “Eu nunca ouvi falar nisso, em haver um resultado muito negativo e que haja alguma intervenção” [P7, M, CS&H, 12a].

O último subtema relacionado com o funcionamento do sistema trata da associação que se tem estabelecido entre a avaliação da qualidade do ensino e o desempenho na carreira docente. Segundo alguns professores, o sistema de avaliação do desempenho docente considera a dimensão do ensino como um dos critérios de análise:

Temos um sistema de avaliação de desempenho do docente e nesse sistema uma das vertentes é o ensino e o resultado dos inquéritos é um fator quantitativo. Quer dizer que aquilo até tem um efeito direto sobre o professor na avaliação do desempenho, quer dizer, afeta a forma como ele é avaliado e isso pode ter um impacto até na carreira [P1, M, C&T, 21a].

Apesar das instituições terem estabelecido alguma associação entre a avaliação do ensino e a avaliação da carreira docente, os professores apontam que a primeira tem peso reduzido e é pouco considerada: “Neste momento tem influência na carreira, mas é apenas um parâmetro dentro de muitos, não tem muito peso” [P9, M, C&T, 18a].

4 Discussão

No geral, os resultados deste estudo são consistentes com outros já realizados com professores universitários em diferentes IES do mundo. Todos os professores participantes deste estudo consideram positivo e são favoráveis à existência de um processo de avaliação da qualidade do ensino, seja por ser uma oportunidade para ouvir a opinião dos estudantes, seja por ser uma oportunidade para os docentes aprimorarem o trabalho pedagógico (ANDERSON, 2006; BERAN; ROKOSH, 2009; CHAN et al., 2014; IQBAL et al., 2016; WONG; MONI, 2014). Todavia, a experiência pessoal e acadêmica vivenciada nas suas instituições suscita dúvidas e críticas.

Os resultados apontam que as percepções dos professores são maioritariamente negativas em relação ao atual sistema de AQE, sendo tais percepções justificadas em quatro aspectos. O primeiro relaciona-se com as fragilidades identificadas no procedimento de recolha do feedback dos estudantes, como insegurança dos estudantes quanto ao anonimato, a baixa quantidade de respostas, ambas associadas ao formato on-line, o exercício repetitivo e cansativo, e o perfil dos alunos que respondem, barreiras também já referidas em outros estudos (BURDEN, 2010; IQBAL et al., 2016; WONG; MONI, 2014). Tais fragilidades levam a resultados menos positivos que, entretanto, são pouco consideradas aquando da análise institucional dos resultados. As IES por todo o mundo, incluindo as dos participantes desse estudo, têm optado por adotar procedimento on-line de coleta da opinião discente em razão dos benefícios ambientais, do baixo custo e da otimização do tempo. Apesar da percepção destas vantagens, os professores entrevistados são unânimes em atribuir ao sistema on-line a responsabilidade pela alta redução no número de respostas aos inquéritos, aspecto já apontado como ameaça à representatividade e validade dos resultados (BENTON; CASHIN, 2012).

O segundo aspecto que contribui para as percepções de natureza negativa está relacionado ao fato da avaliação da qualidade do ensino pelos estudantes ser considerada na avaliação do desempenho da carreira docente. Na Austrália, por exemplo, tais resultados são ponderados na produtividade para fins de progressão e, mesmo estando este procedimento generalizado, os professores fazem uma série de críticas à sua inadequação (ANDERSON, 2006). Em geral, os docentes estão sensíveis às questões relacionadas com a carreira e têm sinalizado preocupações e receios quanto ao uso da AQE como critério para promoção na carreira, assim como outros dados pouco representativos do seu desempenho (CHAN et al., 2014; SURGENOR, 2013). Em virtude dessa associação, os professores referem o controle e a vigilância que estão incorporados nesse processo, apontando-os como uma ameaça à autonomia profissional (ANDERSON, 2006; NEWTON, 2000; WONG; MONI, 2014). Aspecto interessante é que, por um lado, existe ampla associação entre os dois processos de avaliação, aquele voltado para a melhoria do ensino e o voltado para o desempenho da carreira docente. Por outro lado, a generalidade dos participantes deste estudo indica que é atribuído pouco peso ou valor aos resultados do feedback, reiterando a desvalorização da dimensão do ensino no conjunto das atividades desenvolvidas por um professor universitário e contribuindo para aumentar a percepção de controle (ANDERSON, 2006; CHAN et al., 2014; CARDOSO; TAVARES; SIN, 2015).

O terceiro aspecto indutor das percepções negativas diz respeito aos efeitos práticos da AQE. A questão da utilidade passa por uma certa ausência de feedback dos principais resultados e também pela ausência de informação que permita ao docente saber se seu resultado está satisfatório ou não. Também apontam a existência de pouca ou nenhuma alteração associada aos resultados destas avaliações, o que é corroborado por outros estudos que relatam serem poucos os professores que mencionam ter feito mudança substancial em resposta ao feedback recebido (BERAN; ROKOSH, 2009; NASSER; FRESKO, 2002; NEWTON, 2000). A motivação para promover mudanças depende mais fortemente de fatores intrínsecos, individuais, ou em poucos casos emergem a partir do diálogo informal entre professores. Os professores deste estudo indicaram que não discutem as suas avaliações com os colegas e que não há espaço formal para tal análise e reflexão, o que desde logo pode significar o reduzido valor da informação assim recolhida e, ainda de acordo com alguns estudos, a visão bastante presente no corpo docente de que o ensino é uma atividade privada, e de que os resultados da AQE são confidenciais (CARDOSO et al., 2015; IQBAL et al., 2016; OTANI et al., 2012). Indicam também a necessidade de estratégias de apoio ao professor, por exemplo: o suporte pedagógico para compreender eventuais resultados insatisfatórios e para planejar e colocar em prática mudanças consideradas pertinentes, a atenção ao impacto emocional que o feedback tem sobre os docentes, e o investimento em ações formativas e de promoção do desenvolvimento profissional docente (GRIFFIN; COOK, 2009).

Cabe salientar que, quando mencionaram as ações de acompanhamento e de melhoria associadas aos resultados da avaliação dos estudantes, a ação mais mencionada dizia respeito ao coordenador de curso e não ao próprio docente. Além disso, estavam mais voltadas para a apresentação de justificativa do que de propostas interventivas, enfatizando o caráter de prestação de contas que perpassa a AQE. Uma ação do tipo de acompanhamento foi referida por um único docente, no entanto, foi apontada como sendo uma excepcionalidade: “E em últimos casos há mecanismos em que o professor, além de se justificar, podem ser tomadas as medidas de acompanhamento, por exemplo, de tutoria desse docente” [P4, M, CS&H]. Distanciando-se de ações excepcionais, os participantes desse estudo sinalizaram a importância e a necessidade da institucionalização de estratégias de formação e desenvolvimento docente voltadas para a realidade concreta dos professores e dos cursos nos quais atuam.

O último aspecto que tem contribuído para que os professores tenham elevadas percepções negativas em relação ao sistema de avaliação decorre do mesmo estar essencialmente voltado para a obtenção de indicadores quantitativos de satisfação dos estudantes, de produção científica dos docentes e de monitoramento das atividades do professor, com pouca ênfase sobre o ensino e a qualidade do processo pedagógico. O sistema da qualidade se tornou uma prática ritualística e sem significado, desprendida do real objetivo de garantir a qualidade da formação dos estudantes universitários (ANDERSON, 2006; SURGENOR, 2013). A esse respeito, Harvey e Newton (2006) consideram que atualmente o sistema de garantia da qualidade se tornou extremamente burocrático e muito distante da aprendizagem dos estudantes, passando a ser considerado, no limite, como uma forma de controle do trabalho docente pelos estudantes, suscitando sentimentos de ambiguidade, tensão e recusa junto dos professores.

5 Considerações Finais

Sem pretensões de aprofundamento e generalização, este estudo permitiu explicitar as percepções dominantes dos professores sobre o sistema de avaliação da qualidade do ensino ministrado com base nos questionários preenchidos pelos estudantes no final do semestre. Estando esta prática de avaliação generalizada nas IES em Portugal, importa conhecer e valorizar as percepções do corpo docente para validar e promover todo o sistema de avaliação. Os resultados apontaram preocupações por parte dos professores com os objetivos e usos da AQE, especificamente a ênfase quantitativa e pouco relacionada com a perspectiva de desenvolvimento profissional e melhoria do processo de ensino-aprendizagem. Apesar de haver alguma diversidade na amostra composta por professores pertencentes a universidades distintas, de diferentes áreas do conhecimento e com tempo de docência diversos, as percepções são muito comuns.

Consoante às mudanças e aos desafios instaurados pelos processos de expansão da Educação Superior e de democratização do acesso, a principal justificação para o uso da AQE é a melhoria da qualidade deste nível de ensino. No entanto, a adesão à avaliação do ensino também tem sido impulsionada por outras finalidades: como elemento de suporte à gestão nas decisões relativas a prestação de contas e como ferramenta de apoio ao processo de acompanhamento e avaliação da carreira docente (ANDERSON, 2006; NEWTON, 2000; PENNY, 2003). Há uma justificação generalizada da AQE para orientar melhorias no ensino. Contudo, é pouco utilizada para decisões curriculares e de atribuição de responsabilidades de ensino, sendo raramente transformada em ações significativas do ponto de vista das experiências de ensino-aprendizagem. Verifica-se, assim, que há um grande desalinhamento entre a justificação que motiva a utilização da AQE e o uso que lhe tem sido dada, o que tem produzido tensões, ambivalências e resistências por parte dos atores envolvidos (ANDERSON, 2006; BERAN; ROKOSH, 2009; NASSER; FRESKO, 2002; NEWTON, 2000; PENNY, 2003). Segundo Penny (2003), “o problema subjacente é claro, é a tensão não resolvida entre os dois principais propósitos da avaliação dos estudantes, avaliação somativa e formativa, ou prestação de contas e melhoria” (p. 400). À luz da função social da ES e do seu compromisso com uma formação de qualidade científica e social, urge que as IES desenvolvam sistemas de avaliação mais eficientes, amparados em clara noção de qualidade, tendo em vista o fortalecimento efetivo dos processos de ensino, aprendizagem e desenvolvimento.

Por certo que avanços em relação à efetiva utilização dos resultados requerem a adesão dos próprios professores ao processo de avaliação e utilização efetiva do feedback recebido. Entretanto, a AQE não se restringe aos docentes, sendo importante considerá-la sempre de forma contextualizada, tomando em conta a realidade institucional na qual está inserida e podendo, antes, ser apenas mais um elemento na avaliação docente do que o único elemento avaliativo ou o mais utilizado. Deve ser parte de uma estratégia mais ampla que fornece, de forma triangulada, informações e evidências a partir de diferentes perspectivas (CHAN et al., 2014; MORAIS et al., 2006; PENNY, 2003). Outras estratégias complementares de avaliação podem ser adotadas, por exemplo a observação por pares, a autoavaliação a análise de portfólios, as entrevistas com estudantes ou os grupos focais.

A terminar, cabe ressaltar que as IES têm dois desafios a superar no que se refere ao enfrentamento das tensões, conflitos e visões negativas existentes entre os atores envolvido em relação à avaliação da qualidade do ensino. O primeiro, a ausência de um referencial conceitual voltado à dimensão formativa da avaliação da qualidade do ensino e ao seu objetivo de transformação das práticas (PARICIO ROYO, 2012; VIEIRA, 2014). O segundo, a pouca clareza em torno da concepção de qualidade que é um construto histórico, social e político e está longe de ser um campo neutro (FERNANDES, 2013; GUSMÃO, 2013; MOROSINI, 2009).

Finalmente, importa salientar que as conclusões baseadas neste estudo, mesmo sendo partilhadas pela generalidade da investigação nesta área, não podem deixar de ser entendidas como exploratórias. Os limites metodológicos do estudo, nomeadamente o número reduzido de entrevistas realizadas, justificam esta cautela. Ainda assim, tendo em vista que a preocupação com a qualidade do ensino é hoje uma questão importante para as Instituições de Educação Superior por todo o mundo, os resultados apresentados têm potencial de aplicação em outros contextos universitários, especialmente pelos elementos que elucidam a complexa e controversa realidade associada ao tema.

Referências

• ANDERSON, G. Assuring quality/resisting quality assurance: Academics’ responses to ‘quality’ in some Australian universities. Quality in Higher Education, v. 12, n. 2, p. 161-73, July 2006. https://doi.org/10.1080/13538320600916767
  » https://doi.org/10.1080/13538320600916767
• ASASSFEH, S.; AL-EBOUS, H.; KHWAILEH, F.; AL-ZOUBI, Z. Student faculty evaluation (SFE) at Jordanian universities: a student perspective. Educational Studies, v. 40, n. 2, p. 121-43, 2014. https://doi.org/10.1080/03055698.2013.833084
  » https://doi.org/10.1080/03055698.2013.833084
• BENTON, S. L.; CASHIN, W. E. Student ratings of teaching: a summary of research and literature. Manhattan, KS: Kansas State University, 2012. (IDEA paper, 50).
• BERAN, T. N.; ROKOSH, J. L. Instructors’ perspectives on the utility of student ratings of instruction. Instructional Science, v. 37, n. 2, p. 171-84, Mar. 2009. https://doi.org/10.1007/s11251-007-9045-2
  » https://doi.org/10.1007/s11251-007-9045-2
• BISINOTO, C.; ALMEIDA, L. S. Avaliação da qualidade do ensino na Educação Superior: percepções dos estudantes. Psicologia, Educação e Cultura, v. 20, n. 1, 349-63, maio 2016.
• BRAUN, V.; CLARKE, V. Successful qualitative research: a practical guide for beginners. London: Sage, 2013.
• BRAUN, V.; CLARKE, V. Using thematic analysis in psychology. Qualitative Research in Psychology, v. 3, n. 2, p. 77-101, 2006.
• BURDEN, P. Creating confusion or creative evaluation? The use of student evaluation of teaching surveys in Japanese tertiary education. Educational Assessment, Evaluation and Accountability, v. 22, n. 2, 97-117, May 2010. https://doi.org/10.1007/s11092-010-9093-z
  » https://doi.org/10.1007/s11092-010-9093-z
• CARDOSO, S.; TAVARES, O.; SIN, C. The quality of teaching staff: higher education institutions’ compliance with the European Standards and Guidelines for Quality Assurance: the case of Portugal. Educational Assessment, Evaluation and Accountability, v. 27, n. 3, p. 205-22, Aug. 2015. https://doi.org/10.1007/s11092-015-9211-z
  » https://doi.org/10.1007/s11092-015-9211-z
• CHAN, C. K. Y.; LUK, L. Y. Y.; ZENG, M. Teachers’ perceptions of student evaluations of teaching. Educational Research and Evaluation, v. 20, n. 4, p. 275-89, Jun. 2014. https://doi.org/10.1080/13803611.2014.932698
  » https://doi.org/10.1080/13803611.2014.932698
• ENQA - EUROPEAN ASSOCIATION FOR QUALITY ASSURANCE IN HIGHER EDUCATION. Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG) Brussels, 2015.
• FERNANDES, D. Avaliação em educação: uma discussão de algumas questões críticas e desafios a enfrentar nos próximos anos. Ensaio: Avaliação e Políticas Públicas em Educação, v. 21, n. 78, p.11-34, jan./mar. 2013. https://doi.org/10.1590/S0104-40362013005000004
  » https://doi.org/10.1590/S0104-40362013005000004
• GRIFFIN, A.; COOK, V. Acting on evaluation: twelve tips from a national conference on student evaluations. Medical Teacher, v. 31, n. 2, p. 101-4, Feb. 2009. https://doi.org/10.1080/01421590802225788
  » https://doi.org/10.1080/01421590802225788
• GUSMÃO, J. B. A construção da noção de qualidade da educação. Ensaio: Avaliação e Poíticas Públicas em Educação, v. 21, n. 79, p. 299-322, abr./jun. 2013. https://doi.org/10.1590/S0104-40362013000200007
  » https://doi.org/10.1590/S0104-40362013000200007
• HARVEY, L.; NEWTON, J. Transforming quality evaluation: moving on. In: WESTERHEIJDEN, D.; STENSAKER; B.; ROSA, M. J. (Eds.). Quality assurance in higher education: trends in regulation, translation and transformation. Dordrecht: Springer, 2006. p. 225-45.
• IQBAL, I.; LEE, J. D.; PEARSON, M. L.; ALBON, S. P. Student and faculty perceptions of student evaluations of teaching in a Canadian pharmacy school. Currents in Pharmacy Teaching and Learning, v. 8, n. 2, p. 191-9, Mar./Apr. 2016. https://doi.org/10.1016/j.cptl.2015.12.002
  » https://doi.org/10.1016/j.cptl.2015.12.002
• JOHNSON, T. Online student ratings: will students respond? In: JOHNSON, T.; SORENSON, D. L. (Eds.). Online student ratings of instruction: new directions for teaching and learning. San Francisco: Jossey-Bass, 2003. p. 49-59.
• KITE, M. E.; SUBEDI, P. C.; BRYANT-LEES, K. B. Students’ perceptions of the teaching evaluation process. Teaching of Psychology, v. 42, n. 4, 307-14, Aug. 2015. https://doi.org/10.1177/0098628315603062
  » https://doi.org/10.1177/0098628315603062
• KULIK, J. A. Student ratings: validity, utility, and controversy. New Directions for Institutional Research, v. 2001, n. 109, p. 9-25, 2001. https://doi.org/10.1002/ir.1
  » https://doi.org/10.1002/ir.1
• MARSH, H. W. Students’ evaluations of university teaching: dimensionality, reliability, validity, potential biases and usefulness. In: PERRY, R. P.; SMART, J. C. (Orgs.). The scholarship of teaching and learning in higher education: an evidence based perspective. New York: Springer, 2007. p. 319-83.
• MORAIS, N.; ALMEIDA, L. S.; MONTENEGRO, M. I. Percepções do ensino pelos alunos: uma proposta de instrumento para o ensino superior. Análise Psicológica, v. 24, n. 1, p. 73-86, jan. 2006. https://doi.org/10.14417/ap.155
  » https://doi.org/10.14417/ap.155
• MOROSINI, M. C. Qualidade na educação superior: tendências do século. Estudos em Avaliação Educacional, v. 20, n. 43, p. 165-86, maio/ago. 2009. https://doi.org/10.18222/eae204320092043
  » https://doi.org/10.18222/eae204320092043
• NASSER, F.; FRESKO, B. Faculty views of student evaluation of college. Teaching, Assessment & Evaluation in Higher Education, v. 27, n. 2, p. 187-98, 2002. https://doi.org/10.1080/02602930220128751
  » https://doi.org/10.1080/02602930220128751
• NEWTON, J. Feeding the beast or improving quality? Academics’ perceptions of quality assurance and quality monitoring. Quality in Higher Education, v. 6, n. 2, p. 153-63, 2000. https://doi.org/10.1080/713692740
  » https://doi.org/10.1080/713692740
• OCDE – ORGANIZATION FOR ECONOMIC COOPERATION AND DEVELOPMENT. Education at a Glance 2014: highlights. Paris, 2014. Disponível em: <http://dx.doi.org/10.1787/eag_highlights-2014-en> Acesso em: 16 out. 2016.
  » http://dx.doi.org/10.1787/eag_highlights-2014-en>
• OTANI, K.; KIM, B. J.; CHO, J. Student evaluation of teaching (SET) in higher education: how to use SET more effectively and efficiently in public affairs education. Journal of Public Affairs Education, v. 18, n. 3, p. 531-44, Jan. 2012.
• PARICIO ROYO, J. Diez principios para un sistema de gestión de la calidad concebido específicamente para la coordinación y la mejora interna de las titulaciones universitarias. Revista de Docencia Universitaria REDU, v. 10, n. 3, p. 49-69, oct./dic. 2012. https://doi.org/10.4995/redu.2012.6014
  » https://doi.org/10.4995/redu.2012.6014
• PENNY, A. R. Changing the agenda for research into students’ views about university teaching: four shortcomings of SRT research. Teaching in Higher Education, v. 8, n. 3, p. 399-411, 2003. https://doi.org/10.1080/13562510309396
  » https://doi.org/10.1080/13562510309396
• PITMAN, T. Reinterpreting higher education quality in response to policies of mass education: the Australian experience. Quality in Higher Education, v. 20, n. 3, p. 348-63, 2014. https://doi.org/10.1080/13538322.2014.957944
  » https://doi.org/10.1080/13538322.2014.957944
• PORTUGAL. Assembleia Constituinte. Constituição da República Portuguesa Sétima Revisão Constitucional - 2005. Lisboa: Diário da República, 1ª série - A, nº 155, de 12 de agosto de 2005.
• PORTUGAL. Assembleia da República. Lei nº 38 de 16 de agosto de 2007. Aprova o regime jurídico da avaliação do ensino superior Diário da República, 1ª série, nº 157, p. 5310-13, 2007b.
• PORTUGAL. Assembleia da República. Lei nº 62 de 10 de setembro de 2007. Regime jurídico das instituições de ensino superior Diário da República, 1ª série, nº 174, p. 6358-89, 2007a.
• RICHARDSON, J. T. E. Instruments for obtaining student feedback: a review of the literature. Assessment & Evaluation in Higher Education, v. 30, n. 4, p. 387-415, Aug. 2005. https://doi.org/10.1080/02602930500099193
  » https://doi.org/10.1080/02602930500099193
• RISTOFF, D. Os desafios da educação superior na Ibero-América: inovação, inclusão e qualidade. Avaliação, v. 18, n. 3, p. 519-45, nov. 2013. https://doi.org/10.1590/S1414-40772013000300002
  » https://doi.org/10.1590/S1414-40772013000300002
• SOJKA, J.; GUPTA, A.; DEETER-SCHMELZ, D. Student and faculty perceptions of student evaluations of teaching: a study of similarities and differences. College Teaching, v. 50, n. 2, p. 44-9, 2002. https://doi.org/10.1080/87567550209595873
  » https://doi.org/10.1080/87567550209595873
• SPOOREN, P.; BROCKX, B.; MORTELMANS, M. On the validity of student evaluation of teaching: the state of the art. Review of Educational Research, v. 83, n. 4, p. 598-642, Oct. 2013. https://doi.org/10.3102/0034654313496870
  » https://doi.org/10.3102/0034654313496870
• SURGENOR, P. W. G. Obstacles and opportunities: addressing the growing pains of summative student evaluation of teaching. Assessment & Evaluation in Higher Education, v. 38, n. 3, 363-76, 2013. https://doi.org/10.1080/02602938.2011.635247
  » https://doi.org/10.1080/02602938.2011.635247
• SURSOCK, A. Trends 2015: learning and teaching in European universities. Bruxelas: European University Association, 2015.
• UNESCO. Declaração da Conferência Mundial de Educação Superior Paris, 2009a.
• UNESCO. Global education digest 2009: comparing education statistics across the world. Montreal: UNESCO Institute for Statistics, 2009b.
• VIEIRA, F. Para uma mudança profunda da qualidade da pedagogia na universidade. Revista de Docencia Universitaria (REDU), v. 12, n. 2, p. 23-39, ago. 2014. https://doi.org/10.4995/redu.2014.5638
  » https://doi.org/10.4995/redu.2014.5638
• WONG, W. Y.; MONI, K. Teachers’ perceptions of and responses to student evaluation of teaching: purposes and uses in clinical education. Assessment & Evaluation in Higher Education, v. 39, n. 4, p. 397-411, May 2014. https://doi.org/10.1080/02602938.2013.844222
  » https://doi.org/10.1080/02602938.2013.844222

Datas de Publicação

• Publicação nesta coleção
  29 Maio 2017
• Data do Fascículo
  Jul-Sep 2017

Histórico

• Recebido
  03 Nov 2016
• Aceito
  30 Jan 2017