Construção e estudo de evidências de validade da Escala de Avaliação Docente

CONSTRUCCIÓN Y ESTUDIO DE PRUEBAS DE VALIDEZ DE LA ESCALA DE EVALUACIÓN DOCENTE

RESUMO

Este estudo objetivou apresentar a construção da Escala de Avaliação Docente (EADoc) e suas evidências de validade. A escala foi desenvolvida com base em uma revisão de literatura e de entrevistas com estudantes de graduação. A EADoc foi avaliada por dez juízes quanto a evidências de validade de conteúdo, com subsequente análise de evidências de validade de construto e fidedignidade. A matriz de correlação tetracórica foi submetida a análises fatoriais exploratórias, e o método Hull foi usado para a decisão do número de dimensões a serem retidas. Foram conduzidas análises de teoria de resposta ao item (TRI), pelo modelo rating scale, que excluiu sete itens. O índice Kaiser-Meyer-Olkin (KMO) e o teste de esfericidade de Bartlett indicaram a fatorabilidade da matriz de correlações policóricas dos itens. O método Hull apontou a retenção de um fator, com autovalor de 15,49. As medidas de fidedignidade para o fator foram de α=0,96 e ω =0,95. ­Considera-se que a EADoc pode auxiliar na avaliação de práticas da educação superior no Brasil.

PALAVRAS-CHAVE:
Escala de Avaliação Docente; autoavaliação; ensino superior; teoria de resposta ao item

RESUMEN

En este estudio se presentan los procesos de construcción de la Escala de Evaluación Docente y sus pruebas de validez. La escala fue desarrollada a partir de una revisión de la literatura y entrevistas con estudiantes de pregrado. La escala fue sometida a diez jueces para investigar evidencias de validez de contenido, seguido por el análisis de evidencias de validez de constructo y fiabilidad. La matriz de correlaciones tetracóricas se sometió a análisis factorial exploratorio y el método HULL se utilizó para decidir el número de dimensiones a ser retenidas. Se realizaron los análisis de Teoría de Respuesta a los Ítems (TRI) por el modelo de escala de clasificación y se excluyeron siete ítems. El índice Kaiser-Meyer-Olkin (KMO) y la prueba de esfericidad de Bartlett y el índice de KMO indica la factorabilidad de la matriz de correlaciones policóricas de ítems. El método HULL indicó la retención de un factor con el valor propio de 15,49. Las medidas de fiabilidad para el factor fueron α=0,96 y ω =0,95. Se considera que la escala puede ayudar en la evaluación de las prácticas de enseñanza superior en Brasil.

PALABRAS CLAVE:
Escala de Evaluación Docente; autoevaluación, educación superior; teoría de respuesta a los ítems

ABSTRACT

The objective of this study was to present the construction of the Teaching Assessment Scale (TAS) and the validity evidence for it. This scale was developed through a literature review and interviews with graduate students. The evidence for content validity of the TAS was evaluated by ten referees, and this was followed by the analysis of the evidence for construct validity and reliability. The tetrachoric correlation matrix was submitted for exploratory factorial analysis, and the Hull method was used to decide the number of dimensions to be retained. Item response theory (IRT) analysis was performed using the rating scale model with the result that seven items needed to be excluded. The Kaiser-Meyer-Olkin (KMO) index and Bartlett’s Test of Sphericity indicated that the polychoric correlation matrix was factorable. The Hull method suggested the retention of a factor, with the eigenvalue of 15.49. The factor’s reliability measures were α = 0.96 and ω = 0.95. As a result, the TAS is considered helpful in evaluating higher education teaching methods in Brazil.

KEYWORDS:
Teaching Assessment Scale; self-assessment; education higher; item response theory

INTRODUÇÃO

De acordo com Korthagen (2004), a definição de um bom professor concerne a um construto complexo que envolve tanto aspectos objetivos quanto subjetivos. Conforme o autor, a partir da década de 1950 houve esforço significativo, por parte dos pesquisadores, em compreender esse construto com base nas competências do professor. Assim, os estudos eram desenvolvidos de forma a correlacionar os comportamentos do professor com a aprendizagem dos alunos, resultando em listas compostas de indicadores comportamentais identificados como habilidades de um bom professor.

Na década de 1970, pesquisadores passaram a basear seus estudos em uma nova perspectiva intitulada Formação de Professores com Base Humanística ­(Humanistic Based Teacher Education - HBTE). Essa abordagem assume que o professor possui características pessoais capazes de influenciar sua conduta profissional, sem mencionar o papel isolado de suas competências (Zeichner, 1983). Contudo, o HBTE foi recebido com resistência por muitos estudiosos, tanto que ambas as perspectivas anteriormente expostas são, até hoje, alvo de discussões e controvérsias.

Korthagen (2004), a fim de compreender o que define o bom professor de forma mais holística, propôs um modelo envolvendo diferentes aspectos: ambiente, comportamento, competências, crenças, identidade e missão. O ambiente engloba aspectos como a sala de aula e os estudantes, enquanto o aspecto comportamento se refere à conduta do próprio professor diante, por exemplo, de suas atividades e de seus alunos. As competências abrangem, entre outros aspectos, o conhecimento e as habilidades do professor em relação a sua prática docente. Essas competências são diretamente influenciadas por suas crenças (quarto aspecto), mais especificamente aquelas relacionadas ao processo de ensino-aprendizagem. Já o aspecto identidade se refere a como o professor percebe seu papel enquanto profissional e está diretamente relacionado ao aspecto missão, que concerne ao propósito de ser professor, à inspiração para exercer essa profissão. De acordo com Korthagen (2004), basear a definição de um bom professor nesse modelo permite compreender esse construto em sua complexidade, sem desconsiderar aspectos fundamentais, como suas crenças e identidade, que influenciam a qualidade da sua atuação profissional. Dessa forma, por meio de uma conceitualização ampla sobre as características de um bom professor, apresentam-se três dimensões que buscam sintetizar os níveis descritos por Korthagen (2004):

1. quem é o bom professor;

2. o que sabe um bom professor;

3. como faz o bom professor.

Essas dimensões fundamentaram a construção da Escala de Avaliação Docente (EADoc), destinada a professores de ensino superior, e serão descritas a seguir.

A dimensão denominada “quem é o bom professor” envolve, principalmente, as noções de identidade profissional e autoconceito (Korthagen, 2004). O autoconceito pode ser entendido como o significado pessoal de aptidões, interesses, valores e escolhas, indicando características únicas de cada indivíduo no desempenho de determinado papel (Super; Savickas; Super, 1996). No caso do professor, a identidade profissional, então, pode ser entendida como um conjunto de autoconceitos, ou seja, interesses, valores, objetivos e história pessoal que são considerados vocacionalmente relevantes (Korthagen, 2004). Trata-se, portanto, de uma dimensão que envolve habilidades de relacionamento, tipos de personalidade e estados emocionais. ­Nessa dimensão cabem os seguintes aspectos: gostar do que faz; valorizar a profissão; mostrar comprometimento com o processo de aprendizagem; exibir profissionalismo; valorizar o relacionamento com os alunos; construir um ambiente de apoio; demonstrar respeito e consideração positiva incondicional pelos estudantes; estar aberto às diferenças; possuir senso de identidade da profissão; ser empático, compreensivo e respeitoso com os outros; ter senso de humor; ser flexível e responsável (Korthagen, 2004; Osmun; Copeland, 2011; Pachane, 2012; Sutkin et al., 2008).

Em relação à dimensão “o que sabe um bom professor”, Shulman (1987) destacou que o conhecimento do professor é caracterizado pelo domínio da disciplina, como o conteúdo propriamente dito, pelo conhecimento curricular e pelo conhecimento dos contextos educacionais. Segundo Harden e Crosby (2000), é responsabilidade do professor transmitir conhecimentos novos e relevantes de forma adequada. Esses autores, ao teorizarem sobre os papéis desempenhados pelo professor, salientam que, no processo de transmitir informações, o bom professor deverá ser capaz de compartilhar pensamentos e reflexões pessoais com os alunos, tornando claras a sua linha de raciocínio e a sua visão particular acerca do campo do conhecimento. Nesse sentido, ele poderá, por exemplo, apresentar informações que os alunos normalmente não encontrariam em textos da área, bem como realizar articulações entre o conteúdo, o currículo e os demais aspectos da área de atuação, de forma crítica e reflexiva. Ressalta-se, com isso, que o bom professor deverá ter conhecimento do conteúdo da disciplina (sua substância, lógica, forma e epistemologia) e também a habilidade para refletir profundamente sobre aquilo que ele se propõe a ensinar. Dessa forma, pode-se entender que essa dimensão envolve atributos relacionados a domínio do conteúdo, experiência, fundamentação teórica e empírica, formação continuada, atualização teórica e prática (Azer, 2005; Feitoza; Cornelsen; Valente, 2007; Pachane, 2012).

Por fim, a terceira e última dimensão intitula-se “como faz o bom professor”. Nessa perspectiva, Reed (1989) afirma que o conteúdo não é o mais importante, mas sim a preparação deste e a forma como ele é apresentado. Para o autor, o propósito principal de uma aula deve ser fornecer materiais pertinentes, apresentados de forma estimulante e concebidos para facilitar a compreensão. Nessa assertiva, entre as técnicas utilizadas pelo bom professor, os estudos destacam realizar perguntas exaustivas que engajem os alunos em discussões; saber dosar supervisão e independência; desenvolver um relacionamento de apoio com o aluno; enfatizar a solução de problemas; dar feedbacks; ter clareza na exposição dos conteúdos; ter controle da sala de aula; saber relacionar a teoria com a prática; utilizar linguagem adequada; estimular habilidades de pensamento crítico de alto nível; apresentar conceitos difíceis de forma compreensível; utilizar estratégias de ensino diversificadas; enfatizar o trabalho em equipe e a aprendizagem colaborativa (Azer, 2005; Feitoza; Cornelsen; Valente, 2007; Osmun; Copeland, 2011; Pachane, 2012).

Um bom professor tem sido visto como um profissional capaz de motivar e engajar seus alunos nas tarefas acadêmicas, respeitando os seus estilos de aprendizagem, além de apresentar sua temática de forma organizada e clara. Na percepção do próprio professor, é necessário fazer um bom planejamento e uma boa preparação de sua aula, aliar prática à teoria, ser organizado e comunicativo, gostar de desafios, ser motivador e um condutor do estudante ao aprendizado (Samples; Copeland, 2013; Duarte, 2013).

Assim, tendo em vista a variabilidade e a complexidade dos aspectos mencionados nas dimensões anteriores, é importante lançar mão de medidas psicometricamente válidas capazes de mensurar esse construto. Nesse contexto, Avrichir e Dewes (2006) desenvolveram um dos instrumentos existentes para autoavaliação do desempenho docente para professores de graduação. Trata-se de uma escala destinada a avaliar dois fatores:

1. interesse do professor e desafio;

2. relacionamento com o aluno e avaliação.

Já em relação à eficácia docente, Tschannen-Moran e Hoy (2001) desenvolveram um instrumento denominado Ohio State Teacher Efficacy Scale, composto de 24 itens divididos em três fatores, os quais englobam:

1. eficácia para estratégias instrucionais;

2. eficácia para o manejo em sala de aula;

3. eficácia para o envolvimento dos estudantes.

Harden e Crosby (2000), por sua vez, apresentaram um modelo acerca das funções desempenhadas por professores de medicina e um instrumento para avaliá-las. Os autores ressaltaram haver 12 funções principais envolvidas no ensino da medicina e desenvolveram um questionário para avaliar a percepção dos professores com respeito à importância dessas funções e de seu compromisso com cada uma delas. Ainda na área da saúde, Stone et al. (2002) administraram entrevistas semiestruturadas com docentes de escolas de medicina nos Estados Unidos, das quais emergiram os seguintes fatores:

1. humanitarismo subjacente;

2. familiaridade com princípios e práticas educacionais;

3. apreço tanto pelos benefícios quanto pelas desvantagens de ensino;

4. autoimagem como professor.

Por meio de uma abordagem de estudo de caso qualitativo, dados de um programa de dois anos de desenvolvimento universitário foram explorados e analisados, resultando em fatores acerca da formação docente, agrupados em três domínios:

1. pessoal (fatores cognitivos e emocionais únicos de cada indivíduo);

2. relacional (conexões e interações com outras pessoas);

3. contextual (o programa em si e ambientes de trabalho externo) (Lieff et al., 2012).

Nenhum dos instrumentos citados foi adaptado ou validado para utilização no contexto brasileiro. No Brasil, tem-se conhecimento de instrumentos de avaliação e autoavaliação docente utilizados em instituições de ensino, principalmente nas de ensino superior, contudo esses instrumentos, de forma geral, são elaborados pela própria instituição e não costumam ser estudados psicometricamente para serem utilizados. Provavelmente, muitos desses instrumentos foram criados porque em 2004 foi instituído o Sistema Nacional de Avaliação da Educação Superior (SINAES). O SINAES propõe uma avaliação institucional integrada por diversos instrumentos complementares, entre eles a implementação do sistema de autoavaliação, realizada no interior das instituições, mediante Comissões Próprias de Avaliação. Apesar de seguir um roteiro predeterminado, a autoavaliação institucional é operacionalizada por instrumentos distintos em que as instituições de ensino superior (IES) podem adicionar outros itens que julgarem pertinentes (Ristoff; Giolo, 2006).

Um dos componentes mais usuais e constantes dos processos autoavaliativos é a avaliação realizada pelo aluno acerca do trabalho docente (Gomes; Borges, 2008). A área de avaliação docente no contexto nacional carece de instrumentos que avaliem a prática do professor, considerando as diferentes facetas desse construto. Além disso, é importante que se desenvolva um instrumento que vise avaliar, especificamente, a prática docente de professores da graduação no contexto brasileiro, dadas as peculiaridades e especificidades de atuação nesse campo.

Em função disso, o objetivo deste estudo foi apresentar a construção do instrumento EADoc - Versão do Professor -, bem como evidências de validade deste.

MÉTODO

CONSTRUÇÃO DA ESCALA DE AVALIAÇÃO DOCENTE - VERSÃO DO PROFESSOR

Para a construção da escala, foi realizada uma revisão da literatura com base na qual se definiram as três dimensões que comporiam o instrumento: quem é o bom professor, o que sabe o bom professor e como faz o bom professor. Ainda, foram realizadas entrevistas com alunos de graduação para o levantamento dos aspectos que definem o bom professor. Para as entrevistas, foram contatados estudantes de diferentes cursos de graduação de universidades públicas e privadas de três estados do Brasil: Rio Grande do Sul, Minas Gerais e Ceará. Elas ocorreram pessoalmente ou por e-mail, e os alunos foram solicitados a descrever um bom professor de graduação, considerando suas habilidades e competências. Participaram dessa etapa 22 estudantes de graduação. O número de entrevistas foi determinado de acordo com o critério de saturação, ou seja, elas foram finalizadas quando os estudantes começaram a repetir as descrições de bons professores (Fontanella; Ricas; Turato, 2008).

As respostas dos estudantes, referentes às características de um bom professor, foram analisadas e categorizadas com base na análise de conteúdo qualitativa (Bardin, 1977), gerando uma série de itens que comporiam a escala. Os itens foram apresentados a um grupo focal formado por 11 alunos de pós-graduação. O grupo analisou os itens, adequando-os aos critérios de elaboração de itens propostos por Pasquali (2010). ­Foram excluídos itens muito similares em termos de conteúdo. Por fim, foram selecionados 71 itens, distribuídos nas três dimensões teóricas predefinidas. As opções de resposta à escala EADoc foram definidas em uma escala Likert de 5 pontos, representando entre 1 (nada) e 5 (totalmente) o quanto o professor se identifica com as afirmações propostas. Ao final desse processo, o instrumento foi nomeado de EADoc - Versão do Professor.

A escala completa foi submetida à avaliação de dez juízes, objetivando a busca de evidências de validade de conteúdo, conforme sugere Pasquali (1998). Todos os juízes eram professores e tinham experiência docente na graduação (de 2 a 25 anos), alguns possuíam conhecimento em psicometria e outros em educação. Os juízes receberam as definições das dimensões e os itens separados por dimensão. Foi solicitado que eles avaliassem os itens quanto à compreensão e em relação à relevância e à pertinência à dimensão designada. Havia também um espaço para que pudessem comentar eventuais problemas de redação ou sugerir exclusão ou acréscimo de itens.

Os resultados da análise dos juízes foram discutidos pelos autores, e os itens sofreram modificações e exclusões. Ao final dessa etapa, a EADoc foi reduzida para 57 itens. A fim de realizar uma avaliação preliminar das características dessa versão do instrumento, foi realizado um estudo piloto. Participaram dele 32 professores de universidades públicas e privadas de 30 cursos de graduação, com tempo médio de docência de 10,85 anos (desvio padrão (DP)=10,59). Com base na análise das respostas do estudo piloto, foram excluídos quatro itens que apresentaram alta correlação (acima de 0,60) com outros itens e que foram considerados redundantes. A versão da EADoc resultante após o estudo piloto foi constituída de 53 itens.

ESTUDO DE EVIDÊNCIAS DE VALIDADE DE CONSTRUTO E FIDEDIGNIDADE

Para a análise de evidências de validade relacionadas ao construto e de fidedignidade da EADoc, responderam ao instrumento 194 professores atuantes em cursos de graduação em diferentes regiões do Brasil, especialmente Sul (63,9%) e Sudeste (26,8%). O Quadro 1 resume as principais características descritivas dessa amostra.

Quadro 1:
Dados descritivos da amostra de professores (n=194).

A maioria dos professores era do sexo feminino (61,9%), com idade média de 41,88 anos (DP=11,9) e com tempo médio de atuação no ensino superior de 12 anos (DP=10,2). A titulação predominante foi doutorado (48,1%). A maioria dos professores atuava em um ou mais cursos de graduação (principalmente Psicologia, Engenharias e Administração), predominantemente em universidades privadas (53,6%), em regime de dedicação exclusiva (59,3%).

PROCEDIMENTOS

O projeto foi submetido e aprovado pelo Comitê de Ética do Instituto de Psicologia da Universidade Federal do Rio Grande do Sul (UFRGS) (parecer n.º 450.393, de 4 de novembro de 2013). A versão resultante do processo de construção da EADoc, com um questionário de dados sociodemográficos, foi disponibilizada on-line, por meio da plataforma SurveyMonkey^®. Os convites para participação foram enviados por e-mail ou redes sociais. Os participantes tiveram de confirmar a sua participação por meio da aceitação do Termo de Consentimento Livre e Esclarecido, apresentado antes do preenchimento da escala.

ANÁLISE DE DADOS

Considerando a natureza ordinal das respostas, a matriz de correlações policóricas (Holgado-Tello et al., 2010) dos itens foi submetida a análises fatoriais exploratórias, pelos métodos de extração unweighted least squares (ULS) e weighted least squares mean and variance adjusted (WLS) (Muthén; Du Toit; Spisic, 1997). O método Hull (Lorenzo-Seva, Timmerman, Kiers, 2011) foi utilizado para a decisão do número de dimensões a serem retidas na análise. Esse método contrasta os graus de liberdade e índices de ajuste de diversas soluções possíveis para a mesma matriz, sendo retida a solução fatorial com melhor balanço entre ambos os parâmetros. Em seguida, foram conduzidas análises de teoria de resposta ao item (TRI), pelo modelo rating scale (Andrich, 1978), adequado para itens politômicos. O modelo estima, de forma independente, a dificuldade dos itens (δ) e a posição dos indivíduos no contínuo linear latente estimado (θ), em unidades de logaritmos de chance (log-odds units ou logits). Foram estimados os ajustes dos itens ao modelo de mensuração (infit e outfit), a dimensionalidade dos resíduos de mensuração (contrastes principais) e a dependência local dos itens (correlações residuais).

RESULTADOS

O índice de Kaiser-Meyer-Olkin (KMO)=0,89 e o teste de esfericidade de Bartlett (4993,2, grau de liberdade (gl)=1378, p<0,001) indicaram a fatorabilidade da matriz de correlações policóricas dos itens. O método Hull indicou a retenção de um fator, com autovalor de 15,49. O modelo unidimensional demonstrou ajuste de χ²=2874,12 (1325), p<0,001, com o método de extração ULS, e de χ²=2506,786 (1325), p<0,001, com o método WLS. As medidas de fidedignidade para o fator foram de α=0,96 e de ω=0,95. As cargas fatoriais dos itens foram todas adequadas, acima de 0,32.

Posteriormente, foi conduzida uma análise pelo modelo rating scale ao mesmo conjunto de itens. Analisou-se o ajuste dos itens aos modelos de mensuração por meio dos valores de infit e outfit. Esses índices referem-se aos resíduos e devem manter seus valores entre 0,5 e 1,5. Quanto mais próximo à unidade, melhor é o ajuste entre o nível de dificuldade do item e o nível do traço latente dos indivíduos que endossam ou não endossam determinado item. O Quadro 2 apresenta os resultados dessa análise. Dela constam os itens ordenados pelo parâmetro de dificuldade, sendo apresentados os valores de infit e outfit. A medida de fidedignidade dos itens estimada pelo modelo rating scale foi de 0,96.

Quadro 2:
Itens finais do instrumento, parâmetros de dificuldade e medidas de ajuste dos itens.

A dimensionalidade foi acessada por meio dos contrastes principais, nos quais se submeteu a variância residual dos itens a uma análise de componentes principais. A presença de contrastes com autovalores maiores ou iguais a 2 indicou possíveis dimensões influenciando os padrões de reposta além da mensuração. Por fim, foram estimadas as correlações residuais dos itens para investigar casos de dependência local entre eles. Altas correlações residuais sugerem que a probabilidade de endosso a determinado item não é somente função do traço latente, mas dependente da resposta a outro item. De acordo com esses critérios, foram excluídos sete itens (5, 9, 14, 28, 29, 46 e 49). A versão final da escala, com 46 itens, é apresentada no ^{Anexo 1}.

DISCUSSÃO E CONSIDERAÇÕES FINAIS

Com base no presente estudo, foi construído um instrumento brasileiro para autoavaliação da prática docente pelos professores de graduação. Esse instrumento pode ser útil para professores no monitoramento das atividades que a docência demanda, bem como para reflexão e melhoria da própria prática. Por ter sido construída com base na literatura, nas concepções dos estudantes acerca das práticas do bom professor e no julgamento de especialistas, a EADoc - Versão do Professor apresenta potencial para atuar como instrumento valioso na avaliação de práticas da educação superior no Brasil.

Darling-Hammond (2010) afirma que a participação de professores em processos de avaliação do seu próprio desempenho poderá refletir na efetividade do seu fazer docente. Isso porque a avaliação é um processo diagnóstico que poderá fundamentar mudanças necessárias tanto na atuação quanto na formação desses profissionais. Além disso, no Programa Evaluating Teacher Effectiveness: How Teacher Performance Assessments Can Measure and Improve Teaching, do Center for American Progress, a autora sugere que professores que avaliam de forma contínua o seu próprio desempenho tendem a adotar novas e mais eficazes metodologias de ensino. Essa concepção de avaliação alinha-se ao que já foi apontado por Marques (2010). Para essa autora, a avaliação é um processo de monitorização e melhoria constante da qualidade do ensino superior. Dessa forma, a avaliação atua fomentando o autoconhecimento institucional e qualidade do ensino. Nesse contexto, há a necessidade da existência de bons instrumentos, como a EADoc, que possibilitem avaliação sistemática da prática docente.

Ressalta-se que, no contexto brasileiro, são escassos os estudos sobre instrumentos de avaliação docente, considerando as diferentes facetas desse construto. Por outro lado, reconhece-se que muitas universidades do país vêm desenvolvendo medidas próprias para tal fim, muitas delas avaliando o desempenho de um professor de acordo com a concepção dos seus alunos (Gomes; Borges, 2008).

As informações oriundas dessas medidas são importantes para o monitoramento institucional e a elaboração de programas específicos visando à melhora na qualidade do ensino, contudo esses instrumentos, de forma geral, não costumam ser estudados psicometricamente, sendo sua qualidade questionável. Nesse sentido, entende-se que a EADoc, por ter sido construída com base na teoria e em dados empíricos, respeitando todos os procedimentos psicométricos necessários para a construção e validação de um instrumento (Pasquali, 1998; Urbina, 2007), poderá ser útil para a avaliação da prática docente no ensino superior. Pelas buscas realizadas na literatura nacional, esse é o primeiro instrumento de autoavaliação docente brasileiro criado nessas condições.

No processo de construção, foram seguidos os princípios de elaboração de instrumentos baseados em construtos propostos por Pasquali (1999; 2010). Esse autor recomenda que devam ser seguidos três tipos de procedimentos: teóricos, empíricos e analíticos. Os procedimentos teóricos incluem a revisão da literatura, com levantamento das evidências empíricas sobre o conceito de bom professor e elaboração dos itens do instrumento. Essa etapa desdobra-se nos procedimentos empíricos, com a realização do estudo piloto e a coleta de dados para as análises de evidências de validade. A utilização de análises estatísticas para confirmação das propriedades psicométricas da EADoc correspondeu aos procedimentos analíticos, finalizando o procedimento de construção. Assim, confirma-se que a EADoc - Versão do Professor foi construída com o rigor teórico e metodológico recomendado pela literatura de elaboração de instrumentos. A escala contém qualidades psicométricas testadas e aprovadas para autoavaliação da prática docente de professores de graduação, estando de acordo com os standards internacionais para testagem na educação e na psicologia (AERA, APA, NCME, 1999).

As análises sugeriram uma estrutura unidimensional para o instrumento, em contraste com o modelo teórico de três dimensões adotado para a sua construção. É possível pensar que as três dimensões teóricas são dificilmente independentes empiricamente, uma vez que, por exemplo, um estilo pessoal mais flexível do professor estará associado ao seu estilo de administrar possíveis modificações no plano de aula. De forma dinâmica, as dimensões influenciam-se e compõem padrões distintos de comportamento. A análise do parâmetro de dificuldade dos itens permitiu estabelecer agrupamentos de itens com conteúdos semelhantes, refletindo diferentes níveis de habilidade docente. Por exemplo, considerando o Quadro 2, os itens mais fáceis (sequência dos itens 13 a 22) remetem a aspectos mais formais e amplos, quase burocráticos, da função docente. Seriam o mínimo de se esperar de um professor e envolvem maneiras de ser, fazer e saber básicas para a função. No segundo nível (sequência dos itens 31 a 50), estão as habilidades que envolvem domínio, monitoramento e controle do processo. Aspectos relacionais, como incentivo, feedback e fomento à postura crítica, são integrados a um nível mais aprofundado do conteúdo trabalhado. Por fim (sequência dos itens 19 a 3), em último estágio, estão as características avançadas de um professor, as quais exigem grande nível de adaptabilidade e manejo das demandas dos discentes, contudo sem perder referenciais claros para a avaliação do processo.

Considerando que a unidimensionalidade da EADoc foi constatada na presente amostra, em contraste com teorias que afirmam a existência de mais dimensões, sugere-se a realização de novas pesquisas com amostras ampliadas para a confirmação da estrutura fatorial. Além disso, são recomendados novos estudos para investigação de outras evidências de validade do instrumento baseadas em critérios externos, como o julgamento dos alunos acerca das competências de seus professores. Com essa finalidade, uma versão da EADoc para estudantes já está sendo elaborada. Pesquisas comparando a prática docente de professores de diferentes áreas do conhecimento e que atuam nos setores público e privado poderão reunir informações úteis para fundamentar mudanças na formação e na atuação profissional de professores de ensino superior no Brasil.

Acredita-se que o presente estudo colabora com o avanço do conhecimento e da avaliação da prática docente no Brasil, por meio da apresentação de um instrumento específico e validado para esse fim. Espera-se que a sua utilização possa gerar impacto em quatro níveis: individual, institucional, político e teórico-científico. Em termos individuais, o professor poderá avaliar as suas habilidades e competências, refletindo sobre aspectos a serem melhorados na sua atuação. No campo institucional, as IES podem utilizar os resultados da EADoc, aliados a resultados de outros instrumentos, a fim de implementar mudanças estratégicas no processo de ensino. Com relação à política educacional, espera-se que esse instrumento possa contribuir com o SINAES, a fim de homogeneizar o registro de informações relativas à prática docente. Por fim, do ponto de vista teórico-científico, o conjunto de informações produzido por esta e outras futuras pesquisas pode ajudar a repensar a definição teórica do conceito de bom professor.

REFERÊNCIAS

• American Educational Research Association, American Psychological Association, National Council on Measurement in Education - AERA, APA, NCME. Standards for Educational and Psychological Testing Washington: American Educational Research Association, 1999. Disponível em: <Disponível em: http://www.intestcom.org >. Acesso em: 10 Jan. 2015.
  » http://www.intestcom.org
• Andrich, D. A rating formulation for ordered response categories. Psychometrika, v. 43 n. 4, p. 561-573, dez. 1978.
• Avrichir, I.; Dewes, F. Construção e Validação de um Instrumento de Avaliação do Desempenho Docente. Revista Eletrônica de Ciência Administrativa, v. 5, n. 2, p. 1-16, jul./dez. 2006. Disponível em: <Disponível em: http://revistas.facecla.com.br/ index.php/recadm/index >. Acesso em: 23 set. 2013.
  » http://revistas.facecla.com.br/ index.php/recadm/index
• Azer, S. A. The qualities of a good teacher: how can they be acquired and sustained? Journal of the Royal Society of Medicine, v. 98, n. 2, p. 67-69, fev. 2005.
• Bardin, L. Análise de conteúdo Lisboa: Edições 70, 1977.
• Comrey, A. L.; Lee, H. B. A first course in factor analysis 2. ed. Hillsdale: Erlbaum, 1992.
• Darling-Hammond, L. Evaluating teacher effectiveness: How teacher performance assessments can measure and improve teaching. Washington: Center for American Progress, out. 2008. Disponível em: <Disponível em: https://scale.stanford.edu/system/files/teacher_effectiveness.pdf >. Acesso em: 24 jan. 2015.
  » https://scale.stanford.edu/system/files/teacher_effectiveness.pdf
• Duarte, F. P. Conceptions of good teaching by good teachers: case studies from an Australian university. Journal of University Teaching & Learning Practice, v. 10, n. 1, p. 3-14, jan./abr. 2013.
• Feitoza, L. A.; Cornelsen. J. M.; Valente, S. M. P. Representação do bom professor na perspectiva dos alunos de arquivologia. Perspectivas em Ciência da Informação, Belo Horizonte: Universidade Federal de Minas Gerais, v. 12, n. 2, p. 158-167, maio/ago. 2007.
• Fontanella, B. J. B.; Ricas, J; Turato, E. R. Amostragem por saturação em pesquisas qualitativas em saúde: contribuições teóricas. Caderno de Saúde Pública, v. 24, n. 1, p. 17-22, jan. 2008.
• Gomes, C. M. A.; Borges, O. Limite da validade de um instrumento de avaliação docente. Avaliação Psicológica, v. 7, n. 3, p. 391-401, 2008.
• Hair, J. F. et al Multivariate data analysis 7. ed. Upper Saddle River: Prentice Hall, 2009.
• Harden, R. M.; Crosby, J. AMEE Guide Nº 20: The good teacher is more than a lecturer - the twelve roles of the teacher. Medical Teacher, v. 22, n. 4, p. 334-347, 2000.
• Holgado-Tello, F. et al Polychoric versus Pearson correlations in exploratory and confirmatory factor analysis of ordinal variables. Quality and Quantity, v. 44, n. 1, p. 153-166, jan. 2010.
• Korthagen, F. A. J. In search of the essence of a good teacher: Towards a more holistic approach in teacher education. Teaching and Teacher Education, v. 20, n. 1, p. 77-97, jan. 2004.
• Lieff, S. et al Who am I? Key influences on the formation of academic identity within a faculty development program. Medical Teacher, v. 34, n. 3, p. 208-215, mar. 2012.
• Lorenzo-Seva, U.; Timmerman, M. E.; Kiers, H. A. L. The Hull method for selecting the number of common factors. Multivariate Behavioral Research, v. 46, n. 2, p. 340-364, abr. 2011.
• Maccallum, R. C. et al Sample Size in Factor Analysis. Psychological Methods, v. 4, n. 1, p. 84-89, jan./mar. 1999.
• Marques, M. C. O novo sistema de avaliação e acreditação do ensino superior: impacto, repercussões e benefícios. Universo Contábil, v. 6, n. 1, p. 142-155, jan./mar. 2010.
• Muthén, B. O.; Du Toit, S. H. C.; Spisic, D. Robust inference using weighted least squares and quadratic estimating equations in latent variable modeling with categorical and continuous outcomes, 1997. Disponível em: <Disponível em: http://www.statmodel.com/bmuthen/articles/Article_075.pdf >. Acesso em: 14 jan. 2015.
  » http://www.statmodel.com/bmuthen/articles/Article_075.pdf
• Osmun, W. E.; Copeland, J. The occasional Teacher - Part 2: the good Teacher. Canadian Journal of Rural Medicine, v. 16, n. 1, p. 23-24, jan./mar. 2011.
• Pachane, G. G. Quem é seu melhor professor universitário e por quê? Características do bom professor universitário sob o olhar de licenciandos. Educação. Revista do Centro de Educação, v. 37, n. 2, p. 307-319, maio/ago. 2012.
• Pasquali, L. Princípios de Elaboração de Escalas Psicológicas. Revista de Psiquiatria Clínica, v. 25, n. 5, p. 206-213, set./out. 1998.
• Pasquali, L. Instrumentação psicológica Porto Alegre: Artmed, 2010.
• Reed, C. What makes a good teacher? BioScience, California: University of California Press, v. 39, n. 8, p. 555-557, set. 1989.
• Ristoff, D.; Giolo, J. (Orgs.). Educação superior brasileira: 1991-2004 Brasília: MEC/INEP, 2006.
• Samples, J. W.; Copeland, S. E. The universality of good teaching: a study of descriptors across disciplines. International Journal of Teaching and Learning in Higher Education, v. 25, n. 2, p. 176-188, maio 2013.
• Shulman, L. S. Knowledge and teaching: Foundations of the new reform. Harvard Educational Review, v. 57, n. 1, p. 1-22, fev. 1987.
• Stone, S. et al Identifying oneself as a teacher: the perceptions of preceptors. Medical Education, v. 36, n. 2, p. 180-185, fev. 2002.
• Super, D. E.; Savickas, M. L.; Super, C. M. The life-span, life-space approach to careers. In Brown, D.; Brooks, L. (Orgs.), Career choice and development 3. ed., San Francisco: Jossey-Bass, p. 121-178, 1996.
• Sutkin, G. et al What makes a good clinical teacher in medicine? A review of the literature. Academic Medicine, v. 83, n. 5, p. 452-466, maio 2008.
• Tschannen-Moran, M.; Hoy, A. W. Teacher efficacy: Capturing an elusive construct. Teaching and Teacher Education, Amsterdam: Elsevier, v. 17, n. 7, p. 783-805, out. 2001.
• Urbina, S. Fundamentos da Testagem Psicológica Porto Alegre: Artmed, 2007.
• Zeichner, K. Alternative paradigms of teacher education. Journal of Teacher Education, Washington, D.C.: Sage Publication, v. 34, n. 3, p. 3-9, maio 1983.

Anexo 1 - Escala de Avaliação Docente (EADoc) - Versão do Professor.

Este é um instrumento de reflexão acerca de sua atividade docente na graduação. Com ele, você terá oportunidade de identificar e monitorar suas competências docentes, aprimorá-las ou desenvolvê-las. Para que tal mecanismo atinja a eficácia desejada, seja sincero nas suas respostas, pensando na sua atuação docente em uma disciplina da graduação.

Disciplina: _______________________________________________________

Responda em cada item, numa escala de 1 a 5: quanto você se identifica com as afirmações propostas.

Datas de Publicação

• Publicação nesta coleção
  Jul-Sep 2017

Histórico

• Recebido
  26 Mar 2015
• Aceito
  20 Out 2015