Measurement Scales of Reactions to the Assessment of Graduate Programs: Evidences of Factorial Validity

Queiroz, Kelly Rocha de; Pérez-Nebra, Amalia Raquel; Queiroga, Fabiana

doi:10.1590/1413-82712020250305

Kelly Rocha de Queiroz

Centro Universitário de Brasília, Brasília, Distrito Federal, Brasil

https://orcid.org/0000-0002-1182-422X

Amalia Raquel Pérez-Nebra

Universidade de Brasília Brasília, Distrito Federal, Brasil

https://orcid.org/0000-0001-8386-1233

Fabiana Queiroga

Centro Universitário de Brasília, Brasília, Distrito Federal, Brasil

https://orcid.org/0000-0002-3811-8202

Contact: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior SBN Quadra 02 Lote L Lote 06 9º andar, Asa Norte Brasília-DF, Brasil Telefones: (61)981790906/(61)2022-6341

2
We thank the reviewer for the suggestion and comment on this point.

About the authors:

Kelly Rocha de Queiroz Holds a master’s degree in Psychology from the University Center of Brasilia (Centro Universitário da Brasília). She is a science and technology analyst and is currently the Coordinator of Induction and Innovation programs at the Brazilian Coordination of Higher Education Personnel (CAPES). ORCID: https://orcid.org/0000-0002-1182-422XE-mail: kelly.queiroz@capes.gov.br

Amalia Raquel Pérez-Nebra Visiting Professor at the Universidade de Brasília (UnB). The author coordinates several research and intervention projects in Social Psychology applied in institutional and organizational contexts. Her research themes are focused on sustainable labor welfare, culture, media influence, and over-indebtedness. She has also conducted research projects at the Universitat de València and the Universidad Autônoma de Madrid. Publons: www.researcherid.com/rid/D-6030-2018 ORCID: https://orcid.org/0000-0001-8386-1233E-mail: amaliaraquel.perez@campusviu.es

Fabiana Queiroga PhD in Social, Organizational and Work Psychology from the Universidade de Brasília. She is linked to the masters program of the University Center of Brasilia (Centro Universitário de Brasília), where she teaches subjects related to the field of Organizational Behavior. She has experience in building Psychology Assessment Instruments and Measures, with an emphasis on large-scale educational assessment, learning assessment, and performance. ORCID: https://orcid.org/0000-0002-3811-8202E-mail: queiroga.unice@gmail.com

Items	Factorial Load (α = 0.87; w = 0.87)	h²
How satisfied are you with...
Em que medida você está satisfeito com...
1. ... the existence of graduate assessment.	0.64	0.42
1. ... a existência da avaliação da pós-graduação.	0.64	0.42
2. ... the criteria adopted by Capes for the graduate assessment.	0.77	0.59
2. ... os critérios adotados na avaliação da pós-graduação efetuada pela Capes.	0.77	0.59
3. ... the periodicity of Capes’ graduate assessment.	0.53	0.29
3. ... a periodicidade da avaliação da pós-graduação efetuada pela Capes.	0.53	0.29
4. ... the inexistence of self-assessment of graduate programs by Capes.	0.49	0.24
4. ... a inexistência de autoavaliação da pós-graduação efetuada pela Capes.	0.49	0.24
5. ... the way Capes disseminates information about the assessment of graduate programs and the results of this process.	0.68	0.46
5. ... a forma com a Capes divulga as informações acerca da avaliação da pós-graduação e os resultados desse processo.	0.68	0.46
6. ... the score received considering the quality of work performed by your graduate program.	0.78	0.62
6. ... a nota recebida considerando a qualidade do trabalho desenvolvido pelo seu programa de pós-graduação.	0.78	0.62
7. ... the score received considering the amount of work performed by your graduate program.	0.78	0.61
7. ... a nota recebida considerando a quantidade de trabalho desempenhado pelo programa de pós-graduação.	0.78	0.61
8. ... the collegiate internal level of demand from your graduate program.	0.42	0.18
8. ... o nível de cobrança interna do colegiado do seu programa de pós-graduação.	0.42	0.18
9. ... with the peer review system for the assessment of graduate research.	0.76	0.58
9. ... com o sistema de avaliação por pares efetuada na avaliação da pós-graduação.	0.76	0.58

Items	I (α = 0.92; w = 0.91)	II (α = 0.97; w = 0.97)	h²
1. The score obtained reflects the effort that my graduate program has put into work.		0.97	0.91
1. A nota obtida reflete o esforço que o meu programa de pós-graduação colocou no trabalho.		0.97	0.91
2. The score obtained is appropriate in view of the accomplishments of my graduate program.		0,99	0,95
2. A nota obtida é apropriada tendo em vista o realizado pelo meu programa de pós-graduação.		0,99	0,95
3. The score obtained reflects the contribution of my graduate program to the National System of Graduate Programs (SNPG).		0,92	0,88
3. A nota obtida reflete a contribuição do meu programa de pós-graduação ao Sistema Nacional de Pós-Graduação (SNPG).		0,92	0,88
4. The score obtained by my Graduate Program is fair.		0,91	0,90
4. A nota obtida pelo meu programa de pós-graduação é justa.		0,91	0,90
5. The procedures used in the assessment of graduate programs are fair, appropriate and impartial.	0,67		0,73
5. Os procedimentos utilizados na avaliação da pós-graduação são justos, apropriados e imparciais.	0,67		0,73
6. The procedures were performed within the legally established deadlines.	0.52		0.24
6. Os procedimentos foram realizados nos prazos legalmente estabelecidos.	0.52		0.24
7. The procedures used in the assessment of graduate programs were applied consistently.	0.76		0.73
7. Os procedimentos utilizados na avaliação da pós-graduação foram aplicados de forma consistente.	0.76		0.73
8. The procedures used for the assessment of graduate programs are based on precise and accurate information.	0.82		0.71
8. Os procedimentos utilizados na avaliação da pós-graduação se baseiam em informações precisas e rigorosas.	0.82		0.71
9. These procedures are free from preconceived ideas.	0.83		0.66
9. Esses procedimentos se encontram em livres de ideias pré-concebidas.	0.83		0.66
10. The procedures used in graduate assessment are based on ethical and moral standards.	0.87		0.67
10. Os procedimentos utilizados na avaliação da pós-graduação se apoiam em padrões éticos e morais.	0.87		0.67
11. The procedures used in the assessment of graduate programs are transparent.	0.85		0.73
11. Os procedimentos utilizados na avaliação da pós-graduação são transparentes.	0.85		0.73

Items	I (α = 0.96; w = 0.95)	II (α = 0.93; w = 0.91)	h²
1. I find the assessment of graduate programs useful in ensuring the quality of Brazilian graduate research.	0.93		0.80
1. Considero a avaliação da pós-graduação útil para garantir a qualidade da pós-graduação brasileira.	0.93		0.80
2. I consider the assessment of graduate programs useful to portray the situation of Brazilian research in the period evaluated.	0.88		0.78
2. Considero a avaliação da pós-graduação útil para retratar a situação da pós-graduação brasileira no período avaliado.	0.88		0.78
3. I find the assessment of graduate programs useful for the development of my program.	0.90		0.87
3. Considero a avaliação da pós-graduação útil para o desenvolvimento do meu programa.	0.90		0.87
4. I find the assessment of graduate programs useful for the development of the area of knowledge in which my program is inserted.	0.84		0.86
4. Considero a avaliação da pós-graduação útil para o desenvolvimento da área de conhecimento a qual o meu programa está inserido.	0.84		0.86
5. I consider assessment of graduate programs useful for the development of the National System of Graduate Programs (SNPG).	0.85		0.83
5. Considero a avaliação da pós-graduação útil para o desenvolvimento do Sistema Nacional de Pós-Graduação (SNPG).	0.85		0.83
6. Capes' assessment of graduate programs is useful for me to better understand what is expected of my graduate program regarding its scientific output.		0.66	0.71
6. A avaliação da pós-graduação efetuada pela Capes é útil para que eu entenda melhor o que se espera do meu programa de pós-graduação acerca de sua produção científica.		0.66	0.71
7. Capes' assessment of graduate programs is useful for me to better understand what is expected about the training of masters and / or doctors in my graduate program.		0.91	0.85
7. A avaliação da pós-graduação efetuada pela Capes é útil para que eu entenda melhor o que se espera acerca da formação de mestres e/ou doutores no meu programa de pós-graduação.		0.91	0.85
8. Capes' assessment of graduate programs is useful for me to better understand what is expected of the social inclusion of my graduate program.		0.88	0.78
8. A avaliação da pós-graduação efetuada pela Capes é útil para que eu entenda melhor o que se espera da inserção social do meu programa de pós-graduação.		0.88	0.78
9. Capes' assessment of graduate programs is useful for me to better understand what is expected of my training and updating as a professor.		0.89	0.78
9. A avaliação da pós-graduação efetuada pela Capes é útil para que eu entenda melhor o que se espera da minha formação e atualização como docente.		0.89	0.78

Items	Factorial Load (α = 0.69; w = 0.71)	h²
1. The assessment of Graduate programs, conducted by Capes, is accurate.	0.84	0.70
1. A avaliação da pós-graduação, efetuada pela Capes, é precisa.	0.84	0.70
2. The grades obtained are based more on favoritism than on the actual performance of graduate programs.	-0.43	0.18
2. As notas obtidas se baseiam mais em favoritismos do que no real desempenho dos programas de pós-graduação.	-0.43	0.18
3. Assessment of Graduate programs accurately describes strengths and weaknesses of programs.	0.80	0.63
3. A avaliação da pós-graduação descreve com precisão as forças e fraquezas dos programas de pós-graduação.	0.80	0.63
4. There is a tendency for evaluators to rate everyone equally regardless of the actual performance of graduate programs.	-0.32	0.10
4. Existe uma tendência para os avaliadores darem a mesma nota a todos os avaliados independente do real desempenho dos programas de pós-graduação.	-0.32	0.10

	Mean	SD	1	2	3	4	5
1 Satisfaction	3.15	0.97
1 Satisfação	3.15	0.97
2 Distributive Justice	3.17	1.53	0.75^*
2 Justiça Distributiva	3.17	1.53	0.75^*
3 Procedural Justice	3.06	1.16	0.80^*	0.68^*
3 Justiça Procedimental	3.06	1.16	0.80^*	0.68^*
4 Utility - SNPG	3.83	1.18	0.67^*	0.49^*	0.60^*
4 Utilidade - SNPG	3.83	1.18	0.67^*	0.49^*	0.60^*
5 Utility - PPG	3.32	1.29	0.65^*	0.49^*	0.63^*	0.72^*
5 Utilidade - PPG	3.32	1.29	0.65^*	0.49^*	0.63^*	0.72^*
Accuracy	2.87	1.00	0.67^*	0.57^*	0.74^*	0.52^*	0.55^*
Precisão	2.87	1.00	0.67^*	0.57^*	0.74^*	0.52^*	0.55^*

[1] Contact: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior SBN Quadra 02 Lote L Lote 06 9º andar, Asa Norte Brasília-DF, Brasil Telefones: (61)981790906/(61)2022-6341

Brasil

Brasil

Measurement Scales of Reactions to the Assessment of Graduate Programs: Evidences of Factorial Validity

Instrumentos de Mensuração de Reações à Avaliação da Pós-Graduação: Evidências de Validade Fatorial

Instrumentos de Medida de Reacciones a la Evaluación del Postgrado: Evidencias de Validación Factorial

Abstract