RESUMO
Produto Educacional e Produto Técnico-Tecnológico constituem-se como especificidade dos programas de pós-graduação na modalidade profissional, produção que deve ser cuidadosamente avaliada pelos programas e registrada em plataformas de instâncias avaliadoras. Em 2019, foi estruturado grupo de trabalho da área de ensino para criar Ficha de Validação desses produtos. Assim, este artigo objetiva apresentar uma proposta de aprimoramento desta Ficha de Validação dos Produtos Educacionais/Técnico-Tecnológicos, com base em reflexões tratadas em artigos científicos e eventos científicos da área, com foco na pertinência e necessidade desse tipo de avaliação de forma padronizada. Pretende-se colaborar com o aprimoramento dos processos e procedimentos avaliativos dos Produtos Educacionais/Técnico-Tecnológicos para necessária acurácia, representatividade e homogeneidade, que permitirá o real dimensionamento das contribuições desses produtos. Isso envolve não apenas formação de profissionais qualificados, mas também transformação de práticas do Sistema Único de Saúde, promovendo avanços na ciência e em seus campos de aplicação.
Descritores:
Programas de Pós-Graduação em Saúde; Avaliação da Pesquisa em Saúde; Pesquisa Científica e Desenvolvimento Tecnológico; Tecnologia Educacional; Estudos de Avaliação como Assunto
ABSTRACT
Educational Product and Technical-Technological Product constitute a specificity of postgraduate programs in the professional modality, a product that must be carefully evaluated by the programs and recorded on platforms of evaluating bodies. In 2019, a working group from the teaching area was assembled to create a Validation Form for these products. Thus, this article aims to present a proposal for improving this Validation Form for Educational/Technical-Technological Products, based on reflections treated in scientific articles and scientific events from the area, focusing on the relevance and need for this type of evaluation in a standardized way. It is intended to collaborate with the improvement of the evaluation processes and procedures of Educational/Technical-Technological Products for the necessary accuracy, representativeness, and homogeneity, which will allow the real dimensioning of the contributions of these products. This involves not only training qualified professionals, but also transforming practices in the Sistema Único de Saúde (SUS) [Brazil's Unified Health System], promoting advances in science and in its fields of application.
Descriptors:
Health Postgraduate Programs; Evaluation Of Health Research; Educational Technology; Scientific Research and Technological Development; Evaluation Studies as a Topic
RESUMEN
Producto Educacional y Producto Técnico-Tecnológico constituidos como especificidad de programas de posgrado en modalidad profesional, producción que debe ser cuidadosamente evaluada por programas y registrada en plataformas de instancias evaluadoras. En 2019, fue estructurado equipo laboral del área de enseñanza para criar Ficha de Validez de esos productos. Así, este artículo objetiva presentar una propuesta de perfeccionamiento de esta Ficha de Validez de Productos Educacionales/Técnico-Tecnológicos, basado en reflexiones tratadas en artículos científicos y eventos científicos de la área, enfocado en la pertinencia y necesidad de eso tipo de evaluación de manera estandarizada. Pretende colaborar con el perfeccionamiento de procesos y procedimientos evaluativos de Productos Educacionales/Técnico-Tecnológicos para necesaria precisión, representatividad y homogeneidad, que permitirá el real dimensionamiento de las contribuciones de esos productos. Eso envuelve no apenas formación de profesionales calificados, sino transformación de prácticas del Sistema Único de Salud, promoviendo avanzos en la ciencia y sus campos de aplicación.
Descriptores:
Programas de Posgrado en Salud; Evaluación de la Investigación en Salud; Investigación Científica y Desarrollo Tecnológico; Tecnología Educacional; Estudios de Evaluación como Asunto
INTRODUÇÃO
Em 2019, durante o Seminário de Meio Termo da Área de Ensino - Área 46, uma das áreas de avalição da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), que envolve vários cursos de mestrado e doutorado profissionais bem como alguns mestrados acadêmicos, foi formado o grupo de trabalho (GT) para discutir o Produto Educacional (PE)(11 Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Produção técnica. Grupo de trabalho[Internet]. Brasília: CAPES; 2019 [cited 2020 Dec 12]. Available from: https://www.gov.br/capes/pt-br/centrais-de-conteudo/10062019-producao-tecnica-pdf
https://www.gov.br/capes/pt-br/centrais-...
), com a tarefa, entre outras, de propor uma Ficha de Validação do Produto Educacional. Tal proposta foi organizada tendo como referência o Relatório do GT Produção Tecnológica da CAPES(22 Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Relatório do Seminário de Meio Termo - Área de Ensino[Internet]. Brasília: CAPES; 2019 [cited 2020 Dec 12]. Available from: https://www.gov.br/capes/pt-br/centrais-de-conteudo/Ensino2.pdf
https://www.gov.br/capes/pt-br/centrais-...
) e detalhou algumas possibilidades de Produtos e Processos Educacionais que contemplam as tipologias já definidas em documentos da área(33 Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Documento de Área - Ensino [Internet]. Brasília: CAPES; 2019 [cited 2020 Dec 12]. Available from: https://www.gov.br/capes/pt-br/centrais-de-conteudo/ENSINO.pdf
https://www.gov.br/capes/pt-br/centrais-...
).
Em março de 2020, a ficha proposta por esse GT da CAPES foi divulgada no formato on-line em eventos vinculados a programas de pós-graduação e periódicos científicos - por exemplo, por meio do artigo "Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores"(44 Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
https://doi.org/10.3895/actio.v5n2.12657...
).
No referido artigo, Rizzatti et al.(44 Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
https://doi.org/10.3895/actio.v5n2.12657...
) apresentaram os elementos fundantes para a discussão e construção desse instrumento de avaliação a ser aplicado nos programas de pós-graduação (PPG) que envolvem a produção de um PE ou Produto Técnico-Tecnológico (PTT), mais frequentemente produzidos nos mestrados e doutorados profissionais.
A discussão sobre o sentido e importância do PTT ou PE tem sido alvo de interesse e preocupação, tanto pelos PPGs como pelos pesquisadores da área de ensino da CAPES. Além do caráter obrigatório, de que se crie um PE/PTT nas modalidades profissionais, observam-se aspectos singulares, nem sempre evidentes ou compartilhados na comunidade acadêmica:
Na modalidade profissional, diferentemente da modalidade acadêmica, os discentes precisam desenvolver um Produto/Processo Educacional (PE) que necessita ser aplicado em um contexto real, podendo ter diferentes formatos. A incompreensão, pela comunidade acadêmica, das características da modalidade profissional se tornou campo fértil de críticas e disputas(44 Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
https://doi.org/10.3895/actio.v5n2.12657... )
Zaidan, Reis e Kawasaki(55 Zaidan S, Reis DAFR, Kawasaki TF. Produto educacional: desafio do mestrado profissional em educação. Rev Bras Pós-Grad. 2020;16(35):1-12. https://doi.org/10.21713/rbpg.v16i35
https://doi.org/10.21713/rbpg.v16i35...
) destacam que há necessidade de evidenciar as especificidades dos programas de pós-graduação profissional, e isso significa necessidade de fortalecer as identidades desse tipo de programa, ressaltando, no meio científico, suas contribuições para a formação de profissionais qualificados e para a produção de conhecimento e recursos.
Outro problema foi apontado no estudo de Moreira et al.(66 Moreira MCA, Rôças G, Pereira MV, Anjos MB. Produtos educacionais de um curso de mestrado profissional em ensino de ciências. Rev Bras Ens Ciência Tecnol. 2018;11(3):344-363. https://doi.org/10.3895/rbect.v11n3.5697
https://doi.org/10.3895/rbect.v11n3.5697...
), em que se realizou um levantamento de produtos educacionais feitos em um mestrado profissional em Ensino de Ciências, e identificaram que há dificuldade de propiciar visibilidade em determinados PEs/PTTs, como projetos de extensão e atividades de divulgação científica. Segundo esses autores, isso ocorre, também, por falta de recursos financeiros de órgãos de fomento, o que determina a estruturação de PE e PTT a depender da disponibilidade desse financiamento. Com isso, destacam que há o risco da "escolha" pelo desenvolvimento de um produto menos "dispendioso" em detrimento de outro que exija mais recursos financeiros.
Ainda que tais dificuldades se apresentem no cotidiano dos PPGs, houve, em 2016, a elaboração da Classificação de Produção Técnica(77 Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Considerações sobre Classificação de Produção Técnica - Área de Ensino. [Internet]. Brasília: Capes; 2016 [cited 2020 Dec 3]. Available from: http://www.uern.br/controledepaginas/ppge-documentos-capes/arquivos/3404consideraa%C2%A7a%C2%B5es_sobre_classificaa%C2%A7a%C2%A3o_de_produa%C2%A7a%C2%A3o_ta%C2%A9cnica.pdf
http://www.uern.br/controledepaginas/ppg...
), o que possibilitou a inclusão de diversos materiais educativos na Plataforma Sucupira da CAPES e consolidou a relevância desse tipo de produção técnica a partir da quadrienal 2013-2016.
Para além da classificação dos PEs/PTTs, seus processos de avaliação interessam dentro dessa discussão. Araújo-Jorge, Sovierzoski e Borba(88 Araújo-Jorge TC, Sovierzoski HH, Borba MC. A Área de Ensino após a avaliação quadrienal da CAPES: reflexões fora da caixa, inovações e desafios em 2017. Rev Bras Ens Ciência Tecnol. 2017;10(3):1-15. https://doi.org/10.3895/rbect.v10n3.7744
https://doi.org/10.3895/rbect.v10n3.7744...
) apresentam pertinentes reflexões sobre a importância dos processos de avaliação de PE, nos quais os autores destacam a necessidade de mudanças. Há várias propostas, entre elas, a ênfase no trabalho em rede, busca de ações de cooperação entre os programas e maior valorização dos PEs/PTTs. Outro ponto considerado crucial por esses pesquisadores é a questão da inserção social, que foi alvo de profundas discussões no âmbito do Seminário de Área realizado em novembro de 2017, no qual foram apontados aspectos relevantes para dar visibilidade para à evolução dos programas em termos de alcance ou implementação plena dos PEs.
Diante dessas experiências e reflexões, o GT da CAPES responsável pela discussão dos PEs/PTTs desenvolveu um trabalho visando responder a demandas e necessidades da área e engajouse em um valoroso trabalho de retomada dos documentos de área, buscando a memória e trajetória de construção de conceitos e regulamentações. Os participantes do GT retomaram, de forma crítica, os conceitos e tipologias sobre PE e PTT, destacando que tipo de relação esses produtos devem (ou deveriam) ter no tocante à dissertação e tese tradicionalmente exigidas em PPG. Sendo assim, as tipologias de PE adotadas se basearam em produtos declarados por PPG em avaliações anteriores(44 Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
https://doi.org/10.3895/actio.v5n2.12657...
).
Outra atribuição deste GT foi formalizar a necessidade de que as dissertações e teses da modalidade profissional apresentassem uma seção metodológica para a pesquisa desenvolvida e uma seção destinada à explicitação sobre a metodologia de desenvolvimento do PE, descritas da seguinte forma:
[...]as dissertações e teses deverão conter no corpo do texto uma seção ou capítulo, abordando a metodologia de desenvolvimento do PE: 1) contendo a descrição das etapas de delimitação do problema a ser abordado; 2) definições das etapas, idealização e elaboração do PE; 3) prototipagem (quando for o caso); 4) aplicação, avaliação, validação (1ª instância, mínimo recomendado para o MP); e 5) análise à luz do referencial teórico e metodológico(44 Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
https://doi.org/10.3895/actio.v5n2.12657... )
Para Rizzatti et al.(44 Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
https://doi.org/10.3895/actio.v5n2.12657...
), a expectiva é de que os PEs resultantes dos MPs atinjam plenamente a primeira instância de avaliação, que é recomendada para o curso de MP e obrigatória para DP. Para esse grupo de trabalho, são várias as formas de validação do PE, tais como grupos focais, narrativas, pesquisas de opinião, juízes especialistas, entre outras.
O GT também explicitou a necessidade de que ocorra, formalmente, a segunda instância de validação, que poderá ser feita pela banca de defesa de dissertação ou tese. Para tanto, propuseram uma ficha de validação que foi desenvolvida apoiando-se em propostas que já estão em uso por alguns PPGs e que foi aprovada na plenária de coordenadores do Seminário de Área de 2019(11 Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Produção técnica. Grupo de trabalho[Internet]. Brasília: CAPES; 2019 [cited 2020 Dec 12]. Available from: https://www.gov.br/capes/pt-br/centrais-de-conteudo/10062019-producao-tecnica-pdf
https://www.gov.br/capes/pt-br/centrais-...
). Nesse encontro, aprovou-se também a proposta de aplicação dessa ficha para a qualificação dos PEs no Qualis Educacional (Quadriênio de 2021-2024), que poderá ser anexada na Plataforma Sucupira como documento de informações complementares sobre Produção Técnico-Tecnológica.
Rizzatti et al.(44 Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
https://doi.org/10.3895/actio.v5n2.12657...
)) propõem, pautando-se em uma escuta ativa sobre demandas de vários coordenadores de programas presentes no Seminário realizado pela área de ensino em 2019, uma ficha de avaliação e validação do PE, de modo que "A banca avaliará a dissertação ou a tese emitindo uma ata e analisará o PE com emissão deste documento, o qual deve ser considerado como o documento de validação por pares especializados".
O GT, baseado no relatório técnico da CAPES sobre produção técnica (11 Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Produção técnica. Grupo de trabalho[Internet]. Brasília: CAPES; 2019 [cited 2020 Dec 12]. Available from: https://www.gov.br/capes/pt-br/centrais-de-conteudo/10062019-producao-tecnica-pdf
https://www.gov.br/capes/pt-br/centrais-...
) e em suas expertises no campo, propôs os seguintes conceitos que devem ser considerados na análise do PE/PTT: complexidade, registro, impacto, aplicabilidade, aderência e inovação(44 Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
https://doi.org/10.3895/actio.v5n2.12657...
).
Sendo assim, Rizzatti et al. (44 Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
https://doi.org/10.3895/actio.v5n2.12657...
), ao proporem uma Ficha de Validação, também estão propondo um produto educacional e, como tal, um produto com importantes articulações e inovações que merecem reconhecimento. Porém, como todo produto ou processo técnicotecnológico, evidencia-se que há necessidade de visibilização e debate para fomentar sua aplicação efetiva, bem como aprimoramento contínuo. Como observam esses autores(44 Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
https://doi.org/10.3895/actio.v5n2.12657...
), "Talvez, seja necessário avaliar como dar maior visibilidade aos PEs produzidos nos PPGs profissionais, da mesma forma que damos publicização aos artigos em periódicos da área".
Foi nesse "espírito" de contribuição e aprimoramento que os autores do presente artigo propuseram um instrumento de avaliação baseado na proposta de Rizzatti et al.(44 Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
https://doi.org/10.3895/actio.v5n2.12657...
), com algumas modificações que trazem reflexões de ordem teórica e estrutural da ficha proposta pelo GT. Concordando com Moreira et al.(66 Moreira MCA, Rôças G, Pereira MV, Anjos MB. Produtos educacionais de um curso de mestrado profissional em ensino de ciências. Rev Bras Ens Ciência Tecnol. 2018;11(3):344-363. https://doi.org/10.3895/rbect.v11n3.5697
https://doi.org/10.3895/rbect.v11n3.5697...
), a avaliação dos PEs/PTs acaba por ter uma função mais ampla do que se imagina:
Muito mais do que inovador, um PE precisa ser subversivo [...] aquele que, mesmo tendo sido elaborado para contexto específico, pode e deve ser adaptado e reinterpretado. Deve ser proposto para ter um caráter interdisciplinar, estabelecendo uma ponte entre as ciências humanas, sociais e da natureza, licenciado na perspectiva de creative commons, gratuito, aberto para novas inclusões(44 Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
https://doi.org/10.3895/actio.v5n2.12657... )
Nessa linha de raciocínio e considerando que a Ficha de Validação proposta por Rizzatti et al.(44 Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
https://doi.org/10.3895/actio.v5n2.12657...
) possa ser considerada um produto técnico, concordamos com as reflexões de Rôças, Moreira e Pereira(99 Rôças G, Moreira MCA, Pereira MV. "Esquece tudo o que te disse": os mestrados profissionais da área de ensino e o que esperar de um doutorado profissional. Rev ENCITEC. 2018;8(1):59-74. https://doi.org/10.31512/encitec.v8i1.262
https://doi.org/10.31512/encitec.v8i1.26...
) ao afirmarem que o PE não deve ser tomado "per si", mas como um processo de elaboração e transformação dos envolvidos. Assim, o autor do PE está fundamentalmente implicado no processo de identificação do problema, considerando aspectos teóricos e práticos, o que o leva a refletir e propor soluções para abordar o problema identificado.
Este artigo objetiva, portanto, apresentar uma proposta de aprimoramento desta Ficha de Validação do PE/PTT, baseando-se em reflexões tratadas em artigos científicos e eventos científicos da área, com foco na pertinência e necessidade desse tipo de avaliação de forma padronizada. Pautando-se na proposta de Rizzatti et al.(44 Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
https://doi.org/10.3895/actio.v5n2.12657...
), os autores do presente artigo entendem que existe possibilidade de aprimoramentos, os quais serão apontados, ponto a ponto, indicando os motivos e sugestões para esta nova proposta de Ficha de Avaliação.
REFLEXÕES
Questões e propostas sobre o cabeçalho
A ficha originalmente proposta indica os seguintes aspectos a serem preenchidos: IES; Discente; Título da dissertação/tese; Orientador; Coorientador (se houver).
Na presente proposta de uma nova ficha, entendemos que a IES deve estar previamente presente nela, por se tratar de uma avaliação de um produto específico daquela instituição, podendo ter o logo da instituição e/ou do PPG. Quanto ao item "Título da dissertação/tese", propõe-se que a nova ficha contenha o título final do PE/PTT e o título final da dissertação/tese, pois, considerando que são produções científicas e/ou técnicas diferentes, poderão ter títulos diferentes.
Quanto aos nomes do orientador e coorientador, propõe-se que a nova ficha contenha o item "Autoria", no qual possam ser explicitados todos os autores e coautores envolvidos na construção do PE/PTT, de modo a indicar a participação do mestrando, doutorando, orientador, coorientador e outros, na ordem que os autores entenderem ser a mais adequada, segundo a contribuição de cada um. Esse aspecto é importante como forma de atender a uma discussão que foi tratada no âmbito de eventos on-line da CAPES sobre o tema, nos quais foi observado que muitos PEs/PTTs registrados na Plataforma Sucupira da CAPES não contêm os nomes dos mestrandos/doutorando e orientadores, o que prejudica o registro apropriado de tais produtos nessa plataforma.
Com essa proposição, os autores do presente artigo desejam propiciar uma reflexão importante sobre a relação entre a dissertação/tese e o PE/PTT no contexto dos PPGs profissionais. Para tanto, explicita-se o trabalho de Zaidan, Reis e Kawasaki(55 Zaidan S, Reis DAFR, Kawasaki TF. Produto educacional: desafio do mestrado profissional em educação. Rev Bras Pós-Grad. 2020;16(35):1-12. https://doi.org/10.21713/rbpg.v16i35
https://doi.org/10.21713/rbpg.v16i35...
), que compreendem haver uma relação intrínseca entre a dissertação de mestrado e o produto técnico produzido, contudo reconhecem que, muitas vezes, o produto técnico acaba sendo elaborado às pressas e no final do processo, o que pode incorrer no desenvolvimento de uma produção desvinculada da dissertação realizada. Sendo assim, esses autores ressaltam que "As reflexões sobre a experiência mostram que a elaboração de um produto educacional necessita intencionalidade na orientação, já nos procedimentos metodológicos".
Então, destaca-se que, além da necessidade de tratar o PE/PTT com a devida atenção, é preciso que os envolvidos no processo assumam postura de explicitação de autoria compartilhada e inserção da trajetória da construção do PE/PTT de forma articulada à dissertação/tese, sem perder de vista o fato de serem produções distintas e, ao mesmo tempo, intimamente articuladas.
Questões e propostas sobre o título da Ficha de Validação proposta pelo grupo de trabalho
O instrumento proposto pelo GT da CAPES utiliza em seu título o termo "validação", que possui diferentes sentidos e significados dependendo do campo em que é empregado.
Segundo Villela(1010 Villela JRA. Validação de processos: um modelo utilizando ferramentas de qualidade e estatísticas [Dataset] [Internet]. 2004 [cited 2020 Dec 15]. Repositório da Produção Científica e Intelectual da Unicamp. Available from: http://repositorio.unicamp.br/jspui/bitstream/REPOSIP/265055/1/Villela_JoseRoqueAlves_M.pdf
http://repositorio.unicamp.br/jspui/bits...
), podemos destacar pelo menos duas possibilidades para compreender esse termo:
Validação: confirmação por meio de exame e evidência objetiva de que determinados requisitos para o propósito de uso específico possam ser adequadamente atendidos [...] Protocolo de validação: plano escrito que estabelece como a validação será realizada, compreendendo os parâmetros de teste, as características do produto, o equipamento de produção e os pontos decisivos sobre o que constitui resultados de teste aceitáveis.
Considerando essas diferentes possibilidades de conceituação, entende-se que o mais comum é a tendência de tratar o termo "validar" como uma ação de comprovação e comparação com um referencial ou parâmetro estabelecido. Trata-se de uma operação com procedimentos específicos que atribuem qualidades científicas em comparação a um padrão prévio (gold standard). Como a Ficha do GT da CAPES é uma primeira proposição, não há como efetuar uma validação stricto sensu. Sendo assim, o presente artigo propõe que se use o título "Ficha de Avaliação de Produto Educacional (PE)/Produto Técnico-Tecnológico (PTT)", pois o uso do termo "avaliação" mostra-se heuristicamente útil e atende aos interesses da proposta.
Questões e propostas referentes ao uso dos termos e conceitos para avaliação
Embora Rizzatti et al.(44 Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
https://doi.org/10.3895/actio.v5n2.12657...
) usem o termo "dimensões" em seu artigo, no momento em que apresenta a "Ficha de Validação do PE/PTT", no corpo da Ficha, propriamente dita, usam o termo "conceitos". Os autores do presente estudo propõem o uso do termo "dimensões" na Ficha em si, pois este permite antever que os conceitos avaliados são amplos e complexos. Isso dá visibilidade para a importância da tarefa de avaliação a ser realizada pelos membros da banca, já que o termo "dimensões" está relacionado à extensão, proporção, importância, valor, grandeza, influência de fenômenos.
Proposta de construção de nivelamento entre as diferentes dimensões avaliadas
A ficha originalmente proposta pelo GT da CAPES apresenta duas colunas sem título específico para cada uma delas. Na primeira, apresenta os conceitos a serem avaliados, com uma breve descrição deles. Na segunda coluna, apresenta alternativas com itens que podem ser marcados pelos avaliadores.
Em uma nova proposta de Ficha de Avaliação, entende-se como parte instrumental o fato de que a avaliação realizada pela banca possa trazer uma reflexão que padronize níveis de avaliação, propostos da seguinte forma: nível básico, nível mediano e nível avançado - conforme apresentado na Figura 1. Esse tipo de nivelamento pode não apenas estabelecer uma relação entre as categorias conceituais (nome sugerido pelo GT da CAPES) ou dimensões (nome sugerido pelos autores do presente trabalho), mas pode também favorecer a que o PPG efetue uma análise mais acurada (e, ao mesmo tempo, uma análise de conjunto) das características dos PEs/PTTs produzidos.
Proposta de uma Ficha de Avaliação de Produto Educacional/Produto Técnico-Tecnológico
1. Marque com um X as alternativas que equivalem ao nível de avaliação do PE/PTT; 2. Nessa parte da ficha, mais de um item pode ser marcado. O nível de avaliação será formado pela contagem de itens contemplados; 3. Somar o número total de itens marcados em cada nível; 4. No parecer final, fazer uma ponderação qualitativa dos escores dos níveis, pontos fortes, fragilidades e sugestões.
Além disso, essa proposta de nivelamento em três principais níveis busca trazer uma relação equivalente ou articulada entre as diferentes dimensões. Sendo assim, baseados nos subitens da proposta do GT da CAPES, houve o esforço em estabelecer paralelos ou equivalências entre as dimensões e os diferentes níveis de avaliação do PE/PTT, pois se observou, na ficha proposta pelo GT, conceitos com dois, três ou quatro itens a serem analisados.
A proposta dos autores do presente artigo buscou tratar de forma heurística os itens dentro de uma lógica que permite uma avaliação mais acurada e padronizada, levando o interlocutor a reconhecer, nos três níveis de avaliação, um alinhamento que possibilita que as diferentes dimensões avaliadas tenham inter-relação, consistência e lógica.
Questões e propostas sobre a avaliação dos conceitos abrangência e replicabilidade
A ficha original solicita um breve relato sobre os aspectos da abrangência e replicabilidade do PE/PTT. Na presente proposta, estabeleceu-se a intenção de um alinhamento desses conceitos bem como das outras dimensões. Então, foram propostas conceituações e itens para serem marcados nos devidos níveis de avaliação do PE/PTT. A conceituação sugerida para esses termos (abrangência e replicabilidade) foi baseada no artigo de Rizzatti et al.(44 Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
https://doi.org/10.3895/actio.v5n2.12657...
) e em conhecimentos e experiência dos autores do presente artigo.
Questões e propostas sobre registro final na ficha sobre informações do Produto Educacional / ou Produto Técnico-Tecnológico e dos participantes da banca de avaliação
Na ficha original, é solicitado um breve relato sobre a abrangência e/ou a replicabilidade do PE; assinatura do presidente e membros da banca; e a data da defesa.
Na proposta dos autores do presente artigo, entende-se haver outros elementos que precisam ser explicitados na ficha. Em primeiro lugar, ao colocar a avaliação da abrangência e replicabilidade no corpo da ficha, não há necessidade de uma apreciação geral no final dela.
Outra questão é que, nessa nova proposta, é preciso destacar que se trata de uma avaliação do PE/PTT, que não deve ser confundida com a ata de defesa da dissertação/tese. Por outro lado, seguindo as reflexões do próprio GT da CAPES, é importante que as informações detalhadas sobre o percurso da construção do PE/PTT sejam articuladas com a dissertação/tese e, desse modo, incluídas como uma parte ou item específico desse trabalho. Tal necessidade reflete tanto uma especificidade da área de pós-graduação profissional quanto o fato de que o PE/PTT é uma produção com características próprias e deve ser incluída nas plataformas do sistema CAPES como um produto autônomo, mas que tem sua fundamentação na pesquisa realizada durante a pósgraduação. Sendo assim, vale destacar, na proposta da nova Ficha de Avaliação, se há ou não uma descrição detalhada do PE/PTT em item diferenciado na dissertação/tese, explicitando que são produções distintas, mas que devem ter uma articulação, embora a ficha proposta designe uma avaliação específica do PE/PTT.
Outro ponto a se considerar é que o PE/PTT, segundo o GT da CAPES, poderá ser avaliado de várias formas, sendo que, para eles, a "Ficha de Validação do PE/PTT" reflete que a:
[...]segunda instância de validação é obrigatória para todos e será feita pela banca de defesa de dissertação ou tese, com base no instrumento de validação proposto ao longo desse ensaio, tendo sido desenvolvido a partir de propostas que já estão em uso por alguns PPGs[...](44 Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
https://doi.org/10.3895/actio.v5n2.12657... )
Reconhece-se a necessidade de uma banca de avaliação para o PE/PTT, mas isso poderá ser realizado na data da defesa ou não, sendo procedimentos com possibilidade de ocorrer conjunta ou separadamente. Portanto, sugere-se que a data a ser preenchida na Ficha seja a da defesa do PE/PTT, ainda que seja a mesma data da defesa da dissertação/tese.
Por fim, recomenda-se que, na parte final da Ficha, a banca de avaliação do PE/PTT construa um breve parecer final, com uma avaliação qualitativa sobre os itens marcados e seus níveis (básico, mediano e avançado), identificando pontos fortes e fragilidades, bem como, se desejar, aponte sugestões para aprimoramento do PE/PTT ou dos processos que envolvem as dimensões da avaliação realizada.
Diante das considerações realizadas, apresenta-se a seguir, na Figura 1, a proposta de aprimoramento da ficha original de avaliação do PE/PTT, na qual se destacam as sugestões consideradas acima.
CONSIDERAÇÕES FINAIS
Apesar de reconhecer o esforço do GT da CAPES em organizar um documento que propicie uma avaliação padronizada, pois isso é fundamental para se obter um panorama mais acurado dos PEs/PTTs, os autores deste artigo procuram avançar em propostas de aprimoramento.
De fato, os PEs/PTTs deveriam ser amplamente divulgados no âmbito das IESs, bem como nos âmbitos de abrangência e interesse relativos ao material proposto. Porém, é preciso reconhecer que nem sempre os PPGs entendem e valorizam esse tipo de produção técnica, e isso faz com que os programas de pós-graduação profissional não sejam totalmente reconhecidos (ou conhecidos) em suas especificidades e contribuições singulares.
Além dessas considerações, tomando como referência os documentos de área, entende-se como fundamental que os programas se empenhem em padronizar os processos de avaliação (e posterior validação, quando se aplicar) dos PEs/PTTs de modo a obter um panorama com a necessária acurácia, representatividade e homogeneidade. Isso permitirá o real dimensionamento desse tão fundamental trabalho que não apenas envolve a formação de profissionais qualificados, mas também contribui efetivamente para a transformação de ideias e práticas que podem promover avanços efetivos da ciência e de seus campos de aplicação.
REFERENCES
-
1Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Produção técnica. Grupo de trabalho[Internet]. Brasília: CAPES; 2019 [cited 2020 Dec 12]. Available from: https://www.gov.br/capes/pt-br/centrais-de-conteudo/10062019-producao-tecnica-pdf
» https://www.gov.br/capes/pt-br/centrais-de-conteudo/10062019-producao-tecnica-pdf -
2Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Relatório do Seminário de Meio Termo - Área de Ensino[Internet]. Brasília: CAPES; 2019 [cited 2020 Dec 12]. Available from: https://www.gov.br/capes/pt-br/centrais-de-conteudo/Ensino2.pdf
» https://www.gov.br/capes/pt-br/centrais-de-conteudo/Ensino2.pdf -
3Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Documento de Área - Ensino [Internet]. Brasília: CAPES; 2019 [cited 2020 Dec 12]. Available from: https://www.gov.br/capes/pt-br/centrais-de-conteudo/ENSINO.pdf
» https://www.gov.br/capes/pt-br/centrais-de-conteudo/ENSINO.pdf -
4Rizzatti I, Mendonça AP, Mattos F, Rôças G, Silva MABV, Cavalcanti RJS, et al. Os produtos e processos educacionais dos programas de pós-graduação profissionais: proposições de um grupo de colaboradores. ACTIO: Doc Ciência. 2020;5(2): 1-17. https://doi.org/10.3895/actio.v5n2.12657
» https://doi.org/10.3895/actio.v5n2.12657 -
5Zaidan S, Reis DAFR, Kawasaki TF. Produto educacional: desafio do mestrado profissional em educação. Rev Bras Pós-Grad. 2020;16(35):1-12. https://doi.org/10.21713/rbpg.v16i35
» https://doi.org/10.21713/rbpg.v16i35 -
6Moreira MCA, Rôças G, Pereira MV, Anjos MB. Produtos educacionais de um curso de mestrado profissional em ensino de ciências. Rev Bras Ens Ciência Tecnol. 2018;11(3):344-363. https://doi.org/10.3895/rbect.v11n3.5697
» https://doi.org/10.3895/rbect.v11n3.5697 -
7Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Considerações sobre Classificação de Produção Técnica - Área de Ensino. [Internet]. Brasília: Capes; 2016 [cited 2020 Dec 3]. Available from: http://www.uern.br/controledepaginas/ppge-documentos-capes/arquivos/3404consideraa%C2%A7a%C2%B5es_sobre_classificaa%C2%A7a%C2%A3o_de_produa%C2%A7a%C2%A3o_ta%C2%A9cnica.pdf
» http://www.uern.br/controledepaginas/ppge-documentos-capes/arquivos/3404consideraa%C2%A7a%C2%B5es_sobre_classificaa%C2%A7a%C2%A3o_de_produa%C2%A7a%C2%A3o_ta%C2%A9cnica.pdf -
8Araújo-Jorge TC, Sovierzoski HH, Borba MC. A Área de Ensino após a avaliação quadrienal da CAPES: reflexões fora da caixa, inovações e desafios em 2017. Rev Bras Ens Ciência Tecnol. 2017;10(3):1-15. https://doi.org/10.3895/rbect.v10n3.7744
» https://doi.org/10.3895/rbect.v10n3.7744 -
9Rôças G, Moreira MCA, Pereira MV. "Esquece tudo o que te disse": os mestrados profissionais da área de ensino e o que esperar de um doutorado profissional. Rev ENCITEC. 2018;8(1):59-74. https://doi.org/10.31512/encitec.v8i1.262
» https://doi.org/10.31512/encitec.v8i1.262 -
10Villela JRA. Validação de processos: um modelo utilizando ferramentas de qualidade e estatísticas [Dataset] [Internet]. 2004 [cited 2020 Dec 15]. Repositório da Produção Científica e Intelectual da Unicamp. Available from: http://repositorio.unicamp.br/jspui/bitstream/REPOSIP/265055/1/Villela_JoseRoqueAlves_M.pdf
» http://repositorio.unicamp.br/jspui/bitstream/REPOSIP/265055/1/Villela_JoseRoqueAlves_M.pdf
Editado por
Datas de Publicação
-
Publicação nesta coleção
18 Out 2021 -
Data do Fascículo
2022
Histórico
-
Recebido
13 Fev 2021 -
Aceito
02 Maio 2021