Acessibilidade / Reportar erro

Contribuições e adaptação da matriz canadense para mensuração do retorno do investimento em pesquisa em saúde no âmbito da pós-graduação da Fundação Oswaldo Cruz

Contributions and adaptation of the Canadian matrix to measure the return on investment in health research under the Oswaldo Cruz Foundation graduate program

Resumos

Este artigo apresenta a adaptação da matriz e indicadores para mensuração do retorno de investimento em pesquisa em saúde, para avaliação de um programa de indução à pesquisa, no âmbito de 16 cursos de doutorado da Fundação Oswaldo Cruz, uma das ações do Plano Brasil Sem Miséria. A matriz canadense se mostrou adequada para avaliação dos resultados do programa, em virtude dos atributos como flexibilidade, amplitude e profundidade, contemplando abordagens quantitativas e qualitativas. Para adaptação, foram consideradas as cinco dimensões avaliativas, bem como seus indicadores e métricas, critérios como validade, relevância, disponibilidade, custo e tempo de coleta de dados, orientaram a adaptação ao contexto brasileiro e ao objeto de estudo. Como resultado apresenta-se a matriz adaptada, os indicadores, assim como a fonte de coleta de dados e forma de análise dos dados. Ressalta-se a relevância deste estudo como contribuição à crescente demanda acadêmica e da sociedade civil por avaliação do investimento de recursos públicos em pesquisa.

Palavras-chave:
Avaliação em saúde; Pesquisa em saúde; Pós-graduação


This article presents the adaptation of the matrix and indicators for measuring the return on investment in health research, for the evaluation of a research induction program, within 16 doctoral courses of the Oswaldo Cruz Foundation, one of the actions of the Brasil Sem Miséria Plan. The Canadian matrix proved to be adequate for evaluating the results of the program, due to attributes such as flexibility, breadth and depth, including quantitative and qualitative approaches. For adaptation, the five evaluative dimensions were considered, as well as their indicators and metrics, criteria such as validity, relevance, availability, cost and time of data collection, guided the adaptation to the Brazilian context and the object of study. As a result, the adapted matrix, the indicators, as well as the data collection source and data analysis method are presented. The relevance of this study is highlighted as a contribution to the growing academic and civil society demand for evaluating the investment of public resources in research.

Keywords:
Health evaluation; Health research; Postgraduate


1 Introdução

O enfrentamento à extrema pobreza foi, nas duas últimas décadas, a principal agenda dos governos brasileiros. Em resposta ao levantamento do IBGE (2010IBGE. Instituto Brasileiro de Geografia e Estatística. Universo preliminar do Censo Demográfico. Rio de janeiro, 2010.) - que identificou cerca de 16 milhões de brasileiros vivendo abaixo da linha da pobreza, mesmo após anos de investimento em ações e programas sociais, especialmente o programa de transferência de renda condicionada, o Bolsa Família - o governo federal implementou, em 2011, o Plano Brasil Sem Miséria (PBSM) que teve como meta a erradicação da miséria em 4 anos (BRASIL, 2011BRASIL. Decreto nº 7.492, de 02 de junho de 2011. Institui o Plano Brasil Sem Miséria. Diário Oficial, Brasília-DF, 3 jun. 2011. Seção 1, p. 6. Disponível em: Disponível em: http://pesquisa.in.gov.br/imprensa/jsp/visualiza/index.jsp?jornal=1&pagina=6&data=03/06/2011 . Acesso em: 19 mar. 2018.
http://pesquisa.in.gov.br/imprensa/jsp/v...
; CAMPELLO; MELLO, 2014CAMPELLO, Terezza; MELLO, Janine. O processo de formulação e os desafios do plano Brasil Sem Miséria: por um país rico e com oportunidades para todos. In: BRASIL. Ministério do Desenvolvimento Social e Combate à Fome. O Brasil sem miséria. Brasília: MDS, 2014.).

O Plano foi coordenado pelo então Ministério do Desenvolvimento Social e Combate à Fome (MDS) e articulou e integrou políticas, programas e ações sociais. Dentre suas diretrizes destaca-se “a articulação de ações de garantia de renda com ações voltadas à melhoria das condições de vida da população extremamente pobre, de forma a considerar a multidimensionalidade da situação da pobreza” (PAES-SOUSA, 2013PAES-SOUSA, Romulo. Plano Brasil sem miséria: incremento e mudança na política de proteção e promoção social no Brasil. Working Paper, n. 113, Brasília: Centro Internacional de Políticas para o Crescimento Inclusivo (IPC-IG), 2013. ; PAES-SOUSA; VAITSMAN, 2014PAES-SOUSA, Romulo; VAITSMAN, Jeni. The zero hunger and Brazil without extreme poverty programs: a step forward in brazilian social protection policy. Ciência & Saúde Coletiva, Rio de Janeiro, v. 19, n. 11, p. 4351-4360, 2014.).

A partir desta perspectiva, no campo da saúde, um dos pontos mais sensíveis para as pessoas que vivem em condições de negligência, a Fundação Oswaldo Cruz (Fiocruz), em parceria com o MDS e a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), implementou um programa de indução à pesquisa em saúde relacionado à extrema pobreza, no período de 2012 a 2018, que contou com participação de 16 cursos de doutorado da Fiocruz.

O referido programa de indução à pesquisa teve como objetivo a geração de conhecimentos em saúde para mitigação dos problemas relacionados à extrema pobreza. Após o período de indução e apoio às pesquisas, os produtos foram apresentados em forma de teses, artigos científicos, produções técnicas e educacionais. Era preciso avaliar seus resultados e verificar se os objetivos esperados foram alcançados.

Para isso, foi realizada uma pesquisa avaliativa que teve três motivações/justificativas: a primeira, de cunho social, por abordar a questão da extrema pobreza e discutir a possibilidade de contribuição concreta por parte da academia para o enfrentamento da miséria; a segunda, de cunho acadêmico, se baseou na relevância do objeto de estudo, que carregava com si a responsabilidade de ser uma das primeiras iniciativas de aproximação entre academia e políticas sociais, sob fomento da CAPES; e a terceira, de cunho profissional atrelado ao compromisso institucional das autoras, de apresentar evidências sobre os resultados desta iniciativa, que estava diretamente relacionada à missão institucional da Fiocruz, de contribuir com a diminuição das desigualdades sociais.

A pesquisa teve início com um estudo de avaliabilidade, publicado em 2021, que foi desenvolvido para construção e validação do modelo lógico do programa de indução e identificação das perguntas avaliativas dos stakeholders das três instituições envolvidas. Os resultados deste estudo indicaram que o programa era passível de avaliação e orientaram a decisão pela matriz e indicadores disponíveis no documento intitulado Making an Impact: A preferred Framework and Indicators to Measure Returns on Investment in Health Research (CAHS, 2009CAHS - CANADIAN ACADEMY OF HEALTH SCIENCES. Making an impact: a preferred framework and indicators to measure returns on investment in health research. Canadian, 2009.), aqui denominada Matriz CAHS, pois a principal questão avaliativa identificada foi se o investimento público neste programa indução à pesquisa em saúde retornou aos extremamente pobres e a sociedade de forma geral.

A escolha pela Matriz CAHS deve-se ao fato de que a mesma congrega diferentes abordagens metodológicas em um modelo de fácil compreensão e utilização, além de compreender um amplo menu de indicadores elaborado para contemplar as diversas necessidades avaliativas de diferentes programas, assim como abordagens quantitativas e qualitativas, se constituindo como um modelo prático, robusto, objetivo e, especialmente, aplicável.

Poucos estudos tratam da metodologia canadense de mensuração do retorno do investimento em pesquisa em saúde, a referida metodologia é citada em quatro artigos de revisão: Greenhalgh et al. (2016GREENHALGH, Trisha et al. Research impact: a narrative review. BMC Medicine, Califórnia, 2016.); Holmes et al. (2012HOLMES, Bev et al. Translating evidence into practice: the role of health research funders. Implementation Science, Califórnia, 2012.); Penfield et al., (2014PENFIELD, Teresa et al. Assessment, evaluations, and definitions of research impact: a review. Research Evaluation, Reino Unido, v. 23, n. 1, jan. 2014.); Banzi et al., (2011BANZI, Rita et al. Conceptual frameworks and empirical approaches used to assess the impact of health research: an overview of reviews. Health Research Policy and Systems, Califórnia, 2011.), e em dois estudos internacionais e em estudo um nacional: Graham et al. (2012GRAHAM, Kathryn et al. Evaluating health research impact: development and implementation of the alberta innovates-health solutions impact framework. Res Evaluation, Reino Unido, n. 21, p. 354-67, 2012.); Adam (2012ADAM, Paula et al. Assessment of the impact of a clinical and health services research call in Catalonia. Research Evaluation, Reino Unido, v. 21, n. 4, p. 319-328, 2012. Disponível em: Disponível em: https://doi.org/10.1093/reseval/rvs024 . Acesso em: 19 mar. 2018.
https://doi.org/10.1093/reseval/rvs024...
); Tuesta (2015TUESTA, Antonia de Jesus. Impactos das pesquisas sobre morbimortalidade materna e neonatal financiadas pelo Ministério da Saúde. 2015 Tese (Doutorado em Ciências da Saúde) - Universidade de Brasília, Brasília, 2015.), respectivamente, nos quais a Matriz foi aplicada, o que muito contribuiu para a adaptação aqui apresentada.

Atributos como amplitude, profundidade e flexibilidade da Matriz CAHS demonstraram a coerência em utilizá-la para avaliação do referido programa de indução à pesquisa em saúde. Diversos aspectos reforçaram a viabilidade da aplicação ao contexto brasileiro e à intervenção estudada, como por exemplo, as similaridades entre: i) o princípio comum dos sistemas canadense e brasileiro, especialmente no que esse refere à universalidade da atenção primária em saúde; ii) similaridade entre as perspectivas do modelo de determinação social da saúde canadense e brasileiro, que consideram desde aspectos individuais até o contexto sociocultural, econômico e ambiental; e iii) semelhança entre a estruturação da pesquisa em saúde canadense e brasileira, sendo a primeira organizada em: pesquisa biomédica básica, pesquisa clínica aplicada, pesquisa de serviços de saúde e políticas, e pesquisa em população e saúde pública; e a segunda, organizada em: pesquisa básica, pesquisa aplicada e pesquisa em saúde pública e saúde coletiva.

As convergências entre a Política Nacional de Ciência, Tecnologia e Inovação em Saúde brasileira e os referenciais teórico-metodológicos que subsidiaram o desenvolvimento da Matriz CAHS, como a premissa de que a pesquisa em saúde é constituída por conhecimentos, tecnologias e inovações, cuja aplicação pode resultar em melhorias na saúde da população, também orientaram a decisão.

Por fim, o ineditismo do programa de indução também foi considerado no processo decisório da escolha metodológica, uma vez que a Matriz CAHS pode ser considerada como um instrumento de aprendizagem, o que corrobora com um dos principais objetivos da avaliação, aprender com esse processo de aproximação entre a academia às políticas sociais, por meio da indução de pesquisa em saúde.

Este artigo tem o objetivo de apresentar as contribuições e a adaptação da Matriz CAHS realizadas para avaliar o programa de indução Fiocruz-CAPES-Brasil Sem Miséria e se justifica pela crescente demanda por avaliações sobre o retorno de investimentos públicos em pesquisa.

Métodos

A Matriz CAHS foi desenvolvida para ser utilizada como um roteiro de acompanhamento dos impactos de pesquisa em saúde em cinco dimensões avaliativas: 1) Avanço do Conhecimento; 2) Capacitação, aqui denominada Formação de Recursos Humanos; 3) Tomada de Decisão baseada em informação; 4) Impactos na Saúde; e 5) Impactos Socioeconômicos.

A partir dos critérios estabelecidos pela Academia Canadense de Ciências da Saúde, como validade, relevância, disponibilidade e custo dos dados, tempo de coleta e atribuição dos dados às pesquisas induzidas pelo programa é que se propôs a adaptação e as contribuições a Matriz, aqui apresentadas.

Em relação às dimensões avaliativas, três das cinco previstas na Matriz CAHS foram utilizadas na avaliação, a saber:

  • Avanço do Conhecimento: busca identificar e qualificar a produção científica do investimento em pesquisa analisado. Essa dimensão apresenta métricas de qualidade, atividade, divulgação e aspecto estrutural do portfólio de pesquisa. Em geral, os indicadores são análises bibliométricas e análise da produção dos pesquisadores.

  • Formação de Recursos Humanos: busca identificar o desenvolvimento e aprimoramento de habilidades de pesquisa em indivíduos e equipes. Abrange a capacidade atual de pesquisa por meio da equipe, considerando a próxima geração de pesquisadores.

  • Tomada de decisão baseada em informação: busca identificar efeitos da pesquisa em saúde nas áreas da ciência e práticas públicas, clínicas e da tomada de decisão gerencial e do público em geral.

A decisão do investimento em três dimensões foi fundamentada em função do escopo do programa de indução estudado, tempo decorrido pós-indução, tempo para desenvolvimento e conclusão da avaliação, assim como a viabilidade da coleta de dados.

As duas últimas dimensões, impactos na saúde e impactos socioeconômicos foram excluídas da avaliação, pois além de apresentarem o problema de atribuição acentuado, ou seja, dificuldade em atribuir uma relação causa-efeito, exigiria acompanhamento das mudanças durante um período maior de tempo.

Outra adaptação necessária pelos motivos supracitados, foi em relação às etapas finais da Matriz CAHS, as etapas de “adoção” e “resultados finais” foram suprimidas. Dessa forma, a adaptação proposta neste estudo foi representada de duas formas: a primeira, por meio de um quadro síntese (Quadro 1) e a segunda por meio do modelo lógico (Figura 1)

Quadro 1
Matriz CAHS adaptada ao Programa Fiocruz-Capes-BSM

Figura 1
Modelo Lógico da Adaptação da Matriz CAHS ao Programa de Indução à Pesquisa em Saúde: Fiocruz-CAPES-Brasil Sem Miséria

Para definição do conjunto de indicadores do menu proposto pela Matriz CAHS, foram utilizados os diagramas dos quatro pilares da pesquisa em saúde: pesquisa biomédica, pesquisa clínica aplicada, pesquisa em serviços de saúde e população e pesquisa em saúde pública e ainda na pesquisa transversal, de forma a identificar onde indicadores ou métricas para esses efeitos deveriam ser concentrados.

As orientações da CAHS foram norteadoras do processo, especialmente os alertas quanto ao uso inadequado da Matriz, como a busca por, apenas, resultados positivos e a dupla contagem dos resultados e efeitos das pesquisas.

O conjunto de categorias, subcategorias e indicadores foram classificados em:

  • adotados: como descritos na Matriz;

  • adaptados: descritos na Matriz, mas adequados às características do programa avaliado;

  • incluídos: ausentes na Matriz e inseridos para obter dados relevantes para responder à questão da pesquisa; e

  • excluídos: presentes na Matriz e suprimidos, por não estarem relacionados aos objetivos da avaliação ou por não terem aplicação viável.

Da mesma forma, adaptou-se ao contexto da pesquisa os níveis que a Matriz busca descrever: individual, institucional, regional/estadual, nacional e internacional. Neste estudo os níveis definidos foram, apenas, os níveis individual e institucional, por se tratar de um estudo de caso (YIN, 2001YIN, Robert. Estudo de caso: planejamento e métodos. 2. ed. Porto Alegre: Bookman, 2001.).

Resultados e discussão

Os resultados apresentados a seguir foram organizados pelas dimensões avaliativas que compuseram o estudo. O Quadro 2 sintetiza as categorias e os indicadores, os Quadros 3, 4 e 5 apresentam de forma detalhada a descrição dos indicadores, a fonte de dados e suas limitações e a forma que os dados foram analisados.

Quadro 2
Síntese de Indicadores por Dimensão e Categoria Avaliativas
Quadro 3:
Dimensão Avaliativa: Formação de Recursos Humanos
Quadro 4
Dimensão Avaliativa: Avanço do Conhecimento
Quadro 5
Dimensão Avaliativa: Tomada de Decisão baseada em Informação/Evidências

A seguir são apresentadas as fontes de dados, assim como a proposta de análise dos mesmos, propostos para essa adaptação:

  • Plataforma Sucupira/CAPES: base de referência do Sistema Nacional de Pós-Graduação (SNPG), dispositivo no qual se realiza a coleta de informação, análises e avaliações dos programas de pós-graduação brasileiros.

  • Qualis: sistema de classificação da produção científica brasileira, baseada nos artigos publicados em periódicos de todos os programas de pós-graduações do país.

Reconhecemos que há fortes críticas ao próprio sistema de avaliação da produção científica dos programas de pós-graduação (GABARDO; HACHEM; HAMADA, 2018GABARDO, Emerson; HACHEM, Daniel; HAMADA, Guilherme. Sistema Qualis: análise crítica da política de avaliação de periódicos científicos no Brasil. Revista do Direito, Santa Cruz do Sul, v. 1, n. 54, p. 144-185, jan./abr. 2018.; SILVA, 2009SILVA, Antonio Ozai. A sua revista tem Qualis? Mediações, Londrina, v. 14, n.1, p. 117-124, 2009.), contudo esse é o parâmetro vigente ao qual a academia está submetida.

  • Plataforma Lattes/CNPq: base de dados de Currículos, de Grupos de pesquisa e de Instituições. Tornou-se o padrão nacional no registro da vida pregressa e atual dos estudantes e pesquisadores do país.

Reconhecemos que há limitações importantes ao uso dos dados desta plataforma, especialmente a não atualização dos dados pelos pesquisadores e a fidedignidade dos dados, uma vez que o preenchimento é autodeclarado.

  • Repositório ARCA da Fiocruz: repositório institucional regido pela Política de Acesso Aberto ao Conhecimento, que busca garantir à sociedade o acesso gratuito, público e aberto ao conteúdo integral de toda obra intelectual produzida pela Fiocruz.

  • Questionário: instrumento de coleta de dados, survey, (MARCONI; LAKATTOS, 2008MARCONI, Marina; LAKATTOS, Eva Maria. Fundamentos da metodologia científica. São Paulo: Atlas, 2008. ), aplicado aos egressos do programa BSM, por meio da plataforma GoogleForms.

Este instrumento foi testado e validado por 3 alunos, de 3 programas de pós-graduação diferentes, as contribuições foram acatadas e o questionário disponibilizado, sem possibilidade de identificação do respondente, em atendimento à solicitação dos egressos que validaram o questionário e apontaram, que sem identificação, as respostas seriam mais fidedignas.

A análise de dados, por meio da triangulação, de acordo com Minayo (2005MINAYO, Maria Cecilia et al. Métodos, técnicas e relações em triangulação. In: MINAYO, Maria Cecilia; ASSIS, Simone Gonlaves; SOUZA, Edinilsa Ramos. Avaliação por triangulação de métodos: abordagem de programas sociais. Rio de Janeiro: Fiocruz, p.75-104, 2005.), em uma primeira dimensão é utilizada para avaliação aplicada a programas, projetos e afins, o que vem ao encontro do estudo apresentado.

A teses foram analisadas por meio da abordagem de análise textual-discursiva de Moraes e Galiazzi (2016MORAES, Raquel; GALIAZZI, Maria do Carmo. Análise textual discursiva. Ijuí: Editora Ijuí, 2016.), que fundamentam a análise nos estudos do campo Fenomenologia e propõem um “movimento interpretativo de caráter hermenêutico”, a referida análise opera com significados construídos a partir de um conjunto de textos.

Todo esse esforço, motivado por compromisso social, acadêmico e institucional, revela o grau de investimento e detalhamento para a construção de metodologias, escolhas de indicadores e critérios, fontes de dados e tipos de análise que sejam capazes de mensuram o retorno do investimento público em pesquisa em saúde aliada às políticas sociais.

Esse tipo de estudo se propõe a contribuir para que outros programas e/ou ações de investimento em pesquisa sejam realizados e avaliados, na perspectiva de aprendizagem e contínua melhoria, evidenciando que é possível dar respostas e construir soluções para a realidade de um país como o Brasil, um dos mais desiguais do mundo, que pouco valoriza a ciência e acumula um lamentável histórico de mal-uso de recursos públicos.

Considerações

Este artigo apresentou o esforço de adaptar a Matriz de mensuração do retorno de investimento em pesquisa em saúde da Academia Canadense de Ciências da Saúde, para aplicá-la ao programa de indução à pesquisa, fruto da cooperação tripartite entre Fiocruz, CAPES e MDS.

Foram definidas três dimensões avaliativas: Avanço do Conhecimento, Formação de Recursos Humanos e Tomada de Decisão baseada em informação/evidência e seus respectivos indicadores, a partir de critérios claros e objetivos. O principal investimento desta adaptação foi na dimensão Formação de Recursos Humanos, uma vez que a Matriz canadense não foi projetada para avaliação de programas de formação de pesquisadores, como é o caso das pós-graduações que participaram desta indução.

Nesta dimensão foi incluída a categoria “formativa” com indicadores de processo seleção, formação e produção acadêmica e técnica. Neste sentido, este artigo é uma proposta metodológica, com caráter inovador, que se propõe a identificar e descrever os resultados do programa de indução, a partir da triangulação de dados, para responder se o programa alcançou ou não os resultados esperados.

Dessa forma, espera-se que outras pesquisas avaliativas possam fazer uso deste trabalho em programas com escopo semelhante.

Por fim, ressalta-se a relevância deste estudo como contribuição à crescente demanda da academia e da sociedade civil por avaliação do investimento de recursos públicos em pesquisa.

Referências

  • ADAM, Paula et al Assessment of the impact of a clinical and health services research call in Catalonia. Research Evaluation, Reino Unido, v. 21, n. 4, p. 319-328, 2012. Disponível em: Disponível em: https://doi.org/10.1093/reseval/rvs024 Acesso em: 19 mar. 2018.
    » https://doi.org/10.1093/reseval/rvs024
  • BANZI, Rita et al Conceptual frameworks and empirical approaches used to assess the impact of health research: an overview of reviews. Health Research Policy and Systems, Califórnia, 2011.
  • BRASIL. Decreto nº 7.492, de 02 de junho de 2011. Institui o Plano Brasil Sem Miséria. Diário Oficial, Brasília-DF, 3 jun. 2011. Seção 1, p. 6. Disponível em: Disponível em: http://pesquisa.in.gov.br/imprensa/jsp/visualiza/index.jsp?jornal=1&pagina=6&data=03/06/2011 Acesso em: 19 mar. 2018.
    » http://pesquisa.in.gov.br/imprensa/jsp/visualiza/index.jsp?jornal=1&pagina=6&data=03/06/2011
  • CAHS - CANADIAN ACADEMY OF HEALTH SCIENCES. Making an impact: a preferred framework and indicators to measure returns on investment in health research. Canadian, 2009.
  • CAMPELLO, Terezza; MELLO, Janine. O processo de formulação e os desafios do plano Brasil Sem Miséria: por um país rico e com oportunidades para todos. In: BRASIL. Ministério do Desenvolvimento Social e Combate à Fome. O Brasil sem miséria. Brasília: MDS, 2014.
  • GABARDO, Emerson; HACHEM, Daniel; HAMADA, Guilherme. Sistema Qualis: análise crítica da política de avaliação de periódicos científicos no Brasil. Revista do Direito, Santa Cruz do Sul, v. 1, n. 54, p. 144-185, jan./abr. 2018.
  • GRAHAM, Kathryn et al Evaluating health research impact: development and implementation of the alberta innovates-health solutions impact framework. Res Evaluation, Reino Unido, n. 21, p. 354-67, 2012.
  • GREENHALGH, Trisha et al Research impact: a narrative review. BMC Medicine, Califórnia, 2016.
  • HOLMES, Bev et al Translating evidence into practice: the role of health research funders. Implementation Science, Califórnia, 2012.
  • IBGE. Instituto Brasileiro de Geografia e Estatística. Universo preliminar do Censo Demográfico. Rio de janeiro, 2010.
  • MARCONI, Marina; LAKATTOS, Eva Maria. Fundamentos da metodologia científica. São Paulo: Atlas, 2008.
  • MINAYO, Maria Cecilia et al Métodos, técnicas e relações em triangulação. In: MINAYO, Maria Cecilia; ASSIS, Simone Gonlaves; SOUZA, Edinilsa Ramos. Avaliação por triangulação de métodos: abordagem de programas sociais. Rio de Janeiro: Fiocruz, p.75-104, 2005.
  • MORAES, Raquel; GALIAZZI, Maria do Carmo. Análise textual discursiva. Ijuí: Editora Ijuí, 2016.
  • PAES-SOUSA, Romulo. Plano Brasil sem miséria: incremento e mudança na política de proteção e promoção social no Brasil. Working Paper, n. 113, Brasília: Centro Internacional de Políticas para o Crescimento Inclusivo (IPC-IG), 2013.
  • PAES-SOUSA, Romulo; VAITSMAN, Jeni. The zero hunger and Brazil without extreme poverty programs: a step forward in brazilian social protection policy. Ciência & Saúde Coletiva, Rio de Janeiro, v. 19, n. 11, p. 4351-4360, 2014.
  • PENFIELD, Teresa et al Assessment, evaluations, and definitions of research impact: a review. Research Evaluation, Reino Unido, v. 23, n. 1, jan. 2014.
  • SILVA, Antonio Ozai. A sua revista tem Qualis? Mediações, Londrina, v. 14, n.1, p. 117-124, 2009.
  • TUESTA, Antonia de Jesus. Impactos das pesquisas sobre morbimortalidade materna e neonatal financiadas pelo Ministério da Saúde. 2015 Tese (Doutorado em Ciências da Saúde) - Universidade de Brasília, Brasília, 2015.
  • YIN, Robert. Estudo de caso: planejamento e métodos. 2. ed. Porto Alegre: Bookman, 2001.

Datas de Publicação

  • Publicação nesta coleção
    10 Dez 2021
  • Data do Fascículo
    Sep-Dec 2021

Histórico

  • Recebido
    09 Jan 2020
  • Aceito
    23 Jun 2021
Publicação da Rede de Avaliação Institucional da Educação Superior (RAIES), da Universidade Estadual de Campinas (UNICAMP) e da Universidade de Sorocaba (UNISO). Rodovia Raposo Tavares, km. 92,5, CEP 18023-000 Sorocaba - São Paulo, Fone: (55 15) 2101-7016 , Fax : (55 15) 2101-7112 - Sorocaba - SP - Brazil
E-mail: revistaavaliacao@uniso.br