Engajamento de stakeholders e seu efeito no desempenho de uma política pública de Educação

Stakeholder engagement and its effect on the performance of a public Education policy

La participación de los actores y su efecto en el desempeño de una política pública de Educación

Resumo

O engajamento de stakeholders tem sido apontado como uma ferramenta importante de gestão para organizações públicas e privadas. Embora as pesquisas avancem na discussão dos efeitos do engajamento em diferentes contextos públicos, a compreensão de seu efeito no desempenho de políticas públicas de Educação ainda é limitada. Os estudos também carecem de uma orientação clara sobre qual nível de engajamento é capaz de gerar percepções mais favoráveis de desempenho. Este estudo contribui com essas questões ao analisar o efeito de diferentes níveis de engajamento de stakeholders sobre a percepção de desempenho de uma política pública de Educação do Campo. A pesquisa foi realizada com três grupos de stakeholders da política pública COMDECampo que visa melhorar a Educação do Campo. Os resultados indicam que os níveis de engajamento transacional, transitório e transformacional afetam positivamente a percepção de desempenho. Além disso, quanto maior é o nível do engajamento, maior é a percepção de desempenho da política pública.

Teoria dos Stakeholders; Educação; Desempenho; Política Pública; Engajamento

Abstract

Stakeholder engagement has been identified as an important management tool for both public and private organizations. Although research has advanced the discussion of the effects of engagement in different public contexts, understanding its impact on the performance of public education policies remains limited. The studies also lack clear guidance on the level of engagement required to generate more favorable performance perceptions. This study addresses these issues by analyzing the effect of different levels of stakeholder engagement on the perceived performance of a rural public education policy. The research was conducted with three stakeholder groups involved in the COMDECampo public policy, which aims to improve rural education. The results indicate that transactional, transitional, and transformational levels of engagement positively affect the perception of performance. Moreover, the higher the level of engagement, the greater the perceived performance of the public policy.

Stakeholder theory; Education; Performance; Public policy; Engagement

Resumen

El compromiso de los stakeholders se ha señalado como una herramienta de gestión importante para organizaciones públicas y privadas. Aunque las investigaciones avanzan en la discusión sobre los efectos del compromiso en diferentes contextos públicos, la comprensión de su efecto en el desempeño de las políticas públicas de educación sigue siendo limitada. Los estudios también carecen de una orientación clara sobre qué nivel de compromiso es capaz de generar percepciones más favorables del desempeño. Este estudo contribuyó a estas cuestiones al analizar el efecto de diferentes niveles de compromiso de los stakeholders sobre la percepción del desempeño de una política pública de educación rural. La investigación se realizó con tres grupos de stakeholders de la política pública COMDECampo, que tiene como objetivo mejorar la educación rural. Los resultados indican que los niveles de compromiso transaccional, transitorio y transformacional afectan positivamente la percepción del desempeño. Además, cuanto mayor es el nivel de compromiso, mayor es la percepción del desempeño de la política pública.

Teoría de los stakeholders; Educación; Desempeño; Política pública; Compromiso

1 Introdução

Nas últimas décadas, a Educação do Campo vem ganhando destaque nas discussões de acadêmicos e gestores da área da Educação (Silva et al., 2019). Essas discussões contam com a mobilização de diversos setores da sociedade e do governo, incluindo movimentos sociais, sindicatos, Ministério da Educação, Secretarias de Educação, entre outros (Boito; Albuquerque, 2019). A mobilização desses atores tem como resultado uma série de avanços para a Educação do Campo. Contudo, embora observem-se esforços para melhorar a Educação do Campo, muitas políticas públicas ainda não contemplam inteiramente a realidade enfrentada por esses locais (Boito; Albuquerque, 2019).

Um dos motivos pelos quais as políticas públicas não são plenamente aderentes a realidade local é a falta de participação de professores, pais, gestores, alunos e da comunidade na sua elaboração e implementação (Santos, 2018). Essa ideia é corroborada por Martins (2022) ao defender a importância de se considerar as práticas formativas sob uma perspectiva de ação emancipatória ampla, envolvendo diversos sujeitos que se relacionam com o contexto.

Desta forma, para melhorar o desempenho de políticas públicas, especialmente as voltadas para a Educação do Campo, não basta que estas sejam pensadas e implementadas por gestores públicos. É preciso considerar a participação de diversos atores no processo de implementação e o quão eficientes são essas políticas para melhorar a vida de estudantes, professores e familiares que residem no campo. Uma das formas de melhorar o desempenho dessas políticas é por meio do engajamento de stakeholders. Os stakeholders são indivíduos ou grupos que afetam e são afetados (Freeman, 1984) pelas ações públicas, e o seu engajamento é importante, pois aumenta a legitimidade da política pública (Wallner, 2008) e traz benefícios estratégicos (Lees-Marshment; Huff; Bendle, 2020) para todos os envolvidos no processo. Além disso, analisar o desempenho de uma política pública considerando a perspectiva de diversos stakeholders (Costa, 2022) oferece uma visão sistêmica do fenômeno.

Considerando esse contexto, este estudo tem como objetivo analisar o efeito de diferentes níveis de engajamento de stakeholders sobre a percepção de desempenho de uma política pública de Educação do Campo. A política pública objeto de análise foi a Comissão Municipal para o Desenvolvimento da Educação do Campo (Cachoeira do Sul, 2024), do município de Cachoeira do Sul, Rio Grande do Sul, apresentada em detalhes no capítulo a seguir.

Esse estudo se justifica devido a sua contribuição teórica, metodológica e prática. Em termos teóricos, a pesquisa adota uma perspectiva teórica gerencial, fundamentada na teoria dos stakeholders, para análise da política pública. Embora existam estudos que discutem a Educação do Campo (Molina, 2015), essas discussões raramente adotam uma perspectiva gerencial, especialmente no que tange o engajamento de stakeholders. O estudo também enriquece a discussão sobre o efeito do engajamento na percepção de desempenho, questão que tem recebido crescente atenção na literatura de gestão. Ainda sob a perspectiva teórica, há uma escassez de pesquisas empíricas voltadas a Educação do Campo. Mainardes e Stremel (2021) evidenciam essa lacuna ao encontrarem apenas uma pesquisa com foco em Políticas de Educação do Campo em seu levantamento sobre as principais temáticas abordadas em dossiês ou seções temáticas em periódicos brasileiros no período de 2010 a 2020.

Do ponto de vista metodológico, o estudo oferece um instrumento de coleta de dados adequado a população do campo para avaliar as dimensões de engajamento e desempenho de políticas públicas de Educação. Este instrumento pode ser usado para o acompanhamento da COMDECampo (Cachoeira do Sul, 2024)ao longo do tempo, para avaliação e análise de outras políticas públicas de Educação, assim como para comparar diferentes políticas públicas.

Por fim, do ponto de vista prático, compreender a percepção dos stakeholders é importante para que os gestores públicos possam melhorar os processos de criação, desenvolvimento e implementação de políticas públicas. Para isso, a pesquisa indica quais níveis de engajamento são importantes para melhorar a percepção do desempenho da política pública, o que pode contribuir para uma gestão mais efetiva da COMDECampo.

2 Referencial teórico

Neste tópico serão apresentados os temas relacionados ao objeto de estudo, sendo: a Educação no Campo, apresentação da política pública COMDECampo, engajamento de stakeholders e desempenho.

2.1 Educação do Campo

Historicamente, a Educação rural no Brasil enfrenta um cenário de precarização (Boito; Albuquerque, 2019; Santos, 2018), cujos efeitos podem ser observados no nível social e educacional (Martins, 2022). No nível social, há uma relação desigual entre campo e cidade, na qual a cidade é percebida como espaço de desenvolvimento e o campo de atraso. Essa visão é replicada no nível educacional, à medida que os recursos educacionais são, com frequência, os já descartados na realidade urbana (Martins, 2022).

Para enfrentar essa situação de precarização, movimentos e organizações sociais (Munarin, 2017), indivíduos do campo e instituições sensíveis a essa situação, passaram a se articular para que as escolas do campo pudessem ter acesso a uma Educação de qualidade (Martins, 2022). A partir desses esforços, a Educação do Campo passou a ser uma modalidade na estrutura formal da organização educacional do país e ser considerada no desenvolvimento de políticas públicas (Boito; Albuquerque, 2019). Esse movimento em prol da Educação do Campo é importante, pois integra o contexto da vida camponesa e o projeto educativo emancipador (Molina, 2015).

Alguns exemplos de conquistas para a Educação do Campo são: a inclusão de elementos das Diretrizes Operacionais das Escolas do Campo (Brasil, 2002) nas Diretrizes Curriculares Nacionais para a Educação Infantil – DCNEI (Brasil, 2009); a elaboração de texto específico para as Orientações Curriculares para Educação Infantil do Campo (2010); a política de Educação do Campo e o Programa Nacional de Educação na Reforma Agrária – Pronera (Decreto nº 7.352, de 4 de novembro de 2010 [Brasil, 2010]); a exigência de manifestação de órgão normativo do sistema de Ensino para o fechamento de escolas do campo, indígenas e quilombolas (Lei nº 12.960, de 27 de março de 2014 [Brasil, 2014]). Essas diretrizes estabelecem os princípios e procedimentos do projeto institucional das escolas do campo (Brasil, 2012). Além dos avanços legais, Boito e Albuquerque (2019) também destacam a importância de pesquisas voltadas a oferta e demanda de Educação Infantil do campo.

A análise de políticas de Educação deve levar em consideração diversos aspectos sociais, econômicos e políticos (Mainardes, 2009). Além disso, é essencial compreender como diferentes atores influenciam no processo de formulação e implementação das políticas. Dessa forma, a participação de stakeholders na elaboração e implementação de políticas públicas pode ser um fator determinante para o sucesso dessas políticas (Segatto; Euclydes; Abrucio, 2021). Em função disso, a seção a seguir apresenta o conceito de engajamento de stakeholders e modelos para sua análise.

2.1.1 Política Pública COMDECampo

O município de Cachoeira do Sul, Rio Grande do Sul, possui 81 mil habitantes dos quais, 14 mil, residem na zona rural (IBGE, 2024), o que desencadeou a necessidade de desenvolvimento de diretrizes específicas para as escolas do campo. A COMDECampo foi elaborada pela Secretaria Municipal de Educação em 2017, com o objetivo de propor, acompanhar e assessorar a construção de políticas públicas no âmbito da Educação do Campo. A COMDECampo é composta por órgãos e entidades locais, pertencentes a Administração Pública e Privada, Universidades, Sindicatos e Escolas do campo, que escolhem e indicam seus representantes. As atribuições dos integrantes da comissão são estabelecidas via regimento próprio. Compete à COMDECampo estudar os marcos normativos da Educação no Campo e fomentar atividades que envolvam estudantes e profissionais das escolas (SMEd, 2024).

2.2 Engajamento de Stakeholders

Diversos autores propuseram conceitos de engajamento de stakeholders (por exemplo, Girard; Sobczak, 2012; Greenwood, 2007). De uma forma geral, esses autores consideram o envolvimento dos stakeholders em diferentes processos organizacionais como característica comum para o conceito. Nesta pesquisa, será adotado o conceito de engajamento proposto por Greenwood (2007, p. 218) que o define como “práticas que a organização empreende para envolver os stakeholders de forma positiva”.

Bowen, Newenham-Kahindi e Herremans (2010) oferecem um modelo para análise do engajamento composto por três níveis: transacional, transitório e transformador. O engajamento transacional é o nível mais básico, onde a organização adota uma comunicação unilateral e uma postura passiva frente a seus stakeholders. O engajamento transitório representa um nível intermediário de envolvimento, em que a organização utiliza uma comunicação bidirecional e uma postura mais reativa. Elementos observáveis neste nível incluem o diálogo com os stakeholders e consultas públicas. Por fim, o engajamento transformacional é o nível mais elevado, no qual a gestão adota uma postura proativa em relação aos stakeholders. Esse nível é caracterizado pelo aprendizado conjunto, criação de sentido, gerenciamento conjunto de projetos com comunidades e lideranças na tomada de decisões (Bowen; Newenham-Kahindi; Herremans, 2010).

2.3 Desempenho

A medição de desempenho no setor público é uma atividade complexa, pois, além de considerar objetivos organizacionais, também deve observar as demandas dos stakeholders em relação à eficácia dos programas (Andersen; Boesen; Pedersen, 2016). Essa medição é feita por meio de indicadores, que podem abranger diferentes dimensões. Johnsen (2005) sugere a análise da eficiência, eficácia e equidade, como indicadores de desempenho para melhorar a tomada de decisão racional em processos administrativos e políticos. Segundo o autor, eficiência é a relação entre saídas e entradas; eficácia é a relação entre resultados e insumos; e equidade é a distribuição de resultados entre diferentes indivíduos e grupos em relação aos insumos em todos os serviços (Johnsen, 2005).

A análise do desempenho não é uma tarefa fácil (Andersen; Boesen; Pedersen, 2016). No Brasil, o Ministério do Planejamento, Desenvolvimento e Gestão Secretaria de Planejamento e Assuntos Econômicos propõe como indicadores de desempenho de uma política pública a economicidade, a eficiência, a eficácia e a efetividade. A Economicidade mensura os gastos incorridos na obtenção dos insumos necessários às ações que produzirão os resultados planejados. A Eficiência analisa o quanto se consegue produzir com os meios disponibilizados. A Eficácia indica frequência ou a medida com que um programa governamental atinge as metas e objetivos planejados. A Efetividade mede os efeitos positivos ou negativos na realidade que sofreu a intervenção, ou seja, aponta se houve mudanças socioeconômicas, ambientais ou institucionais decorrentes da política, plano ou programa. A Efetividade é o principal indicador para efeitos de transformação social (Brasil, 2018). Esta pesquisa utiliza esses indicadores para avaliar a percepção de desempenho da política pública COMDECampo.

3 Hipóteses do Estudo

A participação da sociedade na formulação, implementação e avaliação de políticas públicas pode impactar fortemente no resultado dessas ações (Sherman; Ford, 2014). De acordo com o poder que um stakeholder exerce sobre a gestão, ele tem influência considerável em seu sucesso ou fracasso (Clarkson, 1995). Buscando melhorar o desempenho de políticas públicas, os gestores públicos podem optar por diversas formas de engajamento de stakeholders.

O nível mais básico no processo de engajamento ocorre quando a organização envolve seus stakeholders de forma transacional. Neste caso, há uma comunicação unidirecional, na qual o fluxo de informações parte da organização para os stakeholders (Bowen; Newenham-Kahindi; Herremans, 2010). Diversos estudos indicam benefícios de se oferecer informações para stakeholders. Por exemplo, Porumbescu (2017) destaca que uma maior divulgação pública de informações pode transmitir a ideia de que o setor público não tem segredos a esconder, sinalizando aos stakeholders que, mesmo imperfeita, a gestão tem tentado atuar na promoção dos seus interesses.

A divulgação de informações por meio de processos transparentes contribui para envolver os diversos stakeholders (Rowe; Frewer, 2000) que, por sua vez, percebem de forma mais positiva os resultados das ações públicas. O engajamento dos stakeholders pode reduzir o custo das ações, facilitando, por exemplo, o processo de aprovação de um planejamento ou ajuda na obtenção de recursos (Bowen; Newenham-Kahindi; Herremans, 2010). Considerando este contexto propõe-se que:

H₁: O nível de engajamento transacional afeta positivamente a percepção de desempenho da política pública.

Embora as estratégias de comunicação para informar os stakeholders sobre as ações da gestão sejam importantes, o sentido único de disseminação de informações é uma estratégia com pouco potencial de engajamento (Bowen; Newenham-Kahindi; Herremans, 2010, Kaur; Lodhia, 2019). Isso ocorre, pois a comunicação unidirecional não envolve os stakeholders na tomada de decisão e a gestão simplesmente comunica suas decisões, na crença de que isso atenderá às necessidades dos stakeholders (Kaur; Lodhia, 2019). Em uma estratégia de engajamento transitória, a gestão vai além da comunicação unidirecional e estabelece um diálogo de mão dupla. Ou seja, a colaboração ocorre nos dois sentidos: da organização para o stakeholder e do stakeholder para a organização (Bowen; Newenham-Kahindi; Herremans, 2010). O caráter bidirecional permite aos gestores captarem informações importantes sobre as necessidades dos stakeholders (Bowen; Newenham-Kahindi; Herremans, 2010)

Se, por um lado, a comunicação unidirecional reduz custos ao facilitar a aprovação de um planejamento ou obtenção de recursos, o nível transitório ajuda no estabelecimento de estratégicas e ações mais efetivas e sem desperdícios de recursos. Isso ocorre porque as decisões são tomadas com base nas necessidades reais dos stakeholder e não na percepção do gestor sobre o que seria mais apropriado para esses stakeholders, o que melhora a percepção de desempenho da política pública. Diante do exposto, propõe-se a seguinte hipótese:

H₂: O nível de engajamento transitório afeta positivamente a percepção de desempenho

O nível mais avançado de engajamento é o transformacional. Esse nível de engajamento cria uma linguagem organizacional compartilhada entre organização e stakeholder por meio de uma comunicação bidirecional de escuta e entendimento (Bowen; Newenham-Kahindi; Herremans, 2010). Neste nível, os stakeholders assumem um papel de liderança, ganhando empoderamento e apoiando no gerenciamento de soluções para problemas. O controle sobre o processo de engajamento é compartilhado, o que promove a aprendizagem e os benefícios do processo para ambas as partes (Bowen; Newenham-Kahindi; Herremans, 2010, Conner, 2017). Nesse contexto, os gestores públicos envolvem diretamente os stakeholders em um processo de tomada de decisão coletiva e deliberativa, buscando estudar, implementar ou gerir políticas públicas (Ansell; Gash, 2008). Os esforços de engajamento bem-sucedidos são construídos a partir da percepção de valor e do contexto local dos stakeholders, e envolvem decisões fornecidas ou cocriadas por eles (Sterling et al., 2017). Essas características fazem com que os stakeholders se sintam parte do processo de criação e implementação das ações organizacionais, o que melhora a sua percepção sobre o desempenho dessas ações. Diante desse contexto, espera-se que:

H₃: O nível de engajamento transformacional afeta positivamente a percepção de desempenho

Conforme apresentado nas hipóteses anteriores, diferentes níveis de engajamento podem apresentar bons resultados em termos de percepção de desempenho. Contudo, à medida que uma organização ou os seus gestores dialogam e incluem seus stakeholders nos processos de tomada de decisão, espera-se que a percepção desses stakeholders sobre o desempenho das ações dos gestores seja incrementada. Essa relação é esperada, pois, stakeholders que se sentem como parte importante da tomada de decisão, apresentam uma reciprocidade positiva, se esforçando para contribuir com a realização dos objetivos traçados (Harrison; Bosse; Phillips, 2010). Assim, propõem-se que:

H₄: Quanto maior o nível de engajamento, maior a percepção de desempenho.

4 Método

Serão apresentados, a seguir, os procedimentos metodológicos adotados para a realização desta pesquisa, tais como detalhes acerca da amostra do estudo, instrumento de coleta de dados, variáveis de pesquisa e como deu-se a análise dos dados.

4.1 Amostra

Para atender ao objetivo de analisar o efeito do engajamento no desempenho de uma política pública, foi aplicado um questionário para três grupos de stakeholders da COMDECampo no período de dezembro de 2020 a abril de 2021. A política estava em fase final de implementação, o que permitiu analisar a percepção dos envolvidos tanto em termos de seu engajamento como do desempenho da política.

A população da pesquisa foi de 228 indivíduos, incluindo diretores, professores, servidores e membros da política pública, das dezessete escolas rurais do município. O questionário foi pré-testado e, posteriormente, enviado para os indivíduos da população. Obteve-se um retorno de 26,31%, ou seja, 60 questionários válidos respondidos por membros da política, diretores, professores e servidores das escolas. Esses stakeholders foram selecionados devido ao seu envolvimento com a política pública, requisito importante para avaliar tanto as ações de engajamento, quanto o desempenho da política pública de Educação.

Para garantir o anonimato dos participantes da pesquisa, não houve identificação individual dos respondentes e os dados foram analisados em conjunto, assegurando que nenhuma resposta pudesse ser atribuída a um respondente específico. Dessa forma, a integridade e a privacidade dos respondentes e dos dados foram mantidas ao longo de todo o processo de pesquisa.

4.2 Instrumento de coleta de dados e variáveis do estudo

O instrumento de coleta de dados foi desenvolvido considerando o modelo de engajamento de Bowen, Newenham-Kahindi e Herremans (2010) e as dimensões de desempenho sugeridas pelo Ministério Ministério do Planejamento, Desenvolvimento e Gestão Secretaria de Planejamento e Assuntos Econômicos no Guia Metodológico para Indicadores (2014). Foi utilizada uma escala likert de cinco pontos, variando de 1 = discordo totalmente a 5 = concordo totalmente. As variáveis da pesquisa são apresentadas nas seções a seguir.

4.2.1 Variável dependente – Desempenho

Para analisar o desempenho da política pública, foram considerados os indicadores de Economicidade, Eficiência, Eficácia e Efetividade. Desta forma, o questionátio incluiu questões acerca dos gastos incorridos na obtenção de insumos (Economicidade = D1), o quanto se conseguiu produzir com os meios disponibilizados (Eficiência = D2), o quanto a política pública atingiu as metas e objetivos planejados (Eficácia = D3 e D4) e os efeitos positivos ou negativos na realidade que sofreu a intervenção (Efetividade = D5, D6 e D7).

Os grupos de stakeholders analisados foram: professores, diretores e servidores e membros da política COMDECampo. O desempenho foi analisado considernado a subjetividade do respondente, uma vez que a escala Likert avalia o grau de concordância dos entrevistados quanto a sua percepção de desempenho. A Tabela 1 apresenta as questões que compuseram a dimensão Desempenho que apresentou um Alpha de Cronbach de 0,897, considerado muito bom.

Tabela 1
Variável dependente - Percepção de desempenho

	Items	Alfa de Cronbach
	Percepção de desempenho	D1. Os participantes da COMDECampo desempenham bem suas funções.	0,897
		D2. A COMDECampo utiliza bem seus recursos financeiros.
		D3. A COMDECampo é imprescindível para a Educação no Campo.
		D4. A COMDECampo trouxe melhorias para a escola da qual faço parte.
		D5. A COMDECampo trouxe efeitos ambientais positivos.
		D6. A COMDECampo trouxe melhorias sociais.
		D7. A COMDECampo melhorou a realidade econômica.

Fonte: Dados da Pesquisa (2021)

4.2.2 Variáveis independentes – Níveis de engajamento

As variáveis independentes do estudo são os três níveis de engajamento propostos por Bowen, Newenham-Kahindi e Herremans (2010): transacional, transitório e transformacional. As questões do questionário foram elaboradas considerando as seguintes características de cada nível de engajamento:

Engajamento transacional: é caracterizado por uma comunicação essencialmente unidirecional, que busca informar os diferentes grupos de stakeholders sobre objetivos e ações das políticas públicas. Essa dimensão foi analisada por meio de seis itens que apresentaram um Alpha de Cronbach de 0,953.

Engajamento transitório: é caracterizado pela comunicação, consulta e colaboração bidirecionais. Esse nível de engajamento corresponde a uma estratégia “transitória” no sentido de que as organizações vão além da comunicação unidirecional do primeiro estágio, mas ainda não alcançaram o senso comum das abordagens transformacionais. A dimensão foi analisada por meio de cinco itens que apresentaram um Alpha de Cronbach de 0,964.

Engajamento transformacional: é caracterizado pelo aprendizado, criação de sentido, gerenciamento e liderança conjuntos na tomada de decisões (Bowen; Newenham-Kahindi; Herremans, 2010). Para essa dimensão foram incluídos seis itens que apresentaram um Alpha de Cronbach de 0,85. A Tabela 2 apresenta as questões utilizadas para cada nível de engajamento.

Tabela 2
Variáveis independentes - Níveis de engajamento

	Itens	Alfa de Cronbach
Transacional	1. Eu sei o que é a COMDECampo.	0,953
	2. Eu sei qual a finalidade da COMDECampo.
	3. Recebi informações, por parte dos dirigentes da política, sobre as diretrizes da COMDECampo.
	4. Recebo informações sobre alterações, modificações, etc, relacionadas à COMDECampo.
	5. Recebo informações sobre as realizações, ações, execuções, da COMDECampo.
	6. Existe um canal de informações, para meu acesso, sobre a COMDECampo.
Transitório	7. Sou consultado na tomada de decisões da COMDECampo.	0,964
	8. Sou convidado a participar de reuniões, sessões etc., sobre a tomada de decisões da COMDECampo.
	9. Sou consultado sobre alterações, modificações etc. relativos à COMDECampo.
	10. Recebi capacitação para entender a COMDECampo.
	11. Recebi capacitação para participar da COMDECampo.
Transformacional	12. Participo dos processos relacionados a estruturação e aplicação da política COMDECampo,	0,854
	13. Participo da tomada de decisões da COMDECampo.
	14. Sinto-me importante nos momentos de tomada de decisão sobre a COMDECampo.
	15. Sinto que minhas ideias/sugestões são valorizadas/consideradas nos processos decisórios da COMDECampo.
	16. Os possíveis problemas da COMDECampo são resolvidos em conjunto.
	17. Eu estou frequentemente envolvido em ações da COMDECampo.

Fonte: Dados da Pesquisa (2021)

4.2.3 Variável de controle

A variável de controle do estudo refere-se ao grupo de stakeholders ao qual o respondente pertence. Foram considerados três grupos: Professores, Diretores e Outros, este último composto por servidores das escolas rurais e membros da política COMDECampo. Essa classificação foi considerada como controle, pois a percepção do efeito do engajamento no desempenho da política pode ser diferente para cada grupo de stakeholder. Os grupos foram incluídos no modelo de análise por meio de variáveis dummy.

4.3 Tratamento e Análise dos Dados

Para análise dos dados, nós empregamos a técnica de regressão linear múltipla, pelo método dos Mínimos Quadrados Ordinários (MQO), cujo principal objetivo é avaliar o comportamento de uma variável “Y” em comparação ao comportamento de uma ou mais variáveis “X”, sem configurar obrigatoriamente uma relação de causa e efeito (Fávero; Belfiore, 2017). O teste VIF (variance inflation fator) foi aplicado a fim de verificar a incorrência de multicolinearidade. Hair et al. (2005) explicam que valores elevados nesse teste podem indicar a presença de multicolinearidade, sendo indicado que os valores não ultrapassem 10. A técnica de regressão é sensível a presença outliers, os quais são observações que apresentam “valores atípicos, discrepantes, anormais ou extremos” (Fávero; Belfiore, 2017, p. 53). Para identificar a presença de outliers realizamos o teste R Student e Dffits cooks. Os resultados acima de |3| para o teste R Student e acima de |2| no teste Dffits cooks foram considerados outliers. Nos resultados, apresentamos os modelos com e sem a presença de outliers.

Nós testamos as hipóteses H1, H2 e H3 por meio das seguintes equações, respectivamente:

$y=217.56-0.48\times 1+0.12\times 4$ (1)

$\text{Desempenho}={\beta }_{0t}+{\beta }_{\text{Transacional}}+{\beta }_{\text{Controle}}+\epsilon$ (2)

$\text{Desempenho}={\beta }_t+{\beta }_{\text{Transformacional}}+{\beta }_{\text{Controle}}+\epsilon$ (3)

Onde:

Desempenho = Percepção de desempenho da política pública

β_Transacional = Engajamento Transacional

β_Transitório = Engajamento Transitório

β_{Transformacional} = Engajamento Transformacional

β_Controle = Variável de controle

ε = Erro

A Figura 1 apresenta o modelo da pesquisa.

Figura 1
Modelo da pesquisa

A H4 foi avaliada por meio da análise dos coeficientes beta das equações de regressão. Os dados foram analisados por meio do software Stata.

5 Resultados

Foram obtidos 60 questionários válidos de três grupos de stakeholders, sendo 31 professores, 18 diretores e 11 respondentes classificados como o grupo “outros”, composto por 6 membros da comissão e 5 funcionários (secretários, auxiliares etc.) das escolas rurais. O perfil dos respondentes é representado por 90% de mulheres, na sua maioria com idade entre 31 e 50 anos (63% da amostra) e alta escolaridade, sendo 35% graduados e 58% com pós-graduação.

5.1 Análise de Regressão

A Tabela 3 apresenta os resultados dos modelos de regressão cuja variável dependente foi a percepção de desempenho da política pública e as variáveis independentes foram os níveis de engajamento dos stakeholders. Sobre a variável de controle (variável categórica), que dividiu os stakeholders nos grupos Professores, Diretores e Outros, foi omitido o grupo Professores para fins de processamento dos dados. O resultado indicou que não houve significância estatística, ou seja, não há diferença entre as respostas do grupo Professores em comparação com o grupo Diretores e Outros. Sobre a multicolinearidade da amostra, o teste VIF apresentou valor máximo de 1,41, respeitando o máximo aceitável para o índice que é 10.

Tabela 3
Modelos de regressão

Engajamento	Modelo 1		Modelo 2		Modelo 3
	Completa	S/ Outlier	Completa	S/ Outlier	Completa	S/ Outlier
Transacional	0,328***	0,300***
	(5,89)	(6,29)
Transitório			0,347***	0,323***
			(6,77)	(7,60)
Transformacional					0,475***	0,455***
					(6,77)	(7,37)
Stakeholders Diretores	0,098	0,109	0,110	0,119	-0,127	-0,112
	(0,50)	(0,66)	(0,59)	(0,78)	(-0,66)	(-0,67)
Stakeholders Outros	-0,08	-0,001	-0,001	0,078	-0,132	-0,081
	(-0,57)	(-0,01)	(-0,01)	(0,67)	(-0,96)	(-0,67)
Constante	2,350***	2,442***	2,395***	2,435***	1,995***	2,054***
	(10,77)	(13,11)	(-13,82)	(15,25)	(8,32)	(9,73)
N	60	58	60	58	60	59
R2	43,00%	45,53%	49,22%	54,37%	49,22%	53,00%
F	14,08***	15,05***	18,09***	21,45***	18,10***	20,67***
VIF máximo	1,33		1,38		1,41

• Estatísticas t entre parênteses; * p < 0.05, **p < 0.01, *** p < 0.001
Fonte: Dados da Pesquisa (2021)

O modelo 1 avaliou o efeito do nível de engajamento transacional na percepção de desempenho da política pública. O engajamento transacional afetou de forma positiva e significante a percepção de desempenho, apresentando um coeficiente de 0,328 para a mostra completa e 0,300 para a amostra sem outliers. O índice R² do Modelo 1 indica que 43,00% da variação da variável percepção de desempenho pode ser explicado pela variável engajamento transacional, quando considerada a amostra total. Na amostra sem outliers, esse coeficiente é de 45,53%.

O Modelo 2 analisou a relação entre engajamento transitório e a percepção de desempenho. Da mesma forma que o engajamento transacional, o nível transitório apresentou uma relação positiva e significante ao nível de 1% com a variável dependente, sendo um coeficiente de 0,347 para amostra total e 0,323 quando excluído os outliers. O R² do Modelo 2 indica que o engajamento transitório explica 49,22% da variação da variável percepção de desempenho quando analisado com toda amostra e 54,37% na amostra sem os outliers. Importante destacar que o coeficiente beta da variável de engajamento foi maior do que no Modelo 1, indicando que crescendo o nível de engajamento, cresce também a percepção de desempenho da política pública.

O Modelo 3 testou o efeito do engajamento transformacional na percepção de desempenho e apresentou o coeficiente mais alto dentre os resultados (0,475), sendo assim, o engajamento que impacta mais fortemente a percepção de desempenho. O R² do Modelo demonstra que esse tipo de engajamento explica 49,22% da variação da percepção de desempenho na amostra completa e 53,00% sem os outliers.

6 Discussão

O objetivo deste estudo foi de analisar o efeito de diferentes níveis de engajamento sobre o desempenho de uma política pública de Educação. Os Modelos 1, 2 e 3, suportam as hipóteses do estudo de que os níveis de engajamento transacional (H1), transitório (H2) e transformacional (H3) afetam positivamente a percepção de desempenho da política pública. Ou seja, os três níveis de engajamento são capazes de gerar efeitos positivos em termos de percepção de economicidade, eficiência, eficácia e efetividade da política pública analisada.

Além disso, observa-se que níveis de engajamento superiores tem um efeito maior sobre a percepção de desempenho. Assim, quanto maior o nível de engajamento, melhor será a percepção de desempenho da política pública, conforme previsto pela H4 do estudo. Esse resultado pode ser explicado pelo fato de que no nível transformacional há um gerenciamento conjunto, entre governo e stakeholders. O nível transformacional contribui com a criação de um sentido compartilhado, no qual os stakeholders assumem posições de liderança e participam ativamente do processo de tomada de decisão, o que traz benefícios para ambas as partes (Bowen; Newenham-Kahindi; Herremans, 2010), governo e stakeholders.

Embora os resultados indiquem que quanto maior é o nível de engajamento, maior será a percepção de desempenho, é importante se considerar que mesmo os níveis mais básicos de engajamento já contribuem para uma percepção positiva do desempenho. Essa perspectiva é apoiada por Sherman e Ford (2014) ao destacar que o engajamento de stakeholder é um fator importante para o sucesso da implementação e avaliação de intervenções governamentais. A inclusão dos stakeholders em políticas públicas e regulamentações locais qualificam a tomada de decisão (Hutahaean, 2016), permitindo um ganho de legitimidade, melhor gerenciamento do risco social e desenvolvimento conjunto de soluções inovadoras para problemas sociais complexos (Bowen; Newenham-Kahindi; Herremans, 2010).

Desta forma, o engajamento de stakeholders pode ser visto como uma ferramenta poderosa para apoiar o projeto emancipador da Educação do campo. Ao envolver diretamente os stakeholders em processos de tomada de decisão coletiva e deliberativa, a política educacional pode alinhar-se mais estreitamente com os princípios de autoemancipação e racionalidade camponesa, conforme proposto por Molina (2015). Por outro lado, é preciso reconhecer a necessidade de uma abordagem crítica para garantir que as vozes dos coletivos sociais e das comunidades marginalizadas sejam incluídas e valorizadas (Mainardes, 2009) no processo de engajamento. Essa participação é fundamental para que a política educacional reflita verdadeiramente as necessidades e aspirações dos povos do campo e para questionar as referências tradicionais de desempenho, propondo uma análise que leve em conta as desigualdades estruturais (Mainardes, 2009) e as políticas de resistência presentes na história do rural brasileiro (Molina, 2015).

6.1 Contribuições para a gestão de políticas públicas de Educação

A percepção de desempenho de uma política pública pode ser afetada positivamente pelo engajamento de stakeholders. Mais do que isso, qualquer um dos três níveis de engajamento, transacional, transitório e transformacional, afeta positivamente essa percepção. Portanto, sugere-se que gestores municipais dediquem esforços para engajar os stakeholders de uma política pública, especialmente, em casos como o da pesquisa, que busca melhorar a Educação do campo.

As ações que os gestores públicos podem adotar incluem diversos elementos. Considerando o nível de engajamento transacional, o gestor pode fomentar o fornecimento de informações para stakeholders, facilitando o acesso e a interpretação dos dados que possam interessar a esses atores. O uso de mídias sociais, site e outras ferramentas de comunicação podem ajudar nessa questão. A importância dessa ação gerencial tem sido apontada por diversos pesquisadores (por exemplo, Porumbescu, 2017, Rowe; Frewer, 2000).

Em um nível intermediário de engajamento, os stakeholders podem ser convidados a contribuir, participando de ações específicas. A realização de consultas públicas pode ser uma ferramenta útil para o envolvimento dos stakeholders neste nível. Por fim, no mais alto nível de engajamento, é importante que o stakeholders possam perceber que sua opinião é considerada nos processos decisórios. A adoção dessa estratégia é importante para motivar os stakeholders a contribuir com os objetivos da política pública. Isso ocorre, pois, ao se sentir parte do processo, é mais provável que ocorra uma reciprocidade positiva por parte do stakeholders (Harrison; Bosse; Phillips, 2010), criando um ciclo virtuoso de ajuda. Ou seja, os stakeholders recebem valor ao serem considerados no processo decisório, estes, por sua vez, devolvem valor atuando em prol da política pública, e recebem valor novamente ao ter seus interesses atendidos pela implementação da política pública.

7 Considerações Finais

Essa pesquisa teve por objetivo analisar a relação entre os diferentes níveis de engajamento de stakeholders e o desempenho da política pública. Os resultados apontam para uma associação positiva entre os níveis transacional, transitório e transformacional de engajamento e a percepção de desempenho da política pública de Educação municipal “COMDECampo” de Cachoeira do Sul.

Embora esta pesquisa apresente contribuições, conforme destacado na seção de introdução e discussão, ela também apresenta limitações. Em primeiro lugar, apesar de o estudo inovar ao estudar sob uma perspectiva teórica gerencial uma política pública voltada para moradores da zona rural, a amostra de respondentes foi pequena. Em função dessa limitação, os resultados aqui apresentados não podem ser generalizados para todos os tipos de políticas públicas de Educação, tampouco para políticas públicas de outras áreas como saúde, segurança etc. Outra questão limitadora da pesquisa é que foram considerados somente três grupos de stakeholders. Sabe-se que o efeito de políticas públicas pode afetar uma grande quantidade de diferentes grupos de stakeholders. Contudo, não foi possível capturar essa diversidade neste estudo.

Essas limitações, no entanto, oferecem novas oportunidades de pesquisa. Assim, sugere-se que o instrumento desenvolvido seja aplicado em outras políticas públicas a fim de investigar se em outras áreas há diferenças de percepções. Além disso, incluir mais grupos de stakeholders contribuiria com uma visão mais ampla do impacto do engajamento na percepção de desempenho.

Referências

• ANDERSEN, L. B.; BOESEN, A.; PEDERSEN, L. H. Performance in public organizations: clarifying the conceptual space. Public Administration Review, Washington, DC, v. 76, n. 6, p. 852-862, May 2016. https://doi.org/10.1111/puar.12578
  » https://doi.org/10.1111/puar.12578
• ANSELL, C.; GASH, A. Collaborative governance in theory and practice. Journal of Public Administration Research and Theory, Lawrence, v. 18, n. 4, p. 543-571, Oct. 2008. https://doi.org/10.1093/jopart/mum032
  » https://doi.org/10.1093/jopart/mum032
• BOITO, C; ALBUQUERQUE, S. S. Um retrato da Educação Infantil no/do Campo no Rio Grande do Sul. Perspectiva, Florianópolis, v. 37, n. 4, p. 820-843, 2019. https://doi.org/10.5007/2175-795X.2019.e54170
  » https://doi.org/10.5007/2175-795X.2019.e54170
• BOWEN, F.; NEWENHAM-KAHINDI, A.; HERREMANS, I. When suits meet roots: The antecedents and consequences of community engagement strategy. Journal of Business Ethics, Dordrecht, v. 95, n. 2, p. 297-318, Jan. 2010. https://doi.org/10.1007/s10551-009-0360-1
  » https://doi.org/10.1007/s10551-009-0360-1
• BRASIL. Decreto nº 7.352, de 4 de novembro de 2010. Dispõe sobre a política de educação do campo e o Programa Nacional de Educação na Reforma Agrária - PRONERA. Diário Oficial da União, Brasília, DF, 5 nov. 2010.
• BRASIL. Lei nº 12.960, de 27 de março de 2014. Altera a Lei no 9.394, de 20 de dezembro de 1996, que estabelece as diretrizes e bases da educação nacional, para fazer constar a exigência de manifestação de órgão normativo do sistema de ensino para o fechamento de escolas do campo, indígenas e quilombolas. Diário Oficial da União, Brasília, DF, 28 mar. 2014.
• BRASIL. Conselho Nacional de Educação. Resolução CNE/CEB nº 1, de 3 de abril de 2002. Institui Diretrizes Curriculares Nacionais para o Ensino Médio. Diário Oficial da União, Brasília, DF, 10 abr. 2002.
• BRASIL. Conselho Nacional de Educação. Resolução CNE/CEB nº 05, de 17 de dezembro de 2009. Define Diretrizes Curriculares Nacionais para a Educação Infantil. Diário Oficial da União, Brasília, DF, 18 dez. 2009.
• BRASIL. Ministério da Educação. Secretaria de Educação Continuada, Alfabetização, Diversidade e Inclusão. Educação do campo: marcos normativos. Brasília, DF: Secadi, 2012.
• BRASIL. Ministério do Planejamento, Desenvolvimento e Gestão Secretária de Planejamento e Assuntos Econômicos. Guia metodológico para indicadores: orientações básicas aplicadas à metodologia do Plano Plurianual. Brasília, DR, 2018. Disponível em: https://www.gov.br/gestao/pt-br/acesso-a-informacao/estrategia-e-governanca/planejamento_estrategico_arquivos/livros_guias_publicacoes/guia-metodologico-para-indicadores-mp-2018.pdf Acesso em: 9 jul. 2024
  » https://www.gov.br/gestao/pt-br/acesso-a-informacao/estrategia-e-governanca/planejamento_estrategico_arquivos/livros_guias_publicacoes/guia-metodologico-para-indicadores-mp-2018.pdf
• BRASIL. Presidência da República. Casa Civil; Instituto de Pesquisa Econômica. Avaliação de políticas públicas. Brasília, DF: Casa Civil da Presidência da República, 2018.
• CACHOEIRA DO SUL. Secretaria Municipal de Educação (SMEd). Programas e políticas. Disponível em: https://www.obemcs.com/programasepoliticas Acesso em: 9 jul. 2024.
  » https://www.obemcs.com/programasepoliticas
• CLARKSON, M. E. A stakeholder framework for analyzing and evaluating corporate social performance. Academy of Management Review, Ada, v. 20, n. 1, p. 92-117, Jan. 1995. https://doi.org/10.2307/258888
  » https://doi.org/10.2307/258888
• CONNER, T. W. Exploring the diverse effects of stakeholder engagement on organizational performance. American Review of Public Administration, Thousand Oaksv. 47, n. 6, p. 634-647, 2017. https://doi.org/10.1177/0275074015618785
  » https://doi.org/10.1177/0275074015618785
• COSTA, D. M. Sistema de Educação Superior canadense: avaliação da Agência HEQCO para o desenvolvimento da educação na província de Ontário. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro v. 30, n. 117, p. 1023-1046, out./dez. 2022. https://doi.org/10.1590/S0104-40362022003003489
  » https://doi.org/10.1590/S0104-40362022003003489
• FÁVERO, L. P.; BELFIORE, P. Manual de análise de dados: estatística e modelagem multivariada com Excel®, SPSS® e Stata®. [S. l.]: Elsevier Brasil, 2017.
• FREEMAN, R. E. Strategic management: a stakeholder approach Boston: Pitman, 1984.
• GIRARD, C.; SOBCZAK, A. Towards a model of corporate and social stakeholder engagement: analyzing the relations between a french mutual bank and its members. Journal of Business Ethics, Dordrecht, v. 107, n. 2, p. 215-225, May 2012. https://doi.org/10.1007/s10551-011-1034-3
  » https://doi.org/10.1007/s10551-011-1034-3
• GREENWOOD, M. Stakeholder engagement: beyond the myth of corporate responsibility. Journal of Business Ethics, Dordrecht, v. 74, p. 315-327, Sep. 2007. https://doi.org/10.1007/s10551-007-9509-y
  » https://doi.org/10.1007/s10551-007-9509-y
• HAIR, J. F. et al. Análise multivariada de dados. [S. l.]: Bookman, 2009.
• HARRISON, J. S.; BOSSE, D. A.; PHILLIPS, R. A. Managing for stakeholders, stakeholder utility functions, and competitive advantage. Strategic Management Journal, Hoboken, v. 31, n. 1, p. 58-74, 2010. https://doi.org/10.1002/smj.801
  » https://doi.org/10.1002/smj.801
• HUTAHAEAN, M. The importance of stakeholders approach in public policy making. Advances in Social Science, Education and Humanities Research, [s. l.], v. 84, p. 462-466, 2016.
• INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA - IBGE. Portal Mapas. 1 jul. 2024. Disponível em: https://cidades.ibge.gov.br/brasil/rs/cachoeira-do-sul/panorama [Acesso em: 8 jul. 2024].
  » https://cidades.ibge.gov.br/brasil/rs/cachoeira-do-sul/panorama
• JOHNSEN, A. What does 25 years of experience tell us about the state of performance measurement in public policy and management?. Public Money and Management, Oxford, v. 25, n. 1, p. 9-17, 2005. https://doi.org/10.1111/j.1467-9302.2005.00445.x
  » https://doi.org/10.1111/j.1467-9302.2005.00445.x
• KAUR, A.; LODHIA, S. K. Key issues and challenges in stakeholder engagement in sustainability reporting: a study of Australian local councils. Pacific Accounting Review, [s. l.], v. 31, n. 1, p. 2-18, Mar. 2019. https://doi.org/10.1108/PAR-11-2017-0092
  » https://doi.org/10.1108/PAR-11-2017-0092
• LEES-MARSHMENT, J.; HUFF, A.D.; BENDLE, N. A social commons ethos in public policy-making. Journal of Business Ethics, Dordrecht, v. 166, n. 4, p. 761-778, July 2020. https://doi.org/10.1007/s10551-020-04577-3
  » https://doi.org/10.1007/s10551-020-04577-3
• MAINARDES, J. Análise de políticas educacionais: breves considerações teórico-metodológicas. Contrapontos, Itajaí, v. 9, n. 1, p. 04-162009, mar. 2009.
• MAINARDES, J.; STREMEL, S. A política educacional na década 2010 a 2020: análise de publicações. Revista Exitus, Santarém, v. 11, 2021. https://doi.org/10.24065/2237-9460.2015v1n1id1634
  » https://doi.org/10.24065/2237-9460.2015v1n1id1634
• MARTINS, F. J. Formação de professoras e professores e educação do campo no Brasil: do movimento à escola. Praxis & Saber, Boyacá, v. 13, n. 33, p. e13211-e13211, 2022. https://doi.org/10.19053/22160159.v13.n33.2022.13211
  » https://doi.org/10.19053/22160159.v13.n33.2022.13211
• MOLINA, M. C. A educação do campo e o enfrentamento das tendências das atuais políticas públicas. Educação em Perspectiva, Viçosa, v. 6, n. 2, p. 378-400, jul./dez. 2015. https://doi.org/10.22294/eduper/ppge/ufv.v6i2.665
  » https://doi.org/10.22294/eduper/ppge/ufv.v6i2.665
• MUNARIM, A. Educação do campo e LDB: uma relação quase vazia. Retratos da Escola, v. 10, n. 19, p. 493-506, 2017. https://doi.org/10.22420/rde.v10i19.707
  » https://doi.org/10.22420/rde.v10i19.707
• PORUMBESCU, G. A. Does transparency improve citizens' perceptions of government performance? Evidence from Seoul, South Korea. Administration & Society, [s. l.], v. 49, n. 3, p. 443-468, 2017. https://doi.org/10.1177/009539971559331
  » https://doi.org/10.1177/009539971559331
• ROWE, G.; FREWER, L. J. Public participation methods: a framework for evaluation. Science, Technology, & Human Values, Cambridge, v. 25, n. 1, p. 3-29, 2000. https://doi.org/10.1177/01622439000250
  » https://doi.org/10.1177/01622439000250
• SANTOS, M. Educação do Campo no Plano Nacional de Educação: tensões entre a garantia e a negação do direito à educação. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 26, n. 98, p. 185-212, jan./mar. 2018. https://doi.org/10.1590/S0104-40362018002600965
  » https://doi.org/10.1590/S0104-40362018002600965
• SEGATTO, C.I.; EUCLYDES, F.M.; ABRUCIO, F. Capacidades estatais e seus efeitos nas Políticas Municipais de Educação. Cadernos Gestão Pública e Cidadania, São Paulo, v. 26, n. 84, e-81938, 2021. https://doi.org/10.12660/cgpc.v26n84.81938
  » https://doi.org/10.12660/cgpc.v26n84.81938
• SHERMAN, M. H.; FORD, J. Stakeholder engagement in adaptation interventions: an evaluation of projects in developing nations. Climate Policy, London, v. 14, n. 3, p. 417-441, 2014. https://doi.org/10.1080/14693062.2014.859501
  » https://doi.org/10.1080/14693062.2014.859501
• SILVA, F. N. S et al. Educação do campo e ensino de ciências no Brasil: um estado do conhecimento dos últimos dez anos. Revista Brasileira de Ensino de Ciência e Tecnologia, Curitiba, v. 12, n. 1, p. 221-239, jan./abr. 2019. https://doi.org/10.3895/rbect.v12n1.7547
  » https://doi.org/10.3895/rbect.v12n1.7547
• STERLING, E. J. et al. Assessing the evidence for stakeholder engagement in biodiversity conservation. Biological Conservation, [s. l.], v. 209, p. 159-171, May 2017. https://doi.org/10.1016/j.biocon.2017.02.008
  » https://doi.org/10.1016/j.biocon.2017.02.008
• WALLNER, J. Legitimacy and public policy: Seeing beyond effectiveness, efficiency, and performance. Policy Studies Journal, Urbana, v. 36, n. 3, p. 421-443, July 2008. https://doi.org/10.1111/j.1541-0072.2008.00275.x
  » https://doi.org/10.1111/j.1541-0072.2008.00275.x

• Dados: todo o conjunto de dados está publicado no harvard.edu e pode ser acessado por meio do DOI https://doi.org/10.7910/DVN/MIPWE2

Disponibilidade de dados

Dados: todo o conjunto de dados está publicado no harvard.edu e pode ser acessado por meio do DOI https://doi.org/10.7910/DVN/MIPWE2

Datas de Publicação

• Publicação nesta coleção
  13 Set 2024
• Data do Fascículo
  Ago 2024

Histórico

• Recebido
  15 Mar 2023
• Aceito
  02 Jul 2024