A CIÊNCIA ENTRE INDIVÍDUOS E ORGANIZAÇÕES: como capacidades analíticas individuais e organizacionais se combinam para a utilização de evidências científicas nas políticas públicas?

SCIENCE BETWEEN INDIVIDUALS AND ORGANIZATIONS: how do individual and organizational analytical capabilities combine to use scientific evidence in public policies?

SCIENCE ENTRE INDIVIDUS ET ORGANISATIONS: comment les capacités analytiques individuelles et organisationnelles se combinent pour utiliser les preuves scientifiques dans les politiques publiques ?

Resumo

Diferentes atores governamentais e não governamentais buscam mobilizar evidências científicas para subsidiar o trabalho em políticas públicas. Nas últimas décadas, estudos têm enfatizado as capacidades analíticas do ponto de vista de indivíduos - principalmente servidores públicos e gestores públicos - ou organizações - estruturas ministeriais ou órgãos independentes. Este artigo inova investigações anteriores ao buscar compreender como as dimensões individual e organizacional interagem para ampliar a mobilização das evidências produzidas pela ciência. A pesquisa utilizou-se de um survey com extensa amostra de burocratas da administração pública federal brasileira. Os achados indicam que essas duas dimensões interagem positivamente para maior utilização das evidências científicas. No entanto, atenção especial deve ser dada à forma como as capacidades organizacionais são conceituadas e operacionalizadas. Como unidade especializada, a interação com a capacidade de identificar, coletar e analisar dados e informações relacionados à política pública mostrou-se importante. Como recurso ou disponibilidade organizacional, a interação com a educação dos indivíduos revelou-se uma dimensão relevante. Por fim, como oportunidade organizacional de relacionamento com a academia, a interação com o nível de educação formal também se mostrou significativa. Pesquisas futuras devem buscar explicar por que outras formas de interação entre capacidades individuais e organizacionais não são relevantes, além de buscar compreender os mecanismos causais que explicam os achados identificados.

Palavras-chave
Evidências científicas; Capacidades analíticas individuais; Capacidades analíticas organizacionais; Administração pública federal; Brasil

Abstract

Different governmental and non-governmental actors seek to mobilize scientific evidence to support work on public policies. In recent decades, studies have emphasized analytical capacities from the point of view of individuals – mainly public servants and government managers – or organizations – ministerial structures or independent agencies. This article innovates previous investigations in seeking to understand how individual and organizational dimensions interact to expand the mobilization of evidence produced by science. The research used an extensive N survey with bureaucrats from the Brazilian federal public administration. The findings indicate that these two dimensions interact positively for greater use of scientific evidence. However, special attention must be paid to how organizational resources are conceptualized and operationalized. As a specialized unit, the interaction with the ability to identify, collect and analyze data and information related to public policy proved to be important. As a resource or organizational availability, the interaction with the education of individuals proved to be a relevant dimension. Finally, as an organizational relationship opportunity with academia, the interaction with the level of formal education was also significant. Future research should seek to explain why other forms of interaction between individual and organizational capabilities are not relevant, in addition to seeking to understand the causal mechanisms that explain the identified findings.

Key words
Scientific evidence; Individual analytical skills; Organizational analytical capabilities; Federal public administration; Brazil

Résumé

Différents acteurs gouvernementaux et non gouvernementaux cherchent à mobiliser des preuves scientifiques pour soutenir les travaux sur les politiques publiques. Au cours des dernières décennies, des études ont mis l’accent sur les capacités d’analyse du point de vue des individus – principalement des fonctionnaires et des gestionnaires de l’État – ou des organisations – structures ministérielles ou agences indépendantes. Cet article innove les enquêtes précédentes en cherchant à comprendre comment les dimensions individuelles et organisationnelles interagissent pour élargir la mobilisation des preuves produites par la science. La recherche a utilisé une vaste enquête N auprès des bureaucrates de l’administration publique fédérale brésilienne. Les résultats indiquent que ces deux dimensions interagissent positivement pour une plus grande utilisation des preuves scientifiques. Cependant, une attention particulière doit être accordée à la façon dont les ressources organisationnelles sont conceptualisées et opérationnalisées. En tant qu’unité spécialisée, l’interaction avec la capacité d’identifier, de collecter et d’analyser des données et des informations liées à la politique publique s’est avérée importante. En tant que ressource ou disponibilité organisationnelle, l’interaction avec l’éducation des individus s’est révélée être une dimension pertinente. Enfin, en tant qu’opportunité de relation organisationnelle avec le milieu universitaire, l’interaction avec le niveau d’éducation formelle était également importante. Les recherches futures devraient chercher à expliquer pourquoi d’autres formes d’interaction entre les capacités individuelles et organisationnelles ne sont pas pertinentes, en plus de chercher à comprendre les mécanismes causaux qui expliquent les résultats identifiés.

Mots-clés
Preuves scientifiques; Compétences analytiques individuelles; Capacités d’analyse organisationnelle; Administration publique fédérale; Brésil

INTRODUÇÃO

Qual a importância de se combinar capacidades analíticas individuais e organizacionais para a utilização de evidências científicas nas políticas públicas? A capacidade analítica de políticas públicas (CAP) remete à disponibilidade de recursos de vários tipos, que comporiam uma capacidade de produzir, analisar e comunicar informações, bem como de coordenar os agentes envolvidos nesse processo (Howlett, 2009, p. 156), que podem ser tanto capacidades dos indivíduos como das organizações. Argumenta-se que as capacidades organizacionais e individuais não podem ser compreendidas isoladamente, como usualmente os estudos o fazem, o que não permite visualizar efeitos esperados de interação entre essas duas dimensões.

A definição do que seja evidência para as políticas públicas é passível de extenso debate, que mobiliza distintos pressupostos e inclinações valorativas, o que resulta em significados díspares entre si. Se é assim no plano das definições teóricas a respeito desse termo, não é diferente no campo empírico de mobilização efetiva de distintas fontes de informação para subsidiar o processo decisório. As evidências, portanto, precisam ser consideradas a partir do seu contexto de utilização e de mobilização pelos atores envolvidos no processo de formulação e implementação de políticas públicas (Pinheiro, 2020, 2022; Koga et al. , 2022a). Podem, inclusive, ser fruto do esforço do Estado de armazenagem e organização de dados administrativos ou de coleta e recenseamento sistemático de dados populacionais (Mello, 2022; Jannuzzi, 2022).

Não obstante esse intenso debate que enfoca o conceito mais amplo e polissêmico de evidências, parte importante dos acadêmicos e dos praticantes dedica-se a compreender de que modo se dá a utilização de evidências científicas (Amara; Ouimet; Landry, 2004; Cherney, 2015; Pattyn; Brans, 2015; Saab; Silva, 2022). Estas remetem ao conhecimento primordialmente produzido por universidades e institutos de pesquisa a partir de critérios pertinentes ao método científico, como isenção, transparência dos meios empregados na coleta e processamento de dados empíricos, publicização dos resultados e avaliação por pares.

Do ponto de vista dos “demandantes” ou “usuários”, as evidências, inclusive as científicas, são mobilizadas a partir de fatores contingentes como o trabalho na política pública, os setores de políticas, as características sociodemográficas, bem como a presença ou a ausência de condições e recursos no plano individual ou da organização para absorção e mobilização de evidências (Ouimet et al., 2009; Ouimet et al., 2006; Koga et al., 2022c). Esses últimos fatores, as capacidades analíticas individuais e organizacionais, são, em geral, investigados de forma estanque pela literatura, de modo que a ênfase muitas vezes recai exclusivamente no entendimento do papel exercido pelos burocratas para traduzir e transmitir conhecimento especializado (Ouimet et al., 2009; Ouimet et al., 2006; Koga et al., 2021; Palotti et al., 2022) ou pela consideração das estruturas organizacionais dedicadas à mobilização de conhecimento científico (Husain; Bloom; Xiao, 2021; Pattyn; Brans, 2015; Palotti et al., 2020; Segatto et al., 2022). São raros os trabalhos que contrapõem simultaneamente indivíduos e organizações para utilização de conhecimento científico, muitas vezes restritos a estudos de caso (Newman; Cherney; Head, 2017; Segatto et al., 2022). Mesmo do ponto de vista da atuação governamental, a promoção de capacitação e treinamento científico dos servidores públicos não necessariamente dialoga com os esforços das organizações públicas de criação de espaços dedicados ou de ambiente favorável à produção e utilização de evidências científicas.

Com o intuito de se produzir uma investigação científica de alcance mais amplo sobre a importância da combinação entre capacidades individuais e organizacionais para a utilização de evidências científicas nas políticas públicas, serão mobilizados os resultados de uma pesquisa de survey online conduzida pelo Ipea, em 2019, com servidores públicos federais da administração direta do governo federal.Após esta introdução, será apresentado o referencial teórico que fundamenta a presente investigação, com destaque para os conceitos de capacidades analíticas individuais e organizacionais, e suas possíveis interações. Ao final, será detalhado o modelo analítico que será empregado para compreender as circunstâncias de uso de evidências científicas pela administração pública. Na sequência, serão apresentados os métodos empregados, em particular o modelo de equações estruturais. São, então, apresentados os resultados de pesquisa, cujos elementos serão discutidos à luz da literatura mobilizada. Por fim, são traçadas algumas conclusões, seguidas das limitações do artigo e de uma proposta de agenda futura de pesquisa.

CAPACIDADES ANALÍTICAS INDIVIDUAIS E ORGANIZACIONAIS: CONCEITOS E POSSIBILIDADES DE ENTRELAÇAMENTO

A capacidade analítica de políticas públicas (CAP) é um conceito do campo de análise de políticas públicas em intersecção com a bibliografia que advoga e estuda as Políticas Públicas Baseadas em Evidências (PPBE), sendo central para entender as relações entre o uso de evidências e as políticas públicas. A “análise de políticas” pretendia o melhoramento das ações públicas a partir de recomendações obtidas cientificamente e teve o seu fôlego renovado pelo movimento de políticas públicas baseadas em evidências (Nilsson et al., 2008). Essa literatura estuda e defende uma ideia muito clara, qual seja, de que as evidências têm o potencial de mitigar as probabilidades de fracasso das decisões públicas (Howlett, 2009).

Várias ponderações podem ser feitas – e foram (Pinheiro, 2022; Segatto et al., 2022) – sobre a veracidade da relação que a bibliografia da PPBE propôs. Howlett (2009) situa o desenvolvimento dessa agenda de pesquisa e sintetiza as críticas e as questões centrais sobre a pressuposição basilar em voga. O autor argumenta haver uma questão-problema preponderante e irresolvida a obstaculizar a utilidade das evidências para as políticas. Problema este relativo aos recursos exigidos para a condução de análises meticulosas, correspondente à ênfase na obtenção e utilização de informações, que, além de ser um desafio em si, pode exigir mais recursos do que os disponíveis em determinada situação, tanto por parte de atores governamentais quanto por parte de organizações públicas. Ou seja, o dispêndio de força na produção ou análise de evidências pode diminuir a disponibilidade de recursos executivo-operacionais e excluir atores carentes desta espécie de recurso das decisões (Howlett, 2009).

Assim, a existência e a qualidade do uso de evidências contingenciam o seu impacto sobre as políticas. O conceito de capacidade analítica de políticas ganha centralidade para a compreensão do processo pelo qual as evidências poderiam auxiliar o melhoramento das ações públicas. Para a agenda de pesquisa sobre CAP, faz-se necessário avaliar como as capacidades analíticas são construídas, o que caracteriza a sua presença ou ausência, bem como avaliar quais resultados ou impactos as evidências geraram, de fato, sobre as políticas.

A definição de capacidade analítica adotada em Howlett (2009) é tributária do trabalho de Riddel (2007). O conceito é bem franco ao se referir à capacidade como a habilidade de indivíduos e organizações em utilizar técnicas e metodologias avançadas e diversas para lidar com a produção, a análise e a instrumentalização de evidências em diversos formatos. Mas, a CAP também envolve a coordenação e os aspectos informacionais da utilização da evidência produzida. Assim, conforme destacado anteriormente, a CAP envolve um processo amplo e heterogeneamente compreendido nos estudos empíricos conduzidos pelos especialistas. Essa capacidade se refere à habilidade de coletar, agregar e gerir informações, o que exige das organizações recursos variados, dentre eles humanos, financeiros e de coordenação.

Independentemente do foco ou da metodologia, os estudos empíricos levam em conta, majoritariamente, dimensões individuais relativas às habilidades dos burocratas, em interação ou complementação às características das organizações, e até das instituições políticas, na consideração da CAP. Como destacado no seu conceito, a CAP aborda habilidades individuais sem desconsiderar a capacidade de coordenação desses recursos, dando substância e justificando o estudo da relação entre os indivíduos e as organizações.

A preocupação recorrente, observada na condução dos estudos empíricos sobre as capacidades analíticas, está em localizar os elementos que indicariam a sua presença em determinado contexto, como condições necessárias ou associadas a ela (Angel, 2015; Pattyn; Brans, 2015), ou os seus impactos e resultados sobre as políticas, explicados por meio de modelos (Manwaring, 2018); enquanto outros visam tipificar capacidades analíticas como um ramo específico de capacidade de políticas (Husain; Bloom; Xiao, 2021). Contudo, ainda são poucos os trabalhos, na produção nacional, voltados a analisar a relação indivíduo-organização no desenvolvimento da CAP.

A bibliografia internacional tem evidenciado que a relação indivíduo-organização pode conduzir à formação da capacidade analítica de políticas. A capacidade individual, entendida como o domínio de técnicas de pesquisa ou de análise de dados, de aplicação de metodologias e outras práticas associadas à pesquisa, tem sido compreendida como uma condição básica para que seja possível a mobilização de evidências no processo decisório (Howlett, 2009; Husain; Bloom; Xiao, 2021; Ouimet et al., 2009; Pattyn; Brans, 2015). No âmbito do domínio de habilidades, a de terceirizar agentes para a condução de análises também tem se colocado como relevante, ou como uma habilidade mínima para que se observasse a incidência de avaliações nas burocracias belgas – que envolve, ao mesmo tempo, capacidades individuais e organizacionais (Pattyn; Brans, 2015).

A dimensão individual dos recursos humanos analisados também importa no sentido da demanda pela atividade avaliativa. Pattyn e Brans (2015) identificaram a demanda advinda do gestor (“e valuation demand from organisational management” ) como uma variável fortemente relacionada às unidades que executavam avaliações periodicamente. Manwaring (2018) também corrobora as capacidades individuais de gerar e conectar demanda à oferta. No caso paulista, Segatto e demais autores (2022) identificaram que o Escritório de Evidências da Secretaria da Educação do Estado tem origem na experiência individual do secretário, que havia realizado trabalho analítico semelhante em outra experiência como ministro.

A literatura tem mostrado que, além da demanda, a coordenação é uma capacidade organizacional integrada aos recursos humanos. A organização de fluxos processuais ou gerenciais na dinâmica interna importa, bem como a disseminação de conceitos organizacionais (Martins; Sanches; Pinheiro, 2022). Em sintonia com tal argumento, Husain, Bloom e Xiao (2021) mostraram que a capacidade coordenativa da organização é responsável pelos comandos dados aos indivíduos, que por sua vez devem dominar capacidades técnicas, mas também compreender aqueles comandos. Angel (2015) destaca, em menor nível de comprometimento empírico, o aspecto informacional como contexto necessário da contemporaneidade, marcada por um fluxo em rede.

A organização demonstra capacidade analítica ao procedimentalizar os fluxos informacionais relacionados às evidências, nesse contexto de excesso de informações desproporcionais à escassez de recursos analíticos e de tempo. A capacidade analítica em nível organizacional diz respeito à existência de instrumentos de coordenação, como procedimentos, fluxos e experiências para dar conta do processamento informacional e das ações advindas do aconselhamento. Tal capacidade também corresponde ao provimento material, como a capacidade de formação e remuneração de recursos humanos e a gestão de carreiras profissionais especializadas; disposição de recursos como bancos de dados, maquinário e apoio técnico; e, como será visto em seguida, cada aspecto ganha relevância em momentos e contextos específicos. Pode-se adiantar que a capacidade de coordenação dos profissionais tem uma magnitude especial (Capellari et al., 2019; Howlett, 2009; Pattyn; Brans, 2015; Segatto et al., 2022).

A existência de unidades organizacionais especializadas na atividade analítica também é um ponto bem explorado na literatura (Husain; Bloom; Xiao, 2021; Pattyn; Brans, 2015; Segatto et al., 2022). A existência de organizações especializadas no trato informacional indica a institucionalização da prática. Entretanto, também é destacável que a inexistência da unidade específica não impede que ocorra o trabalho analítico, fenômeno identificado em casos como de parte das burocracias belgas, da Agência Nacional de Energia Elétrica – Aneel – e do Escritório de Evidências de São Paulo.

No caso das 27 burocracias belgas estudadas por Pattyn e Brans (2015), aquelas que contavam com unidade analítica estiveram associadas à maior qualidade das avaliações. Pattyn e Brans (2015) atribuíram a causa desse fenômeno à presença de profissionais com background formativo em áreas de pesquisa científica nestas unidades. Ou seja, a formação e a carreira em pesquisa e trato de evidências dos servidores de tais unidades analíticas compõem um acúmulo de experiência, uma expertise, que é indício da existência de uma habilidade técnica, mas também de valorização subjetiva do trabalho informacional realizado. Entretanto, em relação à incidência e à regularidade das avaliações, a inexistência das unidades analíticas não impedia que elas ocorressem, mas a existência de tais unidades estaria associada ao melhoramento das avaliações (Pattyn; Brans, 2015, p. 191).

Essa valorização quase que subjetiva do trabalho avaliativo foi expressa nos estudos sobre a Aneel (Martins; Sanches; Pinheiro, 2022) e do Escritório de Evidências (Segatto et al., 2022). Em ambos os casos há a tentativa de adoção do trato sobre evidências e a mobilização de uma nova “cultura” informacional nas burocracias. Na Aneel foi mencionada a necessidade de que os novos procedimentos fossem compreendidos como novos valores de conduta profissional, mais do que como mera mudança no rito burocrático. Dessa forma, há a tentativa de adoção de uma lógica técnico-científica na execução deste trabalho a ser adotada pelo funcionalismo, resultando na identificação de uma mudança “cultural” como parte do processo de institucionalização.

No caso do Escritório de Evidências, a dificuldade na compreensão e valorização das informações foi maior, em função da inexistência de carreiras técnico-analíticas nos estados. Essa falta gerou um dilema duplo: não havia capacidade técnica para a implementação do tipo de trabalho pretendido, assim como era difícil construir uma “cultura” analítica na burocracia. Os aspectos da capacidade técnica e a valoração subjetiva do ator são ecoados nos estudos liderados por Ouimet e demais autores (2006, 2009).

Ouimet e demais autores (2009) modelam determinantes do uso de evidências acadêmicas baseados no conceito de capacidade de absorção. Um dos componentes do modelo é a habilidade do ator em reconhecer o valor das evidências. A sua habilidade permite que informações sejam entendidas como úteis para a tomada de decisão. Ouimet e demais autores (2006) destacam esta dimensão cognitiva dos atores como atitude em relação à pesquisa (“ attitude towards research ”). O primeiro termo do conceito “ attitude ” descreve uma predisposição do ator em reconhecer a importância das evidências – ou não.

Ouimet e demais autores (2009), mesmo que privilegiem uma abordagem sobre o indivíduo, concluem que a organização deve ser estudada para a compreensão da CAP. A função associada ao cargo que o indivíduo desempenha é uma condição determinante sobre a capacidade de trato de evidências, uma vez que o cargo e suas atribuições podem explicar diferentes capacidades analíticas. Ou seja, o uso de evidências depende do ordenamento das organizações sobre os cargos.

Ouimet e demais autores (2009) também sensibilizam sobre as diferenças entre a disponibilidade de infraestruturas de tecnologia, de um lado, e a disponibilidade de infraestruturas organizacionais, de outro. A primeira infraestrutura remete aos recursos inanimados, como a disponibilidade de softwares, armazenamento digital de dados etc. Ao passo que a infraestrutura organizacional remete aos recursos humanos e quão capazes são de operar aqueles recursos. Uma das formas de reconhecer a valorização do uso de evidência por uma burocracia estaria nas estratégias de “recrutamento e desenvolvimento de habilidades”.

Assim, a valorização do uso de pesquisas acadêmicas partiria da gestão organizacional na ordenação, construção e coordenação dos seus quadros. A partir do observado, percebe-se que a capacidade técnica do indivíduo tem se mostrado como pré-requisito para as atividades analíticas, ao passo que a organização as coordena, estabelecendo fluxos processuais internos de ordenação. Nessa relação, a cultura organizacional importa e pode reagir à formação técnica dos indivíduos.

Um aspecto mais teórico também merece ser destacado sobre a bibliografia internacional. Nestas produções, as CAP são construídas na dinâmica relacional entre oferta e demanda. Aspectos da CAP relacionados à oferta seriam todas as condições relacionadas à possibilidade de concessão, criação, análise de dados etc. A oferta está associada às forças produtivas da análise (por exemplo, existência de recursos humanos, unidades analíticas, orçamento etc.). Entretanto, essa oferta deve estar relacionada a uma demanda, para que seja de fato “consumida” (expressa, por exemplo, via leis, decretos, normas institucionais, exigência de atores do legislativo, gerentes etc.). Como Manwaring (2018) coloca, a visão consolidada é a de que tais conceitos seguem uma lógica econômica. Essa perspectiva parece relevante por permear boa parte dos estudos já citados; assim como por estabelecer a conexão entre as características inerentes de burocracias e indivíduos e o uso real das evidências, animada e concretizada na relação oferta-demanda. Essa perspectiva conceitual também reflete a seleção das variáveis explicativas sobre a CAP, categorizadas no lado da oferta ou da demanda.

Até aqui foi realizada uma discussão sem se questionar a validade de pressupostos e achados de um contexto internacional para casos não ocidentais, ou mais periféricos, diante da possibilidade de existência de diferentes estilos de análise de políticas públicas. Newman, Patmisari e Widianingsih (2022) investigam a aplicabilidade dos conceitos de CAP ao caso da Indonésia.

Um dos achados é o de que a prática analítica integra a rotina dos funcionários públicos indonésios, havendo uma crescente correlação entre o nível formativo dos mesmos e a frequência de interação com as evidências. Os autores constatam que os funcionários mais qualificados estão engajados em trabalhos e funções que utilizam mais os dados. Achados semelhantes são encontrados em estudo voltado ao contexto dos servidores federais brasileiros, no qual associações positivas são identificadas entre o uso de fontes científicas e níveis educacionais mais elevados, assim como no desempenho de atividades analíticas, mas também de cunho relacional como representação, consulta e negociação (Koga et al., 2022c). Este último aspecto reforça o argumento da relevância das interações sociais, em especial entre a comunidade científica e os burocratas, como canal de absorção de evidências (Ouimet et al., 2009; Manwaring, 2018).

A relação entre o nível de instrução e o desempenho de funções analíticas, trazido nos casos indonésio e brasileiro, mostra que as organizações podem criar demandas e capacidades no ordenamento do seu quadro. A valoração do uso de evidências reforça as ideias de “cultura organizacional” e “institucionalização” como processo contextual de produção de práticas analíticas nas burocracias. Nesse mesmo sentido, Newman, Patmisari e Widianingsih (2022) apontam que os treinamentos em pesquisa e trato de dados têm efeitos importantes sobre a autopercepção dos funcionários a respeito de sua capacidade de interpretar e aplicá-los na rotina burocrática (p. 480).

Desta forma, mais uma vez a capacidade individual relativa à análise é uma pedra angular na determinação da incidência e qualidade do uso das evidências identificadas na literatura. Pode-se dizer que ela tem sido compreendida em um sentido estático e dada como característica inerente dos recursos humanos de determinada burocracia. Nesse sentido, ela é uma condição necessária, mas nem sempre suficiente para percepção da CAP. No entanto, ela também está envolvida no contexto organizacional. O contexto condiciona a mobilização dessa primeira característica básica dos indivíduos. A análise da bibliografia tem se voltado, principalmente no Brasil, à forma como a organização age consciente e estrategicamente para a construção de sua capacidade analítica, sendo dependente daquela capacidade individual. O caso da Indonésia alerta para a possibilidade de a forma de seleção, os treinamentos e o ordenamento institucional construírem ou acionarem essa capacidade individual. Esta é outra perspectiva pela qual a CAP do indivíduo é animada pelo seu contexto, dependente das demandas e ofertas sobre a análise de políticas.

A literatura apresentada indica a existência de relações entre aspectos tanto da capacidade analítica individual como da capacidade analítica organizacional no uso de evidências científicas. Sugere, ainda, a existência de relações potencializadoras do uso de evidências científicas na interação entre os dois níveis de capacidades. Neste artigo buscamos analisar os efeitos de variáveis de capacidade individual e capacidade organizacional sobre o uso de evidências científicas, assim como testar hipóteses sobre as interações entre os dois níveis de capacidades analíticas para o uso de evidências científicas, como apresenta a Figura 1 . A seguir, iremos apresentar o modelo analítico construído para compreender a relação entre capacidades analíticas individuais e organizacionais para a mobilização de evidências científicas. Importante destacar a mobilização de diferentes formatos de operacionalização desses conceitos a partir dos argumentos teórico-empíricos reunidos nesta seção.

Figura 1
– Modelo analítico

Como ilustrado na Figura 1 , espera-se: (1) testar em que medida as capacidades analíticas tanto individuais como organizacionais, isoladamente, têm efeito no uso de evidências científicas e, ainda, (2) testar se a interação entre aspectos dos dois níveis de capacidades também apresenta efeito sobre o uso de evidências científicas. Os aspectos que definem cada um dos três componentes do modelo (uso de evidências, capacidade analítica individual e capacidade analítica organizacional) estão explicitados na Figura 1 . Vale esclarecer que foram extraídos da literatura e operacionalizados no instrumento de pesquisa, como será detalhado na seção seguinte.

MÉTODO DE PESQUISA E DADOS

Os dados aqui analisados foram coletados em um survey , no contexto da pesquisa “O que informa as políticas públicas federais: o uso e o não uso de evidências pela burocracia federal brasileira”, produzido pela Diretoria de Estudos e Políticas do Estado, das Instituições e da Democracia do Instituto de Pesquisa Econômica Aplicada (Diest/Ipea). O questionário online (autoadministrado) foi enviado, por e-mail, a uma amostra selecionada a partir de um universo de 96.543 servidores civis lotados em órgão da administração direta. A primeira amostra foi obtida por meio da técnica de estratificação simples, em que cada órgão correspondeu a um estrato, ¹ resultando em 6.055 servidores selecionados. Foram então realizadas mais duas rodadas de seleção utilizando exatamente o mesmo método, chegando ao número final de 18.165 servidores (Koga et al., 2020). Assim, obtiveram-se 2.180 registros completos válidos, representando uma taxa de resposta de 12% da amostra. ² As questões selecionadas do survey para a análise referem-se às variáveis apresentadas no modelo analítico ( Figura 1 ), a saber: utilização de evidências científicas; escolaridade, habilidade para identificar, coletar e analisar dados, tempo de experiência trabalhando com a política pública, bem como esforço pessoal para entrar em contato com pesquisadores e acadêmicos; existência de unidade especializada na utilização de pesquisas, disponibilidade organizacional de meios e recursos para obtenção de informações de fontes científicas e existência de oportunidades organizacionais para a construção de relacionamentos com pesquisadores e acadêmicos.

As hipóteses testadas correspondem aos efeitos das variáveis de capacidade individual e capacidade organizacional sobre o uso de evidências científicas pelos servidores públicos federais.

A escolha do Modelo de Equações Estruturais (MEE) em vez do modelo de regressão foi feita com base em considerações relacionadas à complexidade da nossa modelagem:

1. Variável dependente latente: a escolha do MEE em vez do modelo de regressão foi motivada principalmente pelo fato da variável dependente ser uma variável latente (não observada), ou seja, não diretamente observável. O MEE é especialmente adequado para lidar com variáveis latentes, pois permite estudar as relações entre variáveis observáveis e latentes (Hair et al., 2009; Tabachnick et al., 2013). Os modelos de regressão simples pressupõem que a variável dependente esteja diretamente dada e observável.

2. Variáveis explicativas ordinais: outra consideração importante é que a modelagem inclui variáveis explicativas de natureza ordinal. O MEE oferece o estimador de Mínimos Quadrados Ponderados Diagonalmente (MQPD), que leva em consideração a natureza ordinal das variáveis ao estimar os parâmetros do modelo (Hair et al., 2009; Tabachnick et al., 2013). Os modelos de regressão tradicionais podem não ser apropriados nesse contexto, uma vez que assumem pressupostos sobre a natureza das variáveis explicativas que podem ser violados quando essas variáveis são ordinais.Nesse sentido, a análise especifica e valida uma MEE derivada de abordagens teóricas da literatura com o objetivo de investigar como as interações entre capacidades individuais e capacidades organizacionais impactam no uso de fontes informacionais científicas. Em suma, a MME foi utilizada como técnica confirmatória do modelo analítico proposto.A utilização de evidências científicas é a nossa variável dependente, sendo operacionalizada no formato de uma variável latente (construto), mensurável apenas indiretamente por meio de um conjunto de indicadores. Em consonância com a literatura prévia, no presente artigo essa variável latente foi operacionalizada a partir de duas questões do survey relacionadas ao uso de fontes informacionais científicas, são elas:

• QD7 - Uso de artigos, capítulos ou livros produzidos por pesquisadores.

• QD8 - Uso de relatórios de pesquisa científica ³ .

Ainda com base nas abordagens encontradas na literatura, foram selecionadas questões referentes às capacidades individuais e organizacionais. O Quadro 1 apresenta as questões do survey utilizadas na modelagem. ⁴

Quadro 1
– Questões utilizadas como variáveis independentes

Dimensões	Item do questionário	Questão	Rótulo
Capacidades individuais	QF4	Qual foi o curso de nível mais elevado que você concluiu?	escolaridade
	QE1	Identificar, coletar e analisar dados e informações relacionados à política pública	habilidade
	QB2	Há quanto tempo você trabalha nesta política pública?	experiencia_pp
	QD46	Na minha rotina de trabalho, eu faço pessoalmente esforços para entrar em contato com pesquisadores e acadêmicos	relac_acad_pessoal
Capacidades organizacionais	QD50	Em relação à estrutura do seu ministério/órgão, há uma unidade organizacional especializada na utilização de pesquisas e estudos científicos?	unidade_especial
	QD49	Minha organização dispõe de meios e recursos suficientes para obter informações produzidas por pesquisas e estudos científicos	recursos_org
	QD48	Minha organização oferece oportunidades para construir relacionamentos com pesquisadores de universidades e institutos de pesquisa	oportun_org_acad

Fonte: Elaboração dos autores.

A elaboração da análise empírica se deu a partir da utilização do pacote Lavaan do programa R, com estimativa de mínimos quadrados ponderados diagonalmente. As medidas de ajuste geral dos modelos testados indicam um bom ajuste para os dados. Para tal, foram utilizados o Índice de Ajuste Comparativo (IAC), a Raiz Quadrada do Erro Quadrático Médio da Aproximação (REQMA) e a Raiz Quadrada Padronizada do Resíduo Quadrático Médio (RPRQM).

O índice IAC indicou que os dados da amostra estão bem ajustados aos três modelos testados, respectivamente: 0,995, 0,990 e 0,990. Esse índice mede o ajuste relativo do modelo observado ao compará-lo com o modelo-base (o modelo com o pior ajuste), em que valores acima de 0,90 indicam ajuste adequado (Hu; Bentler, 1999). A REQMA se manteve nos limites indicados como um bom ajuste para todos os três modelos: respectivamente 0,029, 0,040 e 0,041. Tal índice avalia o quão longe um modelo hipotético está de um modelo perfeito. Um valor abaixo de 0,05 indica um ótimo ajuste do modelo (Steiger, 2007). Por sua vez, a RPRQM, que é a raiz quadrada da diferença entre os resíduos da amostra da matriz de covariância e o modelo de covariância hipotético, foi respectivamente de: 0,008, 0,009 e 0,009. Os valores desse índice variam de 0 a 1, sendo abaixo de 0,08 um indicativo de bom ajuste (Hu; Bentler, 1999). Dessa forma, os três índices (IAC, REQMA e RPRQM) indicaram um bom ajuste dos modelos.

RESULTADOS E DISCUSSÃO

As três subseções a seguir sintetizam os achados provenientes dos testes empíricos de três modelos distintos.

No que diz respeito às estimativas, vale ressaltar que os coeficientes se encontram padronizados para as variáveis latentes. Isso significa que elas seguem uma distribuição aproximadamente normal padrão (com média 0 e variância igual a 1). No que tange à significância estatística, os asteriscos ao lado das estimativas descrevem o respectivo p-valor (*p-valor < 0,05; ** p-valor < 0,01; *** p-valor < 0,001). Assim, a presença de asteriscos indica significância estatística. No início de cada subseção, foi inserida uma figura síntese do modelo testado.

Modelo 1: capacidades individuais e unidade organizacional especializada

O primeiro modelo analisou o efeito das interações entre as quatro variáveis de capacidade individual ( escolaridade, habilidade com dados, experiência na política pública e esforço pessoal para manter contato com pesquisadores ) e a primeira variável de capacidade organizacional ( existência de uma unidade organizacional especializada na utilização de pesquisas e estudos científicos dentro do respectivo órgão/ministério ) sobre a utilização de fontes informacionais científicas. A Figura 2 sintetiza essas relações por meio de um diagrama de caminhos, cujos resultados são apresentados na Tabela 1 .

Figura 2
– Representação sintética do Modelo 1

Tabela 1
– Resultados do Modelo 1 de equações estruturais

		Tipo de fonte informacional utilizada
		Científica 1
		Estimativa	Erro padrão
Capacidades individuais	Escolaridade	0,29***	0,06
	Habilidade com dados	0,12*	0,05
	Experiência na política pública	-0,05	0,06
	Esforço pessoal para contato com pesquisadores	0,61***	0,06
Capacidade organizacional	Existência de unidade especializada na utilização de pesquisas	-0,42	0,22
Interações entre capacidades individuais e capacidade organizacional	Escolaridade + Unidade especializada	0,11	0,17
	Habilidade com dados + Unidade especializada	0,37**	0,13
	Experiência na PP + Unidade especializada	-0,07	0,16
	Esforço pessoal + Unidade especializada	0,12	0,11
Notas: * p-valor < 0,05; ** p-valor < 0,01; *** p-valor < 0,001 1 Variável latente

Fonte: elaboração dos autores.

Como é possível observar, a interação entre a variável de capacidade organizacional existência de unidade especializada e a variável de capacidade individual habilidade para identificar, coletar e analisar dados e informações relacionados à política pública apresentou relação positiva e estatisticamente significativa com o uso de fontes informacionais científicas (+0,37). Assim, pode-se afirmar que a presença de uma unidade especializada em pesquisas e estudos dentro do órgão, quando combinada à habilidade técnica individual dos servidores, intensifica a frequência de utilização de fontes científicas.

Retomando a perspectiva da oferta e demanda descrita por Manwaring (2018), esse resultado demonstra que a oferta de evidências científicas por uma unidade especializada precisa ter como contrapartida servidores tecnicamente capacitados.

Esse achado dialoga diretamente com trabalhos internacionais que apontam para a importância da capacidade técnica individual dos servidores enquanto condição para a mobilização de evidências em políticas públicas (Howlett, 2009; Husain; Bloom; XIAO, 2021; Ouimet et al., 2009; Pattyn; Brans, 2015). Ele também corrobora os desafios relatados no caso do Escritório de Evidências do governo estadual de São Paulo (Segatto et al., 2022).

Cabe ainda destacar que a relação estimada da variável habilidade para identificar, coletar e analisar dados com a variável latente utilização de fontes científicas é o resultado da soma dos coeficientes da variável isolada (+0,12) e da interação (+0,37), a saber, +0,49. Nesse sentido, pode-se especular que a existência de uma unidade especializada no órgão amplifica a tendência de correlação positiva entre a habilidade técnica do servidor e a utilização de fontes científicas no trabalho.

Desse modo, assim como no caso das burocracias belgas analisadas por Pattyn e Brans (2015), a presença de unidades especializadas em órgãos federais brasileiros parece determinar não a ocorrência da utilização de evidências científicas, mas possivelmente a qualidade e a intensidade desse uso por parte de um grupo de burocratas que já detém a habilidade técnica necessária para tal.

Sendo assim, a criação ou expansão de unidades especializadas nos órgãos públicos precisa ser acompanhada de capacitações nas áreas de pesquisa e tratamento de dados para os servidores.

As demais interações não apresentaram significância estatística.

Quando consideradas isoladamente, as variáveis de capacidade individual escolaridade (+0,29) e esforço pessoal para entrar em contato com pesquisadores (+0,61) também apresentaram relações positivas e estatisticamente significativas com a utilização de fontes científicas.

A importância da variável escolaridade já foi amplamente estudada pela literatura internacional (Ouimet et al., 2009; Newman; Cherney; Head, 2017) e vai ser melhor discutida nos achados dos próximos modelos.

Com relação à variável esforço pessoal para entrar em contato com pesquisadores , vale destacar que ela apresentou relação positiva e estatisticamente significativa com o uso de fontes científicas em todos os três modelos, sempre de forma isolada. A importância dessa variável será discutida na conclusão da seção.

Modelo 2: capacidades individuais e recursos organizacionais

O segundo modelo de equações estruturais analisou o efeito, sobre a variável latente ( uso de fontes científicas ), das interações entre as quatro variáveis de capacidade individual e a variável de capacidade organizacional relativa à disponibilidade de meios e recursos suficientes para obter informações produzidas por pesquisas e estudos científicos. O Modelo 2 está representado a seguir por meio de um diagrama de caminhos na Figura 3 , seguida dos resultados na Tabela 2 .

Figura 3
– Representação sintética do Modelo 2

Tabela 2
– Resultados do Modelo 2 de equações estruturais

		Tipo de informação
		Científica 1
		Estimativa	Erro padrão
Capacidades Individuais	Escolaridade	-0,09	0,12
	Habilidade com dados	0,18	0,11
	Experiência na política pública	-0,06	0,10
	Esforço pessoal para contato com pesquisadores	0,77***	0,12
Capacidade Organizacional	Organização dispõe de recursos suficientes para obter informações científicas	-0,47**	0,18
Interações entre capacidades individuais e capacidade organizacional	Escolaridade + Recursos organizacionais	0,81***	0,23
	Habilidade com dados + Recursos organizacionais	0,08	0,17
	Experiência na PP + Recursos organizacionais	-0,01	0,16
	Esforço pessoal + Recursos organizacionais	-0,12	0,17
Notas: * p-valor < 0,05; ** p-valor < 0,01; *** p-valor < 0,001 1 Variável latente

Fonte: elaboração dos autores.

Nota-se que a interação entre a variável de capacidade organizacional disponibilidade de recursos suficientes para obter informações científicas e a variável de capacidade individual escolaridade apresentou coeficiente positivo bastante elevado (+0,81) e estatisticamente significativo para o uso de fontes científicas. Desse modo, pode-se afirmar que a disponibilização pelo órgão de recursos para a obtenção de evidências científicas, quando combinada à escolaridade do servidor, favorece substancialmente a utilização de evidências científicas. As relações entre a escolaridade dos servidores e o emprego de informações científicas no trabalho com políticas públicas já foram amplamente discutidas em estudos internacionais e nacionais anteriores (Ouimet et al., 2009; Koga et al., 2020; Newman; Patmisari; Widianingsih, 2022). Contudo, o resultado encontrado reforça a perspectiva defendida ao longo do artigo sobre a necessidade de se considerar a combinação entre variáveis individuais e organizacionais na formação da capacidade analítica de políticas.

No modelo testado, as duas variáveis isoladas não favorecem o uso de fontes científicas. Inclusive, quando isolada, a variável de capacidade organizacional disponibilidade de recursos apresentou coeficiente negativo (-0,47) e estatisticamente significativo. Não obstante, a interação entre a variável individual escolaridade e a variável organizacional disponibilidade de recursos revelou-se muito positiva para o uso de fontes científicas. É possível especular que servidores com maior escolaridade apresentam uma atitude de valorização e predisposição para o emprego de informações científicas no trabalho, como proposto por Ouimet e demais autores (2006, 2009). Essa atitude individual, por sua vez, precisa ter como contrapartida um contexto organizacional favorável à sua plena realização, um ambiente no qual os meios e recursos necessários para tal encontram-se disponíveis. Esse achado converge, mais uma vez, para a perspectiva da oferta e demanda de Manwaring (2018): servidores com maior escolaridade criam uma demanda maior por evidências científicas e, dentro de um cenário de ajuste ideal, o órgão oferta os meios e recursos essenciais à satisfação dessa demanda.

No que diz respeito às demais interações, nenhuma delas apresentou significância estatística.

Sobre as variáveis consideradas isoladamente, mais uma vez a variável de capacidade individual esforço pessoal para entrar em contato com pesquisadores apresentou coeficiente positivo elevado (+0,77) e significativo. Por outro lado, como mencionado, a variável de capacidade organizacional disponibilidade de recursos para obter informações científicas apresentou coeficiente negativo (-0,47) e significativo.

Modelo 3: capacidades individuais e oportunidades organizacionais de relacionamento com a academia

O terceiro modelo analisou os efeitos da interação entre as variáveis de capacidade individual e a variável de capacidade organizacional oportunidades para construir relacionamentos com pesquisadores de universidades e institutos de pesquisa . Conforme realizado para os modelos anteriores, a representação sintética do Modelo 3 por meio de diagrama de caminhos é apresentada na Figura 4 , ao passo que os resultados estão dispostos na Tabela 3 .

Figura 4
– Representação sintética do Modelo 3

Tabela 3
– Resultados do Modelo 3 de equações estruturais

		Tipo de informação
		Científica 1
		Estimativa	Erro padrão
Capacidades individuais	Escolaridade	0,06	0,11
	Habilidade com dados	0,13	0,10
	Experiência na política pública	-0,15	0,09
	Esforço pessoal para contato com pesquisadores	0,82***	0,12
Capacidade organizacional	Organização oferece oportunidades para construir relacionamentos com pesquisadores	-0,38	0,20
Interações entre capacidades individuais e capacidade organizacional	Escolaridade + Oportunidades organizacionais	0,57*	0,26
	Habilidade com dados + Oportunidades organizacionais	0,19	0,17
	Experiência na PP + Oportunidades organizacionais	0,16	0,17
	Esforço pessoal + Oportunidades organizacionais	-0,33	0,19
Notas: * p-valor < 0,05; ** p-valor < 0,01; *** p-valor < 0,001 1 Variável latente

Fonte: elaboração dos autores.

Os resultados demonstram a presença de um coeficiente elevado de caminho positivo (+0,57) e estatisticamente significativo da interação entre a variável de capacidade organizacional oportunidades para construir relacionamentos com pesquisadores e a variável de capacidade individual escolaridade para a utilização de fontes informacionais científicas.

De modo semelhante ao modelo anterior, esse resultado também demonstra a importância do arranjo entre capacidades individuais e um contexto organizacional favorável. Nesse caso, pode-se teorizar que a atitude de valorização de evidências científicas por parte dos servidores com maior escolaridade (Ouimet et al., 2009), ao ser impulsionada e provida por meio de oportunidades institucionais de relacionamento com pesquisadores - ou seja, canais de contato direto com conhecimentos e produções científicas -, converte-se numa maior utilização delas. Esse achado não só ratifica a importância da criação de conexões institucionais entre burocracia e comunidade científica, amplamente recomendada pela literatura internacional através dos estudos sobre knowledge brokering (Newman; Cherney; Head, 2017), como reforça a perspectiva de que esse tipo de empreitada não pode estar dissociado da formação e capacitação do quadro de servidores.

Essa perspectiva remete à ideia de uma “infraestrutura organizacional” (Ouimet et al., 2009) na qual estão presentes recursos humanos capacitados e uma coordenação organizacional capaz de gerir fluxos e oportunidades institucionais.

Ainda no âmbito do debate sobre knowledge brokering , vale destacar que a variável de capacidade individual esforço pessoal para entrar em contato com pesquisadores apresentou relação positiva e significativa com a utilização de fontes científicas em todos os três modelos, sempre com coeficiente bastante elevado (+0,61; +0,77; +0,82). Esses números corroboram mais uma vez o diagnóstico de que as interações sociais, com destaque para as interações entre burocratas e pesquisadores, são elos fundamentais das cadeias de transmissão e absorção de evidências científicas (Koga et al ., 2022c). Ambos os achados demonstram que tanto as conexões institucionais (como fator de capacidade organizacional) quanto as interações sociais de cunho pessoal (como fator de capacidade individual) são relevantes para o debate aqui em vista.

No que diz respeito às demais interações, nenhuma delas apresentou significância estatística.

Em síntese, os três modelos mobilizados foram construídos a partir das definições presentes na literatura sobre o uso de evidências em políticas públicas e ao longo do processo decisório (Howlett, 2009; Husain; Bloom; Xiao, 2021; Ouimet et al., 2009; Pattyn; Brans, 2015). Os resultados apontam que, a depender da forma como as capacidades analíticas organizacionais são definidas conceitual e operacionalmente, sua influência no trabalho da política pública é observada de forma distinta.

Assim, quando se observa a capacidade analítica organizacional como uma unidade especializada , a interação com a capacidade analítica individual de identificar, coletar e analisar dados e informações relacionados à política pública mostra-se muito relevante. Nenhuma outra interação foi estatisticamente significativa.

Por outro lado, quando se observa a capacidade analítica organizacional como um recurso ou disponibilidade organizacional , a interação com o nível de educação formal dos indivíduos mostrou-se importante para apontar maior mobilização de evidências científicas. Novamente, nenhuma outra interação mapeada mostrou-se estatisticamente significativa.

Finalmente, quando se observa a capacidade analítica organizacional como uma oportunidade organizacional de relacionamento , a interação com o nível de educação formal também se mostrou importante. Nenhuma outra interação foi estatisticamente significativa.

CONSIDERAÇÕES FINAIS

A ênfase para a compreensão e ampliação do uso de evidências científicas nas políticas públicas se dá por um conjunto de razões. Talvez a mais destacada das razões no debate público seja a promessa de aperfeiçoamento da ação pública de governos, tornando-os mais eficientes e efetivos na execução de políticas públicas. Esse caráter instrumental justifica-se muitas vezes pela necessidade de se racionalizar a utilização de recursos públicos, sempre escassos em vista dos problemas sociais, ou ainda pela necessidade de se ampliar a legitimidade dos governos por meio de serviços públicos mais eficazes.

Uma outra frente de argumentos diz respeito à própria natureza contingente e complexa dos problemas públicos que aponta para a necessidade de se mobilizar o conhecimento científico. O apelo à ciência e aos experts nas políticas públicas está atrelado à emergência de desafios monumentais, que demandam coordenação governamental em escala global, que surgem de forma abrupta, como a pandemia de covid-19, ou estão sob alerta há algumas décadas, como os relacionados às mudanças climáticas.

Na esteira desse debate mais amplo torna-se central a questão de como os governos podem se preparar para construir respostas mais precisas, ágeis e legítimas para o enfrentamento de tamanhos desafios. É neste sentido que este artigo chama a atenção para a temática dos efeitos e dinâmicas das capacidades analíticas do Estado – o conjunto de recursos e condições de funcionamento estatal para coleta, agregação, gestão e análise de informações e conhecimento para a produção de políticas públicas –, buscando compreender como fatores individuais e organizacionais dessas capacidades estão associados ao uso de evidências científicas. Para tanto, foram mobilizados dados de uma pesquisa survey online com servidores públicos federais da administração direta federal brasileira em 2019.

Os resultados vão ao encontro de outros estudos nacionais e internacionais que indicam que, isoladamente, capacidades analíticas individuais dos burocratas (tais como escolaridade, habilidades com dados e esforço em buscar conexões com pesquisadores e acadêmicos) podem ter efeitos positivos no uso de evidências científicas.

Contudo, os resultados vão além ao indicarem que este uso pode ser potencializado, em três circunstâncias específicas de interação entre aspectos das capacidades individuais e capacidades organizacionais. A primeira diz respeito à situação em que os burocratas possuem habilidades com dados e há unidades organizacionais para lidar com evidências científicas. A segunda trata da interação entre a educação formal dos indivíduos e a existência de estratégias organizacionais de mobilização e disponibilização de recursos para incentivar o uso de evidências científicas. E, por fim, a terceira seria entre a educação formal dos indivíduos e a presença de incentivo organizacional para a construção de relacionamentos com a academia. Todas essas circunstâncias demonstraram-se potencializadoras da maior mobilização de evidências científicas na produção das políticas.

Portanto, aos governos que busquem incentivar o maior uso de evidências científicas para subsidiar suas políticas públicas, estes seriam caminhos de desenvolvimento de capacidades a serem indicados.

Limitações e agenda futura de pesquisa

Apontamos ao menos três limitações da pesquisa realizada. A primeira diz respeito à utilização do método de surveys online autoaplicados para produzir explicações sobre fenômenos sociais de interesse. Apesar de vantagens como a não interação entre pesquisadores e pesquisados, o que aumenta a privacidade dos respondentes, muitas vezes o fenômeno da autosseleção cria vieses na análise, ao mesmo tempo sub-representando e sobrerrepresentando públicos-alvo da pesquisa. A segunda refere-se ao próprio questionário, em particular quanto aos itens e à escala utilizados. Em que pese sua mobilização em pesquisas anteriores e a observação de resultados similares (Veselý et al., 2018; Koga et al., 2020; Palotti et al., 2021), há sempre o desafio de produzir mensurações confiáveis e válidas ao contexto de pesquisa em que são utilizados. Por fim, a terceira limitação remete à ausência de significância estatística para muitas interações pesquisadas. Isso não significa necessariamente evidência de que essas interações não tenham importância. Fatores como o tamanho amostral em subcategorias podem indicar micronumerosidade, o que explicaria a obtenção desses resultados.

Pesquisas futuras devem levar em consideração as razões para que outras formas de interação entre capacidades analíticas individuais e organizacionais testadas na presente pesquisa não tenham se mostrado relevantes. O teste de novos itens em perguntas do survey , bem como a utilização de tipos alternativos de escala, é alternativa para propiciar maior confiabilidade e validade no penoso esforço de mensuração do uso de evidências em políticas públicas. É desejável, inclusive, a mobilização de outras técnicas de pesquisa distintas do survey , como a realização de entrevistas em profundidade com atores-chaves da burocracia e entre os pesquisadores que produzem evidências científicas. Além disso, é fundamental procurar compreender os mecanismos causais que explicam os achados identificados, inclusive a partir da mobilização de evidências acerca de distintos contextos de produção de políticas públicas (como os de países não anglo-saxões) e de diferentes estilos de produção de políticas públicas (que envolvam diferentes instrumentos e setores de políticas públicas). Variáveis intervenientes como carreira e tipo de trabalho na política pública devem ser também considerados como potenciais fatores explicativos.

REFERÊNCIAS

• AMARA, N.; OUIMET, M.; LANDRY, R. New evidence on instrumental, conceptual, andsymbolic utilization of university research in government agencies. Science Communication, v. 26, n. 1, p. 75-106, 2004.
• ANGEL, Hsu. Measuring policy analytical capacity for the environment: a case for engaging new actors. Policy and Society, [s. l.], v. 34, n. 3-4, p. 197-208, 2015. Disponível em: https://doi.org/10.1016/j.polsoc.2015.09.003 Acesso em: 09 out. 2023.
  » https://doi.org/10.1016/j.polsoc.2015.09.003
• CAPPELLARI, G. et al. Absorptive capacity: components and organizational mechanisms for its development. RAM - Revista de Administração Mackenzie, [s. l.], v. 20, n. 6, 2019. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1678-69712019000600601&tlng=en Acesso em: 09 out. 2023.
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1678-69712019000600601&tlng=en
• CHERNEY, A. et al. Use of academic social research by public officials: exploring preferencesand constraints that impact on research use. Evidence & Policy: a journal of research, debateand practice, v. 11, n. 2, p. 169-188, 2015.
• HAIR, J. F. Multivariate data analysis. 7 ed., 2009. Upper Saddle River, NJ: Pearson Education, Inc.
• HOWLETT, Michael. Policy analytical capacity and evidence-based policy-making: lessons from Canada. Canadian Public Administration, [s. l.], v. 52, n. 2, p. 153-175, 2009. Disponível em: https://doi.org/10.1111/j.1754-7121.2009.00070_1.x Acesso em: 09 out. 2023.
  » https://doi.org/10.1111/j.1754-7121.2009.00070_1.x
• HSU, Angel. Measuring policy analytical capacity for the environment: a case for engaging new actors. Policy and Society, [s. l.], v. 34, n. 3-4, p. 197-208, 2015. Disponível em: https://doi.org/10.1016/j.polsoc.2015.09.003 Acesso em: 09 out. 2023.
  » https://doi.org/10.1016/j.polsoc.2015.09.003
• HU, Li-tze; BENTLER, Peter. Cutoff criteria for fit indexes in covariance structure analysis: conventional criteria versus new alternatives. Structural Equation Modeling, 6(1), 1-55, 1999. Disponível em: https://doi.org/10.1080/10705519909540118 Acesso em: 09 out. 2023.
  » https://doi.org/10.1080/10705519909540118
• HUSAIN, Lewis; BLOOM, Gerald; XIAO, Yue. Building policy capacity for managing rapid, complex change in China’s health system. Policy and Society, [s. l.], 2021. Disponível em: https://doi.org/10.1080/14494035.2021.1933336 Acesso em: 09 out. 2023.
  » https://doi.org/10.1080/14494035.2021.1933336
• JANNUZZI, Paulo. Estatísticas públicas e o combate à fome e à pobreza: afinidades eletivas que fizeram diferença nos resultados da ação governamental. In: KOGA, N. M. (org.) et al. Políticas públicas e usos de evidências no Brasil: conceitos, métodos, contextos e práticas. 1 ed. Brasília: Instituto de Pesquisa Econômica Aplicada (Ipea), 2022. v. 1, p. 495-520.
• KOGA, N. M. et al. O que informa as políticas públicas: survey sobre o uso e o não uso de evidências pela burocracia federal brasileira. Brasília: Rio de Janeiro, Instituto de Pesquisa Econômica Aplicada (Ipea), 2020. (Texto para Discussão, n. 2.619).
• KOGA, N. M. et al. O uso de múltiplas fontes de informação nas políticas públicas: um olhar sobre a burocracia federal brasileira. Revista de Administração Pública, v. 55, p. 1165-1190, 2021.
• KOGA, N. M. (org.) et al. Políticas públicas e usos de evidências no Brasil: conceitos, métodos, contextos e práticas. 1 ed. Brasília: Instituto de Pesquisa Econômica Aplicada (Ipea), 2022a. v. 1. 897p.
• KOGA, N. M. et al. Apresentação. In: KOGA, N. M. (org.) et al. Políticas públicas e usos de evidências no Brasil: conceitos, métodos, contextos e práticas. 1 ed. Brasília: Instituto de Pesquisa Econômica Aplicada (Ipea), 2022b. v. 1. p. 33-55.
• KOGA, N. M. et al. Como os burocratas federais se informam? Uma radiografia das fontes de evidências utilizadas no trabalho das políticas públicas. In: KOGA, N. M. (org.) et al. Políticas públicas e usos de evidências no Brasil: conceitos, métodos, contextos e práticas. 1 ed. Brasília: Instituto de Pesquisa Econômica Aplicada (Ipea), 2022c. v. 1, p. 313-342.
• MANWARING, Rob. Understanding Impact in Policy Advisory Systems: the Australian Case of the “Thinker in Residence”. International Journal of Public Administration, [s. l.], v. 41, n. 11, p. 868-879, 2018. Disponível em: https://doi.org/10.1080/01900692.2017.1299177 Acesso em: 09 out. 2023.
  » https://doi.org/10.1080/01900692.2017.1299177
• MARTINS, André Ramon Silva; SANCHES, Carmen Silvia; PINHEIRO, Thelma Maria Melo. Iniciativas para a institucionalização do uso de evidências no processo regulatório da Aneel – um estudo de caso de agência reguladora. In: KOGA, N. M. et al. (org.). Políticas Públicas e uso de evidências no Brasil: conceitos, métodos, contextos e práticas. Brasília: Instituto de Pesquisa Econômica Aplicada (Ipea), 2022. p. 580-902.
• MELLO, J. Produção estatal de evidências e uso de registros administrativos em políticas públicas. In: KOGA, N. M. (org.) et al. Políticas públicas e usos de evidências no Brasil: conceitos, métodos, contextos e práticas. 1a. ed. Brasília: Instituto de Pesquisa Econômica Aplicada (Ipea), 2022. v. 1. 897p.
• NEWMAN, Joshua; PATMISARI, Emi; WIDIANINGSIH, Ida. Policy analytical capacity and “Eastern” styles of policy analysis: evidence from West Java Province, Indonesia. Policy Sciences, [s. l.], v. 55, n. 3, p. 469-485, 2022. Disponível em: https://doi.org/10.1007/s11077-022-09470-6 Acesso em: 09 out. 2023.
  » https://doi.org/10.1007/s11077-022-09470-6
• NEWMAN, J.; CHERNEY, A.; HEAD, B. W. Policy capacity and evidence-based policy in the public service. Public Management Review, v. 19, n. 2, p. 157-174, 2017. Disponível em: https://bit.ly/3DfF4MD Acesso em: 09 out. 2023.
  » https://bit.ly/3DfF4MD
• NEWMAN, J.; CHERNEY, A.; HEAD, B. W. Do policy makers use academic research? Reexamining the “two commu- nities” theory of research utilization. Public Administration Review, v. 76, n. 1, p. 24-32, 2015.
• NEWMAN, J.; CHERNEY, A.; HEAD, B. W. Policy capacity and evidence-based policy in the public service. Public Management Review, v. 19, n. 2, p. 157-174, 2017.
• NILSSON, M. et al. The use and non-use of policy appraisal tools in public policy making: an analysis of three European countries and the European Union. Policy Sciences, [s. l.], v. 41, n. 4, p. 335-355, 2008. Disponível em: http://link.springer.com/10.1007/s11077-008-9071-1 Acesso em: 09 out. 2023.
  » http://link.springer.com/10.1007/s11077-008-9071-1
• OUIMET, Mathieu et al. What factors induce health care decision-makers to use clinical guidelines? Evidence from provincial health ministries, regional health authorities and hospitals in Canada. Social Science & Medicine, [s. l.], v. 62, n. 4, p. 964-976, 2006. Disponível em: https://doi.org/10.1016/j.socscimed.2005.06.040 Acesso em: 09 out. 2023.
  » https://doi.org/10.1016/j.socscimed.2005.06.040
• OUIMET, Mathieu et al. The absorption of research knowledge by public civil servants. Evidence & Policy, [s. l.], v. 5, n. 4, p. 331-350, 2009. Disponível em: https://doi.org/10.1332/174426409X478734 Acesso em: 09 out. 2023.
  » https://doi.org/10.1332/174426409X478734
• PALOTTI, Pedro et al. A produção de políticas públicas mais bem informadas no executivo federal e o PDRAE: um olhar sobre estruturas organizacionais e suas competências. In: CAVALCANTE, P. L. C.; SILVA, M. S. (org.). Reformas do Estado no Brasil: trajetórias, inovações e desafios. 1 ed. Brasília; Rio de Janeiro: Cepal; Instituto de Pesquisa Econômica Aplicada (Ipea), 2020, v. 1, p. 337-364.
• PALOTTI, Pedro et al. Uso de evidências pela burocracia dirigente do nível federal. Texto para Discussão (Ipea), v. 2.750, p. 1-101, 2022.
• PATTYN, Valérie; BRANS, Marleen. Organisational analytical capacity: policy evaluation in Belgium. Policy and Society, [s. l.], v. 34, n. 3-4, p. 183-196, 2015. Disponível em: https://doi.org/10.1016/j.polsoc.2015.09.009 Acesso em: 09 out. 2023.
  » https://doi.org/10.1016/j.polsoc.2015.09.009
• PINHEIRO, Maurício Mota Saboya. Políticas públicas baseadas em evidências (PPBEs): delimitando o problema conceitual. Rio de Janeiro: Instituto de Pesquisa Econômica Aplicada (Ipea), 2020. (Texto para Discussão, n. 2554).
• PINHEIRO, Maurício Mota Saboya. Políticas públicas baseadas em evidências: um modelo moderado de análise conceitual e avaliação crítica. In: KOGA, N. M. (org.) et al. Políticas públicas e usos de evidências no Brasil: conceitos, métodos, contextos e práticas. 1 ed. Brasília: Instituto de Pesquisa Econômica Aplicada (Ipea), 2022. v. 1. p. 59-84.RIDDELL, Norman. Policy research capacity in the federal government. Ottawa: Policy Research Initiative, 2007.
• SAAB, Flavio; SILVA, Suylan de Almeida Midlej e. Qual a qualidade da análise de impacto regulatório elaborada por agências reguladoras do Brasil? Revista de Administração Pública, [s. l.], v. 56, n. 4, p. 529-549, 2022. Disponível em: https://doi.org/10.1590/0034-761220220111 Acesso em: 10 out. 2023.
  » https://doi.org/10.1590/0034-761220220111
• SEGATTO, Catarina Ianni et al. E o nível subnacional? Os (não) usos das políticas informadas por evidências na política educacional estadual brasileira. In: Koga, N. M. (org.) et al. Políticas públicas e usos de evidências no Brasil: conceitos, métodos, contextos e práticas. 1 ed. Brasília: Instituto de Pesquisa Econômica Aplicada (Ipea), 2022. v. 1. p. 805-828.
• STEIGER, James. Understanding the limitations of global fit assessment in structural equation modeling. Personality and Individual Differences, v. 42, 5 ed. p. 893-898, 2007. Disponível em: https://doi.org/10.1016/j.paid.2006.09.017 Acesso em: 10 out. 2023.
  » https://doi.org/10.1016/j.paid.2006.09.017
• TABACHNICK, B. G.; FIDELL, L. S. (2013). Using multivariate statistics 6 ed. Boston, MA: Pearson Education, Inc.
• VESELÝ, A.; OCHRANA, F.; NEKOLA, M. When evidence is not taken for granted: the useand perception of “evidence” in the czech republic ministries. NISPAcee Journal of Public Administration and Policy, v. 11, n. 2, p. 219-234, 2018.

• 1
  O método consiste em subdividir a população em estratos e na seleção de uma amostra aleatória simples de cada estrato. Os estratos corresponderam aos 24 órgãos da administração direta presentes na base do Sistema Integrado de Administração de Pessoal (Siape) no período da extração de março de 2017.
• 2
  A íntegra do questionário pode ser encontrada em Koga et al. (2020).
• 3
  As respostas às questões QD7 e QD8 obedecem à escala de Likert, variando de 1 (“Nunca utilizo no meu trabalho”) a 5 (“Sempre utilizo no meu trabalho”).
• 4
  As estatísticas descritivas de todas as questões utilizadas na MEE estão no Apêndice A.

Datas de Publicação

• Publicação nesta coleção
  15 Dez 2023
• Data do Fascículo
  2023

Histórico

• Recebido
  19 Mar 2023
• Aceito
  21 Set 2023