A estrada dos tijolos amarelos: Desafios e sugestões para produzir pesquisas qualitativas mais transparentes ¹

The yellow brick road: challenges and suggestions for producing more transparent qualitative research

El camino de las baldosas amarillas: retos y sugerencias para producir una investigación cualitativa más transparente

Resumo:

Por que e como produzir trabalhos qualitativos mais transparentes? Um sólido conjunto de trabalhos sobre pesquisa empírica sugere que pesquisadoras disponibilizem informações sobre procedimentos e decisões tomadas durante a sua construção. Nosso levantamento bibliográfico de 5.934 artigos, entre 1984 e 2020 no Brasil, identifica, através de análise automatizada de texto, uma prevalência dos estudos com abordagem qualitativa na Ciência Política e Relações Internacionais (CPRI) brasileiras, porém uma discreta discussão sobre transparência e ciência aberta na área. A fim de contribuir nesse debate, discutimos as dificuldades de implementar práticas de transparência nos estudos qualitativos e sugerimos um caminho comum para a criação de pesquisas qualitativas mais transparentes. Nosso objetivo foi mostrar para as pesquisadoras como colocar a transparência como um aspecto fundamental na pesquisa e onde buscar apoio para entender de que forma fazer uma pesquisa transparente de qualidade.

Palavras-chave:
transparência; métodos qualitativos; pesquisa qualitativa empírica; manual; ciência aberta

Abstract:

Why should and how can qualitative research papers become more transparent? A solid body of empirical research work suggests that researchers should provide information on procedures and decisions made during the research process. We conducted a bibliographic review of 5,934 Brazilian articles published between 1984 and 2020, using automated text analysis. We identify a prevalence of qualitative studies in Brazilian Political Science and International Relations journals, but a little discussion on transparency and open science in the field. To contribute to this debate, we discuss the difficulties in implementing transparency practices in qualitative studies and suggest a common path for creating more transparent qualitative research. We aim to show researchers how to make transparency a fundamental aspect of research and where to look for support in understanding how to conduct high-quality, transparent research.

Keywords:
transparency; qualitative methods; empirical qualitative research; manual

Resumen:

¿Por qué y cómo producir trabajos cualitativos más transparentes? Un sólido cuerpo de trabajos sobre investigación empírica sugiere que los investigadores pongan a disposición información sobre los procedimientos y las decisiones tomadas durante su construcción. Nuestro relevamiento bibliográfico de 5.934 artículos, entre 1984 y 2020 en Brasil, identifica, a través del análisis automatizado de textos, una prevalencia de estudios con abordaje cualitativo en Ciencia Política y Relaciones Internacionales (CPRI) brasileña, pero una discreta discusión sobre transparencia y ciencia abierta en el área. Para contribuir a este debate, discutimos las dificultades de implementar prácticas de transparencia en estudios cualitativos y sugerimos un camino común para crear una investigación cualitativa más transparente. Nuestro objetivo era mostrar a los investigadores cómo hacer de la transparencia un aspecto fundamental de su investigación y dónde buscar apoyo para comprender cómo llevar a cabo una investigación transparente de calidad.

Palabras clave:
transparencia; métodos cualitativos; investigación cualitativa empírica; manual; ciencia abierta

Introdução

A confiança nas Ciências vem sofrendo diversos ataques nas últimas décadas (Funk; Keeter, 2018; Lee et al., 2023). Somado ao processo de descrença, eventos - embora minoritários, como a descoberta de fraudes e a retratação de artigos científicos de alto impacto - colocaram em xeque a credibilidade da pesquisa científica perante a opinião pública. Nessa situação, um dever da comunidade científica se tornou ainda mais urgente: garantir que os achados científicos delimitados condigam com a realidade; assegurar que eles sejam produzidos mediante a mobilização de métodos rigorosos e que a pesquisadora⁵ aja de boa-fé durante o processo de pesquisa.

Embora essa discussão tenha ocorrido de forma razoavelmente enfática no que se refere aos métodos quantitativos das Ciências Sociais (Alvarez; Heuberger, 2022; Figueiredo et al., 2019; Freese; Rauf; Voelkel, 2022; Miguel et al., 2014), ela ainda acontece de forma acanhada em relação às pesquisas qualitativas (Dialogue on DA-RT, 2017; Kapiszewski; Karcher, 2021; Rinke; Wuttke, 2021), cujas autoras ainda pouco abordam as escolhas metodológicas, a geração e a interpretação de dados (Elman; Kapiszewski, 2014). As diferenças entre as tradições de pesquisa empírica qualitativa e quantitativa na Ciência Política são muitas - vão desde a abordagem utilizada para chegar à explicação até os conceitos e os tipos de mensuração utilizados na pesquisa (Goertz; Mahoney, 2012). Apesar disso, a verdade é uma só: ambas as tradições estão preocupadas com a geração de inferências científicas válidas. Portanto, é possível analisar ambas a partir dos critérios de uma boa pesquisa empírica: inferência como objetivo final, métodos como principal conteúdo, procedimentos públicos e conclusões incertas (King; Keohane; Verba, 1994).

Nesse sentido, trabalhos da tradição quantitativa e qualitativa devem ser capazes de disponibilizar informações suficientes para que a leitora julgue a qualidade dos resultados apresentados. No entanto, é preciso considerar que suas dissemelhanças acabam por dificultar a construção de uma comparação justa entre essas tradições. A natureza dos dados qualitativos é diferente daquela utilizada por pesquisas quantitativas e, por muitas vezes, são mais sensíveis. Existem dilemas éticos relacionados ao processo de geração de dados qualitativos que tornam a disponibilização de informação um pouco mais trabalhosa. É possível que a premissa de garantia de transparência seja mais fácil de ser executada com a utilização de abordagem quantitativa e softwares estatísticos do que em dados qualitativos (Büthe; Jacobs, 2015). A forma de garantir transparência, assim como os desafios e dificuldades, variam de acordo com a tradição de pesquisa (Kapiszewski; Karcher, 2021). Logo, desconsiderar aspectos sobre a natureza e o processo de obtenção desses dados pode levar a um julgamento pobre quanto à adoção de princípios e práticas de transparência e replicabilidade.⁶

Somado a isso, o desenvolvimento de manuais (Christensen; Freese; Miguel, 2019; De La Guardia; Sturdy, 2019; King, 1995), protocolos para publicação de informações e disponibilização de dados (Ball; Medeiros, 2012) e, até mesmo, as indicações para aplicação do padrão de replicação⁷ (Golden, 1995; King, 1995, 2015) acabam sendo mais voltados para pesquisas com abordagem quantitativa (Moravcsik, 2014). Importantes discussões foram desenvolvidas a respeito do desenvolvimento de uma pesquisa qualitativa transparente (Corti, 2000, 2005; Golden, 1995), mas ainda se faz necessária uma maior sistematização de práticas de transparência a serem adotadas neste campo - principalmente em se tratando de levar em consideração a natureza e a eventual sensibilidade dos dados qualitativos. Assim, surge o questionamento: por que e como produzir trabalhos qualitativos transparentes?

Para tentar responder a essas perguntas, apresentamos as razões pelas quais a adoção de práticas de transparência e replicabilidade são essenciais para a pesquisa qualitativa social; realizamos um levantamento bibliográfico de 5.934 artigos entre 1984 e 2020, em que identificamos, através de análise automatizada de texto, uma prevalência dos estudos com abordagem qualitativa na Ciência Política e Relações Internacionais (CPRI) brasileiras e constatamos uma ausência da discussão sobre transparência e ciência aberta com foco nesse tipo de abordagem. Discutimos os desafios da criação de um fluxo de trabalhos qualitativos mais transparentes e apresentamos um conjunto de sugestões para sua construção. Assim como a estrada de tijolos amarelos leva Dorothy para o mundo maravilhoso da cidade esmeralda, a adoção de práticas de transparência e replicabilidade nos mostra o caminho para uma produção científica aberta e para que se siga o critério de ceticismo organizado (Merton, 1942). No entanto, da mesma forma que a estrada não se materializa abruptamente, alcançar um fluxo de trabalho transparente é uma trajetória contínua - cheia de etapas e aprimoramentos graduais. Com esse artigo, buscamos ajudar a leitora a caminhar por essa estrada

O restante deste trabalho está dividido como segue. Na próxima seção, realizamos o levantamento bibliográfico e discutimos os motivos pelos quais devemos produzir trabalhos qualitativos de forma transparente. Em seguida, discutimos os desafios inerentes à transparência em pesquisas qualitativas. Por fim, desenvolvemos um conjunto de recomendações para a construção de trabalhos qualitativos transparentes, com o objetivo de facilitar a adoção por parte das pesquisadoras interessadas. Finalmente, apresentamos as principais conclusões do trabalho.

Por que produzir trabalhos qualitativos transparentes?

Só é possível compreender uma pesquisa empírica de forma completa quando se tem conhecimento detalhado sobre a geração dos dados e a produção de seus resultados (King, 1995). A produção de pesquisa transparente possibilita ganhos a nível individual e coletivo, ao disponibilizar fundamentos epistemológicos e procedimentos metodológicos em que se baseiam os achados empíricos da pesquisa. A nível individual, a pesquisadora garante ganhos reputacionais e de impacto ao seu trabalho (Figueiredo et al., 2019). Por outro lado, a nível coletivo, garante a credibilidade dos achados da disciplina, ao assegurar a idoneidade da execução das investigações, além de permitir uma maior dinamização da produção acadêmica (Figueiredo et al., 2019). Em vista disso, procedimentos públicos e dados disponíveis são a forma de permitir que as leitoras tenham acesso a esse nível de informação. É nesse sentido que a defesa de uma ciência aberta ganhou espaço na discussão da academia e vem permeando o debate na Ciência Política há, pelo menos, três décadas (Kapiszewski; Karcher, 2021).

A noção de que a ciência deveria ser aberta e transparente é frequentemente apoiada por muitos (Elman; Kapiszewski, 2014; Janz; Freese, 2021; Merton, 1942). Não é difícil imaginar que obteríamos respostas positivas caso perguntássemos a pesquisadoras que conhecemos sobre suas opiniões na implementação de práticas para uma ciência mais aberta. Muito provavelmente, todas iriam concordar - uma vez que existem benefícios reputacionais na produção de pesquisa transparente (Figueiredo et al., 2019). Apesar disso, evidências empíricas demonstram que existe uma disparidade entre o desejável e a realidade (Anderson; Martinson; De Vries, 2007): a maioria dos artigos publicados em revistas de grande impacto das ciências sociais não apresentam materiais de replicação (Key, 2016; Lucas et al., 2013), parte fundamental para compreender as escolhas da pesquisadora.⁸

Mas, afinal, o que é fazer uma pesquisa transparente? Aqui, seguimos Figueiredo et al. (2019) e consideramos que transparência é a divulgação completa do desenho de pesquisa, incluindo métodos de coleta e análise dos dados, além do tipo de dados disponibilizados que devem estar preferencialmente em formato aberto (xml, csv, json) e legíveis por máquina. De forma prática, estamos falando em divulgação de decisões sobre cálculos e coleta de amostras, roteiros de entrevistas estruturadas, semiestruturadas e não estruturadas, dados brutos e transformados que foram utilizados nas análises. Ademais, também é possível e recomendável a divulgação de notas de campo e notas baseadas em pesquisas de arquivos, desde que sejam executados os procedimentos necessários para a anonimização, garantindo a confidencialidade de indivíduos envolvidos no cenário analisado (Golden, 1995).⁹

A questão chave, aqui, é uma só: a leitora precisa ter acesso às escolhas realizadas pela pesquisadora (sejam elas em termos de desenho ou métodos) a fim de possuir todas as ferramentas necessárias para julgar os resultados apresentados pela pesquisa. Todavia, é importante considerar que a coleta de dados nas duas abordagens tem objetivos e propósitos distintos. Os estudos quantitativos trabalham com mensuração, contagem, construção de escalas e índices. A pesquisa qualitativa, por sua vez, é guiada pela produção de protocolos sobre os eventos e fenômenos e, por isso, vale-se de pequenos casos numéricos para um estudo mais aprofundado sobre questões específicas. Em um estudo qualitativo sobre gênero e representação política, por exemplo, uma etnografia ou análise do discurso realizada numa Câmara Municipal poderá captar elementos sensíveis à mensuração quantitativa, como o timbre da voz, expressões faciais e gestos. Apesar de tais diferenças, uma pesquisa empírica transparente não deixa de divulgar tais informações. Em uma pesquisa multimétodo, que combina técnicas quantitativas e qualitativas, o cuidado com a divulgação com informações e materiais deveria ser o mesmo (Dunning; Rosenblatt, 2016).

No entanto, é razoável esperar que esse tipo de divulgação adicione uma quantidade de trabalho considerável àquele já despendido durante a pesquisa: é necessário pensar em procedimentos de documentação, em formas de disponibilizar tais informações, escolhas sobre repositórios de dados qualitativos, e toda a preocupação com informação sensível que pode levar ao reconhecimento dos participantes. Não é de hoje que pesquisas documentam a dificuldade de criar um fluxo de trabalho de trabalho transparente (Fujii, 2016; Pachirat, 2015). Nesse sentido, é compreensível que a adoção de práticas transparentes seja menos recorrente do que o discurso em relação à sua importância e adoção, justamente por ser uma tarefa trabalhosa.

Para além disso, é possível que a adoção de tais práticas varie entre abordagens metodológicas (Moravcsik, 2014). Mas nem tudo é culpa das pesquisadoras que lideram trabalhos de abordagem x ou y. Parte do problema surge da falta de especificação e abrangência de conceitos e padrões estabelecidos para uma pesquisa transparente de excelência (Fecher; Friesike, 2014; Rinke; Wuttke, 2021). Um exemplo que podemos citar é o padrão de replicação, que tem sido considerado, há muito tempo, o padrão-ouro das pesquisas empíricas (Janz, 2016). Em 1995, Gary King postulou que tal padrão consiste, em alguns casos, na realização das mesmas análises sobre os mesmos dados para chegar aos mesmos resultados.

A replicação tem sido discutida como fator essencial para a transparência das pesquisas nas ciências sociais (King, 1995, 2015). Sua proposta central é que as pesquisadoras disponibilizem informações sobre procedimentos e decisões realizadas durante sua construção tal como: (i) qual o critério de seleção da amostra dos entrevistados, (ii) de onde as informações foram extraídas, (iii) quais os códigos gerados pelas análises ou, ainda, (iv) em qual ordem as questões foram realizadas. Em outras palavras, uma pesquisa empírica de qualidade disponibiliza tanta informação quanto for suficiente para compreender e avaliar um trabalho sem a ajuda de sua autora (King, 1995, 2015). No entanto, não é trivial considerar que sua aplicação seja adotável por pesquisas não-quantitativas. Além disso, argumentar que o padrão-ouro deva ser adotado por pesquisas de abordagem quantitativa e qualitativa acaba por desconsiderar que a natureza dos dados utilizados por cada uma delas difere e que é preciso realizar ajustes para que se tenha uma aderência sofisticada em ambas.

Dados quantitativos se diferem em diversos aspectos dos dados qualitativos: enquanto os primeiros se dedicam a um tratamento da realidade de forma mais matematizada (uma vez que os aspectos do mundo podem mensurados, convertidos em variáveis, codificados e analisados), os dados qualitativos são referentes a indivíduos ou grupos pequenos, são mais subjetivos e estão mais voltados ao conteúdo de cada uma das fontes - sejam discursos, documentos, notas de campo, entrevistas etc. O nível de complexidade dos dados qualitativos torna a aplicabilidade do padrão de replicação mais difícil (King, 1995, p. 444) e, consequentemente, os protocolos de replicação para desenhos de pesquisa qualitativos são bem mais desafiadores (Kurapati; Teperek, 2019).

Por outro lado, considerando que o aumento de transparência oferece oportunidades dos achados na Ciência Política serem mais “acessíveis, críveis e valorizados por mais pessoas” (Elman; Kapiszewski; Lupia, 2018), a transparência é tão importante para análise qualitativa quanto o é para os métodos quantitativos. Como discutido por Soares (2005), existe uma visão de que os métodos qualitativos são menos rigorosos, havendo, então, uma falta de confiança nessa abordagem. Além disso, o autor argumenta que, na ausência de um conhecimento mais robusto sobre tais métodos, muitos definem seus estudos dessa forma apenas por estarem em oposição à abordagem quantitativista, quando na realidade predomina o “não-método”. Logo, a obscuridade na atribuição e/ou utilização de técnicas qualitativas contribui para a percepção de que suas evidências são menos científicas e relevantes para o debate acadêmico. Portanto, produzir pesquisas qualitativas transparentes significa sinalizar a integridade e a rigorosidade dos seus achados (Crescentini; Mainardi, 2009).

Apesar disso, grande parte da discussão sobre transparência está voltada para dados quantitativos (Moravcsik, 2014), enquanto ainda são poucos os exemplos e guias práticos sobre os ajustes necessários e os passos para adoção de uma pesquisa qualitativa transparente (Collier; Elman, 2008; Closa, 2021; Kapiszewski; Karcher, 2021; Machado, 2021).

Pesquisas qualitativas no Brasil

Estudos de abordagem qualitativa são parte importante das pesquisas sociais no Brasil. Werneck Vianna et al. (1998) avaliaram 411 teses de doutorado defendidas nas ciências sociais brasileiras entre 1990 e 1997 e identificaram que 127 (cerca de 30%) delas utilizam métodos qualitativos.¹⁰ Nós realizamos um mapeamento de 5.934 artigos publicados em periódicos de Ciência Política e Relações Internacionais (CPRI) no período de 1984 a 2020. Utilizando o pacote RScielo¹¹ nas publicações de 9 periódicos científicos¹² indexados como Qualis A1 e A2 na avaliação da CAPES (quadriênio 2013-2016) em CPRI, utilizamos uma técnica de dicionário para realizar uma classificação automatizada e identificar a frequência das palavras-chaves associadas com técnicas quantitativas e qualitativas.¹³ Os dados estão publicamente disponíveis na plataforma Open Science Framework.¹⁴ O gráfico 1 demonstra a frequência das palavras-chaves ao longo dos 38 anos analisados. As linhas cinzas verticais são referentes ao ano em que foram identificados os primeiros trabalhos que informam a utilização de algum tipo de técnica em seus resumos. Os anos são 1994, 1996 e 2019, para métodos qualitativos, quantitativos e transparência, respectivamente.

Gráfico 1.
Quantidade de artigos que mencionam as palavras-chave associadas às técnicas qualitativas, quantitativas e transparência em pesquisa (1984-2020)

No total, 377 artigos apresentam pelo menos uma palavra-chave associada aos métodos qualitativos, em outros 256 resumos consta pelo menos uma palavra-chave associada aos métodos quantitativos. Entre aqueles que não mencionaram nenhuma palavra-chave (4.658), parece haver uma tendência (mesmo quando são artigos empíricos) de não mencionar especificamente a técnica utilizada no resumo - o que pode ter gerado uma sub-representação na nossa amostra.¹⁵ As principais palavras mencionadas em estudos de abordagem qualitativa são “entrevistas”, seguidas de “estudos de caso”, “análise de conteúdo”, e “etnografias”.

Além de maior prevalência de dados qualitativos na pesquisa da Ciência Política e Relações Internacionais no Brasil, nosso levantamento demonstra que há uma maior variedade de técnicas sendo utilizadas pelos métodos qualitativos em detrimento dos estudos de abordagem quantitativa. Foram identificadas 15 diferentes palavras-chaves mencionadas relacionadas às técnicas qualitativas em comparação a 9 relacionadas às técnicas quantitativas presentes na amostra. Os Gráficos 2 e 3 ilustram os termos mais populares por tipo de abordagem.

Gráfico 2.
Frequência relativa dos termos associados às técnicas qualitativas presentes nos artigos analisados

Gráfico 3.
Frequência relativa dos termos associados às técnicas quantitativas presentes nos artigos analisados

Adicionalmente, a discussão especificamente sobre conceitos e técnicas de transparência e ciência aberta no Brasil ainda é tímida. Entre os artigos da amostra analisada, apenas quatro focam especificamente neste tema e, em termos de veículos, a produção está concentrada em duas revistas específicas: Revista Sociologia e Política e a Brazilian Political Science Review. Em dois dos artigos há algum tipo de discussão sobre transparência em técnicas quantitativas (Paranhos et al., 2012; Figueiredo et al., 2019) e nos dois artigos restantes, um estava voltado para análise quantitativa (Hoyler; Campos, 2019; Sampaio; Lycarião, 2018). A análise realça a escassez de diálogo sobre a transparência, mesmo quando o foco é estritamente nela, e não nos artigos empíricos. Com efeito, não se espera que os resumos de artigos empíricos abordem as técnicas de transparência, no entanto, uma análise desses artigos proporciona uma visão da relevância dada à pesquisa de alta qualidade na comunidade de Ciência Política brasileira no que se refere a esse tópico.

A análise aqui apresentada, bem como uma ligeira imersão nos quatro artigos sobre transparência, permite-nos conceber que a produção de Ciência Política e Relações Internacionais (CPRI) no Brasil está longe de ter uma discussão adequada sobre transparência, replicabilidade e os mecanismos que levam a uma ciência aberta, como apontam os dados apresentados. Mais do que isso, o lugar da transparência e da pesquisa empírica aberta é incerto no que se refere às pesquisas empíricas de abordagem qualitativa. Isso porque, para além dos artigos apresentados nessa análise, que só considerou periódicos com Qualis A1 e A2, a maior parte da produção que tenta guiar os passos para uma Ciência Política mais transparente estão majoritariamente voltados para artigos de abordagem quantitativa. Existem, pelo menos, mais dois trabalhos importantes sobre o tema que não entraram em nossa amostra, pois foram publicados em revistas com Qualis inferiores. No primeiro deles, Paranhos et al. (2012) argumentam a favor do componente da replicabilidade nos artigos científicos na área de ciências sociais no Brasil e embasam essa argumentação nas recomendações de King (1995). Já em 2013, Paranhos et al. (2013) argumentam a favor da replicabilidade nas ciências sociais e apresentam suas três dimensões: (i) substantiva, (ii) pedagógica e (iii) transparência; sem, no entanto, mencionar os desafios e as limitações quanto à abordagem qualitativa.

Tomados em conjunto, os resultados dessa análise não são um veredito sobre o estado da arte da produção em Ciência Política, mas nos sinalizam para uma questão importante. Embora pareçam dominar a produção científica da disciplina no Brasil, não existe muito material que ajude na produção de pesquisas qualitativas mais transparentes. O foco dos manuais sobre ciência aberta, transparência e replicabilidades recai sobre pesquisas com foco quantitativo. Dessa maneira, torna-se necessária a discussão sobre os desafios que a utilização de dados e técnicas qualitativas podem causar na busca por uma ciência social mais transparente. E, mais do que isso, apresentar sugestões para alcançar pesquisas mais abertas. Na próxima seção, examinaremos tais desafios e limitações.

Desafios para a produção de uma pesquisa qualitativa transparente

Numa perspectiva epistemológica, Karcher (2019) defende que os conceitos de reprodutibilidade¹⁶ e replicabilidade estão ligados a uma perspectiva positivista da ciência, enquanto as análises qualitativas, geralmente, podem ser mais orientadas por uma perspectiva não-padronizada - mais abrangente e interpretativa acerca dos significados e valores atribuídos pelos indivíduos no cotidiano. A perspectiva interpretativista possui uma visão mais focada no contexto em que o conhecimento é gerado e como isso afeta a própria produção do conhecimento em si. Interpretação, empatia e sensibilidade envolvem a análise. Especialmente em técnicas qualitativas que incluem interação com seres humanos - como observação participante e entrevistas - existe a preocupação com relação a como o contexto e o conhecimento da pesquisadora pode afetar o processo de coleta e consolidação dos dados. Já a visão positivista está focada em produzir e testar explicações falseáveis e identificar causalidade, com maior ênfase sobre a experimentação (Clarke, 2009; Mosley, 2013).

Não nos aprofundaremos aqui nas limitações de cada perspectiva ou em como elas podem ser aproximadas (Clarke, 2009), mas destacamos esse ponto como relevante por permear muitas das questões colocadas por pesquisadoras qualitativistas quando se discute transparência. Algumas das perguntas levantadas são: transparência é igual para todos os desenhos de pesquisa? Ser transparente em pesquisas com metodologia qualitativa é torná-las mais quantitativistas? (Elman; Kapiszewski; Lupia, 2018). Como proteger a identidade dos indivíduos que participam de entrevistas ou grupos focais? Em suma, como lidar com os dilemas epistemológicos e éticos decorrentes da abertura dos dados dessas pesquisas e garantir, ao mesmo tempo, sua transparência e acessibilidade?

Duas preocupações surgem com o avanço do diálogo sobre transparência e seus limites na pesquisa qualitativa. Primeiro, os custos de desenvolver pesquisas transparentes podem se sobrepor aos seus benefícios (Elman; Kapiszewski; Lupia, 2018) e desestimular esse processo de abertura. Dado que as diferentes técnicas qualitativas, no geral, exigem diferentes níveis de complexidade e recursos per se, adicionar exigências de transparência podem tornar inviável a execução de tais pesquisas. Como consequência, em segundo lugar, estudantes e pesquisadoras podem ser encorajadas a buscar temas que apresentem menores desafios no compartilhamento da pesquisa para que possam publicar em periódicos com essa exigência (Elman; Kapiszewski; Lupia, 2018).

Diante da evolução do debate de transparência nas Ciências Sociais, uma parte significativa da comunidade de métodos qualitativos percebe esse movimento como uma forma de ameaça à sua maneira de construir pesquisa (Elman; Kapiszewski; Lupia, 2018). Para essa corrente, a aplicação de princípios e práticas de transparência e replicabilidade poderia tornar o seu processo científico mais quantitativo. Ressaltam que não é viável, nem produtivo, ou mesmo ético, disponibilizar esses dados. Isso reforça nosso achado sobre a falta de transparência em trabalhos denominados qualitativos e enumera possíveis razões para as poucas menções ao tema na literatura brasileira.

Desta forma, o rigor das análises qualitativas não deve ser avaliado sob a mesma ótica na qual se observam os estudos quantitativos (Karcher, 2019). Cada comunidade deve colocar em discussão critérios de rigorosidade e de transparência. Julgar se uma técnica permite transparência, replicabilidade e reprodutibilidade são processos dinâmicos que evoluem a cada dissonância e criam procedimentos para garantir preceitos científicos e confiança nos seus resultados. Alinhamos nossa contribuição a essa agenda de pesquisa, procurando enriquecer a discussão sobre transparência no Brasil e fornecer recursos para pesquisadoras que utilizam dados qualitativos e buscam adotar uma abordagem mais aberta e transparente. Queremos que a leitora mantenha essa perspectiva quando, em seguida, for apresentada uma proposta de criação de um fluxo de trabalho mais transparente.

Como produzir trabalhos qualitativos transparentes?

Diante da variedade de métodos e comunidades, não pretendemos definir um modelo único de passos ou etapas que poderiam garantir um maior rigor. Tampouco desejamos diminuir a importância de abordagens tradicionais que visam garantir a rigorosidade e credibilidade da pesquisa qualitativa através de critérios distintos daqueles que serão apresentados aqui. Nosso intuito é reunir e apresentar iniciativas para facilitar o início de pesquisas qualitativas que possuem como objetivo a construção de inferências causais de qualidade e fundamentadas em transparência. Essa escolha baseia-se em um conjunto de ações, desenvolvidas por um recorte da literatura especializada, que vem promovendo debates contínuos e sistemáticos dentro da comunidade científica sobre o tema. Dessa forma, apresentam uma forma estruturada e ao mesmo tempo dinâmica de produção científica transparente. Nesta seção, conectamos essas iniciativas para incentivar sua disseminação entre estudantes e pesquisadoras, e servir como ponto de partida para a busca dos fundamentos metodológicos de suas pesquisas.

Qual o caminho para uma pesquisa qualitativa transparente?

Em geral, não há replicação em desenhos qualitativos pois as análises são feitas a partir de dados primários coletados pela própria pesquisadora. Essa característica da metodologia dificulta o processo da transparência dos dados e, muitas vezes, impossibilita a replicação exata da pesquisa. No entanto, transparência não se limita a abertura dos dados de um estudo; envolve descrição das seleções, das coletas e da interpretação das informações encontradas do mundo social e como essas informações são utilizadas para um tipo específico de análise (Elman; Kapiszewski; Lupia, 2018).

Produzir pesquisa qualitativa transparente inclui explicitar critérios de coleta e interpretação dos dados já amplamente discutidos na área. Minayo (2012), por exemplo, discute a importância da inclusão de fontes secundárias e empíricas na interpretação dos dados qualitativos, sujeitos a um certo nível de subjetividade. A autora sugere contrapor material de observação estruturado em um diário de campo; documentos geográficos, históricos, dados estatísticos e quaisquer outros documentos relevantes para a análise. Disponibilizar esses dados para a leitora, assegurando confidencialidade e anonimato de indivíduos envolvidos no estudo, é uma forma de tornar a pesquisa mais transparente. Em outro exemplo, Golden (1995) sugere que todo o material coletado qualitativamente, incluindo notas de campo, devem ser disponibilizados publicamente, tomados os devidos cuidados para anonimização.

Neste trabalho, visamos apresentar um conjunto de sugestões de boas práticas para o desenvolvimento de pesquisas transparentes que dialoga com as importantes discussões metodológicas da pesquisa qualitativa, inclusive brasileira (Bauer; Gaskell, 2008; Minayo, 2012; Rocha, 2021; Yin, 2016). A adoção de critérios de transparência em estudos qualitativos pode ajudar a evidenciar a adoção de requisitos de rigorosidade já praticados em estudos quantitativos, potencialmente aumentando a sua credibilidade diante das leitoras e da comunidade científica de forma geral. Esse é o ponto chave de qualquer desenho de pesquisa de credibilidade: explicar como e por que cada decisão foi tomada do início até a finalização da pesquisa.

As reflexões e sugestões feitas nesta seção bebem de um crescente campo de debate sobre transparência na área qualitativa, seja em discussões mais amplas, seja na proposição de guias práticas para pesquisadoras (Corti, 2000, 2005; Elman; Kapiszewski, 2014; Golden, 1995; Jackson, 2014; Lupia; Elman, 2014; Moravcsik, 2010, 2014). No caso dos métodos qualitativos, alguns exemplos de perguntas que precisam ser esclarecidas pela pesquisadora são:

1. Por que certas caixas foram abertas e exploradas em um arquivo, determinadas pastas examinadas, determinados documentos lidos e determinadas passagens selecionadas para gravação?

2. Por que certos atores do mundo social foram entrevistados e por que foram feitas certas perguntas?

3. Por que uma estudiosa optou por conduzir um grupo focal em vez de uma série de entrevistas em profundidade?

4. Que medidas foram tomadas para aumentar a confiança na validade dessas informações (e, portanto, nos dados, interpretações e mensurações)?

A pesquisa qualitativa precisa esclarecer detalhadamente desde as evidências obtidas em campo, bem como à seleção dos métodos específicos de coleta dos dados e análise dos resultados (Flick, 2013). Para tanto, é necessário se comunicar atrativa e convincentemente com audiências específicas para as quais a pesquisa se endereça.

Os estudos qualitativos lidam mais com dados narrativos do que com números e símbolos (Yin, 2016). Com efeito, as pesquisadoras possuem diversos recursos visuais (como ícones, fotografias, desenhos, mapas e tabelas) para representar os achados de suas investigações. A despeito disso, Yin (2016) ressalta que a forma mais evidenciada na pesquisa em ciências sociais é a escrita narrativa e nos apresenta três maneiras alternativas para representação dos achados empíricos, a saber: (i) tabelas e listas de palavras; (ii) elementos gráficos e (iii) imagens.

No caso das pesquisas qualitativas, é especialmente providencial a necessidade de explicitação clara da abordagem epistemológica adotada, bem como das lentes investigativas e filtros utilizados no trabalho de campo. Isso porque, diferentemente de outros tipos de pesquisa, há nas pesquisas qualitativas uma interação mais direta entre a pesquisadora e o fenômeno estudado. Sendo assim, é fundamental que a pesquisadora evidencie na narrativa a presença dos selfs declarativos (e reflexivos). De acordo com Yin (2016), ao apresentar seu self reflexivo (atributos do perfil demográfico da pesquisadora, como gênero, idade, raça, etnicidade, classe social e outras motivações relacionadas com o tema de estudo), a pesquisadora fornece à audiência elementos para que ela avalie em que medida suas lentes investigativas interferiram nos resultados reportados pelo seu self declarativo. Ou seja, o self declarativo trata das evidências ao passo que o self reflexivo trata das circunstâncias físicas, políticas e culturais, por exemplo, nas quais as evidências foram obtidas.

Para além disso, é possível que a implementação de práticas que levem a uma ciência mais transparente varie entre áreas de conhecimento e, ainda, entre abordagens metodológicas (Moravcsik, 2014). Embora na abordagem quantitativa a replicação e a reprodutibilidade sejam consideradas caminhos que levam a uma pesquisa transparente mais confiável (Domingos; Batista, 2021; Figueiredo et al., 2019; King, 1995; Janz, 2016), não é trivial que sua aplicação ocorre de forma suave nas diferentes abordagens de pesquisa empírica (Dunning; Rosenblatt, 2016; Kapiszewski; Karcher, 2021). Dada a natureza da pesquisa qualitativa e sua variedade, os pontos de atenção dos métodos qualitativos irão variar de acordo com a técnica utilizada e sua implementação no desenho de pesquisa. Ao redor das técnicas, diferentes comunidades debatem como estabelecer diretrizes específicas para salvaguardar elementos éticos e de credibilidade. Qualitative Data Repository e Qualitative Transparency Deliberations (Jacobs; Büthe, 2021) são alguns dos exemplos de projetos voltado à transparência para métodos qualitativos na Ciência Política. O primeiro, fundado pela National Science Foundation, tem como objetivo facilitar o acesso, armazenamento e compartilhamento de dados qualitativos nas ciências sociais. É uma das principais plataformas que permitem essa estrutura para métodos qualitativos. A Qualitative Transparency Deliberations, por sua vez, é formada por fóruns para discussão do significado, custos, benefícios e aspectos práticos da transparência nas abordagens empíricas qualitativas em Ciência Política ao longo da última década (Jacobs; Büthe, 2021).

A partir dos debates realizados pelas comunidades de métodos qualitativos, são produzidos textos que refletem as convenções atuais sobre transparência em uma comunidade de pesquisa particular e que dialogam com as políticas DA-RT (Data Access and Research Transparency). O resultado dessas discussões é a construção de processos diversos que respeitam as particularidades dos métodos qualitativos existentes:(i) fornecendo uma ou mais conceituações de transparência da pesquisa, considerando a forma de pesquisa; (ii) identificando práticas comuns e melhores de transparência para essa forma de pesquisa; e (iii) apresentando os custos e benefícios dessas práticas de transparência para pesquisadoras e audiências das pesquisas (Lupia; Elman, 2014). Até este ponto, está mais claro que as comunidades científicas qualitativas são menos prováveis de buscar transparência de forma homogênea. As tensões e equilíbrios necessários entre processos de transparência e a pesquisa qualitativa serão discutidos e validados nesse debate intracomunidade (Elman; Kapiszewski; Lupia, 2018). É essa diversidade que deve estar presente também nos modelos de transparência utilizados nos seus desenhos de pesquisa.

Idealmente, o processo de escrita do desenho de pesquisa e do manuscrito vem acompanhado, paralelamente, da aplicação dos protocolos de transparência da metodologia aplicada. Seria contraprodutivo, ou mesmo não idôneo, finalizar a pesquisa em questão e, só então, ajustar sua estrutura aos protocolos de transparência. A construção de pesquisas transparentes e replicáveis requer um esforço anterior, concomitante, e posterior a sua finalização. Adaptar um protocolo a um trabalho finalizado, além de ser mais trabalhoso, poderia diminuir a credibilidade da pesquisa. E esse risco é exatamente o que o movimento em prol da transparência busca reduzir.

A partir das diretrizes da disciplina sobre conhecimento baseado em evidências, uma tríade específica norteia o processo de transparência. O guia Guidelines for Data Access and Research Transparency for Qualitative Research in Political Science (Lupia; Elman, 2014) produzido pelo DA-RT Ad Hoc Committee da American Political Science Association aponta que o “Acesso aos Dados”, a “Transparência de Produção” e a “Transparência Analítica” são os fundamentos que garantem, individualmente e entre si, a conexão entre análises empíricas e a confiança nos resultados da pesquisa. Essa tríade permeia todo método qualitativo, independente da comunidade da técnica aplicada.

O “Acesso aos Dados” se relaciona à liberação ou referência dos dados utilizados que dão suporte aos argumentos defendidos pela autora (Lupia; Elman, 2014). Sejam informações de origem primária (coletadas pela própria pesquisadora) ou secundária (acessadas pela pesquisadora), elas devem apresentar referências precisas que auxiliem na análise inferencial da pesquisa: indicando e compartilhando suas fontes textuais e/ou não textuais, por exemplo. Quando o compartilhamento não é possível, parcialmente ou completamente, é necessário explicitar os motivos da impossibilidade (confidencialidade e segurança dos participantes, direitos autorais, direitos de propriedade) e como essa decisão foi tomada.

A “Transparência de Produção”, por sua vez, requer a atenção das pesquisadoras para produzir documentos e metadados compreensíveis que esmiúçam a base empírica do projeto, o seu contexto, procedimentos e protocolos - acesso, seleção, coleta, geração, e captura de dados (Lupia; Elman, 2014). A transferência de produção permite que outras pesquisadoras avaliem o processo de inferência causal, as decisões e os resultados. Essa avaliação só é possível com a abertura de todo o processo de pesquisa de forma clara e explícita.

Por fim, o último elemento da tríade é a “Transparência Analítica”. Sua função é descrever os aspectos como um todo do processo de pesquisa, as micro e macro conexões entre as evidências e as afirmações colocadas pela pesquisadora (Lupia; Elman, 2014). A recomendação básica é informar claramente o processo analítico seguido para fazer a relação entre os dados e os resultados alcançados - sejam em abordagens interpretativas ou inferenciais (Lupia; Elman, 2014). O mais importante é que a transparência analítica não é um fim em si mesma, mas um caminho para ajudar a interlocutora a entender como nós, pesquisadoras, sabemos o que reivindicamos saber. É a exposição desse processo que permite sua avaliação, validação ou contestação.

Com base nas discussões e recomendações citadas anteriormente, os pontos a seguir formam um conjunto de sugestões para transparência em pesquisa com métodos qualitativos. Como afirmamos anteriormente, nosso intuito não é exaurir todas as possibilidades de transparência, mas facilitar seu acesso, reflexão e aplicação em desenhos de pesquisa qualitativos ou multimétodo. Essas recomendações são baseadas nas Guidelines for Data Access and Research Transparency for Qualitative Research in Political Science (Lupia; Elman, 2014) e na iniciativa Qualitative Transparency Deliberations (Jacobs; Büthe, 2021). Estruturamos as recomendações em um fluxo com os seguintes pontos:

1. Ler e analisar as instruções éticas das principais associações de Ciência Política e seus guias de transparência levando em consideração qual a sua pergunta de pesquisa e o fenômeno a ser analisado (Lupia; Elman, 2014);

2. Facilitar o Acesso aos Dados - indicar a origem dos dados e qual foi a forma de coleta:

   1. Verificar as possíveis formas de transparência e protocolos dada a escolha da técnica qualitativa a ser empregada: a partir das discussões do Qualitative Transparency Deliberations e das discussões das comunidades, a cientista analisará quais as convenções dos especialistas da comunidade da técnica que será utilizada;

   2. Escolher a plataforma de registro e transparência de acordo com as necessidades da técnica qualitativa. Ex.: Qualitative Data Repository, OSF;

   3. Adotar um persistent identifier (DOI, URN, Handle): Data-PASS para manter a disponibilidade dos dados de forma mais perene e estável para outras pesquisadoras.

   4. Se possível, adotar um padrão avançado para documentar dados como o Data Documentation Initiative (DDI). DDI é um padrão de marcação XML projetado para dados de ciências sociais. Como o DDI pode ser acionado por máquina, ele pode ser usado para criar livros de código personalizados e habilitar ferramentas de pesquisa online para relatórios técnicos, questionários e cartões de apresentação, por exemplo.

3. Transparência de Produção:

   1. Reavaliar e adaptar o desenho de pesquisa e coleta de dados com base nas convenções das comunidades: a coleta das evidências empíricas deve seguir as práticas mais recomendadas pela comunidade qualitativa e ser acompanhada das justificativas para essas escolhas. Ex.: qual arquivo de documentos públicos devo usar e por quê? Quais as vantagens de um grupo focal com quinze participantes sobre um com vinte participantes para essa pergunta de pesquisa? Quais atores políticos devo entrevistar e por quê?;

   2. Elencar e apontar possíveis questões éticas na coleta e compartilhamento de dados. Ex.: informações sensíveis de entrevistados, dados pessoais de usuários de plataformas digitais.

4. Transparência Analítica:

   1. Descrever os aspectos mais importantes da pesquisa que relacionam as afirmações baseadas nas evidências encontradas às conclusões do estudo. O essencial desse ponto é informar de forma clara as escolhas analíticas feitas pela pesquisadora e descrever esse processo com rigor e especificidade.

5. Apêndice de Transparência:

   1. Listar as citações ativas para indicar a referência precisa e completa de informações adicionais de que as estudiosas precisarão para localizar informações relevantes da pesquisa; hyperlinks; de anotações similares a notas de rodapé;

   2. Apresentar a visão geral da pesquisa que se inicia no Apêndice de Transparência e não faz parte do texto e nem das notas de rodapé. Seu objetivo é elucidar o trajeto geral da pesquisa, o processo de geração de dados e como a análise atende às regras de inferência ou de interpretação de forma sistematizada e resumida.

Figura 1.
Resumo do fluxo de recomendações para pesquisas qualitativas transparentes

Por fim, essas recomendações, além de apoiarem o processo de pesquisa, também auxiliam na própria leitura e compreensão da literatura que aplica métodos qualitativos. Por exemplo, a pesquisa etnográfica sobre clientelismo de Borges Martins da Silva (2023) detalha a experiência de campo (escolhas e desafios do processo de pesquisa) e esclarece como garante o anonimato das participantes (uso de pseudônimo). Toral (2003), por sua vez, inclui as entrevistas em profundidade com políticos e burocracias municipais no seu apêndice e explica por que escolheu não as gravar (alguns dos temas discutidos eram altamente sensíveis, como corrupção e uso indevido da máquina pública). Informar esse tipo de decisão é relevante para garantir a qualidade da coleta dos dados, sendo mais um exemplo da importância de detalhar decisões e ações da parte de quem pesquisa. Ambos os trabalhos são exemplos de “Transparência de produção” comentada nos itens 3.1 e 3.2, “Transparência analítica”, item 4 e do “apêndice de transparência”, item 5.

Conclusões

A Ciência Política tem muito a ganhar ao desenvolver pesquisas transparentes, em especial por duas razões: (i) a disciplina amplia sua credibilidade quando disponibiliza os fundamentos epistemológicos e os procedimentos metodológicos que alicerçam as evidências e contra evidências trazidas na pesquisa, assegurando que os princípios de execução da pesquisa são confiáveis e idôneos e; (ii) permite um aumento na dinamização da Ciência, estimulando uma ética colaborativa de construção colaborativa do conhecimento como um todo. É como um artesanato público intelectual: quanto mais informação disponível, mais rapidamente outras pesquisadoras podem compreender as limitações dos desenhos de pesquisa no campo e avançar com seus trabalhos de forma colaborativa.

Entretanto, ser transparente não é uma tarefa trivial. Requer um esforço maior de planejamento e de atenção no processo de pesquisa. Exatamente por essa razão decidimos escrever este artigo. Conhecer “o caminho das pedras”, é fundamental para qualquer pesquisadora, esteja ela em sua iniciação científica ou na pós-graduação, porque possibilita um ponto de partida claro e coerente. Reforçamos que este artigo é um ponto de partida e que a Ciência Política vem se mobilizando, em suas comunidades epistemológicas, na discussão do assunto. Nossa intenção foi mostrar para as pesquisadoras como colocar a transparência como um aspecto fundamental na pesquisa e onde buscar apoio para entender de que forma fazer uma pesquisa transparente, sem esquecer a relação desse aspecto com seu problema de pesquisa e a técnica escolhida.

Diferente da abordagem quantitativista, as estruturas de transparência na metodologia qualitativa são mais variadas e flexíveis. Cada técnica e comunidade científica discutem quais parâmetros de transparência fazem sentido para suas questões éticas e epistemológicas. Porém, independente dos instrumentos utilizados (questionário, entrevista e diário de campo, por exemplo) a pesquisadora precisará se municiar de um protocolo formal ou informal para condução de sua investigação. É no debate interno dessas comunidades que os protocolos de transparência evoluem. Essa discussão é importante, principalmente, porque a relação da pesquisadora com seu objeto de pesquisa é mais acentuada. A depender da técnica ou do problema a ser investigado, nomes, endereços, contextos individuais, preferências políticas e religiosas fazem parte da coleta de dados. Além disso, atributos da pesquisadora também podem afetar as reações e interpretações dos participantes da pesquisa. Então, ser transparente com o processo e, ao mesmo tempo, garantir a proteção dessas informações é um trade-off constante nos protocolos discutidos.

Para alcançar o “padrão-ouro” de transparência na abordagem qualitativa, a pesquisadora pode estabelecer o seguinte roteiro inicial: (i) leitura de guias éticos sobre transparência na técnica escolhida; (ii) verificar o protocolo de transparência mais discutido na comunidade da técnica; (iii) definir a ferramenta para permitir o acesso aos dados da pesquisa (acesso aos dados); (iv). refletir sobre o desenho de pesquisa à luz do protocolo escolhido; (v). indicar as escolhas metodológicas, os motivos para tais escolhas e as possíveis questões éticas relacionadas (transparência de produção); (vi). informar as escolhas analíticas que conectam dados às conclusões do trabalho (transparência analítica) e (vii) sinalizar dados complementares que auxiliam na interpretação da pesquisa (apêndice de transparência).

Na literatura da Ciência Política brasileira, apesar dos avanços na última década, são poucos os exemplos de trabalhos que orientam e/ou aplicam protocolos de transparência. E os poucos exemplos se dedicam à metodologia quantitativa. Provavelmente, esse cenário corresponde ao desenvolvimento ainda inicial da discussão sobre a metodologia e rigorosidade no país. Novamente, desejamos que, com essa discussão e sugestões, as pesquisadoras tenham mais contato e ferramentas para adotar metodologias qualitativas com qualidade e segurança.

Com esse artigo, tentamos contribuir com a agenda de pesquisa sobre ferramentas, princípios e práticas de pesquisa aberta em português, que é fundamental para democratizar o acesso (e futuro uso) e implementação, possibilitando a pavimentação de um caminho para a ciência social mais transparente como um todo. Esse é um esforço inicial, mas que busca reforçar a importância da transparência para a abordagem qualitativa e garantir sua credibilidade dentro e fora da academia, assim como indicar alternativas para sua aplicação. Com isso, esperamos que novos trabalhos se dediquem a essa agenda de pesquisa e que pesquisas transparentes sejam a maioria - e não a exceção - nos próximos anos.

Finalmente, neste artigo, não pretendemos cobrir todos os aspectos da transparência e da reprodutibilidade na pesquisa social qualitativa. Em vez disso, nosso objetivo é iniciar a conversa. Nesse sentido, acreditamos que seja importante oferecer uma série de referências adicionais que podem auxiliar a leitora que deseja se aventurar nessa estrada de tijolos amarelos, tais como: Büthe; Jacobs, 2015; Corti, 2000, 2005; Swan; Brown, 2008; Van Den Eynden; Corti, 2009; Van Den Eyden et al., 2011; Verburg; Braukmann; Mahabier, 2023; UK Data Archive; UK Data Service; Wolf et al., 2006 e Yanow, 2018).

Referências

• ALVAREZ, R. M.; HEUBERGER, S. How (not) to reproduce: practical considerations to improve research transparency in political science. PS: Political Science & Politics, v. 55, n. 1, p. 149-154, 2022.
• ANDERSON, M. S.; MARTINSON, B. C.; DE VRIES, R. Normative dissonance in science: results from a national survey of US scientists. Journal of Empirical Research on Human Research Ethics, v. 2, n. 4, p. 3-14, 2007.
• BALL, R.; MEDEIROS, N. Teaching integrity in empirical research: a protocol for documenting data management and analysis. The Journal of Economic Education, v. 43, n. 2, p. 182-189, 2012.
• BORGES MARTINS DA SILVA, M. Weapons of clients: why do voters support bad patrons? Ethnographic evidence from rural Brazil. Latin American Politics and Society, v. 65, n. 1, p. 22-46, 2023.
• BAUER, M. W.; GASKELL, G. Pesquisa qualitativa com texto, imagem e som: um manual prático. Petrópolis, RJ: Vozes, 2008.
• BÜTHE, T.; JACOBS, A. M. Transparency in qualitative and multi-method research: introduction to the symposium. Qualitative and Multi-Method Research: Newsletter of the American Political Science Association’s QMMR Section, v. 13, n. 1, p. 2-64, 2015. Disponível em: Disponível em: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2652097 Acesso em: 24 abr. 2024.
  » https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2652097
• CHRISTENSEN, G.; FREESE, J.; MIGUEL, E. Transparent and reproducible social science research: how to do open science. University of California Press, 2019.
• CLARKE, C. Paths between positivism and interpretivism: an appraisal of Hay’s via media. Politics, v. 29, n. 1, p. 28-36, 2009.
• CLOSA, C. Planning, implementing and reporting: increasing transparency, replicability and credibility in qualitative political science research. European Political Science, v. 20, n. 2, p. 270-280, 2021.
• COLLIER, D.; ELMAN, C. Qualitative and multi-method research: organizations, publication, and reflections on integration. In: BOX-STEFFENSMEIER, J.; BRADY, E. H; COLLIER, D. (eds.). The Oxford handbook of political methodology. Oxford: Oxford University Press, 2008. p. 780-795.
• CORTI, L. Progress and problems of preserving and providing access to qualitative data for social research - The international picture of an emerging culture. Forum Qualitative Social Research, v. 1, n. 3, 2000.
• CORTI, L. Qualitative archiving and data sharing: extending the reach and impact of qualitative data. IASSIST Quarterly, v. 29, n. 3, p. 8-13, 2005. Disponível em: Disponível em: https://iassistquarterly.com/index.php/iassist/article/view/105 Acesso em: 29 abr. 2024.
  » https://iassistquarterly.com/index.php/iassist/article/view/105
• CRESCENTINI, A.; MAINARDI, G. C. A. Qualitative research articles: guidelines, suggestions and needs. Journal of Workplace Learning, v. 21, n. 5, p. 431-439, 2009.
• THE DATA PRESERVATION ALLIANCE FOR THE SOCIAL SCIENCES - Data-PASS. [base de dados]. Disponível em: Disponível em: http://www.data-pass.org/ Acesso em: 3 maio 2024.
  » http://www.data-pass.org/
• DATA DOCUMENTATION INICIATIVE ALLIANCE - DDI. Disponível em: Disponível em: https://ddialliance.org / [repositório de dados]. Acesso em: 3 maio 2024.
  » https://ddialliance.org
• DE LA GUARDIA, F. H.; STURDY, J. Best practices for transparent, reproducible, and ethical research. IDB Technical Note IDB-TN-01635, Inter-American Development Bank, 2019.
• DIALOGUE ON DA-RT. The Women’s Caucus for Political Science 2017 Statement on DA-RT. 18 set. 2017. https://dialogueondartdotorg.files.wordpress.com/2017/09/wcps-dart-2017.pdf Acesso em: 22 abr. 2024.
  » https://dialogueondartdotorg.files.wordpress.com/2017/09/wcps-dart-2017.pdf
• DOMINGOS, A.; BATISTA, I. R. Um mapa para a transparência e replicabilidade na ciência social empírica: o Protocolo TIER. Revista Política Hoje, Recife, v. 30, n. 1, p. 40-86, 2021.
• DUNNING, T., ROSENBLATT, F. Transparency and reproducibility in multi-method research. Revista de Ciencia Política, Rio de Janeiro, v. 36, n. 3, p. 773-783, 2016.
• ELMAN, C.; KAPISZEWSKI, D. Data access and research transparency in the qualitative tradition. PS: Political Science & Politics, v. 47, n. 1, p. 43-47, 2014. Disponível em: Disponível em: https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/abs/data-access-and-research-transparency-in-the-qualitative-tradition/7A209A747904F4D88440104FD7157BFE Acesso em: 18 abr. 2024.
  » https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/abs/data-access-and-research-transparency-in-the-qualitative-tradition/7A209A747904F4D88440104FD7157BFE
• ELMAN, C.; KAPISZEWSKI, D.; LUPIA, A. Transparent social inquiry: implications for political science. Annual Review of Political Science, v. 21, p. 29-47, 2018.
• FIGUEIREDO, D.; LINS, R.; DOMINGOS, A.; JANZ, N.; SILVA, L. Seven reasons why: a user’s guide to transparency and reproducibility. Brazilian Political Science Review, São Paulo, v. 13, n. 2, e0001, 2019.
• FECHER, B., FRIESIKE, S. Open science: one term, five schools of thought. In: BARTLING, S.; FRIESIKE, S. (eds). Opening Science. Springer International Publishing, 2014. p. 17-47.
• FLICK, U. Introdução à metodologia de pesquisa: um guia para iniciantes. Porto Alegre: Penso, 2013.
• FREESE, J; RAUF, T.; VOELKEL, J. G. Advances in transparency and reproducibility in the social sciences. Social Science Research, v. 107, 2022.
• FUJII, L. A. The dark side of DA-RT. Comparative Politics Newsletter, v. 26, n. 1, p. 25-27, 2016.
• FUNK, C.; KEETER, S. The new battlegrounds over facts in democracy. In: THE POLITICS OF TRUTH CONFERENCE, Washington DC. Palestras […] p. 1-11, 28 mar. 2018. Disponível em: Disponível em: https://www.american.edu/spa/ccps/politics-of-truth/abstracts.cfm#funk Acesso em: 29 abr. 2024.
  » https://www.american.edu/spa/ccps/politics-of-truth/abstracts.cfm#funk
• GOERTZ, G.; MAHONEY, J. A tale of two cultures: qualitative and quantitative research in the social sciences. Oxfordshire, UK: Princeton University Press, 2012.
• GOLDEN, M. A. Replication and non-quantitative research. PS: Political Science &. Politics, v. 28, n. 3, p. 481-483, 1995.
• HOYLER, T.; CAMPOS, P. A vida política dos documentos: notas sobre burocratas, políticas e papéis. Revista de Sociologia e Política, Curitiba, v. 27, n. 69, p. e006, 2019.
• JACKSON, K. Qualitative methods, transparency, and qualitative data analysis software: Toward an understanding of transparency in motion. 2014, 216f. Tese (Doutorado em Educação) - School of Education, University of Colorado. Boulder, Colorado, 2014. Disponível em: Disponível em: https://scholar.colorado.edu/concern/graduate_thesis_or_dissertations/jh343s52g Acesso em: 29 abr. 2024.
  » https://scholar.colorado.edu/concern/graduate_thesis_or_dissertations/jh343s52g
• JACOBS, A. M.; BÜTHE, T. The qualitative transparency deliberations: insights and implications. Perspectives on Politics, v. 19, n. 1, p. 171-208, 2021.
• JANZ, N. Bringing the gold standard into the classroom: replication in university teaching. International Studies Perspectives, v. 17, n. 4, p. 392-407, 2016.
• JANZ, N.; FREESE, J. Replicate others as you would like to be replicated yourself. PS: Political Science & Politics, v. 54, n. 2, p. 305-308, 2021.
• KAPISZEWSKI, D.; KARCHER, S. Transparency in practice in qualitative research. PS: Political Science & Politics, v. 54, n. 2, p. 285-291, 2021. Disponível em: Disponível em: https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/transparency-in-practice-in-qualitative-research/8B780E06FBF7F0837F39B2FD33900DD1 Acesso em: 29 abr. 2024.
  » https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/transparency-in-practice-in-qualitative-research/8B780E06FBF7F0837F39B2FD33900DD1
• KARCHER, S. The limits of reproducibility: strategies for transparent qualitative research. 28 jan. 2019. [Apresentação de Power Point]. Disponível em Disponível em https://figshare.com/articles/The_Limits_of_Reproducibility_Strategies_for_Transparent_Qualitative_Research/7637129/1 Acesso em: 3 jun. 2020.
  » https://figshare.com/articles/The_Limits_of_Reproducibility_Strategies_for_Transparent_Qualitative_Research/7637129/1
• KEY, E. M. How are we doing? Data access and replication in political science. PS: Political Science & Politics, v. 49, n. 2, p. 268-272, 2016.
• KING, G. Replication, replication. PS: Political Science and Politics, v. 28, n. 3, p. 444-452, 1995. Disponível em: Disponível em: https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/abs/replication-replication/85C204B396C5060963589BDC1A8E7357 Acesso em: 29 abr. 2024.
  » https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/abs/replication-replication/85C204B396C5060963589BDC1A8E7357
• KING, G. Replicação, replicação. Revista Eletrônica de Ciência Política, Curitiba, v. 6, n. 2, p. 385-401, 2015.
• KING, G.; KEOHANE, R. O.; VERBA, S. Designing social inquiry: scientific inference in qualitative research. New Jersey, Princeton: Princeton University Press, 1994.
• KOPPER, S.; SAUTMANN, A.; TURITTO, J. J-PAL guide to de-identifying data. The Abdul Latif Jameel Poverty Action Lab, 2020. Disponível em: Disponível em: https://www.povertyactionlab.org/sites/default/files/research-resources/J-PAL-guide-to-deidentifying-data.pdf Acesso em: 22 abr. 2024.
  » https://www.povertyactionlab.org/sites/default/files/research-resources/J-PAL-guide-to-deidentifying-data.pdf
• KURAPATI, S.; TEPEREK, M. What does reproducibility mean for qualitative research?, Open Working, 11 fev. 2019. Disponível em: Disponível em: https://openworking.wordpress.com/2019/02/11/what-does-reproducibility-mean-for-qualitative-research/ Acesso em: 26 maio 2023.
  » https://openworking.wordpress.com/2019/02/11/what-does-reproducibility-mean-for-qualitative-research/
• LEE, S.; JONES-JANG, S. M.; CHUNG, M.; LEE, E.; DIEHL, T. Examining the role of distrust in science and social media use: effects on susceptibility to COVID misperceptions with panel data. Mass Communication and Society, p. 1-26, 16 nov. 2023. [on line].
• LUCAS, W.; MORRELL, K.; POSARD, M. Considerations on the ‘replication problem’ in sociology. The American Sociologist, v. 44, p. 217-232, 2013.
• LUPIA, A; ELMAN, C. Openness in political science: data access and research transparency: Introduction. PS: Political Science & Politics, v. 47, n. 1, p. 19-42, 2014. Disponível em: Disponível em: https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/abs/openness-in-political-science-data-access-and-research-transparency/0B189FC1097A4D062E57F805E8F07BD0 Acesso em: 22 abr. 2024.
  » https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/abs/openness-in-political-science-data-access-and-research-transparency/0B189FC1097A4D062E57F805E8F07BD0
• MACHADO, D. B. Sete elementos do processo de seleção de casos: contribuições para um maior rigor e transparência nas Ciências Sociais. Revista Brasileira de Ciência Política, Brasília, v. 36, p. 1-32, 2021.
• MERTON, R. K. Science and technology in a democratic order. Journal of legal and political sociology, v. 1, n. 1, p. 115-126, 1942.
• MIGUEL, E.; CAMERER, C.; CASEU, K.; COHEN, J.; ESTERLING, K. M.; GERBER, A.; VAN DER LAAN, M. Promoting transparency in social science research. Science, v. 343; n. 6166, p. 30-31, 2014.
• MINAYO, M. C. de S. Análise qualitativa: teoria, passos e fidedignidade. Ciência & Saúde Coletiva, Rio de Janeiro, v. 17, n. 3, p. 621-626, 2012.
• MORAVCSIK, A. Active citation: A precondition for replicable qualitative research. PS: Political Science & Politics, v. 43, n. 1, p. 29-35, 2010.
• MORAVCSIK, A. Transparency: the revolution in qualitative research. PS: Political Science & Politics, v. 47, n. 1, p. 48-53, 2014. Disponível em: Disponível em: https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/abs/transparency-the-revolution-in-qualitative-research/7FBEEFCF62C4CF45D91DE54AEE418DE2 Acesso em: 22 abr. 2024.
  » https://www.cambridge.org/core/journals/ps-political-science-and-politics/article/abs/transparency-the-revolution-in-qualitative-research/7FBEEFCF62C4CF45D91DE54AEE418DE2
• MOSLEY, L. Interview research in political science. Ithaca: Cornell Univ. Press, 2013.
• OSF HOME - OSF. [repositório de dados]. Disponível em: Disponível em: https://osf.io/ Acesso em: 3 maio 2024.
  » https://osf.io/
• PACHIRAT, T. The tyranny of light. Qualitative and Multi-Method Research: Newsletter of the American Political Science Association’s QMMR Section, v. 13, n. 1, p. 27-31, 2015.
• PARANHOS, R.; FIGUEIREDO FILHO, D. B.; DA ROCHA, E. C.; DO CARMO, E. F. A importância da replicabilidade na ciência política: o caso do SIGOBR. Revista Política Hoje, Recife, v. 22, n. 2, p. 213-229, 2013.
• PARANHOS, R.; FIGUEIREDO FILHO, D.; ROCHA, E.; SILVA JUNIOR, J.; SANTOS, M. Levando Gary King a sério: desenhos de pesquisa em Ciência Política. Revista Eletrônica de Ciência Política, Curitiba, v. 3, n. 1-2, p. 86-117, 2012.
• PATIL, P.; PENG, R.; LEEK, J. What should researchers expect when they replicate studies? A statistical view of replicability in psychological science. Perspectives on Psychological Science, v. 11, n. 4, p. 539-544, 2016.
• PHILLIPS, N. Doing research in the shadows of the global political economy. In: MONTGOMERIE, J. (ed.) Critical methods in political and cultural economy. London: Routledge, 2017. p. 115-120.
• QUALITATIVE DATA REPOSITORY. [repositório de dados]. Disponível em: Disponível em: https://qdr.syr.edu/ Acesso em: 28 abr. 2024.
  » https://qdr.syr.edu/
• RINKE, E.; WUTTKE, A. Open minds, open methods: transparency and inclusion in pursuit of better scholarship. PS: Political Science & Politics, v. 54, n. 2, p. 281-284, 2021.
• ROCHA, V. Da teoria à análise: uma introdução ao uso de entrevistas individuais semiestruturadas na ciência política. Revista Política Hoje, Recife, v. 30, n. 1, p. 197-251, 2021. Disponível em: Disponível em: https://periodicos.ufpe.br/revistas/politicahoje/article/view/247229 Acesso em: 15 dez. 2021.
  » https://periodicos.ufpe.br/revistas/politicahoje/article/view/247229
• ROSSELLO, D. The penumbra of DART: transparency, opacity, normativity. A response to Pérez Bentancur, Piñeiro Rodríguez, and Rosenblatt. Qualitative and Multi-Method Research: Newsletter of the American Political Science Association’s QMMR Section, v. 16, n. 2, p. 36-41, 2018.
• SAMPAIO, R.; LYCARIÃO, D. Eu quero acreditar! Da importância, formas de uso e limites dos testes de confiabilidade na Análise de Conteúdo. Revista de Sociologia e Política, Curitiba, v. 26, n. 66, p. 31-47, 2018.
• SOARES, G. O calcanhar metodológico da ciência política no Brasil. Sociologia, Problemas e Práticas, n. 48, p. 27-52, 2005.
• SWAN, A.; BROWN, S. To share or not to share: publication and quality assurance of research data outputs. A report commissioned by the Research Information Network. School of Electronics & Computer Science, University of Southampton. 13 ago. 2008. Disponível em: Disponível em: https://eprints.soton.ac.uk/266742/ Acesso em: 14 maio 2024.
  » https://eprints.soton.ac.uk/266742/
• TORAL, G. How patronage delivers: political appointments, bureaucratic accountability, and service delivery in Brazil. American Journal of Political Science, v. 68, n. 2, p. 797-815, 2003.
• VAN DEN EYNDEN, V.; CORTI, L. Tensions between data sharing and data protection in research with people. Social Research Association - SRA News, p. 12-15, maio 2009.
• VAN DEN EYNDEN, Veerle Van; CORTI, Louise; WOOLLARD, Matthew; BISHOP, Libby; HORTON, Laurence. Managing and sharing data: A Best Practice Guide for Researchers. UK data archive. Colchester, Essex, p. 1-35, 2011. Disponível em: Disponível em: https://dam.ukdataservice.ac.uk/media/622417/managingsharing.pdf Acesso em: 14 maio 2024.
  » https://dam.ukdataservice.ac.uk/media/622417/managingsharing.pdf
• VERBURG, M. L.; BRAUKMANN, Ricarda; MAHABIER, W. Making qualitative data reusable: a short guidebook for researchers and data stewards working with qualitative data. CaRe & DaRe project, NWO Open Science Fund. jul. 2023. Disponível em: Disponível em: https://zenodo.org/records/8160880 Acesso em: 29 abr. 2024.
  » https://zenodo.org/records/8160880
• VIANNA, L. W.; CARVALHO, M. A. R. de; MELO, M. P. C.; BURGOS, M. B. Doutores e teses em ciências sociais. Dados, Rio de Janeiro, v. 41, n. 3, p. 453-516, 1998.
• UK DATA ARCHIVE - University of Essex. Research Data Management [website]. Disponível em: Disponível em: http://data-archive.ac.uk/create-manage Acesso em: 14 maio 2024.
  » http://data-archive.ac.uk/create-manage
• UK DATA SERVICE. Learning Hub. [website]. Disponível em: Disponível em: http://ukdataservice.ac.uk/use-data/advice.aspx Acesso em 14 maio 2024.
  » http://ukdataservice.ac.uk/use-data/advice.aspx
• YANOW, D. Critical Deliberations Concerning DA-RT. Qualitative and Multi-Method Research, v. 16, n. 2, p. 1-9, 2018. Disponível em: Disponível em: https://zenodo.org/record/3524267/files/Yanow%2CDvora_V16_No2.pdf?download=1 Acesso em: 14 maio 2024.
  » https://zenodo.org/record/3524267/files/Yanow%2CDvora_V16_No2.pdf?download=1
• YIN, R.K. Pesquisa qualitativa: do início ao fim. Porto Alegre: Penso, 2016.
• WOLF, V. A.; SIEBER, J; E; STEEL, P. M.; ZARATE, A. O. Meeting the challenge when data sharing is required. IRB: Ethics and Human Research, v. 28, n. 2, p. 10-15, 2006.

• ¹
  Para replicação dos dados: https://doi.org/10.7910/DVN/CXTXWM
• ⁵
  Note que ao longo do artigo utilizamos todas as generalizações para o gênero feminino. Para evitar dúvidas, esclarecemos que não houve recorte de gênero nos dados analisados em nossa pesquisa. Esta é uma decisão autoral, comum em outras línguas, mas ainda incipiente em trabalhos na língua portuguesa, de usar o gênero feminino para generalizações em lugar do gênero masculino.
• ⁶
  Filiamo-nos ao conceito de Janz (2016), onde replicabilidade é definida como “Processos pelos quais os resultados de um artigo publicado são reanalisados para confirmar, avançar ou desafiar os resultados originais” (tradução das autoras).
• ⁷
  Ao longo deste artigo, entendemos por “padrão de replicação” o conceito apresentado por King (1995, 2015), em que: “O padrão de replicação entende que existem informações suficientes com as quais seja possível compreender, avaliar e construir a partir de um trabalho anterior quando um terceiro indivíduo poderia reproduzir os resultados sem que o autor precisasse fornecer qualquer informação. O padrão de replicação na verdade não exige que ninguém reproduza os resultados de um artigo ou livro. Ele só requer que informação suficiente seja fornecida no artigo ou livro ou de alguma outra forma acessível ao público, de modo que os resultados possam, a princípio, ser reproduzidos” (King, 2015, p. 383).
• ⁸
  Para uma perspectiva crítica e análise das dificuldades de implementação de práticas de transparência e replicabilidade para pesquisas qualitativas, ver: Pachirat (2015); Phillips (2017); Rossello (2018).
• ⁹
  Para mais informações sobre técnicas de de-identificação, ver: Kopper, Sautmann e Turitto (2020).
• ¹⁰
  Para maiores informações sobre classificação de metodologia qualitativa e quantitativa, ver: Vianna et al. (1998).
• ¹¹
  Para mais informações, ver: https://github.com/meirelesff/rscielo. Acesso em: 21. jun. 2020.
• ¹²
  Os periódicos analisados foram: Brazilian Political Science Review, Contexto Internacional, Dados, Lua Nova: Revista de cultura e política, Novos Estudos CEBRAP, Opinião Pública, Revista Brasileira de Ciências Sociais, Revista Brasileira de Política Internacional e a Revista de Sociologia e Política.
• ¹³
  Construímos um dicionário com um conjunto de 59 palavras-chaves utilizadas para identificar técnicas de coleta e análise de dados quantitativos e qualitativos que foram citadas nos resumos analisados. Para tanto, incluímos termos mais gerais (como “entrevista”) e outros mais específicos como “história de vida” e “entrevistas em profundidade”. O dicionário está publicamente disponível no pacote de replicação deste artigo. Para encontrá-lo, a leitora apenas necessita acessar o arquivo chamado “2_TextAnalysis.R” na pasta “Scripts” do repositório do OSF (https://osf.io/p9kws/). Naturalmente, o termo “entrevista” está contemplado no termo “entrevistas em profundidade”. A sobreposição ocorre em 12 das 24 vezes que “entrevista em profundidade” é mencionada, representando apenas 6,74% das 178 aparições do termo “entrevista”. Observa-se um padrão semelhante com os termos “experimento” e “experimentos naturais”, onde a sobreposição só ocorre 1 vez. Tal sobreposição, portanto, é irrelevante para a análise, uma vez que o nosso objetivo não é estimar a utilização de técnicas específicas, seja em métodos quantitativos ou qualitativos, mas sim criar um panorama para observar a prevalência dos métodos qualitativos na disciplina e a disparidade na criação de protocolos ou guias de transparência, aspecto crucial nesse campo de estudo.
• ¹⁴
  Os dados são referentes a todos os artigos publicados até 18 de agosto de 2020. Para maiores informações sobre as palavras-chave utilizadas para capturar as técnicas utilizadas, ver scripts online no OSF (https://osf.io/p9kws/).
• ¹⁵
  Entre os dados coletados com RScielo, em 641 artigos não constam resumos e 2 retornam como casos perdidos.
• ¹⁶
  Filiamo-nos ao conceito de Patil, Peng e Leek (2016), onde reprodutibilidade é definida como “Conjunto de funções computacionais (scripts) que permite a reprodução exata de resultados observados por meio dos dados brutos” (tradução das autoras).

Datas de Publicação

• Publicação nesta coleção
  05 Ago 2024
• Data do Fascículo
  2024

Histórico

• Recebido
  26 Maio 2023
• Aceito
  14 Fev 2024