UMA REFLEXÃO SOBRE A UTILIZAÇÃO DA TÉCNICA DE DELPHI EM ENFERMAGEM

RESUMO

Objetivo:

refletir sobre a técnica de Delphi, um processo sistemático que utiliza a opinião coletiva de um grupo de especialistas para alcançar consenso sobre determinados assuntos. Focalizando especificamente na área da enfermagem, nossa intenção é examinar, de forma reflexiva, as diferentes modalidades dessa técnica e suas etapas.

Método:

reflexão teórica sobre a utilização da técnica Delphi, elencando suas diferentes formas e realizando uma avaliação crítica do método ao longo das suas diferentes etapas.

Resultados:

observa-se na literatura disponível diferentes variantes da técnica, designadamente o Delphi Tradicional, o Delphi modificado, o e-Delphi e o método RAND/UCLA, acompanhados por mudanças epistemológicas e metodológicas no entendimento tradicional da técnica de Delphi. Apesar da variabilidade de formatos, a técnica deve incluir três princípios: o painel de peritos, o anonimato das respostas e o processo interativo de retroalimentação controlada. Ao longo do artigo, é realizada uma reflexão sobre as suas etapas, justificação da área em estudo, painel de peritos, características das rondas e critérios de término.

Conclusão:

Sugerimos nossos critérios de avaliação para que autores, pesquisadores e revisores possam analisar a utilização da técnica de Delphi na pesquisa em enfermagem. Recomendada-se ainda a criação de diretrizes claras para a apresentação de estudos com a utilização do Delphi na área da saúde, assim como existem outras orientações estabelecidas para outro tipo de métodos.

DESCRITORES:
Técnica Delphi; Consenso; Pesquisa Qualitativa; Pesquisa; Enfermagem.

ABSTRACT

Objective:

This article aims to reflect on the Delphi technique, a systematic process that uses the collective opinion of a group of experts to reach consensus on specific issues. Focusing on the field of nursing, we examine in a reflective manner the different modalities of this technique and its stages.

Method:

This is a theoretical reflection on the use of the Delphi technique, listing its different forms and conducting a critical evaluation of the method throughout its different stages.

Results:

Different variants of the technique are observed in the available literature, namely Traditional Delphi, Modified Delphi, e-Delphi, and the RAND/UCLA method, accompanied by epistemological and methodological changes in the traditional understanding of the Delphi technique. Despite the variability of formats, the technique should include three principles: the panel of experts, the anonymity of the responses, and the interactive process of controlled feedback. Throughout the article, a reflection is made on its stages, justification of the study area, expert panel, characteristics of the rounds, and termination criteria.

Conclusion:

We suggest our evaluation criteria so that authors, researchers, and reviewers can analyze the use of the Delphi technique in nursing research. It is also recommended that clear guidelines be created for presenting studies using the Delphi technique in the health area, as there are other established guidelines for other types of methods.

DESCRIPTORS:
Delphi Technique; Consensus; Qualitative Research; Research; Nursing

RESUMEN

Objetivo:

reflexionar sobre la técnica de Delphi, un proceso sistemático que utiliza la opinión colectiva de un grupo de especialistas para alcanzar consenso sobre determinados asuntos. Focalizando específicamente en el área de la enfermería, nuestra intención es examinar, de forma reflexiva, las diferentes modalidades de esa técnica y sus etapas.

Método:

reflexión teórica sobre la utilización de la técnica Delphi, enumerando sus diferentes formas y realizando una evaluación crítica del método a lo largo de sus diferentes etapas.

Resultados:

en la literatura disponible se observan diferentes variantes de la técnica, a saber: el Delphi Tradicional, el Delphi modificado, el e-Delphi y el método RAND/UCLA, acompañados por mudanzas epistemológicas y metodológicas en el entendimiento tradicional de la técnica de Delphi. A pesar de la variabilidad de formatos, la técnica debe incluir tres principios: el panel de peritos, el anonimato de las respuestas y el proceso interactivo de retroalimentación controlada. A lo largo del artículo, es realizada una reflexión sobre sus etapas, justificación del área en estudio, panel de peritos, características de las rondas y criterios de término.

Conclusión:

Sugerimos nuestros criterios de evaluación para que autores, pesquisadores y revisores puedan analizar la utilización de la técnica de Delphi en la pesquisa en enfermería. Se recomienda la creación de directrices claras para la presentación de estudios con la utilización del Delphi en el área de la salud, así como existen otras orientaciones establecidas para otro tipo de métodos.

DESCRIPTORES:
Técnica Delphi; Consenso; Pesquisa Cualitativa; Pesquisa; Enfermería.

INTRODUÇÃO

Técnicas geradoras de consenso são concebidas para responder a uma questão de investigação. Nesta metodologia, o conhecimento é co-criado, incorporando múltiplas perspectivas e tipos de conhecimento1. Em 1972, estes autores salientavam que a técnica de consenso fornecia uma forma de processar um grande número de ideias, oferecendo uma forma de contornar restrições organizacionais à criação de ideias, encorajando ao máximo a participação de todos para resolver problemas, e fornecendo uma forma de selecionar boas ideias2. A técnica de consenso é referenciada em 1970 numa atividade do exército dos EUA, no sentido de gerar as melhores ideias sobre como o exército devia ser organizado e equipado. Usando esta estratégia, o instituto obteve mais de 250 ideias2. Neste caso, em particular, a solicitação de opinião de peritos tem sido reconhecida como um método fiável de recolha de dados1. Pelo que, as técnicas de consenso têm vindo a ser amplamente utilizadas na investigação em saúde e enfermagem para alcançar um entendimento comum sobre questões importantes e para informar decisões clínicas baseadas em evidências 3^-6.

Atualmente, as metodologias geradoras de consenso, através da opinião de peritos, são essencialmente desenvolvidas através de técnicas de Delphi ou suas variantes1. A técnica de Delphi é um processo sistemático que utiliza a opinião coletiva dos membros de um painel7. A técnica implica um processo de tomada de decisão em grupo que se caracteriza pelo facto de cada membro do grupo, de modo anónimo, apresentar as suas ideias, mas nunca face a face, e ao longo de várias rondas.

A técnica Delphi foi desenvolvida pela primeira vez na década de 1950 por Norman Dalkey e Olaf Helmer, na RAND Corporation, numa tentativa de ganhar consenso de especialistas8. O termo “Delphi” remete à mitologia grega, fazendo uma alusão ao oráculo de Delfos, da Grécia Antiga, onde os sacerdotes davam previsões futuras baseadas em visões divinas9. O significado profético, então compreendido como sinônimo de bom julgamento sobre determinada questão, inspirou a escolha do nome no início da década de 19503.

A técnica propagou-se a áreas diversas de investigação, nomeadamente a saúde e Enfermagem. O Delphi, nas suas diferentes variantes, assumiu um papel fundamental nas últimas décadas para desenvolver a orientação de melhores práticas usando inteligência coletiva, onde a pesquisa é limitada, ética e logisticamente difícil, ou as evidências são contraditórias7.

A relevância e os objetivos das técnicas Delphi diferem entre as várias disciplinas. Embora as técnicas Delphi sejam usadas principalmente no contexto das ciências técnicas e naturais para analisar desenvolvimentos futuros, são frequentemente usadas nas ciências da saúde para encontrar consenso6. Isto porque, após uma lenta aceitação inicial, na área da saúde, agora é uma técnica amplamente utilizada para avaliar o conhecimento atual, resolver controvérsias na gestão, formulação de linhas orientadoras teóricas ou metodológicas, desenvolvimento de ferramentas, indicadores de avaliação, formular recomendações, ou outros tópicos7.

Nas ciências da saúde, a técnica Delphi é usada principalmente pelos investigadores quando o conhecimento disponível é incompleto, ou sujeito a incertezas. Assim como, em situações em que os níveis mais altos de evidência não estão disponíveis ou não podem ser utilizados. Ao longo deste artigo pretende-se refletir sobre as diferentes modalidades dessa técnica e as suas etapas focalizando especificamente na área da enfermagem.

VARIANTES DA TÉCNICA

Atualmente, existem uma série de variantes da técnica, tais como o Delphi tradicional, o Delphi modificado, o E-Delphi e o RAND/UCLA. O desenvolvimento de novas variantes também foi acompanhado por mudanças epistemológicas e metodológicas no entendimento tradicional do Delphi6. Apesar desta variabilidade, as diferentes manifestações são reconhecidas como a técnica de Delphi, desde que incluam três características fundamentais: seleção criteriosa de um grupo de especialistas, anonimato nas respostas e um processo interativo de feedback controlado,

Delphi tradicional

A forma de elaboração da primeira ronda determina a técnica Delphi utilizada. Nesta abordagem mais qualitativa, o questionário da primeira ronda é constituído por um conjunto de perguntas abertas para guiar a geração de ideias, apresentar opiniões e obter o consenso. Observa-se um contexto unicamente qualitativo, assegurando que os membros do painel expõem as complexidades de um problema com base nas suas compreensões sobre o tema. No entanto, diante da complexidade do conteúdo que pode ser submetida e da quantidade de informações que podem ser geradas, isso pode levar ao desinteresse dos participantes e comprometer a confiabilidade e a validade dos resultados3. Num estudo de revisão realizado sobre o tema, dos 764 estudos com variantes de Delphi incluídos nesta análise: 329 (43,06%) foram identificados como tendo utilizado o Delphi tradicional.1

Delphi modificado

O Delphi adaptado não segue um critério uniforme, mas, em princípio, um grupo coordenador atua como facilitador do processo dentro grupo, tornando a comunicação mais eficaz7. O grupo coordenador da investigação identifica inicialmente as questões relevantes para o objeto de estudo. Isto determina a necessidade do desenvolvimento de um instrumento prévio, que pode ser elaborado a partir de uma revisão da literatura, entrevistas, grupos focais ou outras formas de consulta3. A primeira ronda pode consistir na análise direta dos itens do instrumento. O termo “modificado” nos estudos Delphi é, entretanto, discrepante e sem nenhum critério universalmente aceito. A única coisa comum na técnica de Delphi modificada é o esforço ativo do grupo de coordenação em gerar consenso. O grupo de coordenação realiza uma pesquisa prévia na área do problema a ser investigado, e posteriormente estão focadas em alcançar o consenso entre os membros do painel. No entanto, essa participação ativa do grupo de coordenação pode causar viés na opinião dos membros peritos7. Num estudo de revisão realizado sobre o tema, dos 764 estudos com variantes de Delphi incluídos nesta análise: 426 (55,76%) foram identificados como utilizando esta técnica1.

E-Delphi

O E-Delphi é uma variação da técnica de Delphi que utiliza tecnologias da informação e da comunicação (TIC) para conduzir a consulta ao grupo de peritos. O E-Delphi permite que o processo seja realizado de forma mais rápida, acessível e eficiente, além de ampliar a possibilidade de participação de peritos de diferentes regiões geográficas. O inquérito eletrónico Delphi (também chamado e-Delphi) ajuda na representação global dos membros do painel, poupa tempo, e fixa as rondas de inquérito utilizando tecnologia sem votação física. Este processo envolve a seleção de peritos após a investigação para elegibilidade na Web, podendo ser enviados mais convites por correio eletrónico para participar no projeto7. Os inquéritos "e-Delphi" podem levar ao aumento do tamanho da amostra e da diversidade através da extrapolação dos formulários para fronteiras internacionais. Podem ainda, levar à redução dos custos administrativos e dos investimentos de tempo, e à redução da carga de gestão através da recolha de dados digitais, à gestão de respostas individuais anónimas e à comunicação inovadora dos participantes através de lembretes de correio eletrónico automatizados pelo sistema, indicando aos participantes que ainda precisam de completar o inquérito10. No entanto, a taxa de aceitação entre peritos pode ser baixa. Os investigadores consideram este desgaste da taxa de aceitação entre peritos superior durante o processo de convite7. Por outro lado, a falta de interação presencial pode ser um dissuasor para o recrutamento e retenção dos participantes. Em alguns artigos esta técnica surge categorizada como o Delphi modificado1^,3.

RAND/UCLA

A técnica de adequação RAND-UCLA foi desenvolvida em 1980, nos Estados Unidos, pela corporação de pesquisa e desenvolvimento (RAND) e pela Universidade de Califórnia - Los Angeles (UCLA) 9^,11. Nesta técnica existem 2 grupos independentes: o painel do núcleo e o painel de peritos. O primeiro grupo guia o segundo preparando informações sintetizadas - obtidas através de revisão sistemática de literatura. Em resumo, as etapas incluem uma revisão sistemática, seleção de peritos, geração de um formulário de avaliação, um inquérito de avaliação numa primeira fase, uma reunião presencial onde os membros do painel discutem áreas em desacordo, classificações finais e análise dessas classificações, e a elaboração de um resumo escrito das áreas em que se encontram de acordo11.

Esta técnica apresenta uma finalidade específica, utilizando uma revisão sistemática da literatura como base, com grande impacto nas guias de recomendação em saúde1. A RAND-UCLA tem sido utilizada para desenvolver orientações da prática clínica, sistemas de classificação de doenças, agendas de investigação, e intervenções de melhoria da qualidade11.

Num estudo de revisão realizado sobre o tema, dos 764 estudos com variantes de Delphi incluídos nesta análise: apenas 9 (1.18%) são descritos utilizando esta técnica1. Acreditamos, porém, que estes resultados poderão dever-se à má identificação do método nos relatórios, retratando de modo indiscriminado a técnica de Delphi para qualquer uma das suas variantes.

COMO UTILIZAR A TÉCNICA DE DELPHI?

Não há padrões definidos para relatar estudos Delphi em saúde, designadamente em enfermagem, ao contrário de outras ferramentas de investigação7. Também não existem parâmetros de qualidade validados para avaliar os estudos Delphi. Conforme nos referem estes autores, nestes estudos de revisão, existe uma necessidade de melhorar os relatórios de estudos Delphi, tal como existem outras linhas de orientação CONSORT^®, STROBE^®, PRISMA^®, incluindo um conjunto padrão de indicadores de qualidade4^,12^,13.

Houve tentativas de identificar parâmetros de qualidade para conduzir e avaliar estudos Delphi, designadamente em cuidados paliativos4. A orientação para estudos Delphi (CREDES- Conducting and REporting of DElphi Studies) é um guia popular, desenvolvido para a utilização da técnica de Delphi em cuidados paliativos. Os autores reconheceram variações significativas nos estudos analisados e propuseram padrões CREDES4. Esta metodologia inclui diversas etapas designadamente: justificação; planeamento e processo; definição de consenso; input de informações; prevenção de viés; interpretação e tratamento dos resultados; validação externa; objetivo e justificação; painel de peritos; descrição dos métodos; procedimento; definição e obtenção de consenso; resultados; discussão das limitações; adequação das conclusões; e por último publicação e divulgação4. Esta ferramenta não foi validada para outras áreas da saúde, nem universalmente aceites para a condução de estudos com a técnica de Delphi.

ETAPAS DA TÉCNICA DE DELPHI

Nasa et al. propõem que a técnica deve pressupor pelo menos quatro etapas (Figura 1) 7. Pelo que, iremos descrever o método tendo por base estas 4 etapas.

Figura 1:
Avaliação da qualidade dos estudos Delphi (Adpatado de Nasa et al.7).

Área em estudo

Deve ser fornecida uma justificação para a escolha da técnica Delphi como o método mais adequado para o problema em estudo. Ao selecionar esta técnica para responder a uma determinada questão de investigação, é importante ter em mente a sua natureza construtivista4. A utilização do Delphi é um recurso para áreas problemáticas em que as evidências não estão disponíveis, o conhecimento é incerto e incompleto e o julgamento de peritos é melhor do que a opinião individual. Os critérios usados para identificar a área problemática e o processo seguido devem ser documentados7.

Painel de peritos

A seleção dos membros do painel é, sem dúvida, o aspecto mais importante do Delphi. Não há critérios padrão usados para a definição dos membros do painel. Nesta etapa, definido à priori, deverá ser especificado a composição e características do painel, número de participantes (diagrama do fluxo de participantes), técnicas utilizadas para convidar os participantes, âmbito geográfico do Delphi5.

Será possível assumir a priori que todos os elementos dos grupos são “sábios” 6? Uma questão vulgarmente existente nesta etapa, isto porque a classificação dos membros do painel como 'especialistas' é muito controversa7. O especialista, ou perito, pode ser definido como alguém com conhecimento e experiência em determinado assunto8. No entanto, é difícil medir a experiência quantitativamente, pelo que, a seleção do painel deve seguir critérios predefinidos7. Devem ser comunicados os critérios de seleção de peritos e informações transparentes sobre o recrutamento do painel de peritos, dados sociodemográficos e outros, incluindo detalhes e informações sobre a perícia relativamente ao tema em questão4.

Uma outra questão existente recai sobre a utilização de Homogeneidade ou Heterogeneidade na escolha dos peritos.

Um grupo homogêneo pode ser mais confiável num determinado objetivo do estudo, sendo adequado para resolver questões não resolvidas de um problema específico7. Porém alguns autores sugerem que a heterogeneidade num grupo de decisão pode levar a um melhor desempenho do que a homogeneidade, onde um painel diversificado ajuda a alcançar uma perspetiva mais ampla e a obter a generalização do consenso5^,6. A diversidade cognitiva num grupo de peritos pode apoiar processos de discussão inovadores e criativos6^,7.

No que se refere ao tamanho apropriado do painel, ele é descrito com uma enorme variabilidade. Segundo estes autores, num mapeamento realizado sobre o tema, referem que nos estudos em análise, o tamanho do painel variou entre 3 e 731 peritos6.

A quantidade de indivíduos necessários para aplicar a técnica é outra fonte de discordância entre os pesquisadores, referindo que esta questão poderá estar relacionada com o tópico investigado, com a complexidade do problema, com a abordagem selecionada, com os recursos disponíveis e com a variedade de conhecimentos necessários para obter o consenso3.

Não há tamanho padrão dos membros do painel e este pode variar de 10 a 1000 (normalmente entre 10 e 100) 7. Um painel com um tamanho amostral de três dígitos é incomum, pelo que, um número de dois dígitos próximo a 30-50 é considerado ótimo nas rondas finais para um Delphi homogêneo6^,7.

O tamanho apropriado utilizado depende da complexidade do problema, homogeneidade ou heterogeneidade do painel, e disponibilidade dos recursos. Alguns autores sugerem que um número mínimo de 10 membros pode ser suficiente, referindo que uma quantidade maior não produz ganhos significativos para se atingir o consenso7^,3^,9. No entanto, aconselha-se a recorrer ao maior número de participantes possível, diminuindo o risco de viés3.

Rondas

A força do processo na técnica de Delphi é o anonimato dos peritos, o feedback controlado e as diferentes rondas interativas7. O processo anónimo evita a pressão social do grupo de agir em conformidade com uma visão dominante4.

O anonimato dos membros na técnica de Delphi remove o viés inerente, como a dominância e a conformidade do grupo (definido como pensamento de grupo) observado em reuniões de grupo presenciais, onde os participantes se sentem mais à vontade para fornecer opiniões7.

O “feedback controlado” é outra característica clássica da técnica de Delphi. É denominado como “controlado” porque o moderador decide sobre o feedback fornecido com base nas respostas aos itens e comentários abertos7. Após cada uma das rondas de pesquisa, os dados obtidos são analisados e apresentados num formato de fácil interpretação para todos. Tem sido recomendado que o feedback seja incluído, após cada ronda, incluindo comentários qualitativos e medidas estatísticas5^,6. Cada participante deve receber os resultados do painel, a resposta do participante e um resumo de todos os comentários recebidos. Esses dados informam a cada participante a sua posição em relação ao resto do grupo, auxiliando assim nas decisões sobre respostas durante futuras rondas Delphi5.

Critérios de término

O número de rondas mais comum na técnica de Delphi é de duas ou três12, embora o número total de rondas possa variar dramaticamente entre estudos1^,7. Alguns estudos, definem à priori o número de rondas que vão ser executadas12. Este aspeto pode ser considerado um viés, dado que, um número fixo de rondas sem avaliação da estabilidade dos resultados é um comprometimento da robustez estatística7. Pelo que, devem ser executadas as rondas que forem necessárias para se alcançar o nível de consenso, previamente definido. Por outro lado, a fim de satisfazer a premissa de retroalimentação, característica da técnica de Delphi é necessário um mínimo de pelo menos duas rondas, mesmo que o grau de concordância seja atingido no primeiro momento.

Os critérios de término devem ser definidos à priori, integrando não apenas o critério de consenso, mas também o critério de estabilidade. No que se refere ao consenso, a definição mais comum de consenso utilizada é a concordância percentual, sendo 75% o limite médio para definir o consenso12. No entanto, observa-se que a concordância percentual varia amplamente, com resultados de 50% a 97%, sendo selecionada arbitrariamente7.

Estudos mostram que, para além das percentagens de consenso, a estabilidade das respostas deve ser determinante para o objetivo do Delphi7^,9^,12. A estabilidade é definida como a consistência das respostas entre as sucessivas rondas7. Ela é definida pela ausência de novas contribuições e poucas alterações das respostas do painel entre as rondas, representado por uma baixa dispersão de respostas9. Por outras palavras, o consenso pode estar presente em respostas instáveis e a estabilidade pode estar presente sem consenso e, portanto, alcançar a estabilidade da resposta deve ser um critério de término apropriado7.

A aplicação da técnica de Delphi em enfermagem, carece de padrões e parâmetros de qualidade estabelecidos, devendo ser descrito o tipo de variante da técnica utilizada, assim como, realizar uma descrição exaustiva de como foi realizada cada etapa.

CONCLUSÃO

Após refletirmos sobre a técnica de Delphi, as suas diferentes variantes, é possível concluir que a qualidade da técnica se baseia no seu correto planeamento, na adequação das diferentes etapas e no processo pelo qual o consenso é identificado. Apesar da variabilidade de formatos, o método deve incluir três princípios, para ser considerado Delphi, nomeadamente: painel de peritos, anonimato das respostas e o processo interativo de retroalimentação controlada. Quando executado corretamente e com um rigor metodológico, esta técnica pode contribuir significativamente para ampliar o conhecimento sobre um determinado tópico. Os autores devem esforçar-se por fornecer detalhes suficientes sobre a técnica que utilizam, justificando cada uma das etapas.

Por outro lado, os investigadores devem estar cientes das limitações da técnica, designadamente das suas dificuldades, num processo que pode ser moroso, com fraca adesão dos participantes e com possível perda de participantes ao longo das rondas. Sugere-se a necessidade de criar e validar parâmetros de qualidade padrão para avaliar a utilização da técnica de Delphi em Enfermagem.

REFERENCES

• 1. Jandhyala R. Delphi, non-RAND modified Delphi, RAND/UCLA Appropriateness Method and A Novel Group Awareness and Consensus Methodology for Consensus Measurement: A Systematic Literature Review. Curr Med Res Opin [Internet]. 2020 [cited 2023 Jul 16];36(11):1873-87. Available from: https://doi.org/10.1080/03007995.2020
  » https://doi.org/10.1080/03007995.2020
• 2. Taylor CW. Panel Consensus Technique: A New Approach to Decisionmaking. J Creative Behavior [Internet]. 1972 [cited 2023 Jul 16];6(3):187. Available from: https://doi.org/10.1002/j.2162-6057.1972.tb00928.x
  » https://doi.org/10.1002/j.2162-6057.1972.tb00928.x
• 3. Rocha- FilhoC, Cardoso T, Dewulf N. Método e-delphi modificado: um guia para validação de instrumentos avaliativos na área da saúde [Internet]. Curitiba, (PR)BR: Brazil Publishing; 2019 [cited 2023 Jul 16]. Available from: https://doi.org/10.31012/978-65-5016-268-9
  » https://doi.org/10.31012/978-65-5016-268-9
• 4. Jünger S, Payne SA, Brine J, Radbruch L, Brearley SG. Guidance on Conducting and REporting DELphi Studies (CREDES) in Palliative Care: Recommendations Based on a Methodological Systematic Review. Palliative Med [Internet]. 2017 [cited 2023 Jul 16];31(8):684-706. Available from: https://doi.org/10.1177/0269216317690685
  » https://doi.org/10.1177/0269216317690685
• 5. Boulkedid R, Abdoul H, Loustau M, Sibony O, Alberti C. Using and Reporting the Delphi Method for Selecting Healthcare Quality Indicators: A Systematic Review. PLoS One [Internet]. 2011 [cited 2023 Jul 16];6(6):e20476. Available from: https://doi.org/10.1371/journal.pone.0020476
  » https://doi.org/10.1371/journal.pone.0020476
• 6. Niederberger M, Spranger J. Delphi Technique in Health Sciences: A Map. Front Public Health [Internet]. 2020 [cited 2023 Jul 16];8:457. Available from: https://doi.org/10.3389/fpubh.2020.00457
  » https://doi.org/10.3389/fpubh.2020.00457
• 7. Nasa P, Jain R, Juneja D. Delphi Methodology in Healthcare Research: How to Decide Its Appropriateness. World J Methodol [Internet]. 2021 [cited 2023 Jul 16];11(4):116-29. Available from: https://doi.org/10.5662/wjm.v11.i4.116
  » https://doi.org/10.5662/wjm.v11.i4.116
• 8. Barrett D, Heale R. What are Delphi Studies? Evidence-Based Nursing [Internet]. 2020 [cited 2023 Jul 16];23(3):68-9. https://doi.org/10.1136/ebnurs-2020-103303
  » https://doi.org/10.1136/ebnurs-2020-103303
• 9. Oliveira C, Tavares J, Leão R, Filho V, Andrade F. Delphi, técnica de validação para pesquisas na pandemia. In: Costa ACMSF, Souza RJC, Barros MLCMGR, editors. Internacional Saúde Única (Interface Mundial) [Internet]. 2nd ed. Recife, (PE)BR: Even3 Publicações; 2020 [cited 2023 Jul 16]. Available from: https://doi.org/10.29327/icidsuim2020.305828
  » https://doi.org/10.29327/icidsuim2020.305828
• 10. Hall DA, Smith H, Heffernan E, Fackrell K; Core Outcome Measures in Tinnitus International Delphi (COMiT’ID) Research Steering Group. Recruiting and Retaining Participants in e-Delphi Surveys for Core Outcome Set Development: Evaluating the COMiT'ID Study. PLoS One [Internet]. 2018 [cited 2023 Jul 16];13(7):e0201378. Available from: https://doi.org/10.1371/journal.pone.0201378
  » https://doi.org/10.1371/journal.pone.0201378
• 11. Broder M, Gibbs S, Yermilov I. MSR10 An Adaptation of the RAND/UCLA Modified Delphi Panel Method in the Time of COVID-19. Value Health [Internet]. 2022 [cited 2023 Jul 16];25(7):S519. Available from: https://doi.org/10.1016/j.jval.2022.04.1217
  » https://doi.org/10.1016/j.jval.2022.04.1217
• 12. Diamond IR, Grant RC, Feldman BM, Pencharz PB, Ling SC, Moore AM, et al. Defining Consensus: A Systematic Review Recommends Methodologic Criteria for Reporting of Delphi Studies. J Clin Epidemiol [Internet]. 2014 [cited 2023 Jul 16];67(4):401-9. Available from: https://doi.org/10.1016/j.jclinepi.2013.12.002
  » https://doi.org/10.1016/j.jclinepi.2013.12.002
• 13. Banno M, Tsujimoto Y, Kataoka Y. The Majority of Reporting Guidelines are not Developed with the Delphi Method: A Systematic Review of Reporting Guidelines. J Clin Epidemiol [Internet]. 2020 [cited 2023 Jul 16];124:50-7. Available from: https://doi.org/10.1016/j.jclinepi.2020.04.010
  » https://doi.org/10.1016/j.jclinepi.2020.04.010

Editado por

EDITORES

Editores Associados: José Luís Guedes dos Santos, Maria Lígia Bellaguarda. Editor-chefe: Elisiane Lorenzini.

Datas de Publicação

• Publicação nesta coleção
  05 Ago 2024
• Data do Fascículo
  2024

Histórico

• Recebido
  30 Ago 2023
• Aceito
  13 Nov 2023