DESENVOLVIMENTO E VALIDAÇÃO DE UM INSTRUMENTO DE IDENTIFICAÇÃO DE VULNERABILIDADE DIGITAL (Q-IVD) PARA ESTUDANTES DA EDUCAÇÃO BÁSICA

DESARROLLO Y VALIDACIÓN DE UN INSTRUMENTO DE IDENTIFICACIÓN DE VULNERABILIDAD DIGITAL (Q-IVD) PARA ESTUDIANTES DE LA EDUCACIÓN BÁSICA

RESUMO:

O número de jovens que fazem uso das tecnologias digitais cada vez mais precocemente tem aumentado de forma significativa. Considerando que o uso inadequado e abusivo das tecnologias pode ser prejudicial em várias dimensões da vida humana, será apresentada e discutida neste artigo a sistematização das etapas do desenvolvimento e da validação de um instrumento que objetiva mensurar indicativos de vulnerabilidade digital entre estudantes do Ensino Médio. A construção do Questionário de Identificação de Vulnerabilidade Digital (Q-IVD) está fundamentada na literatura, sendo escolhido o tipo de validação de conteúdo para avaliar, por meio do método Delphi, o julgamento de especialistas acerca dos conteúdos presentes no instrumento. Participou desse processo de validação um painel de especialistas composto por 26 juízes com formação e atuação nos campos da educação e saúde, e, posteriormente, amostras de estudantes que contribuíram com a análise semântica das questões e a aplicação-piloto do questionário para realização de análises e testes estatísticos, cabendo destacar que todas essas etapas ocorreram durante o período pandêmico. O Q-IVD obteve ótimos resultados nos processos de validação, com Índice de Validade de Conteúdo (IVC) acima de 0,80 em todas as questões e categorias, e teve sua confiabilidade e consistência comprovadas mediante o coeficiente alpha de Cronbach 0,821. A versão final do Q-IVD contém 24 questões distribuídas em quatro categorias, e, durante o processo de validação, foram evidenciados indícios de esse instrumento ter aplicabilidade validada também para diferentes públicos, mediante aprimoramento e adaptações transculturais, para investigar correlações diversas juntamente com outros instrumentos de pesquisa e análises estatísticas.

Palavras-chave:
Tecnologias móveis digitais; validação de conteúdo; método Delphi

RESUMEN:

El número de jóvenes que utilizan las tecnologías digitales a una edad más temprana ha aumentado significativamente. Y considerando que el uso inapropiado y abusivo de las tecnologías puede ser perjudicial en varias dimensiones de la vida humana, este artículo presentará y discutirá la sistematización de las etapas de desarrollo y de la validación de un instrumento que tiene como objetivo medir indicadores de vulnerabilidad digital entre estudiantes de la secundaria. La construcción del Cuestionario de Identificación de Vulnerabilidad Digital (Q-IVD) se basa en la literatura, eligiendo el tipo de validación de contenido para evaluar, a través del método Delphi, el juicio de especialistas sobre los contenidos presentes en el instrumento. En este proceso de validación participó un panel de expertos compuesto por 26 jueces con formación y experiencia en los campos de la educación y la salud, y posteriormente, muestras de estudiantes que contribuyeron con el análisis semántico de las preguntas y la aplicación piloto del cuestionario para realizar los análisis y estadísticas de pruebas, destacando que todos estos pasos ocurrieron durante el período de pandemia. El Q-IVD obtuvo excelentes resultados en los procesos de validación, con un Índice de Validez de Contenido (IVC) superior a 0,80 en todas las preguntas y categorías, y comprobó su confiabilidad y consistencia a través del coeficiente alfa de Cronbach 0,821. La versión final del Q-IVD contiene 24 preguntas divididas en cuatro categorías, y durante el proceso de validación se mostró evidencia de que este instrumento también ha sido validado para su aplicabilidad a diferentes audiencias, a través de mejoras y adaptaciones transculturales, para investigar diferentes correlaciones junto con otros instrumentos de investigación y análisis estadísticos.

Palabras clave:
Tecnologías móviles digitales; validación de contenido; método Delphi

ABSTRACT:

The number of young people using digital technologies at an earlier age has increased significantly. Considering that the inappropriate and abusive use of technologies can harm several dimensions of human life, this article presents and discusses the systematization of the development stages and the validation of an instrument that aims to measure digital vulnerability indicators among high schoolers. Based on the literature, the construction of the Digital Vulnerability Identification Questionnaire (DVI-Q) chooses, through the Delphi method, the type of content validation to evaluate the specialists' judgment about the contents in the instrument. A panel of 26 experts with training and experience in the education and health fields participated in this validation process. Further, samples of students participated, contributing to the semantic analysis of the questions and pilot application of the questionnaire to analyze and test the statistics. All these steps occurred during the pandemic period. The DVI-Q reached excellent results in the validation processes, with a Content Validity Index above 0.80 in all questions and categories. Its reliability and consistency was proven through Cronbach's alpha coefficient of 0.821. The final version of the DVI-Q contains 24 questions divided into four categories. During the validation process, evidence showed that this instrument could also be applied to different audiences to investigate different correlations, other research instruments, and statistical analyzes, after some improvements and cross-cultural adaptations.

Keywords:
Digital mobile technologies; content validation; Delphi method

INTRODUÇÃO

Antes mesmo de se ouvir falar sobre o novo coronavírus (SARS-CoV-2), causador da pandemia de Covid-19, as tecnologias em geral, sobretudo as Tecnologias Móveis Digitais da Informação e Comunicação (TMDIC), já se faziam presentes na rotina diária da população em escala global, proporcionando novas formas de socialização e uma grande variedade de recursos e serviços essenciais para manutenção das diferentes esferas políticas, econômicas, socioculturais, acadêmicas e profissionais.

O aprimoramento das tecnologias digitais, especialmente as de conexão sem fio dos serviços de telefonia móvel, permitiu às pessoas o acesso a uma maior variedade de dispositivos móveis, principalmente aos smartphones, devido a suas funcionalidades como conexão à internet, aplicativos de comunicação instantânea, serviços de e-mails, redes sociais e compartilhamento de fotos, vídeos, músicas e demais arquivos. Nesse contexto, o número de jovens que fazem uso desses recursos tecnológicos cada vez mais precocemente também aumentou, e, com isso, emergiram novas maneiras de aprender, pensar e interagir na sociedade digital.

É inegável o fato de que as TMDIC proporcionam uma série de benefícios para a população, como interatividade globalizada, conforto, possibilidades de trabalho e estudo, maior agilidade nas tarefas diárias, entretenimento e demais facilidades para seus usuários. Entretanto, ao mesmo tempo não podemos negligenciar a possibilidade de elas, as TMDIC, poderem, em algum momento, se mostrar prejudiciais em várias dimensões da vida humana, inclusive a ponto de comprometerem a saúde física e mental por meio da dependência patológica das tecnologias, causarem conflitos pessoais e sociais e até mesmo provocarem, ou agravarem, alguns transtornos emocionais, como a ansiedade, se seu uso ocorrer de maneira abusiva e descontrolada, algo que tem se tornado comum entre o público adolescente (RIBEIRO; LEITE; SOUSA, 2009; KING; NARDI; SILVA, 2014; TUMELEIRO et al., 2018).

Diante dessa discussão, apresentaremos neste artigo a sistematização das etapas do processo de desenvolvimento e validação de um instrumento que objetiva mensurar indicativos de vulnerabilidade digital entre estudantes do Ensino Médio. Ressaltamos que tal instrumento corresponde a um importante recurso que possibilita analisar a cultura digital dos estudantes, inclusive no que se refere ao uso das tecnologias digitais e sua correlação com a aprendizagem, algo considerado inovador e relevante tendo em vista os pressupostos da Base Nacional Comum Curricular (BNCC), especificamente suas dez competências gerais no âmbito pedagógico, articuladas com conhecimentos, atitudes e valores para o pleno exercício da cidadania com enfoque nas linguagens tecnológicas e nas habilidades específicas para o desenvolvimento da cultura digital nas diferentes dimensões sociais (BRASIL, 2018).

A elaboração e validação do instrumento proposto neste estudo se justificam diante da necessidade de verificar o risco de vulnerabilidade do uso inadequado das tecnologias entre o público adolescente, que, por sua vez, pode desencadear vários transtornos e prejuízos, inclusive na aprendizagem, devido a quadros de ansiedade, agravamento de patologias, entre outras situações nas quais é de fundamental importância que os professores possam direcionar a integração das tecnologias ao uso de forma orientada às pesquisas e demais atividades escolares com objetividade. Destarte, a necessidade de investigar indicativos de vulnerabilidade com estudantes do Ensino Médio, especificamente do 3º ano, foi motivada levando em consideração o fato de essa ser a última etapa da Educação Básica, em que a maioria dos alunos passa por um processo de transição da adolescência para a fase adulta, e muitos demonstram interesse em prosseguir com os estudos no Ensino Superior e/ou ingressar no mercado de trabalho, fase que requer maior maturidade e responsabilidade na tomada de decisões, sobretudo no que se refere ao uso das TMDIC em suas relações sociais (ALVES, 2019).

Convém ressaltar que, embora exista um consenso acerca da importância de se utilizar instrumentos de coleta de dados com qualidade para possibilitar a investigação dos fenômenos de maneira objetiva e sistemática, ainda há uma quantidade expressiva de questionários elaborados e aplicados em pesquisas nas diversas áreas, sem que tenham sido validados de maneira adequada (KOSOWSKI et al., 2009; SOUZA; ALEXANDRE; GUIRARDELLO, 2017). Por esse motivo, foi priorizada a necessidade de avaliar consistentemente a qualidade do instrumento desenvolvido através de métodos de validação que garantam medidas e indicadores confiáveis, conforme será melhor detalhado nas seções seguintes.

PRIMEIROS PASSOS

O processo de validação pode ser compreendido como um conjunto de métodos para analisar a precisão de resultados obtidos a partir da realização de um determinado instrumento de pesquisa, como questionários, roteiros de entrevistas, testes etc., e verificar se estes contemplam, de fato, os fenômenos e objetivos que se propõem investigar, assim como identificar a necessidade de aprimoramento ou de adaptação entre as variáveis selecionadas e o construto teórico avaliado (BITTENCOURT et al., 2011; JESUS, 2013; ALVES, 2019). Em outras palavras, um instrumento será considerado válido quando conseguir alcançar os objetivos propostos durante sua elaboração.

Entre os principais métodos de validação utilizados nas pesquisas em geral ao longo dos anos, destacam-se a validação de critério, de construto e de conteúdo. Em linhas gerais, a validação de critério busca comparar o quanto as escalas de um determinado instrumento se relacionam com algum critério externo, assim como predizer características dos sujeitos e prever eventos futuros e comportamentos; já a validação de construto consiste em avaliar a representação comportamental de variáveis não mensuráveis diretamente, denominadas variáveis latentes; e a validação de conteúdo, por sua vez, visa determinar se a construção teórica dos itens avaliados representa adequadamente todas as dimensões do conteúdo a ser medido (JESUS, 2013; SOUZA, ALEXANDRE, GUIRARDELLO, 2017; ALVES, 2019).

O tipo de validação adotado neste estudo foi a validação de conteúdo, tendo em vista sua alta aplicabilidade em pesquisas na área de educação que envolvem instrumentos com abordagens qualitativas e quantitativas nas análises dos dados. A escolha pela validação de conteúdo mostrou-se adequada para avaliar, com base no julgamento de especialistas, se os conteúdos presentes no instrumento submetido a esse processo são efetivos e condizentes com os critérios estabelecidos para mensuração do fenômeno a ser investigado (ALEXANDRE; COLUCI, 2011; ALVES, 2019; MATOS et al., 2020). Nos tópicos seguintes, apresentamos de forma detalhada as etapas desenvolvidas no processo de validação de um instrumento de mensuração de vulnerabilidade digital, desde a elaboração das questões até a contribuição do grupo de especialistas.

Elaboração das questões: fundamentação e matriz de referência

Quando nos referimos a construção de questionários, testes de desempenho e demais instrumentos de pesquisa com intuito de avaliar indicativos de competências, atitudes e habilidades por meio de descritores e variáveis, devemos considerar como ponto de partida a elaboração de uma matriz de referência para organizar e descrever de forma específica os elementos avaliados (PAGAN; TOLENTINO-NETO, 2015; ALVES, 2019).

Nessa perspectiva, o instrumento (Questionário) de Identificação de Vulnerabilidade Digital (Q-IVD) foi elaborado juntamente com uma matriz de referência específica, cujos objetivos, descritores e categorias foram estabelecidos previamente para nortear a construção das questões de maneira fundamentada. O processo de elaboração da primeira versão do Q-IVD, bem como de sua matriz de referência, foi fundamentado por meio da análise de conteúdo de pesquisas bibliográficas acerca das temáticas relacionadas para a definição dos construtos e das dimensões que foram abordadas e organizadas por categorias.

Inicialmente, nos respaldamos nas contribuições de Ayres et al. (2003)e Ayres, Paiva e França Júnior (2012) para definição e compreensão do conceito de vulnerabilidade, que, por sua vez, se mostra subjetivo e envolve fundamentos práticos e epistemológicos articulados com aspectos comportamentais, culturais, políticos e econômicos para compreender como determinados grupos populacionais, nas dimensões analíticas de caráter individual, social e programático, se tornam expostos a agravos e riscos à saúde. Com efeito, o entendimento de vulnerabilidade apresentado nesta pesquisa está inserido numa esfera multidimensional e relacionada com fatores biológicos, epidemiológicos, atitudinais e socioculturais.

Para associar o aporte teórico de vulnerabilidade com a segunda abordagem central do Q-IVD, ou seja, o uso inapropriado das tecnologias digitais, recorremos à revisão de diversos estudos voltados a essa temática, predominantemente nas áreas da saúde e educação, e com diferentes populações e abordagens metodológicas (YOUNG, 1998; WIDYANTO; McMURRAN, 2004; KING; VALENÇA; NARDI, 2010; CONTI et al., 2012; KING; NARDI; SILVA, 2014; YILDIRIM; CORREIA, 2015; GONZÁLEZ-CABRERA et al., 2017; LEE et al., 2017; SILVA, 2017; LOUREIRO; GALHARDO, 2018; SENADOR, 2019; KING et al., 2020; SILVA et al., 2021).

Entre os estudos mencionados, alguns desenvolveram instrumentos próprios validados para avaliar uma série de fenômenos relacionados ao uso abusivo das tecnologias, como o Internet Addiction Test (IAT), proposto inicialmente por Young (1998) e aprimorado por Widyanto e McMurran (2004), e que desde então vem sendo traduzido e adaptado para diversos contextos e inclusive serviu de base para a criação de outros instrumentos, como o Nomophobia Questionnaire (NMP-Q), por Yildirim e Correia (2015), que corresponde a outra importante ferramenta para diagnosticar distúrbios provocados pela dependência patológica das tecnologias digitais. Além desses, com um olhar mais voltado ao contexto nacional contemporâneo, destacamos a contribuição de King, Nardi e Silva (2014) e King et al. (2020), juntamente com demais pesquisadores e colaboradores do Instituto Delete: detox digital e uso consciente de tecnologias, do Departamento de Psiquiatria da Universidade Federal do Rio de Janeiro (UFRJ).

As questões do Q-IVD foram elaboradas com fundamentação nos estudos mencionados, porém com uma óptica voltada à área da educação e sem o intuito de avaliar a aprendizagem cognitiva acerca dos conceitos tecnológicos, e sim, numa esfera pluralista epistemológica, identificar possíveis relações do uso das tecnologias com diferentes níveis de vulnerabilidade por meio de uma escala do tipo Likert graduada em quatro pontos.

A princípio, o protótipo do Q-IVD contou com 40 questões organizadas igualmente em quatro categorias específicas, mas ao mesmo tempo inter-relacionadas, a saber: Exposição de dados; Dependência tecnológica; Agravamento físico/emocional; e Alienação virtual. O detalhamento dessas categorias está apresentado no Quadro 1, a seguir.

Quadro 1:
Categorias que podem representar indicativos de vulnerabilidade digital entre os adolescentes

Além da matriz de referência¹, as questões do Q-IVD foram elaboradas mediante alguns critérios para que um grupo de especialistas pudesse estabelecer seu julgamento durante o processo de validação de conteúdo também por meio de uma escala do tipo Likert de quatro níveis de concordância, na qual a pontuação 1 (um) se refere à discordância total, e 4 (quatro) evidencia a concordância total do item avaliado perante os critérios estabelecidos: caracterização; relevância; vulnerabilidade; neutralidade; e objetividade. O detalhamento desses critérios está apresentado no Quadro 2, a seguir.

Quadro 2:
Critérios estabelecidos perante o Q-IVD para serem avaliados pelos especialistas no processo de validação

O estabelecimento desses critérios contribuiu para sistematizar a avaliação dos especialistas, sendo que, além de servir como um barema, correspondeu também ao potencial de predição das questões, garantindo, assim, maior qualidade na formulação dos itens a fim de evitar alguns vieses, como excesso de termos técnicos e linguagem inadequada que pudessem confundir ou induzir as respostas do público respondente.

Metodologia, aspectos éticos, formação do painel de especialistas e aplicação-piloto

A validação do Q-IVD seguiu os princípios éticos estabelecidos pelo Conselho Nacional de Saúde (CNS), conforme a Resolução nº 510/2016, que trata das pesquisas com seres humanos, mediante apreciação e aprovação pela Comissão de Ética em Pesquisa (CEP) da Universidade Federal de Sergipe (UFS), sob o Certificado de Apresentação de Apreciação Ética (CAAE) nº 35407520.4.0000.5546 e Parecer nº 4.490.395. Os atores sociais participantes desse processo estão classificados basicamente em dois grupos, sendo o primeiro composto por um painel de especialistas envolvendo professores/pesquisadores e profissionais da área da saúde, e o segundo, uma amostra de estudantes, e ambos contribuíram especificamente nos processos de validação do instrumento.

Inicialmente, para o processo de validação de conteúdo do instrumento elaborado, foi utilizado o método Delphi com o intuito de obter o consenso fundamentado entre um grupo de especialistas em relação aos conteúdos, categorias, descritores e critérios submetidos à avaliação. A escolha desse método se mostrou relevante por ser uma das principais técnicas psicométricas utilizadas para formação de painel de especialistas e, subsequentemente, determinação de consenso para definição de competências, conteúdos educacionais, planejamento de ações pedagógicas e estabelecimento de critérios e métodos avaliativos em processos de validação de questionários (PIRES; BRANDÃO; SILVA, 2006; JESUS, 2013; ANTUNES, 2014; MARQUES; FREITAS, 2018; ALVES, 2019).

Os participantes que formaram o painel de especialistas atuantes nos processos de validação de conteúdo do Q-IVD foram convidados mediante o uso da técnica snowball, sendo predominantemente professores/pesquisadores que trabalham e desenvolvem pesquisas envolvendo o uso das tecnologias no âmbito educacional e com experiência na elaboração de questionários e testes de desempenho escolar, assim como profissionais da área da saúde, também pesquisadores, que trabalham ou se identificaram com as temáticas abordadas no instrumento, tendo em vista a importante relação das questões com os aspectos físicos, sociais, emocionais e demais dimensões biopsicossociais e socioecológicas da saúde.

Com efeito, o método snowball corresponde a uma técnica de amostragem não probabilística que utiliza cadeias de referências para definir e alcançar o número de participantes conforme a acessibilidade deles (BIERNACKI; WALDORF, 1981). Nessa perspectiva, Rowe e Wrigth (1999), Powell (2003), Jesus (2013) e Alves (2019) reforçam a importância de se buscar uma formação heterogênea entre os participantes que irão compor o painel de especialistas atuantes em processos de validação por meio do método Delphi para garantir equilíbrio e maior imparcialidade dos julgamentos acerca dos critérios avaliados.

Vale a pena lembrar que, diante do cenário pandêmico no qual o estudo foi realizado, e em cumprimento às medidas sanitárias estabelecidas pelos órgãos competentes para diminuir a contaminação pela Covid-19, todo o processo de validação ocorreu de forma remota por meio das TMDIC. Assim, logo após a elaboração da primeira versão do Q-IVD, as questões foram transpostas e adaptadas à plataforma de Formulários do Google, também conhecida como Google Forms, que, por ser uma ferramenta on-line e gratuita para criação e armazenamento de formulários na nuvem; seu uso se intensificou notoriamente nas pesquisas científicas e atividades escolares remotas durante o período pandêmico.

Os avaliadores que constituíram o painel de especialistas, os quais também podemos chamar de juízes, assim como o grupo de estudantes, foram convidados a participar da pesquisa por livre e espontânea vontade, demonstrada através de um Termo de Consentimento Livre e Esclarecido (TCLE), redigido em forma de carta-convite e enviado por e-mail, Telegram e WhatsApp, juntamente com o link de acesso a um questionário para conhecer o perfil sociodemográfico dos participantes.

Convém ressaltar que a utilização do método Delphi em meio ao contexto de distanciamento físico e social mostrou-se vantajoso por permitir que o questionário e os demais instrumentos fossem avaliados pelos especialistas em mais de uma rodada, sem que eles estivessem reunidos no mesmo ambiente, até se obter o consenso pretendido. Assim, o processo de repetição de rodadas teve a finalidade de reduzir divergências e alcançar o consenso de pelo menos 80% entre os avaliadores acerca dos itens que compõem o Q-IVD, conforme recomendado pela literatura (WESTMORELAND et al., 2000; JESUS, 2013; ANTUNES, 2014; MARQUES; FREITAS, 2018).

Após a conclusão do método Delphi com a obtenção do consenso satisfatório pelos juízes avaliadores, o Q-IVD foi submetido também a uma análise semântica com o público-alvo ao qual esse instrumento se destina, ou seja, uma amostra representativa de estudantes concluintes do 3º ano do Ensino Médio, para que eles pudessem explanar suas impressões acerca do questionário e apontar a necessidade de alterações para melhor compreensão das questões e sua aplicabilidade.

O uso das TMDIC se mostrou uma estratégia importante e eficaz nessas etapas, principalmente para intermediar a comunicação entre os pesquisadores e os participantes, garantindo acesso aos instrumentos e uma coleta de dados sem restrições de tempo e espaço. Sobre essa discussão do uso da internet e de demais tecnologias nas pesquisas, Flick (2009, p. 32) corrobora ao argumentar que “muitos dos métodos qualitativos [e quantitativos] existentes vem sendo transferidos e adaptados às pesquisas que utilizam a internet como ferramenta, como fonte ou como questão de pesquisa”.

Nesse sentido, após concretizar todas as etapas do processo de validação de conteúdo do Q-IVD, num segundo momento, desta vez presencialmente, submetemos esse instrumento a uma aplicação-piloto para uma amostragem maior de estudantes, com a finalidade de mensurar estatisticamente a confiabilidade desse questionário mediante análise de sua consistência interna no software Statistical Package for Social Science (SPSS), bem como permitir realizar correlações entre as variáveis e com outros instrumentos de pesquisa.

RESULTADOS E DISCUSSÕES

O painel de especialistas atuantes no processo de validação do Q-IVD foi composto por 26 (vinte e seis) participantes, denominados também juízes. Essa quantidade é considerada válida, pois, apesar de não haver um consenso acerca do quantitativo exato de especialistas atuantes no processo de validação por meio da metodologia Delphi, Alexandre e Coluci (2011), García e Suárez (2013) e Revorêdo et al. (2016) recomendam que, para garantir maior qualidade na análise das avaliações, a quantidade deve ser de no mínimo 10 (dez) e no máximo 30 (trinta) participantes. No Quadro 3, a seguir, apresentamos a caracterização desses juízes de acordo com faixa etária, formação, titulação acadêmica e área de atuação.

Quadro 3:
Caracterização do painel de especialistas atuantes na validação do Q-IVD

Conforme apresentado no Quadro 3, houve uma considerável diversidade no grupo de especialistas que participaram do processo de validação do Q-IVD, no qual cerca de 70% corresponderam a profissionais com formação em diferentes licenciaturas e atuantes predominantemente nas áreas de educação e pesquisa, e os 30% restantes, profissionais da área da saúde e com diferentes campos de atuação, como Atenção Primária e Secundária, Assistência Social, pesquisa e docência no Ensino Superior.

Quanto à faixa etária, a idade média dos juízes correspondeu a 35 (trinta e cinco) anos, com variação mínima de 24 (vinte e quatro) e máxima de 47 (quarenta e sete), e desvio padrão de 6,5 anos. O gênero predominante foi o feminino, com 65% (17), e, no geral, 54% (14) dos participantes referiram ter mais de 10 anos de formação. Para preservar o anonimato dos participantes e facilitar a organização dos dados apresentados na Tabela 1, foi necessário estabelecer códigos para cada especialista, sendo que os dois primeiros caracteres numéricos se referem à ordem cronológica em que o participante enviou suas considerações acerca do instrumento avaliado; os três caracteres seguintes correspondem à inicial da primeira graduação informada no formulário sociodemográfico; em sequência, os últimos caracteres são referentes à titulação, como, por exemplo, ESP para se referir a Especialista, MEST para Mestre(a) e DR para Doutor(a), assim como M_IN e D_IN, Mestrando(a) e Doutorando(a), respectivamente, nas situações em que o curso de pós-graduação Stricto Sensu estava em fase de conclusão. Para facilitar a compreensão desses códigos, apresentamos duas exemplificações gráficas na Figura 1, a seguir.

Figura 1:
Exemplificação gráfica dos códigos atribuídos aos juízes do Q-IVD

Conforme apresentado na Figura 1, o exemplo um refere-se ao primeiro juiz que enviou suas considerações acerca do Q-IVD, formado em Pedagogia e cursando Doutorado; ao passo que o exemplo dois representa uma juíza formada em Psicologia que ocupou a décima oitava posição, conforme a ordem cronológica do envio do parecer, e que possui titulação de Mestra. Alguns desses juízes referiram possuir mais de uma formação, e muitos referiram possuir várias especializações (Pós-Graduação Latu Sensu), como em Tecnologias e Educação Aberta e Digital, Medicina do Trabalho, Saúde da Família, Educação Inclusiva, Educação em Saúde, Psiquiatria, Análises e Usos Linguísticos, entre outras.

Para reforçar ainda mais o quanto o painel de especialistas mostrou-se diversificado e qualificado, convém ressaltar que 80% (21) referiram participar de um ou mais Grupos de Pesquisa cadastrados no Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), e, quanto ao tempo de atuação profissional, 20% (5) informaram que atuam há mais de 15 anos, e 23% (6) têm entre 10 a 15 anos de atuação, sendo a pesquisa e a docência na Educação Básica e no Ensino Superior os campos predominantes. Assim, de maneira geral, percebe-se que a formação do painel de especialistas atuantes nesse processo de validação contemplou profissionais com formações e áreas de atuação diversificadas, distribuídos relativamente de maneira equilibrada, possibilitando, assim, maior abrangência de opiniões e qualificações na análise e no aprimoramento do Q-IVD validado, cujos resultados serão apresentados no tópico seguinte.

Resultados e análises do processo de validação do instrumento

O método Delphi permitiu que o grupo de especialistas pudesse avaliar as questões do Q-IVD tanto de forma quantitativa, mediante o Índice de Validade de Conteúdo (IVC)², acerca do nível de concordância dos juízes, quanto de forma qualitativa, a partir das considerações, orientações e sugestões enviadas pelos avaliadores nos formulários. Embora Coluci, Alexandre e Milani (2015, p. 931) não tenham encontrado em seu estudo de revisão um consenso na literatura que caracterize um determinado teste estatístico como padrão ouro para a análise de conteúdo, foi evidenciado que, além da abordagem qualitativa por meio das considerações do painel de especialistas, é importante realizar uma análise quantitativa mediante o IVC para medir a “proporção ou porcentagem de juízes que estão em concordância sobre determinados aspectos do instrumento e de seus itens”.

Nesse contexto, o IVC foi calculado com a utilização da escala Likert, em que os descritores foram avaliados em quatro níveis, sendo o nível 1 (um) considerado não relevante ou não representativo, visto que os especialistas indicaram discordar totalmente do item avaliado, enquanto o nível máximo, ou seja, 4 (quatro), diz respeito à relevância e representatividade, tendo em vista a concordância total dos avaliadores acerca do item.

Para que os descritores e critérios avaliados na matriz de referência e no Q-IVD fossem considerados válidos ou satisfatórios, eles tiveram de obter um percentual de concordância mínimo de 80% favorável na análise entre os juízes (ou seja, IVC> 0,80), conforme recomendação dos estudos de Polit e Beck (2006), Alexandre e Coluci (2011), Revorêdo et al. (2016) e Souza, Alexandre e Guirardello (2017). Assim, tendo em vista que o IVC corresponde à razão entre o número de itens considerados satisfatórios ou adequados pelos especialistas e o quantitativo geral de itens, podemos representar essa equação para avaliar cada item individualmente por meio da seguinte fórmula:

$IVC=\frac{Númeroderespostas"\text{3"}ou"\text{4"(satisfat}\text{órias)}}{Númerototalderespostas}$

Foi necessário fazer a tabulação dos dados quantitativos para mensurar o percentual de concordância da avaliação dos juízes, ou seja, do IVC, acerca das questões perante os critérios estabelecidos (conforme mostrado no Quadro 2), cujas respostas marcadas como “Discordo totalmente - (1)” e “Discordo - (2)” foram consideradas insatisfatórias, assim como as que foram sinalizadas com “Concordo - (3)” e “Concordo totalmente - (4)”, que tiveram o parecer considerado satisfatório na escala de Likert. Em síntese, cada questão para ser considerada válida teve de obter o percentual de concordância mínimo de 80% favorável (IVC>0,80) em todos os cinco critérios estabelecidos.

As questões que obtiveram o IVC abaixo de 0,80 foram reformuladas com base nas considerações dos especialistas e submetidas a uma segunda rodada de avaliação. No entanto, algumas recomendações acerca das demais questões com o IVC favorável também foram consideradas para análise e contribuíram para melhorar ainda mais a qualidade desses itens. Nesse sentido, além do IVC de cada critério avaliado por questão, calculamos também o IVC* geral de cada categoria. Apresentamos na Tabela 1, a seguir, os resultados referentes à categoria Exposição de Dados.

Tabela 1:
Aplicação do IVC na categoria Exposição de Dados para validação do Q-IVD

	Quest.	IVC de cada critério aplicado às questões					IVC* da Categ.
		Caracteriz.	Relevância	Vulnerab.	Neutralid.	Objetividade
Exposição de Dados	ED1	0,88	0,96	0,92	0,77**	0,96	0,84
	ED2	0,92	0,88	0,88	0,54**	0,92
	ED3	0,81	0,81	0,88	0,73**	0,85
	ED4	0,88	0,88	0,88	0,65**	0,85
	ED5	0,88	0,85	0,81	0,77**	0,85
	ED6	0,92	0,92	0,92	0,81	0,92
	ED7	0,81	0,77**	0,81	0,65**	0,85
	ED8	0,88	0,92	0,96	0,77**	0,77**
	ED9	0,85	0,81	0,85	0,69**	0,85
	ED10	0,88	0,88	0,85	0,85	0,88

• Legenda: IVC* geral da categoria; ** critério considerado insatisfatório na avaliação dos juízes.
• Fonte: Elaborado pelos autores (2021).

Embora o IVC geral da dimensão Exposição de Dados tenha sido considerado satisfatório, com valor de 0,84 perante a avaliação do painel de especialistas, nota-se que oito questões foram avaliadas como insatisfatórias por não atenderem a nenhum dos critérios atribuídos para o julgamento, sendo o quesito “Neutralidade” o mais apontado com necessidade de reformulação, especificamente nas questões ED1, ED2, ED3, ED4, ED5, ED7, ED8 e ED9; além desse critério, o de “Relevância”, na questão ED7, e o de “Objetividade”, na questão ED8, também foram considerados insatisfatórios.

Nessa perspectiva, antecipamos que o critério mais comentado entre as quatro categorias e que, de certa forma, também dividiu opiniões perante os juízes avaliadores foi o de “Neutralidade”. No entanto, ressaltamos que o propósito desse quesito seria identificar se o enunciado da questão apresentaria algum elemento tendencioso capaz de influenciar o direcionamento da resposta do respondente, visto que a redação das alternativas foi elaborada propositalmente com juízos de valor para identificar quais seriam as possíveis opiniões e atitudes que os respondentes poderiam demonstrar com a marcação das respostas.

Diante do exposto, ressaltamos a importante contribuição das juízas 18PSI_MEST e 25LET_MEST sobre esse quesito, reforçando bem o quanto a visão dos avaliadores poderá ser diferente em comparação com a dos adolescentes, público-alvo do Q-IVD.

Juíza 18PSI_MEST: Considero as sentenças bem elaboradas, com linguagem acessível e condizente como o público a ser pesquisado. Além disso, são compatíveis aos objetivos propostos e indicadores investigados.

Juíza 25LET_MEST: Eu gostei das questões, mas em relação a neutralidade eu coloquei sempre concordo, eu vou justificar porque, como eu trabalho com retórica e argumentação, é [...], eu não considero que haja nada neutro ou imparcial, sempre há um viés, seja ideológico ou algo do tipo que tenta convencer ou persuadir determinado público a respeito daquilo que se deseja [...]. Pra mim, lendo as questões, todas elas são apresentadas muito de forma irônica, mas assim, claro que esse questionário não é destinado à minha pessoa, mas serão para alunos adolescentes, e eles poderão ter outra visão. E eu acredito que eles terão outra visão e não irão perceber, pois a gente percebe, por exemplo, assim... não vejo necessidade de deixar meu perfil privado nas redes sociais, então, eu na idade que estou e diante de tudo que a gente ler e das coisas que a gente tem conhecimento, a gente acaba achando irônico, mas para eles já não seria. Por isso que eu coloquei essa neutralidade [...], é neutro do ponto de vista deles, mas do ponto de vista nosso, que estamos avaliando as questões eu já não considero neutro, então, só estou justificando.

Nessa perspectiva, foi necessário realizar diversas alterações nos enunciados das questões com base nas considerações dos juízes, e traremos algumas dessas narrativas para exemplificar, ou até mesmo justificar, as mudanças realizadas.

Juiz 07QUI_MEST: Considero que as questões ED1; ED2; ED3; ED4; ED5 e ED8 não apresentam Neutralidade em seus enunciados pois ao utilizar o termo "Não" denota-se algo no mínimo duvidoso e que pode influenciar na resposta do aluno. Gera medo, insegurança e influencia na resposta.

Juíza 25LET_MEST: Na questão ED2, eu completaria, apesar de não ter ficado ruim a pergunta, eu acrescentaria para a frase ficar completa [...] “pois quanto mais seguidores, melhor”, assim a questão não terá ambiguidade, quanto mais convites ou quanto mais seguidores, não é? Apesar de ser simples e eu estou entendendo que se refere aos seguidores, porém, como é para aluno do ensino médio, penso que é melhor deixar mais claro.

Para fins de consulta, apresentamos na Figura 2, a seguir, um QR Code que dará acesso aos quadros comparativos com os enunciados das questões tanto na primeira versão quanto após a reformulação delas durante as etapas de validação.

Figura 2:
QR Code para acesso e consulta às questões do Q-IVD³ reformuladas

Na Tabela 2, a seguir, apresentamos o percentual de concordância do painel de especialistas, calculado por meio do IVC de cada critério por questão, referente à categoria Dependência Tecnológica, bem como o IVC* geral.

Tabela 2:
Aplicação do IVC na categoria Dependência Tecnológica para validação do Q-IVD

	Quest.	IVC de cada critério aplicado às questões					IVC* da Categ.
		Caracteriz.	Relevância	Vulnerab.	Neutralid.	Objetividade
Dependência Tecnológica	DT1	0,88	0,88	0,88	0,88	0,88	0,87
	DT2	0,85	0,85	0,85	0,77**	0,85
	DT3	0,88	0,88	0,88	0,73**	0,88
	DT4	0,88	0,88	0,88	0,77**	0,92
	DT5	0,96	0,96	0,92	0,88	1,0
	DT6	0,92	0,88	0,88	0,77**	0,88
	DT7	0,88	0,88	0,88	0,77**	0,88
	DT8	0,92	0,92	0,92	0,77**	0,92
	DT9	0,88	0,88	0,88	0,85	0,88
	DT10	0,88	0,85	0,85	0,77**	0,92

• Legenda: IVC* geral da categoria; ** critério considerado insatisfatório na avaliação dos juízes.
• Fonte: Elaborado pelos autores (2021).

Apesar de a dimensão Dependência Tecnológica ter sido considerada válida perante o IVC geral do julgamento dos especialistas, sete questões foram avaliadas com o quesito “Neutralidade” insatisfatório. Embora já tenhamos discutido sobre o fundamento desse critério, as recomendações dos juízes foram levadas em consideração para reformular algumas dessas questões, conforme podemos observar a seguir.

Juíza 08LET_D_IN: Percebi que em algumas questões o quesito “neutralidade” ficou comprometido, no sentido de ficar “embutido” algum juízo de valor. Os demais quesitos, “caracterização, vulnerabilidade, relevância e objetividade” estão todos muito bem identificados.

Juíza 25LET_MEST: Essa segunda categoria, eu achei muito importante mesmo, e até a gente acaba se reconhecendo nessas partes [risos], pois a gente tem sim uma certa dependência do uso de tecnologias, eu [...] sinceramente percebi que têm umas duas questões aqui que foram diretamente para mim, pois eu fico com o celular o tempo inteiro, às vezes não estou usando, deixo a internet desligada, mas o celular está ali do lado, mesmo com a internet desligada, para estudar e tal.

A narrativa da juíza 25LET_MEST aponta fortes indícios de que esse instrumento também pode ser adequado para o público adulto, como acadêmicos, professores e a população em geral, desde que sejam realizadas adaptações transculturais para alinhar as questões às características de determinados grupos populacionais.

Entretanto, considerando algumas críticas, a juíza 19BIO_D_IN apontou que, ao responder algumas questões, o adolescente não estaria necessariamente indicando dependência patológica das tecnologias, e concordamos com essa consideração, inclusive não é esse o objetivo das questões, pois a dependência patológica das tecnologias diz respeito a um diagnóstico clínico e, inclusive, possui uma terminologia específica, nomofobia. Vale ressaltar que, diante do cenário globalizado atual, consideramos que todas as pessoas têm alguma relação de dependência com as tecnologias, seja para entretenimento, trabalho, estudo etc., assim, o foco dessa dimensão é investigar se o respondente apresenta indicadores de uso exagerado desses dispositivos por diversos fatores, mas sem adentrar esse contexto específico da área da saúde.

Apresentamos, na Tabela 3, o percentual de concordância do painel de especialistas mediante o IVC referente aos critérios avaliados em cada questão da categoria Agravamento Físico/Emocional, assim como o IVC* geral dessa categoria.

Tabela 3:
Aplicação do IVC na categoria Agravamento Físico/Emocional para validação do Q-IVD

	Quest.	IVC de cada critério aplicado às questões					IVC* da Categ.
		Caracteriz.	Relevância	Vulnerab.	Neutralid.	Objetividade
Agravamento físico/emocional	AG1	0,88	0,85	0,88	0,81	0,88	0,87
	AG2	0,92	0,88	0,88	0,81	0,88
	AG3	0,92	0,92	0,88	0,85	0,92
	AG4	0,92	0,92	0,88	0,88	0,88
	AG5	0,92	0,92	0,88	0,88	0,92
	AG6	0,92	0,88	0,88	0,73**	0,92
	AG7	0,85	0,85	0,85	0,77**	0,85
	AG8	0,92	0,88	0,88	0,81	0,88
	AG9	0,88	0,81	0,81	0,81	0,85
	AG10	0,85	0,81	0,85	0,77**	0,81

• Legenda: IVC* geral da categoria; ** critério considerado insatisfatório na avaliação dos juízes.
• Fonte: Elaborado pelos autores (2021).

Observa-se novamente que a categoria “Neutralidade” permaneceu sendo a mais repercutida entre os juízes em comparação às demais, na qual as questões AG6, AG7 e AG10 foram avaliadas como insatisfatórias, mas, no geral, a categoria Agravamento Físico/Emocional foi considerada válida, visualizando-se o IVC* de 0,87.

Juíza 25LET_MEST: A respeito dessas duas últimas categorias, considero elas bem interessantes porque tem a ver com essa perfeição que é propagada nas redes sociais e acaba causando um certo sentimento de tristeza, sentimentos depressivos ao ponto de a pessoa acabar achando que sua vida não é, entre aspas, a vida que as pessoas das redes sociais têm, não é? Então eu acho importante abordar isso nas questões, pois se o jovem ou qualquer pessoa avalia sua vida de acordo com aquilo que ela ver nas redes sociais, é uma questão do consumismo também, se é influenciado, não sei se é esse o objetivo da pesquisa, mas acho que serve para tudo, até já conversei com alguns amigos sobre isso, de que as vezes a gente ver casais, ver pessoas sorrindo sempre, viajando sempre, e a gente acaba pensando, poxa como a minha vida é sem graça, como a minha vida não tem nada de tão bom assim. Então as vezes a gente acaba, inconscientemente ou conscientemente, se comparando a essas vidas perfeitas que são demonstradas nas redes sociais, mas que na verdade não é isso, e acredito que pode acontecer o mesmo com os adolescentes.

Finalmente, na Tabela 4, a seguir, apresentamos os dados quantitativos do julgamento dos juízes acerca das questões pertencentes à categoria Alienação Virtual, em que, novamente, o percentual de concordância desses especialistas perante os critérios de cada item está representado pelo IVC, assim como o IVC* geral da categoria.

Tabela 4:
Aplicação do IVC na categoria Alienação Virtual para validação do Q-IVD

	Quest.	IVC de cada critério aplicado às questões					IVC* da Categ.
		Caracteriz.	Relevância	Vulnerab.	Neutralid.	Objetividade
Alienação Virtual	AV1	1,0	0,96	0,96	0,92	0,96	0,87
	AV2	0,81	0,81	0,81	0,77**	0,85
	AV3	0,85	0,85	0,81	0,81	0,85
	AV4	0,92	0,88	0,88	0,85	0,92
	AV5	0,85	0,85	0,85	0,81	0,85
	AV6	0,96	0,92	0,92	0,85	0,96
	AV7	0,85	0,81	0,81	0,73**	0,85
	AV8	0,85	0,81	0,81	0,77**	0,85
	AV9	0,92	0,92	0,96	0,88	0,92
	AV10	0,88	0,88	0,92	0,85	0,88

• Legenda: IVC* geral da categoria; ** critério considerado insatisfatório na avaliação dos juízes.
• Fonte: Elaborado pelos autores (2021).

Embora o IVC geral da categoria Alienação Virtual também tenha sido considerado satisfatório, novamente o critério “Neutralidade” foi avaliado como insatisfatório em três questões, AV2, AV7 e AV8, e, após a reformulação conforme as considerações dos juízes, as questões foram submetidas a uma segunda rodada de avaliação. Essa segunda etapa ocorreu exclusivamente por meio dos aplicativos WhatsApp e Telegram num prazo de sete dias, em que os avaliadores puderam comparar os enunciados das questões antes a após as alterações fundamentadas nos pareceres levantados pelo grupo.

Com a análise das novas considerações dos juízes, constatamos a necessidade de alterar significativamente apenas três questões, todas pertencentes à dimensão Exposição de Dados, e, após todas as questões reformuladas do Q-IVD terem sido consideradas válidas, a etapa seguinte correspondeu a uma testagem piloto desse instrumento, de forma comentada, com uma amostra do público-alvo para qualificar ainda mais a avaliação semântica das questões.

Essa nova etapa de validação semântica contou com a participação voluntária de 11 (onze) estudantes concluintes do 3º ano do Ensino Médio, matriculados em uma escola pertencente à rede estadual de educação de Sergipe, e ocorreu na modalidade remota, em que as questões foram previamente disponibilizadas por meio do Google Forms para serem analisadas e, posteriormente, foi agendada uma reunião coletiva de forma síncrona pela plataforma Google Meet, com duração de aproximadamente 40 minutos.

Todos os alunos participantes dessa etapa tinham idade superior a 18 anos e, por esse motivo, puderam confirmar sua participação por meio do TCLE enviado junto com o instrumento. Quanto à distribuição por gênero e faixa etária, sete estudantes eram do sexo feminino, com idade entre 18 a 20 anos, e os quatro restantes eram do sexo masculino, com variação de idade entre 18 a 22 anos.

De maneira geral, essa etapa teve basicamente o objetivo de verificar se o Q-IVD realmente estava compreensível para essa amostra de estudantes, ou seja, se os itens ofereciam clareza e objetividade, bem como identificar eventuais problemas de ambiguidade e demais inconsistências que pudessem comprometer a compreensão do público adolescente. Durante esse processo, os estudantes foram indagados sobre a fundamentação das questões, se elas estavam claras, ou se havia algum termo não compreendido por eles, assim como acerca da presença de algum item ou trecho que não fazia sentido ou então que os deixava incomodados, e se eles tinham alguma observação ou sugestão a fazer.

Ao término desse processo, foi constatado que os alunos mostraram boa aceitação ao Q-IVD, sem relatos de dificuldades de compreensão e nenhum outro fator que pudesse causar algum constrangimento ou desconforto ao eles. No entanto, a maioria desse público demonstrou um certo desânimo com a quantidade de perguntas, ou seja, 40 (quarenta) questões.

Convém ressaltar que essa preocupação já tinha sito alertada na etapa inicial de avaliação por alguns juízes, mas optamos por conservar o quantitativo para esse momento com o intuito de conhecer a opinião desses participantes sobre quais seriam os itens mais pertinentes e que deveriam ser mantidos na versão final do instrumento. Dessa forma, foi solicitado aos estudantes que apontassem quatro questões de cada categoria para serem excluídas do Q-IVD, o que, a princípio, resultou em divergências de opiniões quando indagados sobre por quais motivos as questões indicadas por eles deveriam ser excluídas. Para elucidar um pouco essa etapa, trouxemos alguns fragmentos das discussões levantadas.

Aluno 07: Não vi nenhum problema com as perguntas, não, pelo contrário, achei bem legal responder, tipo assim, tem umas duas perguntas que eu já acabei cometendo, tipo espalhar notícia sem saber se é verdade, instalar vírus no celular e ter que formatar, e até mesmo essa parada de fotos íntimas, mesmo sem mostrar o rosto não deixa de ser um perigo se o celular cair nas mãos erradas [...]. Outra coisa, não é o meu caso, mas eu conheço muita gente que fica doente quando não consegue causar ibope na internet, eu não ligo “pra” isso, não, mas tenho amigas que praticamente imploram “pra” gente seguir elas, curtir as fotos e comentar.

Aluna 09: [...] é muito difícil escolher quais perguntas devem ser excluídas, eu pensei nessa que fala sobre nudes, pois eu nunca mandei e nem penso em mandar, mas depois que o senhor me perguntou se eu tenho alguma amiga ou conheço alguém que já compartilhou esse tipo de foto, lembrei de algumas amigas minhas que já fizeram isso e se deram mal, então mudei de ideia, acho que é um assunto importante de se pensar [...]. Essa questão cinco da terceira categoria [AG5], na minha opinião, eu retirava do questionário porque é muito parecida com a primeira da categoria anterior [DT1], e essa última que fala da dependência, falta de ar e coração acelerado [DT10], também acho importante, mas a pergunta ficou muito grande, se tivesse como diminuir, ficaria melhor.

Foi possível perceber, com base nas narrativas dos estudantes, que o Q-IVD teve boa aceitação perante a amostra do público-alvo, na qual a maior dificuldade com que se depararam foi chegar a um consenso acerca de quais questões deveriam ser excluídas, mas, após algumas indagações sobre os motivos por que determinadas questões deveriam permanecer e outras não, novas reflexões e debates foram levantados, e, finalmente, a maioria dos estudantes concordou em eliminar as seguintes questões: ED1, ED5, ED7 e ED10 (categoria Exposição de Dados); DT2, DT3, DT4 e DT6 (categoria Dependência Tecnológica); AG3, AG5, AG9 e AG10 (categoria Agravamento Físico/Emocional); e AV2, AV4, AV6 e AV8 (categoria Alienação Virtual). Essa etapa permitiu realizar também novas alterações em algumas questões, tornando-as mais claras e condizentes com a realidade desse público.

Nesse contexto, Hill e Hill (2012), Cunha (2015) e Alves (2019) corroboram ao apontarem que essa etapa de validação semântica contribui para qualificar o instrumento com perguntas ainda mais relevantes, permitindo avaliar o grau de compreensão, clareza e entendimento dos enunciados. Dessa forma, a versão final do Q-IVD validado contou com 24 questões distribuídas uniformemente em quatro categorias, conforme apresentado no Quadro 4.

Aplicação-piloto, confiabilidade e interpretação do Q-IVD

Após concretização dos processos de validação de conteúdo do Q-IVD, a etapa seguinte correspondeu à aplicação-piloto desse instrumento, juntamente com um questionário socioeconômico, que foram respondidos por estudantes do 3º ano do Ensino Médio matriculados em quatro escolas da Secretaria de Estado da Educação, do Esporte e da Cultura de Sergipe (SEDUC) no período de outubro e novembro do ano de 2021. Para fins de garantia da confiabilidade estatística, a escolha das diretorias regionais e das respectivas unidades escolares convidadas para a realização dessa etapa de pesquisa ocorreu por meio de técnicas de amostragem probabilística do tipo aleatória simples, na perspectiva de Barbetta (2007), mediante sorteio não viciado.

É importante ressaltar que, embora o Estatuto da Criança e do Adolescente (ECA) considere a adolescência um complexo processo de crescimento e desenvolvimento biopsicossocial inserido na faixa etária de 12 a 18 anos, podendo se estender em algumas condições até os 21 anos, assim como o Estatuto da Juventude classifica como jovens as pessoas com idade entre 15 e 29 anos de idade, preferimos aderir neste estudo à classificação da OMS que circunscreve a adolescência à segunda década da vida, ou seja, de 10 a 19 anos, pois, além dos critérios cronológicos, consideramos que os fatores biológicos, psicológicos e sociais também são importantes e devem ser valorizados nessa abordagem conceitual (BRASIL, 1990, 2007, 2013).

Nesse contexto, o total geral de estudantes com respostas válidas incluídas nesta pesquisa correspondeu a 147 participantes. Esse quantitativo é considerado satisfatório para realizar processamento e análises estatísticas no SPSS. Foi percebido um equilíbrio relativo à distribuição por gênero dos participantes, visto que a amostra foi constituída por 53% (n 78) de estudantes do sexo feminino e 47% (n 69) do sexo masculino, e, com relação à faixa etária, a idade mínima correspondeu a 16 e a máxima a 19 anos, com média de 17,37 anos e desvio padrão de 0,907, prevalecendo a faixa entre 17 a 18 anos, com frequência de 45,6% (n 67) e 25,2% (n 37), respectivamente

No que se refere à análise da consistência interna de instrumentos pesquisadas, vale ressaltar que a confiabilidade corresponde a uma medida estatística da reprodutibilidade ou estabilidade dos dados coletados de forma consistente no tempo e no espaço. Assim, partindo do pressuposto de que qualquer instrumento de avaliação que envolva coleta de dados está sujeito a erros de imprecisões e outros vieses, se faz necessário testar sua precisão por meio de técnicas de confiabilidade (PASQUALI, 2009; JESUS, 2013; ALVES, 2019).

Considerando que a análise da confiabilidade é uma condição necessária para que os instrumentos de pesquisa possam apresentar resultados consistentes acerca do que se propõe mensurar, e com a menor quantidade de viés possível, dentre as inúmeras técnicas utilizadas, o coeficiente alpha de Cronbach é um dos mais utilizados devido à sua vasta consolidação e contribuição nos meios acadêmico e estatístico. Dessa forma, todas as respostas coletadas dos 147 participantes foram importadas para um banco de dados no software SPSS e submetidas a testes estatísticos para a avaliação da homogeneidade do Q-IVD por meio do coeficiente alpha de Cronbach, permitindo, assim, analisar a consistência interna das questões. Esse coeficiente permite analisar o perfil das respostas fornecidas pelos respondentes para calcular a confiabilidade entre os itens do questionário, cujos valores variam entre 0 e 1, no qual, quanto mais próximo de 1, maior será a fidedignidade das dimensões do construto (CRONBACH, 1951; PASQUALI, 2009; SILVA, 2017).

É importante ressaltar que o nível de aceitabilidade desse coeficiente depende do tipo de pesquisa realizada, mas, no geral, Landis e Koch (1977) classificam os índices entre 0 a 0,20 como consistência pequena ou insatisfatória; 0,21 a 0,40 como razoável; 0,41 a 0,60 moderada; 0,61 a 0,80 substancial; e 0,81 a 1,0 quase perfeita. No entanto, a literatura mais recente aponta que valores acima de 0,80 são considerados ideais para as pesquisas no âmbito da saúde, enquanto para estudos relacionados à esfera social os valores de alpha de Cronbach acima de 0,60 são confiáveis (STREINER, 2003; HILL; HILL, 2012; ALVES, 2019).

Nesse contexto, visando analisar a consistência interna do Q-IVD, calculamos inicialmente o coeficiente alpha de Cronbach de maneira geral com todas as 24 questões, e foi obtido o índice α = 0,821 (com base em itens padronizados), considerado satisfatório, o que evidencia a existência de consistência interna desse instrumento de pesquisa, sendo possível, assim, constatar sua validade no aspecto qualiquantitativo e criar a variável latente “Indicativos de Vulnerabilidade Digital” para a população estudada. Ao calcularmos esse coeficiente separadamente com relação às categorias apresentadas no Quadro 1: “Exposição de Dados”, “Dependência Tecnológica”, “Agravamento Físico/Emocional” e “Alienação Virtual”, de forma isolada, embora todas as categorias tenham apresentado índices satisfatórios (α > 0,600), percebemos que elas possuem melhor consistência e confiabilidade quando aplicadas em conjunto, conforme podemos observar na Tabela 5, a seguir:

Tabela 5:
Demonstrativo do coeficiente alpha de Cronbach calculado no Q-IVD

Categorias	N de itens	Alpha de Cronbach
Exposição de Dados	6	0,608
Dependência Tecnológica	6	0,608
Agravamento Físico/Emocional	6	0,641
Alienação Virtual	6	0,675
Q-IVD completo	24	0,821

• Fonte: Elaborado pelos autores (2022) com o software SPSS.

Considerando que, embora o Q-IVD possua quatro blocos de categorias subdivididos em seis questões cada, esse instrumento foi elaborado para ter sua aplicabilidade de forma integral com todos os 24 itens, e, por esse motivo, os resultados obtidos por meio do coeficiente alpha de Cronbach são considerados satisfatórios e condizentes com o esperado, atendendo, desse modo, o propósito de sua elaboração. Apesar de o público-alvo dessa versão do Q-IVD corresponder a estudantes adolescentes concluintes do Ensino Médio, foi possível inferir, por meio das análises psicométricas, que esse instrumento, mediante processos de adaptação transculturais, poderá ter aplicabilidade validada também para diferentes públicos, podendo inclusive ser aplicado juntamente com os demais instrumentos para investigar correlações diversas por meio de análises estatísticas, de acordo com a finalidade dos aplicadores, contribuindo, assim, para novas pesquisas relacionadas ao uso das tecnologias digitais.

Apresentamos no Quadro 4, a seguir, a versão final do Q-IVD após concretização de todas as etapas de validação: validação de conteúdo, por meio da avaliação dos juízes com o método Delphi; validação qualitativa, mediante análise semântica com a amostra do público-alvo; e validação quantitativa, decorrente da aplicação-piloto e de análises estatísticas para calcular a consistência interna e confiabilidade.

Quadro 4:
Questionário de Identificação de Vulnerabilidade Digital (Q-IVD).

No que se refere às diferentes possibilidades analíticas e interpretativas do Q-IVD à luz da literatura que norteou sua elaboração, definimos que, após respondido, os resultados poderão ser estabelecidos de duas formas de acordo com a pontuação obtida, “geral” e “por categorias”, com os seguintes níveis de indicativos de vulnerabilidade digital: ausência de vulnerabilidade; vulnerabilidade leve; vulnerabilidade moderada; e alta vulnerabilidade. Apresentamos no Quadro 5, a seguir, a classificação desses níveis conforme a pontuação do respondente.

Quadro 5:
Classificação dos níveis de indicativo de vulnerabilidade digital por pontuação do Q-IVD

Para fins de divulgação, apresentamos na Figura 3, a seguir, um QR Code que dará acesso ao protótipo da versão digital do Q-IVD compatível com diferentes interfaces e dispositivos digitais; no entanto, ressaltamos que essa versão será aprimorada em breve, com a vinculação de um banco de dados para que possa ser utilizado em novas pesquisas.

Figura 3:
QR Code para ter acesso à versão digital do Q-IVD⁴ em diferentes dispositivos

A análise dos resultados obtidos com a aplicação do Q-IVD, tanto de maneira geral quanto fragmentada por categorias, possibilitará estabelecer uma maior amplitude interpretativa desses resultados de forma qualificada e sistematizada, pois é possível, por exemplo, que determinado estudante não mostre um nível alarmante de vulnerabilidade digital na pontuação geral do questionário, mas, ao investigar os resultados de cada categoria, constatar que esse mesmo estudante se mostrou vulnerável em algumas delas, permitindo, assim, que o professor possa intervir educativamente com estratégias voltadas para o uso consciente e responsável das tecnologias.

CONSIDERAÇÕES

As tecnologias têm um papel fundamental na vida das pessoas, principalmente no que diz respeito às formas de comunicação e à rápida disseminação de informações, mas, para que esses e outros benefícios sejam consolidados, é necessário que os usuários as utilizem de maneira ética, qualificada e reflexiva nas diferentes práticas socais.

O propósito do desenvolvimento e da validação do Q-IVD não foi se mostrar contrário aos avanços tecnológicos. Pelo contrário, justamente por reconhecermos e valorizarmos os importantes benefícios advindos das tecnologias no decorrer do desenvolvimento da humanidade, sobretudo na educação, na saúde, na ciência e nas demais dimensões, assim como o aumento acentuado do número de pessoas que estão cada vez mais imersas no ciberespaço, consideramos relevante investigar também possíveis aspectos negativos provenientes do uso inadequado dos recursos tecnológicos, como indicativos de vulnerabilidade digital perante os adolescentes. Inferimos que esse instrumento tem notável relevância para o âmbito educacional, visto que ajudará na ampliação de debates e reflexões acerca do quanto o letramento digital docente se faz cada vez mais necessário para que os professores possam direcionar e promover o uso consciente e saudável das tecnologias digitais pelos estudantes.

Nesse contexto, ressaltamos que a elaboração do Q-IVD demandou uma longa e sistemática trajetória repleta de teorias e etapas metodológicas em conformidade com os parâmetros da literatura científica que norteiam o processo de construção e validação de questionários. Foram obtidos ótimos resultados nos processos de validação de conteúdo do referido instrumento, com IVC acima de 0,80 em todas as questões e categorias, e posteriormente foram comprovadas sua confiabilidade e consistência mediante aplicação-piloto e realização de testes estatísticos, especificamente por meio do coeficiente alpha de Cronbach 0,821.

Apesar de a validação de conteúdo ser essencial para investigar a capacidade de um instrumento aferir com precisão o fenômeno a ser estudado, bem como para o desenvolvimento de novas medidas associadas a conceitos abstratos com indicadores observáveis, vale ressaltar que essa etapa pode não ser permanente, tendo em vista a possibilidade de o contexto sofrer modificações no decorrer do tempo. Assim, os procedimentos teóricos na construção de instrumentos de medida nem sempre são finalizados após a avaliação dos juízes, o que evidencia a necessidade de continuar aprimorando o Q-IVD com novos testes estatísticos e empíricos para que esse instrumento possa ser direcionado para outras populações e seja consolidado como referência para futuras pesquisas relacionadas com a temática.

Finalmente, reafirmamos que o Q-IVD contribuirá para refletir e analisar a cultura digital dos jovens concluintes da Educação Básica não apenas no que diz respeito ao uso consciente e saudável das tecnologias, mas sim para o desenvolvimento de um senso crítico apurado para decodificar e compreender as diferentes linguagens midiáticas veiculadas e compartilhadas no ciberespaço.

REFERÊNCIAS

• ALEXANDRE, N. M. C.; COLUCI, M. Z. O. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde Coletiva, v. 16, n. 7, p. 3061-3068, 2011. Disponível em:<Disponível em:https://www.scielo.br/pdf/csc/v16n7/06.pdf >. Acesso em:03/07/2018.
  » https://www.scielo.br/pdf/csc/v16n7/06.pdf
• ALVES, M. M. S. Tecnologias móveis para formação docente: validação de um instrumento de identificação de vulnerabilidade digital. 2023. 219p. Tese (Doutorado em Educação) - Universidade Federal de Sergipe, São Cristóvão, 2023.
• ALVES, M. M. S. Vulnerabilidade às IST/AIDS: desenvolvimento e validação de um instrumento de avaliação inspirado nas questões sociocientíficas. 2019. 217p. Dissertação (Mestrado em Ensino de Ciências e Matemática) - Universidade Federal de Sergipe, São Cristóvão, SE, 2019.
• ANTUNES, M. M. Técnica Delphi: metodologia para pesquisas em educação no Brasil. Rev. Educação PUC-Camp ., v. 19, n. 1, p. 63-71, jan./abr. 2014. Disponível em:<Disponível em:http://periodicos.puc-campinas.edu.br/seer/index.php/reveducacao/article/view/2616 >. Acesso em:17/02/2020.
  » http://periodicos.puc-campinas.edu.br/seer/index.php/reveducacao/article/view/2616
• AYRES, J. R. C. M.; FRANÇA JÚNIOR, I.; CALAZANS, G. J.; SALETTI FILHO, H. C. O conceito de vulnerabilidade e as práticas de saúde: novas perspectivas e desafios. In: CZERESNIA, D.; FREITAS, C. M. (Orgs.). Promoção da saúde: conceitos, reflexões, tendências. Rio de Janeiro: FIOCRUZ, 2003. p. 117-139.
• AYRES, J. R. C. M.; PAIVA, V.; FRANÇA JÚNIOR, I. Conceitos e práticas de prevenção: da história natural da doença ao quadro da vulnerabilidade e direitos humanos. In: PAIVA, V.; AYRES, J. R.; BUCHALLA, C. M. Vulnerabilidade e direitos humanos Curitiba: Editora Juruá, 2012. p. 71-94.
• BARBETTA, P. A. Estatística Aplicada às Ciências Sociais 7. ed.Florianópolis: Ed. da UFSC, 2007. 315p.
• BIERNACKI, P.; WALDORF, D. Snowball sampling: problems and techniques of chain referral sampling. Sociological Methods & Research, Thousand Oaks, CA, v. 10, n. 2, 1981. Disponível em:<Disponível em:http://smr.sagepub.com/content/10/2/141.abstract >. Acesso em:11/03/2021.
  » http://smr.sagepub.com/content/10/2/141.abstract
• BITTENCOURT, H. R.; CREUTZBERG, M.; RODRIGUES, A. C. M.; CASARTELLI A. O.; FREITAS, A. L. S. Desenvolvimento e validação de um instrumento para avaliação de disciplinas na educação superior. Est. Aval. Educ [on-line], v. 22, n. 48, p. 91-113, 2011. Disponível em:<Disponível em:http://educa.fcc.org.br/pdf/eae/v22n48/v22n48a06.pdf >. Acesso em:05/04/2020.
  » http://educa.fcc.org.br/pdf/eae/v22n48/v22n48a06.pdf
• BRASIL. Base Nacional Comum Curricular: Educação Infantil, Ensino Fundamental e Ensino Médio. Brasília: MEC/Secretaria de Educação Básica, 2018. Disponível em:<Disponível em:http://basenacionalcomum.mec.gov.br/images/BNCC_EI_EF_110518_versaofinal_site.pdf >. Acesso em:11/04/2021.
  » http://basenacionalcomum.mec.gov.br/images/BNCC_EI_EF_110518_versaofinal_site.pdf
• BRASIL. Ministério da Saúde. Marco legal: saúde, um direito de adolescentes. Secretaria de Atenção à Saúde, Área de Saúde do Adolescente e do Jovem. Brasília: Editora do Ministério da Saúde, 2007. Disponível em:<Disponível em:https://bvsms.saude.gov.br/bvs/publicacoes/07_0400_M.pdf >. Acesso em:13/10/2022.
  » https://bvsms.saude.gov.br/bvs/publicacoes/07_0400_M.pdf
• BRASIL. Lei n° 8.069, de 13 de julho de 1990. Estatuto da Criança e do Adolescente Brasília: Diário Oficial da União, 1990.
• BRASIL. Lei n° 12.852, de 05 de agosto de 2013. Estatuto da Juventude Brasília: Diário Oficial da União, 2013.
• COLUCI, M. Z. O.; ALEXANDRE, N. M. C.; MILANI, D. Construção de instrumentos de medida na área da saúde. Ciência & Saúde Coletiva, v. 20, n. 3, p. 925-936, 2015. Disponível em:<Disponível em:https://www.scielo.br/pdf/csc/v20n3/1413-8123-csc-20-03-00925.pdf >. Acesso em:05/04/2020.
  » https://www.scielo.br/pdf/csc/v20n3/1413-8123-csc-20-03-00925.pdf
• CONTI, N. A.; JARDIM, A. P.; HEARST, N.; CORDÁS, T. A.; TAVARES, H.; ABREU, C. N. Avaliação da equivalência semântica e consistência interna de uma versão em português do Internet Addiction Test (IAT). Rev. Psiq. Clín, v. 39, n. 3, p. 106-110, 2012. Disponível em:<Disponível em:https://www.scielo.br/scielo.php?script=sci_arttext&pid=S0101-60832012000300007 >. Acesso em:11/11/2021.
  » https://www.scielo.br/scielo.php?script=sci_arttext&pid=S0101-60832012000300007
• CRONBACH, L. J. Coefficient alpha and the internal structure of test. Psychometrika 1951.
• CUNHA, C. O desempenho escolar em ciências e o pluralismo epistemológico: a elaboração de questões do eixo temático “vida e ambiente”. 2015. 115 p. Dissertação (Mestrado em Ensino de Ciências e Matemática) - Universidade Federal de Sergipe, São Cristóvão, SE, 2015.
• DeVON, H. A.; BLOCK, M. E.; MOYLE-WRIGHT, P.; ERNST, D. M.; HAYDEN, S. J.; LAZZARA, D. J.; SAVOY, S. M.; KOSTAS-POLSTON, E. A psychometric toolbox for testing validity and reliability. J. Nurs Scholarsh, v. 2, n. 39, p. 155-164, 2007. Disponível em:<Disponível em:https://sigmapubs.onlinelibrary.wiley.com/doi/abs/10.1111/j.1547-5069.2007.00161.x >. Acesso em:05/11/2020.
  » https://sigmapubs.onlinelibrary.wiley.com/doi/abs/10.1111/j.1547-5069.2007.00161.x
• FLICK, U. Introdução à pesquisa qualitativa Tradução Joice Elias Costa. 3. ed. Porto Alegre: Artmed, 2009. 405p.
• GARCÍA, V. M.; SUÁREZ, M. M. Delphi method for the expert consultation in the scientific research. Rev. Cub. Salud. Pública, v. 39, n. 2, p. 253-267, 2013. Disponível em:<Disponível em:https://www.medigraphic.com/pdfs/revcubsalpub/csp-2013/csp132g.pdf >. Acesso em:03/07/2020.
  » https://www.medigraphic.com/pdfs/revcubsalpub/csp-2013/csp132g.pdf
• GONZÁLEZ-CABRERA, J.; LEÓN-MEJÍA, A.; PÉREZSANCHO, C.; CALVETE, E. Adaptation of the Nomophobia Questionnaire (NMP-Q) to Spanish in a sample of adolescents. Actas Espanolas de Psiquiatría, v. 45, n. 4, p. 137-144. 2017. Disponível em:<Disponível em:https://pubmed.ncbi.nlm.nih.gov/28745386/ >. Acesso em:21/01/2020.
  » https://pubmed.ncbi.nlm.nih.gov/28745386/
• HILL, M. M.; HILL, A. Investigação por questionário 2. ed.Lisboa: Sílabo, 2012.
• JESUS, E. M. S. Desenvolvimento e validação de conteúdo de um instrumento para avaliação da assistência farmacêutica em hospitais de Sergipe 2013. 152p. Dissertação (Mestrado em Ciências Farmacêuticas) - Universidade Federal de Sergipe, São Cristóvão, SE, 2013.
• KING, A. L. S.; NARDI, A. E.; GUEDES, P.; PÁDUA, M. S. K. L. Livro de escalas delete: detox digital e uso consciente de tecnologias. Rio de Janeiro: Barra Livros, 2020. 154p.
• KING, A. L. S.; NARDI, A. E.; SILVA, A. C. Nomofobia: dependência do computador, internet, redes sociais? Dependência do telefone celular? O impacto das novas tecnologias no cotidiano dos indivíduos. 1. ed.São Paulo: Atheneu, 2014. 328p.
• ING, A. L. S; VALENÇA, A. M.; NARDI, A. E. Nomophobia: The mobile phone in panic disorder with agoraphobia: Reducing phobias or worsening of dependence? Cognitive and Behavioral Neurology, v. 23, n. 1, p. 52-54, 2010. Disponível em:<Disponível em:https://journals.lww.com/cogbehavneurol/Abstract/2010/03000/Nomophobia__The_Mobile_Phone_in_Panic_Disorder.10.aspx >. Acesso em:05/11/2019.
  » https://journals.lww.com/cogbehavneurol/Abstract/2010/03000/Nomophobia__The_Mobile_Phone_in_Panic_Disorder.10.aspx
• KOSOWSKI, T. R.; McCARTHY, C.; REAVEY, P. L.; SCOTT, A. M.; WILKINS, E. G.; CANO, S. J.; KLASSEN, A. F.; CARR, N.; CORDEIRO, P. G.; PUSIC, A. L; A systematic review of patient-reported outcome measures after facial cosmetic surgery and/or nonsurgical facial rejuvenation. Plast Reconstr Surg, v. 123, n. 6, p. 1819-1827, jun. 2009. Disponível em:<Disponível em:https://pubmed.ncbi.nlm.nih.gov/19483584/ >. Acesso em:17/01/2020.
  » https://pubmed.ncbi.nlm.nih.gov/19483584/
• LEE, S.; KIM, M. W.; MCDONOUGH, I. M.; MENDOZA, J. S.; KIM, M. S. The Effects of Cell Phone Use and Emotion-regulation Style on College Students’ Learning. Appl. Cognit. Psychol, 2017. Disponível em:<Disponível em:https://onlinelibrary.wiley.com/doi/abs/10.1002/acp.3323 >. Acesso em:21/01/2021.
  » https://onlinelibrary.wiley.com/doi/abs/10.1002/acp.3323
• LOUREIRO, D. F.; GALHARDO, A. O. Desenvolvimento da Versão Portuguesa do Questionário de Nomofobia (NMP-Q-PT): estudo da estrutura fatorial e propriedades Psicométricas. Dissertação (Mestrado em Psicologia Clínica) - Instituto Superior Miguel Torga, Coimbra, out. 2018.
• MARQUES, J. B. V.; FREITAS, D. de. Método DELPHI: caracterização e potencialidades na pesquisa em Educação. Pro-Posições, v. 29, n. 2, p. 389-415, maio/ago. 2018. Disponível em:<Disponível em:https://www.scielo.br/pdf/pp/v29n2/0103-7307-pp-29-2-0389.pdf >. Acesso em:11/01/2019.
  » https://www.scielo.br/pdf/pp/v29n2/0103-7307-pp-29-2-0389.pdf
• MATOS, F. R.; ROSSINI, J. C.; LOPES, R. F. F.; AMARAL, J. Dee H. F. Tradução, adaptação e evidências de validade de conteúdo do Schema Mode Inventory. Psicologia: Teoria e Prática, São Paulo, v. 22, n. 2, p. 18-38, maio/ago., 2020. Disponível em:<Disponível em:https://www.scielo.br/pdf/csc/v16n7/06.pdf >. Acesso em:03/02/2021.
  » https://www.scielo.br/pdf/csc/v16n7/06.pdf
• PAGAN, A. A.; TOLENTINO-NETO, L. C. B. Desempenho escolar inclusivo 1. ed. Curitiba, PR: CRV, 2015. 222 p.
• PASQUALI, L. Psicometria. Rev. Esc. Enferm USP, v. 43(Esp.), p. 992-999, 2009. Disponível em:<Disponível em:https://www.scielo.br/j/reeusp/a/Bbp7hnp8TNmBCWhc7vjbXgm/?format=pdf⟨=pt >. Acesso em:11/03/2021.
  » https://www.scielo.br/j/reeusp/a/Bbp7hnp8TNmBCWhc7vjbXgm/?format=pdf⟨=pt
• PIRES, D. A.; BRANDÃO, M. R. F.; SILVA, C. B. Validação do questionário de burnout para atletas. R. da Educação Física/UEM, Maringá, v. 17, n. 1, p. 27-36, 2006. Disponível em:<Disponível em:https://periodicos.uem.br/ojs/article >. Acesso em:11/11/2020.
  » https://periodicos.uem.br/ojs/article
• POLIT, D. F.; BECK, C. T.; The content validity index: are you sure you know what’s being reported? Critique and recommendations. Res. Nurs. Health, v. 29, n. 5, p. 489-97, 2006. Disponível em: <Disponível em: https://onlinelibrary.wiley.com/doi/abs/10.1002/nur.20147 >. Acesso em:03/07/2020.
  » https://onlinelibrary.wiley.com/doi/abs/10.1002/nur.20147
• POWELL, C. The Delphi technique: myths and realities. Journal of Advanced Nursing, v. 41, n. 4, p. 376-382, 2003. Disponível em: https://onlinelibrary.wiley.com/doi/abs/<10.1046/j.1365-2648.2003.02537.x>. Acesso em:03/07/2020.
  » https://doi.org/10.1046/j.1365-2648.2003.02537.x
• REVORÊDO, L. S.; DANTAS, M. M.; MAIA, R. S.; TORRES, G. V.; MAIA, E. M. Validação de conteúdo de um instrumento para identificação de violência contra criança. Acta Paulista de Enfermagem, v. 29, n. 2, p. 205-217, 2016. Disponível em:<Disponível em:https://www.scielo.br/pdf/ape/v29n2/1982-0194-ape-29-02-0205.pdf >. Acesso em:03/07/2020.
  » https://www.scielo.br/pdf/ape/v29n2/1982-0194-ape-29-02-0205.pdf
• RIBEIRO, J. C.; LEITE, L.; SOUSA, S. Notas sobre aspectos sociais presentes no uso das tecnologias comunicacionais móveis contemporâneas. In: NASCIMENTO, A. D.; HETKOWSKI, T. M. (Orgs.). Educação e contemporaneidade: pesquisas científicas e tecnológicas [on-line]. Salvador: EDUFBA, 2009. p. 186-201. Disponível em:<Disponível em:https://books.scielo.org/id/jc8w4/pdf/nascimento-9788523208721-09.pdf >. Acesso em:17/04/2020.
  » https://books.scielo.org/id/jc8w4/pdf/nascimento-9788523208721-09.pdf
• ROWE, G.; WRIGHT, G. The Delphi technique as a forecasting tool: issues and analysis. International Journal of Forecasting, v. 15, p. 353-375, 1999. Disponível em:<Disponível em:https://www.sciencedirect.com/science/article/abs/pii/S0169207099000187 >. Acesso em:03/07/2020.
  » https://www.sciencedirect.com/science/article/abs/pii/S0169207099000187
• SENADOR, A. Nomofobia 2.0 e outros excessos na era dos relacionamentos digitais São Paulo: Aberje, 2018. 160p.
• SILVA, C. A. Transtornos da dependência de internet Edição do Kindle. 2017. 114 p.
• SILVA, J. B. et al. Validação de um manual de cuidados fisioterêuticos no pós-parto para puérperas. Rev. Ciênc. Ext, v. 16, p. 209-222, 2021. Disponível em:<Disponível em:https://ojs.unesp.br/index.php/revista_proex/article/view/3317 >. Acesso em:23/01/2022.
  » https://ojs.unesp.br/index.php/revista_proex/article/view/3317
• SOUZA, A. C. de.; ALEXANDRE, B. M. C.; GUIRARDELLO, E. B. Propriedades psicométricas na avaliação de instrumentos: avaliação da confiabilidade e da validade. Epidemiol. Serv. Saude, Brasília, v. 26, n. 3, p. 649-659, jul./set., 2017. Disponível em:<Disponível em:http://scielo.iec.gov.br/pdf/ess/v26n3/2237-9622-ess-26-03-00649.pdf >. Acesso em:05/04/2020.
  » http://scielo.iec.gov.br/pdf/ess/v26n3/2237-9622-ess-26-03-00649.pdf
• STREINER, D. L. Being inconsistent about consistency: when coefficient alpha does and doesn´t matter. Journal of Personality Assessment v. 80, p. 217-222. 2003. Disponível em:<Disponível em:https://pubmed.ncbi.nlm.nih.gov/12763696/ >. Acesso em:03/05/2021.
  » https://pubmed.ncbi.nlm.nih.gov/12763696/
• TUMELEIRO, L. F.; COSTA, A. B.; HALMENSCHLAGER, G. D.; GARLET, M.; SCHMITT, J. Dependência de internet: um estudo com jovens do último ano do ensino médio. Gerais, Rev. Interinst. Psicologia, Belo Horizonte, v. 11, n. 2, jul./dez. 2018. Disponível em:<Disponível em:http://pepsic.bvsalud.org/pdf/gerais/v11n2/07.pdf >. Acesso em:11/04/2021.
  » http://pepsic.bvsalud.org/pdf/gerais/v11n2/07.pdf
• WESTMORELAND, D.; WESORICK, B.; HANSON, D.; WYNGARDEN, K. Consensual Validation of clinical practice model guidelines. J. Nurs. Care Quality, v. 14, n. 4, p. 16-27, 2000. Disponível em:<Disponível em:https://journals.lww.com/jncqjournal/Abstract/2000/07000/Consensual_Validation_of_Clinical_Practice_Model.5.aspx >. Acesso em:21/01/2019.
  » https://journals.lww.com/jncqjournal/Abstract/2000/07000/Consensual_Validation_of_Clinical_Practice_Model.5.aspx
• WIDYANTO, L.; McMURRAN, M. The psychometric properties of the internet addiction test. Cyberpsychology Behav, v. 7, n. 4, p. 443-450, 2004. Disponível em:https://www.liebertpub.com/doi/<10.1089/cpb.2004.7.443>. Acesso em:11/11/2020.
  » https://doi.org/10.1089/cpb.2004.7.443
• YILDIRIM, C.; CORREIA, A. Exploring the dimensions of nomophobia: Development and validation of a self-reported questionnaire. Computers in Human Behavior, n. 49, p. 130-137, 2015. Disponível em:<Disponível em:https://www.sciencedirect.com/science/article/abs/pii/S0747563215001806?via%3Dihub >. Acesso em:21/01/2021.
  » https://www.sciencedirect.com/science/article/abs/pii/S0747563215001806?via%3Dihub
• YOUNG, K. S. Internet addiction: the emergence of a new clinical disorder. Cyberpsychol Behav, v. 1, n. 3, p. 237-244, 1998. Disponível em:<https://www.liebertpub.com/doi/pdf/10.1089/cpb.1998.1.237>. Acesso em:05/11/2019.
  » https://doi.org/pdf/10.1089/cpb.1998.1.237

• 1
  A Matriz de Referência da versão final do Q-IVD, juntamente com os descritores estabelecidos para as questões, está organizada por categorias e pode ser consultada no seguinte endereço eletrônico: https://drive.google.com/file/d/1_NEYpLSSVNVBgqnZtefVQchiGzdpitHj/view?usp=sharing.
• 2
  Na literatura internacional, esse índice é conhecido como Content Validity Index (CVI) (POLIT; BECK, 2006; DeVON et al., 2007).
• 3
  Disponível em: https://drive.google.com/file/d/1UL0-jNldFvWFOdVoE6x8HvNZTsREUo22/view?usp=sharing.
• 4
  Disponível em: http://gg.gg/Q-IVD_prototipo.

• 6
  A pesquisa foi aprovada pelo Comitê de Ética e Pesquisa da Universidade Federal de Sergipe (Parecer Nº 4.490.395)

Datas de Publicação

• Publicação nesta coleção
  12 Fev 2024
• Data do Fascículo
  2024

Histórico

• Recebido
  19 Maio 2022
• Preprint postado em
  18 Maio 2022
  10.1590/SciELOPreprints.4126
• Aceito
  03 Maio 2023