| Configural |
Dimensionalidade (conjeturada) |
A estrutura configural proposta na primeira fase (“prototípica”) emerge? Pode ser corroborada? |
ACP, AFE/MEEE, AFC. Autovalores, de forma preliminar, seguidos de número de fatores emergentes nas análises fatoriais. |
Espera-se que a dimensionalidade proposta nas fases anteriores seja corroborada; caso contrário, cabe explorar estruturas dimensionais alternativas. Na perspectiva de uma análise preliminar, com ACP, isso pode ser observado mediante o número de autovalores > 1,0 emergentes. Quando a razão entre o primeiro e o segundo autovalor é maior do que quatro, alguns autores sugerem a possibilidade de unidimensionalidade47. Aprofundando com AFC, o número de dimensões é avaliada por meio de diagnóstico interino sugerindo má especificação configural (e.g., usando Índices de Modificação e Mudanças Esperadas de Parâmetros via Multiplicador de Lagrange17,19). No caso de análises por meio de MEEE48, é possível observar diretamente estruturas alternativas para além da conjeturada teoricamente. |
| Pertinência teórica de itens (congruência teórico-empírica) |
A previsão de pertencimento dos itens em suas respectivas dimensões pode ser amparada nos resultados da análise? |
AFE/MEEE e/ou AFC. Posicionamento ou localização de itens em fatores. |
Os itens devem expressar seus respectivos fatores, distintos entre si, conforme pensado para o instrumento na sua concepção ou em um processo de ATC. Se algum item manifesta dimensões que não aquela prevista teoricamente, há necessidade de revisão. |
| Especificidade fatorial |
Cada item se vincula a apenas uma dimensão ou não? Há ambiguidade de pertencimento? |
AFE/MEEE e/ou AFC. Carga cruzada de itens. |
Se um item encerra especificidade fatorial, espera-se que não haja ambiguidade quanto ao carregamento fatorial. Espera-se que o item seja uma expressão exclusiva do fator que supostamente representa. Itens que violam esta propriedade devem ser identificados e, dependendo da situação, modificados ou mesmo substituídos. |
| Métrica |
Confiabilidade/discriminância de itens |
Qual é a magnitude da relação entre os itens e os fatores que pressupostamente os manifestam? |
AFE/MEEE e/ou AFC/TRI. Carga e resíduo dos itens. |
Para que o item seja considerado confiável, espera-se que sua carga fatorial esteja acima de uma demarcação pré-especificada. A literatura não estipula um valor único. Convencionalmente, 0,3017,49, 0,3550ou 0,4051são pontos de corte considerados aceitáveis para admitir um item como confiável. A confiabilidade também se atrela à noção de discriminabilidade, uma vez que cargas fatoriais têm relação direta com os parâmetros a obtidos nos modelos TRI, expressando o quão discriminante um item é52. Plotando-se curvas de diferentes a i(correspondentes aos λi), é possível visualizar a discriminância via Curva Característica do Item e decidir. |
| Ausência de redundância (particularidade) de conteúdo de itens. |
Há itens cujo conteúdo se sobrepõe de tal sorte que não mapeiam o construto independentemente? |
MEEE, AFC/TRI. Correlação residual (implicando violação de independência condicional/local). |
Em princípio, espera-se que os itens de um determinado fator não mostrem correlações residuais. Espera-se que sejam independentes, uma vez condicionados ao fator que pressupostamente manifestam. Violação de independência implica assumir que as variabilidades dos itens envolvidos se devam a outro motivo comum, para além do tal fator que representam. A magnitude de uma correlação residual a partir da qual se pode endossar uma violação de independência condicional é um tanto arbitrária. Uma possibilidade é demarcar um valor (ou patamar) pré-determinado teoricamente sustentável – por exemplo, 0,20 ou 0,25 – e contrastar estatisticamente os modelos com ou sem a correlação residual livremente estimada. Outra possibilidade é seguir recomendações de autores para orientar o processo de decisão. Reeve et al.53sugerem a simples demarcação de ≥ 0,3 para admitir a existência de correlação residual. Há, também, demarcações baseadas em estatísticas formais. Uma é a estatística de dependência local baseada em qui-quadrado (LD χ2), proposta por Chen e Thissen54,55, que usa o corte de ≥ 10 para indicar dependências. Outra é a estatística Q3 (e variantes) sugerida por Yen56–58. Diversas situações levam à correlação entre resíduos (erros) de itens59, mas uma comum em processos de desenvolvimento (ou ATC) de instrumentos se refere à presença de redundância de conteúdo (parcial) entre itens (em geral, pares). Avaliação teórica, observando semântica e significados denotativos e conotativos dos respectivos conteúdos, deve ser realizada quando uma violação estatística é observada. |
| Convergência fatorial (VFC). |
Os itens, em conjunto, refletem de modo convergente o fator correspondente? |
AFC. Variância média extraída. |
A VFC se refere a cada fator, como o próprio nome indica. Entende-se que há VFC se a relação entre a VME dos itens – i.e., a variância que os itens têm em comum – é, ao menos, maior do que a variância conjunta dos respectivos erros – que expressam a variabilidade dos itens, que não se deve aos fatores de interesse. Assim, quantitativamente, endossa-se a VFC se a VME ≥ 0,517,60. Na perspectiva interpretativa, endossando-se VFC, aceita-se que a dimensão (fator) em tela está “bem servida” pelo respectivo conjunto de itens, uma vez que estes contêm mais informatividade relativa ao fator do que mero erro (seja amostral e/ou de aferição/processo e/ou inerente aos próprios itens componentes61). Um indicador conexo – √ AVE – resume a confiabilidade do construto (dimensão). Assim, valores ≥ 0,7 também indicam convergência e, estritamente, que há consistência interna (i.e., consistência dos/entre os itens, interna ao fator a que pertencem)60. |
| Discriminância fatorial (VFD). |
A quantidade de informação captada pelo conjunto de itens em seus respectivos fatores é maior do que aquela compartilhada entre os fatores componentes (discriminante)? |
AFC. Contraste da variância média extraída (pelos itens) de um determinado fator com o quadrado das correlações deste fator com os outros do sistema. |
Esta propriedade somente se aplica a construtos multidimensionais. Se há VFD, espera-se que haja mais informação “fluindo” dos fatores para os itens do que entre os próprios fatores. A demarcação de violação de VFD pode seguir alguma regra genérica ( rule of thumb ) ou uma avaliação mais formal. Em relação à primeira, alguns autores sugerem correlações fatoriais de 0,80 a < 0,85 como suspeitos e ≥ 0,85 como indicativos de violação17. Uma estratégia mais rigorosa consiste em testar formalmente a significância estatística da diferença entre a VME do fator e o quadrado das correlações deste fator com os demais60. Um sinal positivo e estatisticamente significativo dessa diferença endossaria a VFD, ao passo que um sinal negativo estatisticamente significativo favoreceria sua rejeição, isto é, de que há uma violação. Uma diferença não significativa positiva ou negativa pode ser uma indicação a favor ou contra uma violação. Adotando-se uma posição mais conservadora, a decisão por uma violação poderia se basear somente em uma diferença estatisticamente significativa. |
| Escalar |
Cobertura de informação do traço latente (referente a cada item e para o conjunto de itens). |
O conjunto de itens cobre a maior parte do traço latente ou há regiões “desmapeadas”? Nas regiões do traço latente efetivamente mapeadas, os itens se distribuem de maneira uniforme ou há aglomerados indicando redundância de posicionamento? |
TRI paramétrica. Eyeballing , usando o Wright Map, que consiste em combinar o mapa do construto com estimativas de posicionamento dos itens obtidas nas análises TRI e observação de gráficos. |
Espera-se que os itens selecionados como manifestos do traço latente sejam capazes de adequadamente posicionar indivíduos (ou qualquer outra unidade de análise) ao longo do mapa do construto. Não menos importante, o espectro de variação previsto pelo mapa do construto também deve ser coberto de modo apropriado. Uma forma de avaliar esses dois aspectos é apreciar criticamente a disposição dos itens segundo o Wright Map proposto13,27. Nesse sentido, aprecia-se a correspondência do posicionamento desses itens ao longo do espectro latente – por exemplo, via parâmetros biobtidos nas análises TRI – e o crescente de intensidade apresentado no mapa do construto13. Esse procedimento de eyeballing deve ser seguido de uma análise da cobertura de informação21,62. Gráficos específicos permitem indicar se o conjunto de itens cobre a maior parte do traço latente ou se há regiões com lacunas, “despovoadas” de itens. Esses gráficos ajudam igualmente a detectar se todas as regiões do traço latente são efetivamente abrangidas, se os itens se distribuem de maneira razoavelmente uniforme ou se há aglomerados, indicando sobreposição e, assim, redundância de posicionamento/mapeamento. Avaliações gráficas adicionais permitem, de forma complementar, apreciar o comportamento dos itens, principalmente quanto às regiões de cobertura do traço latente. Obtidos via TRI paramétrica, esses gráficos incluem as Funções de Informações dos Itens e as Curvas da Característica do Item. No caso de os itens serem policótomos, obtêm-se as Curvas da Característica de Categorias. Essas servem também para avaliar “internamente” os itens, observando-se as áreas de cobertura de cada nível e se estas estão ordenadas conforme o pressuposto teórico encerrado no mapa do construto. Exemplos destes gráficos se encontram nas referências de fundamentação indicadas ao final deste Quadro ou em buscas na internet (e.g., https://www.stata.com/manuals/irt.pdf). |
| Ordenamento com escalabilidade e monotonicidade de itens. |
Os itens que estão mapeando regiões do mapa do construto fazem-no na ordem de intensidade teoricamente esperada ou existem regiões do construto onde itens menos severos (mais leves/brandos) suplantam outros itens que, em princípio, deveriam capturar áreas mais intensas desse traço latente? |
TRI não paramétrica e paramétrica. H de Loevinger, Critério de Mokken e avaliações gráficas. |
Espera-se que os itens consigam separar bem as regiões do traço latente (conteúdo) que devem supostamente cobrir, evitando ao máximo a ocorrência de sobreposição. Duas estratégias permitem checar isso: ordenamento com escalabilidade e monotonicidade. Ordenamento de itens com escalabilidade se refere à coerência entre as frequências com que os itens são endossados e a porção do mapa do construto que deveriam teoricamente cobrir. Em um cenário ideal, espera-se que um respondente com baixa intensidade de um determinado traço latente do construto (dimensão) efetivamente endosse um item representante (mapeador) dessa região de “menor” intensidade, ao mesmo tempo que negative outro item manifestando um grau mais intenso do construto. A análise desse aspecto pode ser realizada tanto para cada item quanto para todo o conjunto do instrumento. O coeficiente de escalabilidade H de Loevinger reflete isso63–65. Tendo o valor 1,0 como limite superior de adequação, recomenda-se uma estimativa para o conjunto de itens de, pelo menos, 0,364,66. Um H abaixo desse valor qualifica o instrumento como de má escalabilidade. Segundo Mokken66, valores de 0,3 a < 0,4 indicam escalabilidade fraca; de 0,4 a < 0,5, média; e ≥ 0,5, forte. Em um instrumento aceitável, espera-se igualmente que a maioria das estimativas H de cada item também siga essas referências. O pressuposto de monotonicidade é outra propriedade conexa a ser apreciada durante a avaliação do comportamento escalar dos itens e, por extensão, do conjunto formado por estes64,65. A monotonicidade pode ser subscrita quando a probabilidade de confirmação (positivação) de um item aumenta de maneira correspondente ao aumento de intensidade do traço latente. Visualmente, há violação de monotonicidade simples quando há declínio(s) de probabilidade de endosso à medida que cresce o escore total (latente). Adicionalmente, entende-se como violação de monotonicidade dupla se há algum cruzamento ao longo das curvas dos itens obtidas numa análise TRI. Seja simples ou dupla, considera-se que a monotonicidade está presente quando o critério sugerido por Mokken for < 4066, entendendo que alguns cruzamentos podem ser atribuídos à variabilidade amostral. Valores entre 40 e 80 servem de alerta, suscitando uma avaliação mais detalhada dos pesquisadores; um critério > 80 levanta dúvidas sobre a hipótese de monotonicidade de um item, bem como da escala como um todo63,64. |
Thumbnail
