Metacognitive Awareness Inventory: Tradução e Validação a partir de uma Análise Fatorial ConfirmatóriaResumo
Este estudo teve o objetivo de traduzir e validar estatisticamente o Inventário de Consciência Metacognitiva (MAI), instrumento inédito na literatura em língua portuguesa. Foram coletadas 1058 respostas entre estudantes e profissionais de Administração na cidade Salvador, Bahia. A tradução adotou a metodologiaback translation e a validação estatística foi através da Análise Fatorial Confirmatória pelo Modelo de Equações Estruturais. O construto “Consciência Metacognitiva” relacionado ao MAI confirmou que as dimensões “Consciência do Conhecimento das Habilidades e Estratégias Metacognitivas” e “Consciência das Estratégias de Regulação Metacognitivas” apresentaram medidas de confiabilidade composta e a validade discriminante corroborou que as correlações entre estes indicadores e suas respectivas dimensões são mais fortes que as correlações entre as dimensões; ou seja, o construto “Consciência Metacognitiva” reúne validade discriminante, o que permite validar o instrumento traduzido.
Análise Fatorial; Modelos Estruturais; Tradução; Estudos de Validação
Abstract
This study aimed to translate and validate statistically the Metacognitive Awareness Inventory (MAI), new instrument in the literature in Portuguese. We collected 1058 responses from students and professionals in the city of Directors Salvador, Bahia. Translation adopted the methodology back translation and statistical validation was through Confirmatory Factor Analysis by Structural Equation Model. The construct “Metacognitive Awareness” related to MAI confirmed that the dimensions “Awareness Knowledge Skills and Strategies Metacognitive” and “Awareness of Metacognitive Strategies Setting” presented measures of composite reliability and discriminant validity confirmed that the correlations between these indicators and their dimensions are stronger than the correlations between dimensions, ie, the construct “Metacognitive Awareness” meets discriminant validity, which achieves validate the instrument translated.
Factor Analysis; Models Structural; Translating; Validation Studies
Resumen
Este estudio tuvo como objetivo traducir y validar estadísticamente el Inventario conciencia metacognitiva (MAI), nuevo instrumento en la literatura en lengua portuguesa. Se recogieron 1.058 respuestas de los estudiantes y profesionales de la ciudad de Administración de Salvador, Brazil. Traducción adoptó la traducción de vuelta metodología y validación estadística fue a través de análisis factorial confirmatorio mediante modelos de ecuaciones estructurales. La “conciencia metacognitiva” constructo relacionado con MAI confirmó que las dimensiones “habilidades de conciencia conocimientos y estrategias metacognitivas” y “Conciencia de estrategias metacognitivas Configuración” que se presentan las medidas de fiabilidad compuesta y la validez discriminante confirman que las correlaciones entre estos indicadores y sus dimensiones son más fuertes que las correlaciones entre las dimensiones, es decir, la “conciencia metacognitiva” constructo cumple la validez discriminante , que permite validar el instrumento traducido.
Análisis Factorial; Modelos Estructurales; Traducción; Estudios de Validación
Introdução
Em diversos elementos das ciências humanas, sociais ou da saúde, é impossível analisar, tampouco medir, algumas variáveis conhecidas como variáveis latentes. A manifestação destas variáveis latentes é uma das maneiras encontradas pelos psicométricos para observá-las. A calibração destes instrumentos não é uma tarefa fácil, uma vez que não existe um modelo de calibração universal e consensual. É necessário, portanto, recorrer a técnicas estatísticas que possibilitam cotejar a confiabilidade, suscetibilidade e validade dos dados coletados com os instrumentos de medida para variáveis latentes. Desse modo, é relevante para Psicologia não só o desenvolvimento desses instrumentos de medida, como também a tradução e validação de instrumentos já consolidados na literatura, disponibilizando-os para o contexto nacional.
Em consulta ao Sistema de Avaliação de Testes Psicológicos do Conselho Federal da Psicologia (SATEPSI), em abril de 2013, foi identificado que o Metacognitive Awareness Inventory (MAI) não estava na lista homologada de testes psicológicos aprovados. De acordo com Lima Filho, Lima e Bruni (2015), a metacognição é uma temática atual e que, apesar do início de sua discussão remeter a década de 1970, foi nos últimos anos que pesquisadores das áreas da Educação e Psicologia começaram a desenvolver estudos empíricos importantes, o que promoveu vigorosos avanços em sua discussão.
A importância da avaliação do nível metacognitivo de um indivíduo transcende o contexto educacional e profissional. Desenvolver capacidades metacognitivas reflete diretamente nos aspectos econômicos e sociais de qualquer contexto, uma vez que seu aperfeiçoamento robustece a capacidade de refletir sobre pensamentos, tomadas de decisões e atitudes anteriores, fornecendo feedback para esses processos, e por consequência, um natural amadurecimento.
Pesquisas educacionais nas últimas décadas têm defendido uma maior independência por parte dos discentes no processo ensino-aprendizagem. John H. Flavell, na década de 1970, a partir de seus estudos sobre memória e aprendizado, foi um dos primeiros autores a referir-se à metacognição. Nesse trabalho seminal, o autor definiu-a como o domínio que o sujeito tem sobre o seu próprio conhecimento. A partir da pesquisa de Flavell (1976), outros trabalhos foram desenvolvidos definindo a metacognição como a cognição da cognição, ou seja, o comando dos próprios processos e produtos cognitivos. Todavia, com uma apreciação mais detalhada dessas definições referentes ao termo metacognição, é possível encontrar uma essência comum, que se refere ao controle cognitivo preenchido por um conjunto de mecanismos internos que promovem produzir, registrar e considerar informações, assim como controlar e autorregular o próprio processamento intelectual.
A metacognição é um termo originalmente cunhado por Flavell (Yore & Treagust, 2006) que a descreveu como “o conhecimento sobre fenômenos cognitivos” (Flavell, 1976). Em primeiro lugar, tal descrição pode parecer simples; contudo, como apontado porThomas, Anderson e Nashon (2008), apesar da quantidade considerável de pesquisas sobre metacognição e seu impacto na nossa compreensão, não há um consenso em sua definição. Diversas definições podem-se encontrar na literatura atual (Kauffman, Ge, Xie & Chen, 2008; Schunk, 2008;Thomas, Anderson e Nashon, 2008), entretanto, a descrição mais comum para a metacognição é o conhecimento e regulação do próprio sistema cognitivo (Brown, 1987). Pode ser mais facilmente entendida como consciência de como se aprende; consciência de quando se faz; o conhecimento de como usar as informações disponíveis para alcançar um objetivo; capacidade de julgar as demandas cognitivas de uma determinada tarefa; e conhecimento das estratégias a serem utilizadas (Gourgey, 2001).
Pesquisas internacionais envolvendo a metacognição têm crescido substancialmente nos últimos anos (Otani & Widner, 2005; Wiley, Griffin & Thiede, 2005), utilizando pesquisa de opinião (Kramarski, Mevarech & Lieberman, 2001) ou em pesquisa experimental (Kornell & Metcalfe, 2006). Existem vários contextos em que a metacognição tem sido estudada: Matemática (Carr & Biddlecomb, 1998; Kramarski & Mizrachi, 2006; Kramarski et al., 2001), Ciências (Conner & Gunstone, 2004; Otero, 1998), Economia (Grimes, 2002), Química (Sandí-Urenã, Cooper & Stevens, 2010) e Redação – Língua Inglesa – (Sitko, 1998). Vários tipos de atividades cognitivas têm sido o foco da investigação sobre a metacognição; por exemplo, escrita (Zimmerman & Kitsantas, 2002), compreensão de texto (Wiley et al., 2005; Maki, 1998), memória (Thiede, Anderson & Therriault, 2003), estudo (Kornell & Metcalfe, 2006; Pressley, Van Etten, Yokoi, Freebern & Van Meter, 1998; Winne & Hadwin, 1998) e resolução de problemas (Kramarski et al., 2001; Davidson & Sternberg, 1998; Dominowski, 1998). Há pesquisas, também, sobre os vários fatores de impacto metacognitivo (Thiede & Anderson, 2003) e sobre como a metacognição afeta outras variáveis relacionadas ao processo de aprendizagem (Kornell & Metcalfe, 2006).
Alguns estudos envolvendo a metacognição concentram-se em um único aspecto; por exemplo, o conhecimento metacognitivo (White & Frederiksen, 2005), a monitoração metacognitiva (Vadhan & Stander, 1994), o controle metacognitivo (Ross, Green, Salisbury-Glennon & Tollefson, 2006), ou uma combinação desses, referido como processos ou estratégias metacognitivas (Kramarski et al., 2001). Essas pesquisas foram realizadas em cenários realistas, como salas de aula (Nietfeld, Cao & Osborne, 2005; Veenman & Verheij, 2001), ou em laboratórios de Educação ou Psicologia (Jang & Nelson, 2005; Serra & Dunlosky, 2005). Essas pesquisas contribuíram para a utilização de métodos dinâmicos e aplicados à realidade de sala de aula, e os impactos desses estudos estão na apresentação de resultados que apontam a metacognição como item indispensável na dinâmica do “pensar”.
O Inventário de Consciência Metacognitiva (Metacognitive Awareness Inventory – MAI) foi desenvolvido Schraw e Dennison e publicado na 19ª edição daContemporary Educational Psychology, em 1994. O intuito desses pesquisadores foi desenvolver um inventário metacognitivo de fácil aplicação em jovens e adultos. Apesar dos quase 20 anos de sua publicação seminal, o MAI não foi utilizado em nenhuma pesquisa em língua portuguesa, exceto o estudo de Grendene (2007) em que o pesquisador inicialmente adaptou este instrumento ao modelo teórico de Flavell (1976), em seguida traduziu para língua portuguesa e validou estatisticamente.
Nesta pesquisa, adota-se o instrumento original e não o adaptado por Grendene (2007); portanto, por não encontrar na literatura nacional com este enfoque, este estudo possui o objetivo de traduzi-lo e validá-lo.
Referencial teórico
A metacognição, no que diz respeito especificamente à perspectiva empreendedora, pode assumir dois significados: a avaliação de recursos e a metacognição em ação (Minnella, 2011). A avaliação de recursos ou autoapreciação cognitiva refere-se a reflexões pessoais sobre o estado dos conhecimentos e competências cognitivas, sobre as características da tarefa que influenciam a dificuldade cognitiva e sobre as estratégias disponíveis para a realização da tarefa (Joly, 2006). Já a metacognição em ação ou autocontrole cognitivo diz respeito a reflexões pessoais sobre a organização e planificação da ação – antes do início da tarefa, nos ajustamentos que se fazem enquanto se realiza a tarefa e nas revisões necessárias à verificação dos resultados obtidos (Wilkerson, 2010).
A metacognição, apesar de estar dependente do desenvolvimento cognitivo, como já foi referido, também favorece e é o motor do próprio desenvolvimento, uma vez que permite ao sujeito ir mais longe no seu nível de realização. A metacognição pode servir como uma lente de processo por meio da qual o “lado pessoal pode ser examinado” através da investigação da memória, da aprendizagem, da identificação do problema e das habilidades para tomada de decisão (Mitchell et al., 2002, p. 93).
Metacognição descreve um processo que incorpora a autorregulação e a adaptação em ambientes de mudança. Indivíduos que possuem maior nível metacognitivo, na medida em que eles se aproximam de uma situação ou de uma tarefa, são: (a) mais propenso a reconhecer o fato de que há estruturas de decisão múltiplas disponíveis para formular uma resposta; (b) mais propensos a se envolver em um processo consciente de considerar múltiplas alternativas; e (c) mais chances de ser sensibilizados e receptivos ao feedback do meio ambiente e incorporá-lo aos quadros de decisões posteriores (Melot, 1998; Schraw & Dennison, 1994).
Um sujeito, quando confrontado com uma tarefa cognitiva, pode ser estimulado ou inibido pela metacognição, ou seja, a metacognição descreve o processo por meio do qual os indivíduos refletem e analisam uma gama de estratégias (ou criar novas estratégias) adequadas para aplicar a uma determinada atividade e considerar cada relação à sua utilidade na resolução dessa tarefa (Ford, Smith, Weissbein, Gully & Salas, 1998; Staw & Boettger, 1990).
Na prática, uma pessoa pode adotar qualquer estratégia para enquadrar o seu pensamento sobre alguma tarefa; contudo, é a sua consciência metacognitiva que irá reconhecer esse fato e se engajar no processo de identificação das alternativas de estratégias que maximizam a probabilidade de alcançar o seu objetivo. Em contrapartida, os indivíduos com restrições metacognitivas são menos propensos a se envolver e a identificar alternativas estratégicas e, portanto, são menos adaptáveis quando uma decisão exige mudanças de contexto, ou quando o contexto de decisão é novo e/ou incerto (Earley & Ang, 2003).
Os efeitos desse processo para o pensamento dinâmico são relevantes, em que o processamento metacognitivo é responsável pela formulação do conjunto de alternativas disponíveis a partir do qual o empreendedor analisa quando confrontado com uma tarefa de decisão. Mitchell, Smith, Gustafsson, Davidsson & Mitchell (2005) argumentam que as atividades metacognitivas podem ser deliberadamente praticadas em qualquer contexto. Além disso, esses autores defendem que o pensamento metacognitivo facilita e estimula a autorreflexão, compreensão e controle das próprias cognições. As premissas subjacentes a essa abordagem sugerem que o “pensamento sobre o próprio pensamento” pode ser deliberadamente praticado em diversas conjunturas, e que o pensamento metacognitivo conduz a uma maior experiência de criação de valor, facilitando a autorreflexão.
Mitchell et al. (2005), em pesquisa feita entre os anos 1997 e 2003, analisaram as atitudes metacognitivas em uma amostra de 233 estudantes universitários matriculados em um programa de empreendedorismo. Esses alunos compuseram o grupo experimento, enquanto que outros 67 estudantes da área de negócios, que não receberam nenhuma abordagem metacognitiva, constituíram o grupo controle. Os resultados apontaram que os alunos expostos a essa experiência metacognitiva ganharam mais experiência de criação de valor do que aqueles que não foram.
Considerando o ambiente dinâmico e instável das organizações, a metacognição também desempenha um papel de instigar os empreendedores a se adaptarem aos novos contextos e circunstâncias mercadológicas (Haynie & Shepherd, 2007). Esses autores investigaram de que forma a metacognição facilita a adaptabilidade cognitiva, isto é, a capacidade de informar e adaptar-se a uma heurística de decisão anteriormente aprendida em um ambiente dinâmico. O estudo aponta que a adaptabilidade cognitiva é importante em um contexto empresarial e que a metacognição faz promover a adaptabilidade cognitiva e, portanto, melhora o desempenho em uma tarefa empresarial.
Cho (2012) analisou como a metacognição de um indivíduo impacta no seu desempenho e orientação empreendedora. Sua metodologia delimitou a metacognição nas dimensões da consciência metacognitiva e das habilidades metacognitivas; já a orientação empreendedora foi direcionada para a perspectiva da inovação, do risco e da proatividade. O autor criou três cenários de pesquisa: crescimento de vendas, retorno sobre vendas e satisfação do cliente e testou oito hipóteses envolvendo cada dimensão da metacognição, cada dimensão da orientação empreendedora e em cada cenário proposto. Os resultados apontaram que a metacognição está positivamente relacionada com a orientação empreendedora em todas as dimensões investigadas.
Dado o dinamismo e a incerteza em torno da ação empreendedora, a metacognição facilita a adaptação aos desdobramentos do contexto empresarial (Haynie, Shepherd, Mosakowski & Earley, 2010). O olhar metacognitivo permite a consideração diligente do desenvolvimento de estratégias ao longo do processo de empreender, portanto, a metacognição torna-se indispensável em ambientes dinâmicos e incertos como aqueles que normalmente os empreendedores enfrentam. Diante deste contexto, destaca-se a importância da metacognição em diversas conjunturas e o desenvolvimento do MAI como um instrumento desenvolvido para mensurar este fator.
O MAI, apresentado na Tabela 1, é um instrumento psicométrico desenvolvido por Schraw e Dennison (1994), um inventário de autorrelato (o próprio respondente deve preencher). Conforme metodologia back translation de Pietro (1992), os 52 outputsdo MAI foram traduzidos para o português por três tradutores bilíngues que trabalharam de forma independente, gerando, portanto, três versões em português. Essas versões foram traduzidas para o inglês por outros três tradutores bilíngues, também trabalhando de forma independente, e, finalmente, um último tradutor bilíngue, analisando todas as traduções, realizou os ajustes necessários para se obter uma única versão apropriada do instrumento em português, garantindo, assim, a equivalência de sentido.
O MAI é uma medida de conhecimento metacognitivo de um indivíduo, que é amplamente utilizado no campo da educação (Lin-Miao & Zabrucky, 1998; Erskine, 2009). É um inventário de autorrelato em que os alunos respondem utilizando uma escala deLikert, e seu tempo de conclusão deve ser de aproximadamente 10 minutos (Schraw & Dennison, 1994).
Os desenvolvedores afirmaram que o MAI foi concebido para medir dois fatores. Um fator (17 itens) é relatado para avaliar o conhecimento dos alunos de habilidades e estratégias de metacognição, como o conhecimento declarativo, o conhecimento processual e o conhecimento condicional, neste estudo identifica-se este fator pela sigla CCME. O segundo fator (35 itens) mede estratégias de regulação. O componente de regulação inclui cinco subescalas: (a) o planejamento (definição de objetivos); (b) gestão da informação (organização); (c) monitoramento (avaliação da aprendizagem e da estratégia); (d) depuração (estratégia para corrigir os erros); e (e) avaliação (análise de desempenho e eficácia da estratégia) e, neste estudo, identifica-se este fator pela sigla CRME.
As pontuações deste instrumento são calculadas pela média do número de itens correspondentes a cada uma das oito subescalas, conforme Tabela 2.
Pintrich, Wolters e Baxter (2000) e Cooper (2004) realizaram uma análise estatística do MAI que revelou ser uma excelente medida do conhecimento metacognitivo. Pintrich et al. (2000) realizaram duas análises fatoriais exploratórias (EFA), utilizando estudantes universitários. Esses autores identificaram uma escala de conhecimento (consistência interna no valor de 0,88) e uma escala de regulação (consistência interna no valor de 0,91). Cooper (2004) também descreveu que a confiabilidade da consistência interna do MAI, em seu estudo, variou 0,93 a 0,88 com uma relação significativa entre os fatores de conhecimento e de regulação. Ambos os pesquisadores concluíram que o MAI fornece uma avaliação confiável da consciência metacognitiva. Partindo das contribuições dessas duas pesquisas, este estudo utilizará o termo “Consciência Metacognitiva” como construto do MAI.
O MAI foi desenvolvido inicialmente por Schraw e Dennison (1994) para ser administrado em somente uma aplicação, sem realização de pré-teste e pós-teste, evitando, assim, a tendência da população em superestimar suas habilidades acadêmicas, conhecida como “ilusão de aprendizagem” (McCormick, 2006). Apesar de alguns estudos recentes (Erskine, 2009; Schleifer & Dull, 2009; Sperling, Howard & Staley, 2004) adotarem a dinâmica de duas aplicações (pré-teste e pós-teste), neste estudo adota-se a intenção original dos desenvolvedores. Este instrumento já foi validado em diversas pesquisas internacionais (Akin, Abaci & Cetin, 2007; Miholic, 1994; Moncarz, 2012; O´Hara, 2007; Poronsky, 2011;Pucheu, 2008), contudo, como já afirmado anteriormente, não existe nenhuma pesquisa em língua portuguesa apresentando sua tradução e validação na versão original.
Procedimentos metodológicos
Escolha do método
Em relação ao tipo de estudo, esta pesquisa é survey, que pode ser descrito como a aquisição de dados ou informações sobre atributos, ações ou juízos de um determinado grupo de pessoas, apontado como representante de uma população alvo, por meio de um instrumento, normalmente um questionário (Pinsonneault & Kraemer, 1993). Como propriedades básicas do método de pesquisa survey podem-se citar: (a) ter como objetivo produzir definições quantitativas de uma população; e (b) fazer uso de um instrumento pré-definido.
Assim, para o teste das relações causais das variáveis deste estudo, bem como para o teste do modelo escolhido, este estudo utiliza a Análise Fatorial Confirmatória pelo Modelo de Equações Estruturais. De acordo com Hair, Anderson, Tatham e Black (2005), a modelagem de equações estruturais prevê um método direto para lidar simultaneamente com múltiplos relacionamentos de dependência com eficiência estatística, procedendo a exploração dos mesmos de forma profunda, gerando análises exploratórias e confirmatórias, o que permite a representação de conceitos não observáveis nesses relacionamentos.
Participantes
A amostra coletada foi levantada pelo critério de acessibilidade e adota a sugestão de Hair et al. (2005), que sugere, como regra geral, que a base de dados de uma pesquisa contenha no mínimo cinco vezes mais observações do que o número de variáveis que compõe o número de dados. Como o instrumento de coleta de dados apresenta 52 questões, esta pesquisa precisou coletar uma amostra com no mínimo 260 respondentes.
O estudo para validação do MAI foi realizado através da análise de uma amostra formada por estudantes e graduados em Administração de Salvador (BA). A amostra foi composta por: (a) alunos de IES públicas e privadas e (b) graduados registrados no Conselho Regional de Administração do Estado da Bahia (CRA-BA).
A coleta de dados foi realizada a partir da aplicação de questionário eletrônico via Google Docs, disponibilizado pelo CRA-BA e pelas coordenações de curso das IES envolvidas na pesquisa (três públicas e seis privadas). A amostra foi composta por 1058 respondentes, sendo 851 graduados e 207 estudantes.
Pré-teste de aplicação do instrumento de coleta de dados
Foi realizado um pré-teste para validação do instrumento e observação inicial do comportamento dos dados obtidos utilizando a validade de conteúdo. Segundo Raymundo (2009), a validade de conteúdo é uma dinâmica de julgamento de um instrumento por diferentes examinadores, a fim de avaliar se o instrumento realmente cobre os diferentes aspectos de seu objeto.
O universo de pesquisa, para a realização dos pré-testes, foi constituído de uma amostra que atingiu pelo menos 10% do total da população prevista (260 respondentes). Portanto, foram selecionados 26 sujeitos, empreendedores da cidade de Senhor do Bonfim/BA. Adotou-se essa cidade, por considerar que a utilização de respondentes da cidade de Salvador/BA nessa fase poderia impedir a participação de respondentes dispostos a contribuir com o estudo final.
O pré-teste foi dividido em duas etapas. Na primeira etapa, os sujeitos responderam ao questionário da pesquisa individualmente. Em seguida, logo após terminarem o preenchimento do questionário, os sujeitos participaram de uma sessão do tipo focus group, onde expressaram suas percepções e sentimentos em relação ao estímulo usado na pesquisa e suas opiniões sobre o questionário utilizado. Após as considerações, o questionário foi ajustado para a aplicação definitiva.
Plano de análise e parâmetros psicométricos para validação dos resultados estatísticos
Ao final da pesquisa de campo, o instrumento aplicado foi analisado com a finalidade de evidenciar a presença de missing values. Caso algum item deixasse de ser respondido, foi considerado o limite de 10% demissing values em cada questionário, conforme indicação de Troyanskaya et al. (2001). Não foi necessária a análise deoutliers, uma vez que todo instrumento utilizou Escala deLikert de cinco pontos, contudo, foi testada a hipótese de normalidade da amostra.
Nessa etapa da pesquisa foram definidos os procedimentos de análise dos dados, a partir da tabulação dos questionários aplicados e da definição das ferramentas estatísticas utilizadas para a apresentação e análise dos resultados.
Ao contrário do que ocorre nas Ciências Exatas, uma medida assume uma menor precisão nas Ciências Sociais e Humanas. Por esse motivo, o estabelecimento de analogias que sejam fluentemente comunicáveis não é uma tarefa fácil e precisa.
Parte dessa complexidade dos parâmetros psicométricos está vinculada às propostas da Psicologia, ou melhor, aos construtos psicológicos, “ao passo que o objeto sob investigação nem sempre pode ser observável, necessitando-se, por vezes, da criação de entidades teóricas, categorias mais amplas que viabilizem o processo de mensuração” (Menezes, 2006, p. 190).
A práxis psicométrica faz uso de técnicas e métodos científicos que permitem a análise do comportamento humano e, mais precisamente, dos construtos que envolvem as proposições psicológicas. Contudo, para atingir esse objetivo, a Psicologia carece de alguns parâmetros, como a definição adequada do comportamento examinado, bem como a exposição por meio de uma comunicação objetiva, além de ferramentas apropriadas que estimulem a intersubjetividade, ao permitir que uma terceira pessoa mensure e qualifique o comportamento com a menor imprecisão possível.
Ainda que identificada a necessidade da procura por um maior nível de objetividade, cabe destacar que é praticamente impossível atingir a totalidade dos fenômenos psicológicos, devendo o pesquisador sempre empregar instrumentos adequados e interpretá-los com prudência (Erthal, 2003).
Tratamento dos dados
Em alinhamento ao objetivo deste estudo, o tratamento dos dados foi realizado em duas fases. Na primeira, os dados foram avaliados descritivamente a fim de caracterizar os respondentes da amostra e examinar a distribuição dos dados. Na segunda fase, foram realizados os procedimentos de Análise Fatorial Confirmatória (AFC) pelo Modelo de Equações Estruturais propostos por Venkatraman & Grant (1986), para testar a validade de construto que envolve a análise de confiabilidade e consistência interna dos indicadores; a validade convergente e a validade discriminante da dimensão do construto: “Consciência Metacognitiva” – MAI.
O modelo teórico deste estudo pretendeu descrever fatores relacionados à consciência metacognitiva e, para tanto, foi utilizado o instrumento de pesquisa anteriormente citado, composto por 52 questões, cujas respostas, a priori, esperam ser explicadas por dois fatores: (a) Consciência do Conhecimento das Habilidades e Estratégias Metacognitivas (CCME); e (b) Consciência das Estratégias de Regulação Metacognitivas (CRME), conforme Tabela 2.
Resultados e validação do instrumento
Fase 1 – análise descritiva dos dados
A análise descritiva dos dados coletados e processados com o software Statistical Package for Social Sciences (SPSS) revelou que a amostra foi composta por 1058 respondentes, dos quais 55,7% (589) do gênero masculino e 44,3% (469) do gênero feminino, com idade média de 35,9 anos e desvio-padrão 11,24 anos. Desses respondentes, 80,4% (851) são graduados e 19,6% (207), estudantes.
O teste de normalidade multivariada dos dados resultou na estatística de curtose multivariada PK de Mardia Normalizada (PK = 105,37; sig = 0,000). Como já era esperado, a distribuição não apresenta normalidade multivariada uma vez que os dados coletados derivam de escalas ordinais (conforme instrumento de pesquisa).
Em relação à distribuição da idade dos respondentes por faixa, conforme Tabela 3, 65,1% dos respondentes apresentaram idade inferior a 38 anos. Os respondentes mais jovens desta pesquisa possuem 18 anos (sete indivíduos) e os mais maduros possuem 72 anos (dois indivíduos). O teste de normalidade multivariada dos dados resultou na estatística de curtose multivariada PK de Mardia Normalizada (PK = 81,01; sig = 0,000), portanto, a distribuição não apresenta normalidade multivariada.
Quando considerada segundo o gênero, a média de idade das mulheres (Média = 34,14; Desvio-padrão = 0,458) é menor que a dos homens (Média = 37,41; Desvio Padrão = 0,494) e as distribuições de frequência são assimetricamente positivas para ambos os gêneros, conforme ilustra o histograma da Figura 1.
Fase 2 – validação do instrumento
O processamento da Análise Fatorial Confirmatória (AFC) com os indicadores do construto “Consciência Metacognitiva” (MAI), estimado a partir das dimensões “Consciência do Conhecimento das Habilidades e Estratégias Metacognitivas” (CCME) e “Consciência das Estratégias de Regulação Metacognitivas” (CRME), pelo algoritmo Path Weighting Scheme com reposição demissing values pelo valor médio e normalização (Média = 0; Variância = 1), apresentou cargas fatoriais significativamente diferentes de zero, exceto os indicadores apontados na Tabela 4.
As cargas fatoriais resultantes do novo processamento, ilustradas na Figura 2, indicam que o construto MAI reúne, minimamente, validade convergente.
A consistência interna dos indicadores foi avaliada pelo índice de confiabilidade composta, que, segundo Hair et al. (2005), tem sido frequentemente utilizado nos modelos confirmatórios com MEE-PLS e calculado por meio da equação:
As dimensões “Consciência do Conhecimento das Habilidades e Estratégias Metacognitivas” (CCME) e “Consciência das Estratégias de Regulação Metacognitivas” (CRME) apresentaram medidas de confiabilidade composta respectivamente iguais (0,836 e 0,842). Esses valores ficaram acima do patamar 0,70 recomendado por Chin (1998), Fornell e Larcker (1981) e Hair et al. (2005); logo, os indicadores são altamente intercorrelacionados, internamente consistentes e confiáveis para mensurar suas respectivas dimensões.
A validade discriminante foi avaliada a partir da comparação das cargas de correlação entre as dimensões CCME e CRME e as Raízes da AVE indicadas em negrito na diagonal principal da matriz de correlações indicadas na Tabela 5.
Como pode ser observado na Tabela 5, em cada dimensão o valor da Raiz da AVE excede o valor das correlações entre os construtos CCME e CRME; logo, as correlações entre os indicadores e suas respectivas dimensões são mais fortes que as correlações entre as dimensões; portanto, o construto reúne validade discriminante. Já as correlações entre essas dimensões e o construto MAI (0,898 e 0,905) indicam que o construto MAI é responsável por 80,69% e 81,89% da variabilidade dos construtos CCME e CRME (R2 da matriz de correlação). Portanto, o MAI foi validado estatisticamente, considerando a exclusão dos fatores não significativos, e suas dimensões podem ser utilizadas para estimar reflexivamente o construto “Consciência Metacognitiva” (MAI).
O instrumento validado por esta pesquisa é demonstrado na Tabela 6.
No instrumento validado, ficaram vinculadas ao construto CCME as questões 2, 5, 6, 7, 8, 9 e 12 e ao construto CRME as questões 1, 3, 4, 10, 11, 13 e 14.
Conclusões
Este estudo objetivou traduzir e validar o Metacognitive Awareness Inventory (MAI) desenvolvido por Schraw e Dennison (1994). A tradução adotou a metodologia de Pietro (1992) e a validação estatística foi através da Análise Fatorial Confirmatória pelo Modelo de Equações Estruturais.
Dos 52 outputs do instrumento original, este estudo encontrou que somente 14 outputs foram significativos, pelo menos na conjuntura da análise desta pesquisa. Contudo, os outputs significativos conseguiram explicar o construto “Consciência Metacognitiva” e confirmaram que as dimensões “Consciência do Conhecimento das Habilidades e Estratégias Metacognitivas” (CCME) e “Consciência das Estratégias de Regulação Metacognitivas” (CRME) apresentam medidas de confiabilidade composta. Por sua vez, a validade discriminante corroborou que as correlações entre estes indicadores e suas respectivas dimensões são mais fortes que as correlações entre as dimensões; ou seja, o construto “Consciência Metacognitiva” reúne validade discriminante, o que permite atingir o objetivo deste estudo.
A contribuição desta pesquisa, além de sua tradução, foi de demonstrar que o instrumento validado consegue confirmar que o MAI é responsável por 80,69% e 81,89% da variabilidade dos construtos CCME e CRME, apesar da relevante exclusão dosoutputs do instrumento original.
Podem-se destacar algumas limitações importantes deste estudo, as quais podem ser vistas como oportunidades para pesquisas futuras. A amostra da pesquisa foi restrita à cidade de Salvador e aos estudantes e profissionais de Administração. Estudos futuros poderiam aplicar o instrumento traduzido ou validado em outros contextos regionais e/ou em outros tipos de respondentes para analisar o comportamento dos construtos no contexto de sua pesquisa e corroborar ou refutar os achados deste estudo.
Referências
- Akin, A., Abaci, R., & Cetin, B. (2007). The validity and reliability of the Turkish version of the Metacognitive Awareness Inventory.Educational Sciences: Theory and Practice,7(2), 671-678.
- Brown, A. L. (1987). Knowing when, where, and how to remember: a problem of metacognition. Advances in Instructional Psychology,1, 77–165.
- Carr, M., & Biddlecomb, B. (1998). Metacognition in mathematics from a constructivist perspective. In D. J. Hacker, J. Dunlosky, & A. C. Graesser, Metacognition in educational theory and practice (p. 69–91). Mahwah: Lawrence Erlbaum Associates.
- Chin, W. W. (1998). The partial least squares approach for structural equation modeling. In George A. Marcoulides (Ed.), Modern methods for business research Mahwah: Lawrence Erlbaum Associates.
- Cho, Y. S. (2012). The impact of metacognition on entrepreneurial orientation: research-in-progress. In 43rd Annual Meeting Southwest Decision Sciences, New Orleans, LA. S. l.: Southwest Decision Sciences Institute.
- Conner, L., & Gunstone, R. (2004). Conscious knowledge of learning: accessing learning strategies in a final year high school biology class. International Journal of Science Education,26(12), 1427–1443.
- Cooper, S. S. (2004). Metacognition in the adult learner (Tese de doutorado). Weber State University, Ogden, UT.
- Davidson, E., & Sternberg, R. J. (1998). Smart problem solving: how metacognition helps. In D. J. Hacker, J. Dunlosky, A. C. Graesser,Metacognition in educational theory and practice (pp. 47-68). Mahwah: Lawrence Erlbaum Associates.
- Dominowski, R. L. (1998). Verbalization and problem solving. In D. J. Hacker, J. Dunlosky, A. C. Graesser, Metacognition in educational theory and practice (pp. 25-45). Mahwah: Lawrence Erlbaum Associates.
- Earley, P. C., & Ang, S. (2003). Cultural intelligence:individual interactions across cultures. Palo Alto: Stanford University Press.
- Erskine, D. L. (2009). Effect of prompted reflection and metacognitive skill instruction on University freshmen’s use of metacognition (Tese de doutorado), Brigham Young University, Provo, UT.
- Erthal, T. C. (2003). Manual de psicometria Rio de Janeiro, RJ: Jorge Zahar.
- Flavell, J. H. (1976). Metacognitive aspects of problem solving. In L. B. Resnick (Ed.), The nature of intelligence (pp.231-236). Hillsdale, NJ: Erlbaum.
- Ford, K., Smith, E., Weissbein, D., Gully, S. & Salas, E. (1998). Relationships of goal orientation, metacognitive activity, and practice strategies with learning outcomes and transfer. Journal of Applied Psychology, 83(2), 218-233.
- Fornell, C. & Larcker, D. F. (1981). Evaluating structural equation models with unobservable variables and measurement error. Journal of Marketing Research, 18 (1), 39-50.
- Gourgey, A. F. (2001). Developing students’ metacognitive knowledge and skills. In H. J. Hartman (Ed.), Metacognition in learning and instruction: theory, research and practice The Netherlands: Kluwer.
- Grendene, M. V. C. (2007). Metacognição: uma teoria em busca de validação (Dissertação de mestrado), Pontifícia Universidade Católica do Rio Grande do Sul, Porto Alegre, RS.
- Grimes, P. W. (2002). The overconfident principles of economics student: An examination of a metacognitive skill. Journal of Economic Education,33(1), 15-30.
- Hair, J. F., Anderson, R. E., Tatham, R. L., & Black, W. C. (2005). Multivariate data analysis 5th ed. New Jersey, NJ: Prentice Hall.
-
Haynie, J. M., & Shepherd, D. A. (2007). Exploring the entrepreneurial mindset: feedback and adaptive decision-making. In:Babson College Entrepreneurship Research Conference,Madrid. Recuperado de: http://papers.ssrn.com/sol3/papers.cfm?abstract_id=1030014
» http://papers.ssrn.com/sol3/papers.cfm?abstract_id=1030014 - Haynie, J. M., Shepherd, D. A., Mosakowski, E., & Earley, P. C. (2010). A situated metacognitive model of the entrepreneurial mindset.Journal of Business Venturing, 25(2), 217-229.
- Jang, Y., & Nelson, T. O. (2005). How many dimensions underlie judgments of learning and recall? Evidence from state-trace methodology.Journal of Experimental Psychology, 134(3), 308-326.
- Joly, I. Z. L. (2006). Cultura musical na educação infantil. In A. Abramowicz, V. R. Silvério, F. Oliveira & G. G. C. Tebet.Trabalhando a diferença na educação infantil: propostas de atividade São Paulo, SP: Moderna.
- Kauffman, D. F., Ge, X., Xie, K., & Chen, C. (2008). Prompting in web-based environments: Supporting self-monitoring and problem solving skills in college students. Journal of Educational Computing Research,38(2), 115-137.
- Kornell, N., & Metcalfe, J. (2006). Study efficacy and the region of proximal learning framework. Journal of Experimental Psychology: Learning, Memory, and Cognition,32(3), 609–622.
- Kramarski, B., Mevarech, Z. R., & Lieberman, A. (2001). Effects of multilevel versus unilevel metacognitive training on mathematical reasoning. Journal of Educational Research, 94(5), 292-300.
- Kramarski, B. & Mizrachi, N. (2006). Online discussion and self-regulated learning: effects of four instructional methods on mathematical literacy. The Journal of Educational Research, 99(4), 218-230.
- Lima Filho, R. N., Sampaio, G. A. F. L., & Bruni, A. L. (2015). Self-regulated learning in accounting: diagnosis, dimensions and explanations.Brazilian Business Review, 12 (1), 36-54.
- Lin-Miao, L. & Zabrucky, K. M. (1998). Calibration of comprehension: Research and implications for education and instruction.Contemporary Educational Psychology, 23(4), 345-391.
- McCormick, C. B. (2006). Metacognition and learning. In P. A. Alexander, & P. Winne (Eds.), Handbook of educational psychology. New Jersey: Lawrence Erlbaum.
- Maki, R. H. (1998). Test predictions over text material. In D. J. Hacker, J. Dunlosky, A. C Graesser. Metacognition in educational theory and practice (pp. 117-44). Mahwah: Lawrence Erlbaum Associates.
- Melot, A. (1998). The relationship between metacognitive knowledge and metacognitive experiences: Acquisition and re-elaboration. European Journal of Psychology of Education, 13(1), 75-89.
- Menezes, I. G. (2006). Escala de intenções comportamentais de comprometimento organizacional (eicco): concepção, desenvolvimento, validação e padronização. (Dissertação de mestrado). Universidade Federal da Bahia. Salvador, BA.
- Miholic, V. (1994). An inventory to pique students’ metacognitive awareness of reading strategies. Journal of Reading, 38(2), 84-86.
- Minnella, J. M. (2011). Achievement goals, self-efficacy, metacognition, and learning strategies as predictors of asynchronous learners’ academic success (Tese de doutorado). Capella University, Minneapolis, MN.
- Mitchell, R., Busenitz, L., Lant, T., McDougall, P., Morse, E., & Smith, B. (2002). Toward a theory of entrepreneurial cognition: rethinking the people side of entrepreneurship research. Entrepreneurship Theory and Practice,27(2), 93-105.
- Mitchell, R., Smith, J. B., Gustafsson, V., Davidsson, P., & Mitchell, R. K. (2005). Thinking about thinking about thinking: exploring how entrepreneurial metacognition affects entrepreneurial expertise. In Proceedings of The Babson Research Conference, Wellesley.
- Moncarz, H. T. (2012). The relationship between playing games and metacognitive awareness (Tese de doutorado). George Mason University, Fairfax, VA.
- Nietfeld, J. L., Cao, L., & Osborne, J. W. (2005). Metacognitive monitoring accuracy and student performance in the postsecondary classroom. Journal of Experimental Education,74(1), 7-28.
- O´Hara, J. D. (2007). The influence of supplemental instructional approaches upon the comprehension, metacognitive awareness, and motivation of struggling third-and fourth-grade readers( Tese de doutorado). University of Maryland, College Park, MD.
- Otani, H., & Widner, R. L. Jr. (2005). Metacognition: new issues and approaches. Journal of General Psychology, 132(4), 329-334.
- Otero, J. (1998). Influence of knowledge activation and context on comprehension monitoring of science texts In D. J. Hacker, J. Dunlosky, A. C. Graesser, Metacognition in educational theory and practice (pp. 145-64.). Mahwah: Lawrence Erlbaum Associates.
- Pietro, A. J. (1992). A method for translation of instruments to other languages. Adults Education Quartely,43(1), 1-14.
- Pinsonneault, A., & Kraemer, K. (1993). Survey research methodology in management information systems as assessment. Journal of Management Information Systems, 10(2), 75-105.
- Pintrich, P. R., Wolters, C. A., & Baxter, G. P. (2000). Assessing metacognition and self-regulated learning. In Schraw, G., & Impara, J. C. (Ed.), Issues in the measurement of metacognition(pp. 43-97). Lincoln, NE: Buros Institute of Mental Measurement.
- Poronsky, C. B. (2011). Online faculty mentoring and transition balance in family nurse practitioner students (Tese de Doutorado), University of Wisconsin-Milwaukee, WI.
- Pressley, M., Van Etten, S., Yokoi, L., Freebern, G., & Van Meter, P. (1998). A grounded theory approch. In D. J. Hacker, J. Dunlosky, A. C Graesser. Metacognition in educational theory and practice (pp. 347-67). Mahwah: Lawrence Erlbaum Associates.
- Pucheu, P. M. (2008). An investigation of the relationships between the scoring rubrics inventory and the metacognitive awareness inventory as reported by secondary school core-subject teachers(Tese de Doutorado). University of New Orleans, LA.
- Raymundo, V. P. (2009). Construção e validação de instrumentos: um desafio para a psicolinguística. Letras de Hoje,44(3), 251-271.
- Ross, M., Green, S., Salisbury-Glennon, J., & Tollefson. N. (2006). College students’ study strategies as a function of testing: an investigation into metacognitive self-regulation. Innovative Higher Education,30(5), 361-375.
- Sandí-Ureña, G. S; Cooper, M. M. & Stevens, R. H. (2010). Enhancement of metacognition use and awareness by means of a collaborative intervention. Internacional Journal of Science Education, 1 (1), 1-18.
- Schleifer, L. L. F., & Dull, R. B. (2009). Metacognition and perfomance in the accounting classroom. Issues in Accounting Education, 24(3), 339-367.
- Schraw G., & Dennison, R. S. (1994). Assessing metacognitive awareness. Contemporary Educational Psychology,19(4), 460-75.
- Schunk, D. H. (2008). Commentary on self-regulation in school contexts. Learning and Instruction, 15,173-177.
- Serra, M. J., & Dunlosky, J. (2005). Does retrieval fluency contribute to the underconfidence with practice effect? Journal of Experimental Psychology: Learning, Memory, and Cognition,31(6), 1258-1266.
- Sitko, B. M. (1998). Knowing how to write: metacognition and writing instruction. In Metacognition in educational theory and practice (pp. 69-91). Mahwah: Lawrence Erlbaum Associates.
- Sperling, R. A., Howard, B. C., & Staley, R. (2004). Metacognition and self-regulated learning constructs. Educational Research and Evaluation, 10(2), 117-139.
- Staw, B. & Boettger, R. (1990). Task revision: A neglected form of work performance. Academy of Management Journal,33(3), 534-560.
- Thiede, K. W., & Anderson, M. C. M. (2003). Summarizing can improve metacomprehension accuracy. Contemporary Educational Psychology, 28(2), 129-160.
- Thiede, K. W., Anderson, M. C. M., & Therriault, D. (2003). Accuracy of metacognitive monitoring affects learning of texts. Journal of Educational Psychology, 95(1), 66-73.
- Thomas, G., Anderson, D., & Nashon, S. Development of an instrument designed to investigate elements of science students’ metacognition, self-efficacy and learning processes: The SEMLI-S. International Journal of Science Education, 30(13), 1701-1724, 2008.
- Troyanskaya, O., Cantor, M., Sherlock, G., Brown, P. O., Hastie, T., & Tibshirani, T. (2011). Missing values estimation methods for DNA microarrays. Bioinformatics, 17(6), 520-525.
- Vadhan, V. & Stander, P. (1994). Metacognitive ability and test performance among college students. The Journal of Psychology, v. 128, n. 3, p. 307–309.
- Veenman, M. V. J., & Verheij, J. (2001). Technical students’ metacognitive skills relating general versus specific metacognitive skills to study success. Learning and Individual Differences,13(3), 259-272.
- Venkatraman, N., & Grant, J. H. (1986). Construct measurement in organizational strategy research: A Critique and Proposal. Academy of Management Review,11(1), 71-87.
- White, B., & Frederiksen, J. (2005). A theoretical framework and approach for fostering metacognitive development. Educational Psychologist, 40(4), 211-223.
- Wiley, J., Griffin, T. D., & Thiede, K. W. (2005). Putting the comprehension in metacomprehension. Journal of General Psychology, 132(4), 408-428.
- Wilkerson Jr., J. E. W. (2010). Accounting educators as the accounting profession´s trustess: lessons from a study of peer professions.Issues in Accounting Education, 25(1), 1-13.
- Winne, P. H & Hadwin, A. F. (1998). Studying as self-regulated learning In Metacognition in educational theory and practice (pp. 69-91). Mahwah: Lawrence Erlbaum Associates.
- Yore, L. D., & Treagust, D. F. (2006). Current realities and future possibilities: language and science literacy-empowering research and informing instruction. International Journal of Science Education, 28(2-3), 291-314.
- Zimmerman, B. J., & Kitsantas, A. (2002). Acquiring writing revision and self-regulatory skill through observation and emulation.Journal of Educational Psychology, 94(4), 660-668.
Datas de Publicação
-
Publicação nesta coleção
Dez 2015
Histórico
-
Recebido
23 Out 2013 -
Aceito
14 Set 2015
Fonte: Elaboração própria, 2015.
Fonte: Elaboração própria, 2015.