O problema da validade na pesquisa sobre a alfabetização

ARTIGOS DE DEMANDA CONTÍNUA

O problema da validade na pesquisa sobre a alfabetização^*

Maria Lucia Faria Moro

Professora Adjunta do Departamento de Teoria e Fundamentos da Educação e Doutora em Psicologia da Educação pela PUC-SP

I - Introdução

A busca da objetividade nas ciências sociais: a questão da validade e da fidedignidade.

As ciências sociais partilham com as ciências naturais uma mesma aspiração: produzir conhecimento coletivo e cumulativo com objetividade (cf. Dilthey e G. Mead).

Em outros termos, os pesquisadores daquela área pretendem conhecer seus objetos de estudo de forma a que esse conhecimento seja partilhado, discutido, reconhecido na coletividade acadêmico/científica e seja, assim, cumulativo, no decorrer dos tempos, na sua contribuição à contínua busca de avanços na história do trabalho científico.

É a relevância dada à busca da objetividade que marca a atividade científica e que faz a distinção, o limite entre conhecimento e opinião, entre ciência e doutrina ou artigo de fé.

Como nas ciências naturais e conforme o propósito já enunciado, procura-se a objetividade no trabalho científico em ciências sociais mediante:

- um relato do estudo que seja acessível a outros pesquisadores para verificação pela replicação;

- um relato de resultados feito em termos de variáveis com algum significado teórico, para justificar suas referências a teorias relevantes que devem ser verificadas (Kirk e Miller, 1986).

Com respeito ao lugar da objetividade na atividade científica, confrontamos duas posições extremas: a do positivismo ortodoxo e a do relativismo ortodoxo.

a) o positivismo ortodoxo é uma visão epistemológica que considera o mundo exterior em si como a entidade que determina a única correta visão dele próprio, independentemente do processo, das circunstâncias, da interferência do responsável pelo exame. Ignora-se radicalmente aqui o papel de quem conhece e do processo deste conhecer, como correspondente da busca da objetividade. Ignora-se, assim, que sempre, nas teorias, há categorias não impostas pela realidade empírica, mas que têm a ver com a visão e a elaboração do pesquisador. Arrisca-se assim, em demasiado a cair na falácia de reificação, o que significa tratar instrumentos, de análise - conceitos, constructos - como se fossem fatos, como se fossem entes do mundo empírico.

b) do lado oposto, o relativismo ortodoxo propõe que o conhecimento se faz mediante interpretações alternativas, diversas, excluindo o esforço de escolher, de julgar essas interpretações e ignorando o outro lado, o papel do objeto em uma realidade empírica. Ou seja, não é levada em conta a existência dessa realidade. Daí a ausência de separação entre opinião (querer subjetivo, desejo) e conhecimento.

Para nós, em ciências sociais, a objetividade se faz na interação de quem conhece, o sujeito, com seu objeto de conhecimento, na trama de relações que se estabelecem entre esses pólos epistemológicos, no contexto de base das interrelações da comunidade científico/cultural. E por isso que a objetividade significa, para o pesquisador, segundo Kirk e Miller (1986:10) "... assumir o risco intelectual de estar comprovadamente errado", quando suas descobertas são submetidas, seja aos argumentos de adversários intelectuais, seja às constatações do mundo empírico. A "verdade" (sempre provisória) é então delimitada pela "... tolerância da realidade empírica e pelo consenso da comunidade acadêmica" (Kirk & Miller, 1986:11).

Se a objetividade é um critério fundamental de caracterização da atividade científica. é interessante lembrar a idéia de que ela não é só típica desse gênero de manifestação humana: ela é parte da experiência social do cotidiano das pessoas, como também é o de suas experiências fisicas. Há autores, como Dilthey, que propõem mesmo ser ela uma capacidade inata do ser humano para que possa entender outro ser humano.

Em cada investigação, em toda a investigação, a objetividade é operacionalmente buscada mediante atendimento aos seus dois componentes essenciais: a validade e a fidedignidade.

O que são eles? Em termos bastante simples, em relação à etimologia das palavras, a validade (um quase sinônimo de "verdadeiro") tem a ver com a seguinte pergunta crucial do pesquisador para ele próprio:

"... vejo o que penso ver...?"

"... o que eu observo, de verdade corresponde à realidade...?"

"... isto que eu chamo de x... é, de fato, x...?"

Em suma, a validade é a melhor aproximação possível à verdade ou a falsidade das observações, das descobertas, dos resultados interpretados. Abrange toda a dimensão de "valor" dessa interpretação em sua relação com a realidade observada, o dado empírico que a gera: e, mais ainda, do valor de verdade daquilo que, de fato, o dado empírico revela.

A fidedignidade (um sinônimo de precisão, fidelidade) tem a ver com outra questão também não menos importante:

"... o que eu vejo, vejo-o com exatidão...?"

"... o que eu observo, ... meço, avalio, faço-o com precisão...?" "Se... medir, observar isto novamente, por várias vezes, nessas mesmas circunstâncias, obterei a mesma medida ou uma observação equivalente à anterior...?"

Refere-se, assim, a fidedignidade à precisão da medida, da observação.

É o grau em que a descoberta, a observação, o resultado, são independentes de flutuação, de circustâncias acidentais.

Como vimos, essas duas dimensões são requisitos necessariamente componentes da objetividade e, assim, mabas devem ser buscadas. Porém, quer no âmbito das ciências exatas como em ciências sociais, pode ser freqüente a possibilidade de que "... estou observando, medindo com precisão e por repetidas vezes, algum fenômeno que suponho ser x, mas esta suposição é incorreta". O pesquisador pode, então, estar medindo precisamente um fato que, ele pensa que é x mas que, na verdade, é outra coisa. Assim, de que adiantaria tanto esforço deste pesquisador para obter uma medida precisa, fidedigna deste fato? Ele teria medidas fidedignas mas não válidas.

Por outro lado, o pesquisador pode estar observando o que julga, de fato, observar: x é mesmo x. Porém, pode estar efetuando essa observação, uma medida de x, sem precisão. Ele teria uma observação, um dado válido, mas não fidedigno.

Estaria ele atendendo à validade mas não à fidedignidade de seus dados, de suas observações.

Parece-nos, portanto, muito evidente que o pesquisador observa algo que, na verdade, julga observar, é um passo necessário, prioritário, para que, depois, possa ele tentar observar aquilo com mais e mais precisão. É assim que, a validade mnais perfeita traz maiores garantias para uma fidedignidade mais perfeita, não o inverso.

Entretanto, na história da metodologia da pesquisa científica em ciências humanas, a validade é uma dimensão tida como não resolvida pois que, em si mesma, ela é uma dimensão mais complexa que a fidedignidade, no quadro dos problemas da coletiva, avaliação, mesuração de dados.

Há, assim, um maior desenvolvimento de métodos, de técnicas de teste de fidedignidade do que da validade. Podemos supor que este fato se deva a duas ordens de influências:

- de um lado, as influências dos procedimentos metodológicos das ciências exatas, âmbito em que a história mostra a evolução necessária das formas de avaliação da fidedignidade, a par da preocupação com a validade. Tem sido efetuada, aqui, uma transferência automática e ingênua da preocupação com a precisão do observado, para um outro grupo de ciências - as ciências sociais - antes de se ter resolvido melhor, ou paralelamente, o como lidar com a validade nesse mesmo grupo;

- de outro lado, influências fortes das posições do empirismo ortodoxo, trazendo uma centração nas questões de mesuração, e a mais exata possível, dos fenômenos estudados em ciências sociais, em detrimento da preocupação com a validade das observações.

A busca da validade nas ciências sociais surge, então, como prioritária, mesta perspectiva bastante forte de que ela, a validade, é uma das condições necessárias à fidedignidade, sem que a recíproca seja verdadeira.

Mais ainda, a preocupação com a validade impõe particularmente hoje, nas ciências sociais, como essencial, central e permanente busca o que é o "mais verdadeiro possível" sobre a natureza dos fatos e fenômenos, das relações entre eles, do conjunto das variávies que os provocam. Em um terreno de fenômenos tão complexos quanto se nos revelam os pertencentes ao âmbito das ciências sociais, as aproximações possíveis a um conhecimento mais válido, na construção de uma ciência mais e mais objetiva, deverão vir antes da preocupação com os meios de observar, de medir esses fenômenos com mais precisão (sem que se desmereça ou se coloque em plano inferior este requisito).

É esse caminho que entendemos ser o mais indicado para a evolução, o progresso, dos vários ramos das ciências sociais.

As justificativas recém apresentadas parecem-nos suficientes para tratarmos aqui, especialmente, o problema da validade no caso das pesquisas sobre a escrita e seu aprendizado pela criança, no processo classicamente conhecido como alfabetização.

Para preparar nossa discussão conjunta posterior a respeito do tema, cabe-nos esboçar sem seguida, alguns dados da literatura sobre a evolução do tratamento da validade na metodologia da pesquisa científica, apresentando vários tipos de validade, fruto da depuração e sofisticação conceituais pelas quais esse critério passou em sua história em face das necessidades da prática da investigação. E, depois, propor exemplos de problemas referentes à pesquisa do processo de aprendizagem da leitura/escrita para ilustrar os problemas da validade do conhecimento nesra área.

Pretendemos assim, provocar a discussão sobre como reagir diante do conhecimento que nos é oferecido pelo lo mundo da pesquisa em torno da questão que nos interessa como usuários da pesquisa, como pesquisadores, ou como divulgadores. E esperamos que da crítica do que apresentarmos, surjam outros e melhores exemplos, de forma a que vivenciemos, de fato, o uso do critério da validade em nossas reflexões.

II - Sobre a evolução da idéia de validade na metodologia científica

A. A contribuição de Campbell e Stanley

Uma visão sobre a questão da validade na pesquisa científica e que já se tornou clássica é a proposição bastante conhecida de Campbell e Stanley, dos anos 50/60, (publicada em 1963), em relação aos modelos de pesquisa experimental. Para esses autores, a validade poderia ser vista conforme as duas dimensões seguintes: - validade interna e validade externa, (Capbell & Stanley, 1967).

1. Validade Interna - refere-se à verificação de ser o tratamento experimental aplicado o verdadeiro responsável pelo efeito constatado. Ou seja, se de fato é verdadeira a relação casual constatada entre a variável A (tal como ali manipulada) e a variável B (tal como ali é medida). Refere-se à necessidade de identificar os verdadeiros agentes causais ativos na situação (e nos dá meios de saber como manipulá-los). É requisito mínimo para que um experimento seja interpretado, daí especificar-se a validade interna em termos do padrão de influência da variável A sobre a variável B. 2. Validade Externa - refere-se à possibilidade de generalização do conhecimento obtido naquele determinado estudo experimental, para outras populações (amostras), em outros contextos, circustâncias. Ou seja, trata da questão seguinte: a relação casual verificada, válida, verdadeira naquele determinado estudo, naquela circustância, será verdadeira em outros estudos, em outras circustâncias. com outros pesquisadores?", "... até que ponto, como pesquisador, posso generalizar estão a descoberta?"

Já se tornou também clássico o quadro analítico que os dois autores propõem, para as variáveis que afetam esses dois tipos de validade nos vários modelos de pesquisa quase-experimentais ou não experimentais, quadro que, em geral, faz parte obrigatória das primeiras lições de metodologia científica.

Apenas lembrando essas variáveis, temos:

- as que afetam a validade interna: história, maturação, testagem, instrumentação, regressão estatística, seleção, mortalidade experimental, interação entre seleção e maturação.

Obs.: Tais fatores afetariam diretamente os resultados observados ou as medidas. ^*

- as que afetam a validade externa (são todas referentes aos efeitos de interação envolvendo o tratamento dado na pesquisa); então, os efeitos de interação:

* da testagem com o tratamento (efeito reativo)

* da seleção com o tratamento

* dos arrajos experimentais (efeitos reativos da própria situação experimental)

* de tratamentos experimentais múltiplos (nem todos sob controle)

B. A proposta de Cook e Campbell

Da subdivisão dos dois tipos clássicos de validade de Campbell e Stanley aparecem em Cook e Campbell (1979), os quatro tipos seguintes de validade:

- validade de conclusão estatística (V.C.E.): (antes listada como ameaça à validade interna por Campbell (1969), era a instabilidade: retirar conclusões falsas sobre a co-varação populacional de dados amostrais instáveis). Refere-se à necessidade de se verificar a co-variação entre dois conjuntos de dados, entre duas variáveis operacionalizadas, pois a co-variação é condição necessária para se inferir uma relação casual entre variáveis. Responde praticamente à questão: "...há alguma relação entre as duas variáveis?" Há várias razões pelas quais se pode tirar conclusões falsas sobre co-variação. Essas razões, entre as quais a instabilidade dos dados amostrais, ameaçam a validade de conclusão estatística porque as concçusões sobre co-variação são feitas base em evidências estatísticas.

^* Campbell e Stanley apontam ainda outras variáveis ligadas à validação interna: a imitação entre grupos, a equalização compensatória, a rivalidade compensatória, a desmoralização/ressentimento.

- validade interna (V.I): definida conforme a posição anterior de Campbell e Stanley, refere-se a necessidade de se verificar se existe alguma verdade aproximada sobre a relação entre uma variável e outra tl como respectivamente manipuladas e medidas naquele determinado estudo. Responde praticamente à questão: "dado que há uma relação entre a variável A e a B (V.C.E.), é ela causal tal como, nas circustâncias, são operacionalizadas as variáveis? (entre a operacionalização de A e a operacionalização de B?)".

- validade de constructo (V.C.): (antes parte da validade externa - o "confounding" - como estágio de generalização: de uma operação ou conjunto de operações para constructos de referência). Refere-se à validade aproximada com que se pode generalizar sobre constructos teóricos a partir de operações de pesquisa. Responde especificamente à questão: "dado que há uma relação casual conhecida entre uma variável e outra, quais são os constructos específicos (de causa e efeito) envolvidos nessas relações?". Cook e Campbell, consideram ser mais básico, para as inferências sobre os constructos, o ajuste que se faz entre as operações e as definições mais formais das variáveis (validade de traço - que se faz tanto no planejamento como após a coleta dos dados), do que o ajuste entre padrões de dados (validade nomológica de Cronbach e Meehl). É importante lembrar que a validade de constructo refere-se à preocupação dos pesquisadores com o "confundir-se" (confundir efeito da variável independente com as expectativas do experimentador, ou com o efeito de Hawthorne). Há sempre a possibilidade de que operacionalização (ou operações) destinadas a representar constructos específicos de causa e efeito possam representar mais de um constructo, cada um no mesmo nível de redução.

Segundo Cook e Campbell (1979:9): "Confundir quer dizer que aquilo que um investigador interpreta como sendo uma relação causal entre constructos teóricos chamados A e B, outro investigador pode interpretar como uma relação causal entre os constructos A e Y, ou entre X e Y, ou ainda, entre X e Y".

Deve-se necessariamente considerar que a validade de constructo envolve a qustão da redução, quer na inferência do constructo abstrato para a operação como vice-versa. Daí, se ela ser o objeto de preocupação do pesquisador tanto a nível de planejamento da pesquisa, quanro nas fases posteriores (de execução, de análise interpretativa).

- validade externa (V.E.): como na classificação clássica, refere-se ao valor aproximado de generalização das conclusões obtidas sobre relações, para outras amostras, toda a população, contexto e momentos diferentes. Responde na prática à questão: "Se há uma relação causal plausível do constructo A para o constructo B, quão generalizável é esta relação para as pessoas, populações, constructos e momentos diferentes?" (no espaço e no tempo).

Uma observação importante sobre todos esses tipos, nessa busca de validade dos resultados de pesquisa, é a que Cook e Campbell (1979:37), fazem sobre o fato de que se busca ou se obtém uma validade relativa, aproximada "... usaremos sempre o advérbio aproximadamente quando nos referimos à validade, dado que jamais alguém sabe o que é verdadeiro. Na melhor das hipóteses, pode-se saber o que ainda não foi rejeitado como falso".

C. A classificação de Kerkinger

Uma outra classificação dos tipos de validação é a de Kerlinger, apresentada em obras já clássicas deste autor (Kerlinger, 1973; 1979). É uma divisão em três tipos, a saber:

- validade referente ao critério: (antes chamada validade preditiva) que é referente à predição bem sucedida de alguém critério feita por um teste. Então o teste é válido (por exemplo, os testes que predizem aceitavelmente o futuro desempenho de estudantes em área do conhecimento escolar).

- validade de conteúdo: é a que se refere à substância do que está sendo medido para verificar então se está sendo medido o que se pensa estar medindo.

- validade de constructo: refere-se à propriedade psicológica que o instrumento mede. O interesse volta-se para o constructo subjacente à variável, aspecto inserido em um quadro teórico. O que se pretende é, sobretudo, obter provas sobre a teoria que fundamenta a medida.

Podemos ver que, ao propor essa classificação, Kerlinger restringe-se à validação de medidas variáveis psicológicas, ao que os instrumentos de validação psicológica - os testes, por exemplo, - obtém ou pretendem obter.

Sem querer diminuir o valor da justa preocupação de Krelinger, julgamos, porém, para os propósitos do presente trabalho, muito restrita sua classificação.

Preferimos como referência para a discussão posterior, a classificação de Cook e Campbell porque esta nos oferece um quadro mais amplo sobre o problema da validade: desde a necessária verificação da validade das relações efetuadas em um estudo, até a verificação de qualquer possibilidade de generalização para diferentes populações, contextos, momentos, passando pela validação dos constructos, produtos das inferências, para das operações.

III - O critério de validade, essência da pesquisa qualitativa

Ao focalizar o tema do aprendizado da escrita interessa-nos as proposições que Kirk e Miller (1986) apresentam sobre a questão da validade na pesquisa qualitativa.

Destacando que a pesquisa qualitativa se caracteriza e depende essencialmente da observação de pessoas (ossujeitos) em seu próprio território e da interação do pesquisador com elas em sua própria linguagem (de onde a importância da observação participante na tradição metodológica desse gênero de enfoque), Kirk e Miller afirmam que a questão da validade, assim como a da fidedignidade, são problemas fundamentalmente referentes à teoria.

Afirmam textualmente os autores: "No caso de observações qualitativas, a questão da validade não é a da diferença metodológica exata em torno de quinze décimos de um ponto, mas a questão se o pesquisador vê o que ele pensa que vê" (Kirk & Miller, 1986:21).

É por isso que, depois de conceituar tipos de validade como a aparente (dos testes de validação - V.C.E.), a instrumenatl (validade de critério) e a teórica (validade de construcuto), os autores realçam a importância desta última pela necessidade de se ter evidência substancial de que o paradigma teórico corresponde às observações.

Kirk e Miller (1986) sublinharam que a validade teórica é difícil de ser determinada por outro métodos que não os da pesquisa qualitativa. Mesmo em trabalho especificamente mais quantitativo, quando os propósitos da pesquisa tornam indispensável a fidedignidade quantitativa, essa perspectiva deve ser empregada para antender à validade.

Os autores lembram que, além dos dois tipos de erros clássicos em pesquisa:

- o erro de tipo 1: aceitar um princípio como verdadeiro quando ele não o é (rejeitar ho erroneamente).

- o erro do tipo 2: rejeitar um princípio quando ele é de fato verdadeiro (não rejeitar a ha erroneamente).

Há um erro de tipo 3: fazer a pergunta errada (o que é fonte, na maioria das vezes, de erros de validade teórica).

Esse tipo de erro poderia ser evitado ou o risco de cometê-lo seria diminuído por meio de alguns procedimentos entre os quais:

- o uso de métodos diversos: (Webb) para observar, medir o que a hipótese envolve, pois quanto menos centrado é um método, mais elementos ele abrange. É lembrada a convivência do uso informal de procedimentos, especialmente na fase da coleta dos dados, quando se deve levar em conta os significados dos sujeitos (sua visão de mundo) dos membros daquela cultura, na perspectiva de que esses significados seriam aceitavelmente estáveis, pois as mudanças sociais constituem um processo lento quando comparadas a quaisquer outras mudanças ambientais;

- a vivência e a necessidade de interação do pesquisador no ambiente-campo e a longo prazo, pois que a sensibilidade dos métodos quantitativos para obtenção de alguma validade é construída no processo. O pesquisador precisa permanecer convenientemente no campo, pois é ali que ele testa continuamente suas percepções e compreensões em relação a possíveis fontes de erros de interpretação. É interessante semre ter em mente que o pesquisador, em geral, vai a campo com uma bagagem teórica, mas que lá chegando deve sofrer todo um processo de adaptação ao trabalho de campo, ou seja... ele sabe uma série de coisas sobre o fenômeno, mas diante deste... o que fazer, enfim?

Kirk e Miller analisam com clareza, os riscos de o pesquisador não obter dados válidos e não construir seus resultados segundo esse critério indispensável na pesquisa qualitativa como em qualquer outro gênero.

Eis alguns desses riscos:

1º - não chamar as coisas pelos nomes certos

- embora o problema da validade não seja somente de nomenclatura ("dar nome a..."), ele envolve esse problema em relação à necessidade de definir para a comunidade científica os fenômenos observados, as relações descobertas.

Envolve a questão: como o pesquisador pode definir suas descobertas? Pode ele fazer as palavras significarem o que ele quiser? Por exemplo: chamar de "alfabetizado" quem sabe escrever seu nome. Parece que o pesquisador não pode ser egocêntrico a respeito de suas definições mesmo porque "chamar as coisas pelos nomes certos" depende da hipótese forte de que existe um mundo de significados em comum e que a relação da linguagem com esse mundo não é totalmente arbitrária. Daí a necessidade de cuidar do uso perverso das palavras.

2º - o risco acima, como avaliado, completa-se no risco do erro de atribuição fundamental e que consiste no fato de o pesquisador explicar o comportamento dos outros (seus sujeitos) com base na sua disposição pessoal de comportar-se de uma forma determinada em várias situações diferentes, em vez de comportar-se conforme cada circunstância e contexto. É, de certo modo, erro de conceituar e..., depois, denominar.

3º - o desconhecimento real da natureza da variável, quando o pesquisador aceita a validade de sua descoberta, de sua definição ingenuamente, sem desconfiar do papel indicativo de discrepâncias não consideradas.

Weber (1985) apresenta-nos idéias fundamentais de como encarar a questão da validade na aplicação de um procedimento de análise inteiramente ligado à pesquisa qualitativa - a análise do conteúdo - técnica hoje de muito interesse ao trato de nossa temática.

Partindo da perspectiva de que o conceito de validade envolve obrigatoriamente a idéia de correspondência (entre conjuntos de conceitos, variáveis, dados) e a idéia de generalização (de resultados, inferências), Weber chama a atenção para uma distinção específica ao caso da análise de conteúdo, distinção entre:

- validade do esquema de classificação (ou das variáveis dele derivadas) e que envolve a avaliação de categorias (variáveis) dele componentes. Avaliar se essas categorias são válidas é avaliar se há correspondência entre a categoria e o conceito abstrato que ela representa.

- validade da interpretação que liga variáveis de conteúdo às suas causas ou conseqüências, Neste caso, avaliar se o resultado da pesquisa é válido é avaliar se a descoberta não depende só de uma forma específica de obter dados, mas se é generalizável além dessas formas ou situações específicas.

Segundo Weber, a análise de conteúdo apóia-se bastante na chamada face validity que se baseia na correspondência entre a definição do investigador de um conteúdo e sua definição da categoria que o mede, identifica, avalia.

Uma categoria terá face validity na medida em que parece medir (identificar, avaliar) o constructo que pretende fazê-lo. Essa forma de validade é considerada a mais fraca delas (mesmo quando há concordância de juízes) porque se apóia em uma só variável, enquanto formas mais fortes apóiam-se em diversas variáveis. A face validity está, na análise de conteúdos, no âmbito da validade interna.

Na análise de conteúdo, formas mais fortes de validade são obtidas pela comparação de dados da análise com algum critério externo. São quatro tipos de validade externa apontados por Weber como pertinentes ao caso:

- a validade de constructo: uma medida a tem se é correlacionada com outra medida do mesmo constructo. Envolve tipicamente os quesitos de convergência (medidas do mesmo constructo são correlacionadas) e de discriminação (medidas de construcos diferentes não são correlacionadas). Acarreta a generalização do constructo para outras medidas ou métodos (como para Cook e Campbell).

- a validade das hipóteses, forma de validade que se apóia na correspondência entre variáveis e na correspondência entre essas relações a toria: "Uma medida tem validade de hipóteses se em relação a outras variáveis se comporta conforme o esperado" (Weber, 1985:20).

- a validade preditiva: uma medida a tem se prediçõs (no passado, no futuro, no presente) sobre eventos ou condições externas ao estudo correspodem a eventos e condições reais. É poderosa porque as inferências dos dados são generalizadas com sucesso para situações fora do controle direto do pesquisador.

- a validade semântica: quando palavras ou outras unidades classificadas junto precisam ter conotações similares para a classificação. Segundo Krippendorf (1980), há validade semântica quando pessoas familizarizadas com a linguagem e com textos nominam listas de palavras colocadas na mesma categoria e concordam que essas palavras têm significados ou conotações parecidas.

Krippendorf (1980: 155-168) diz que uma análise de conteúdo é válida na medida em que suas inferências são confirmadas diante de evidências obtidas independentemente.

Esse autor sustenta que, para resolver os dilemas da validação na análise do conteúdo, deve-se fazer a distinção seguinte: a validade refere-se à natureza dos dados ou dos resultados analíticos, ou à natureza do processo que os conecta? No caso da validade da natureza dos dados, avalia-se quão bem um método de análise representa a informação inerente ou associada com os dados acessíveis. Avalia-se o grau com que a representação dos dados brutos, na análise, corresponde a um critério externo. Há duas formas de validação referentes à natureza dos dados, para Krippendorf:

a) semântica: avalia o grau de sensibilidade de um método a significados relevantes dentro do contexto dado.

b) amostral: avalia o grau em que os dados obtidos são ou amostra não-eviesada de um universo de interesse ou suficientemente similares a outra amostra do mesmo universo, de modo que os dados podem ser vistos como estatisticamente representativos desse universo.

No caso da validade dos resultados - "orientada pelo produto" - avalia-se o quão bem um método "trabalha" sob circustâncias variadas. Seu sucesso é entendido como tal na medida em que seus resultados concordam ou são correlatos com o que eles dizem representar. Há duas formas dessa validade, para o mesmo autor:

c) correlacional: é o grau em que descobertas obtidas com um método estão correlacionadas com descobertas obtidas por outro e assim justifica-se sua substituição de método.

d) preditiva: é o grau em que predições obtidas por um método concordam com os fatos observados diretamente. Requer que inferências obtidas apresentem alta concordância com estados, atributos, eventos ou propriedades no contexto dos dados a que essas inferências se referem, e alta discordância com características contextuais que essas inferências logicamente excluem.

A validade orientada pelo processo avalia o grau em que um procedimento analítico repete, copia ou representa funcionalmente relações no contexto dos dados. Na análise de conteúdo, essa forma de validade refere-se principalmenete à natureza do constructo analítico que é aceito ou rejeitado com base em uma correspondência estrutural/funcional demonstrada, dos processos e categorias de uma análise com teorias, modelos já aceitos e com conhecimento do assunto do contexto de onde os dados procedem: é a validade de constructo, para o mesmo Krippendorf.

IV - Para exemplificar a discussão sobre a validade na pesquisa

Julgamos ter já razões suficientes para sustentar a importância da validade na pesquisa. Podemos, então, a partir dess ponto, abrir a discussão, tomando exemplos ilustrativos da temática que nos interessa: a aprendizagem da escrita.

Oferecemos justamente um exemplo aparentemente elementar na área: a aprendizagem inicial da escrita, o que chamamos alfabetização.

Afirmamos que uma criança qualquer aprendeu a ler e a escrever, que ela então alfabetizou-se. Mas, o que na verdade estaremos querendo dizer com isto? Houve, de verdade, aprendizagem essa aprendizagem foi algo chamado ler e escrever? Em suma, tem validade essa afirmativa?

Provavelmente, uma série de indícios comportamentais vistos como referentes a esses fenômenos - aprender, aprendizagem, ler, escrever - nos fazem dizer que houce aprendizagem da leitura e da escrita. Porém, os mesmo indícios comportamentais podem não ser suficientes para um outro pesquisador fazer a mesma afirmativa. Então seremos contestados.

Esse exemplo refere-se somente à conceitualização do fenômeno "aprendizagem da escrita", à constatação se ele realmente ocorreu, se existiu de verdade como tal. Discutimos assim, no caso, a validade de constructos representativos de uma realidade observada.

Neste caso, o da "verdadeira" natureza do fenômeno em fóco, vemos já o quão complexo é atender ao critério da validade. Ao reconhecer melhor essa complexidade, devemos aceitar a hipóteses de uma evolução na conceituação de aprender a ler e a escrever, a transformação no tempo da idéia do que chamamos alfabetizar-se, alfabetização.

Parece que, por muito tempo, por exemplo, muitos professores, muitos pesquisadores entenram esse "saber escrever e ler" como: o escrever, grafar, copiando, umas tantas palavras (quais? As amostradas de um universo, das que apresentariam dificuldades ortográficas...) ou o grafar a partir de um ditado (de quais palavras/frases?) - e o ler como o decifrar um determinado elenco de palavras/frases (quais? Amostradas também de um universo...).

Podemos recordar que o veredito "fulano sabe ler e escrever, ... então passa de ano...", era dado a partir de comportamentos como os recém-descritos, expressos nas situações de prova, exame de leitura/escrita.

Então, indo além da definição da natureza desse fenômeno, discutia-se, estudava-se se o método da silabação ou o fonético, ou o da palavração... conforme a cartilha x, y, z e suas orientações seqüênciais, seria o mais eficiente na obtenção daquele resultado.

Mas o que seria, por sua vez, esse método x ou y ou z em termos de ação realizada, de fato praticada? O que a professora fez, para que, em certo momento, aquela criança ou aquele grupo de crianças se mostrasse capaz de decifrar ("ler") e de grafar ("escrever") umas tantas palavras e frases de sua língua?

Para sabermos o que seria o método x, ele teria que ser descrito em termos das operações que realmente o constituíram; por exemplo: o professor "fulano" seguindo a seqüência tal como expressa na cartilha tal e que se caracteriza por um treino perceptivo/motor de discriminação auditivo/visual progressivo e intensivo, bem distribuído, treino este levado a efeito com as crianças deste grupo, desta idade, durante um período x de duração, obteve aquele desempenho de grafar/soletrar das crianças.

Sabemos que muita pesquisa se fez para se descobrir sob que condições as crianças apresentariam um desempenho de ler/escrever como o descrito, segundo aquela concepção.

Um relato bem feito das pesquisas teria necessariamente que apresentar descrições operacionais das variáveis "método" e "desempenho obtido" (no caso) como as que recém-esboçamos. O pesquisador sagaz, conhecedor do tema, bem como seu leitor teria ali, no mínimo, que levar em conta vários componentes da "condição metodológica" a que os sujeitos teriam sido submetidos; como, por exemplo:

- a organização das lições em seqüência;

- o gênero, a intensidade de cada situação de treino, "de lição";

- a duração desse processo;

- o quando ele se iniciou;

- as crianças e suas características, quando o processo foi iniciado;

- o professor e suas características de atuação com as crianças.

Com tantos interferentes, são-nos claras as dificuldades de um pesquisador honesto chegar à afirmação: "o método x é melhor que y... na alfabetização", afirmação esta que foi e tem sido por tanto tempo e, em tantas ocasiões, motivo de discussão entre professores, pedagogos e por que não?... pesquisadores também. Portanto... o que dizer quanto à validade dessas afirmações?

E nesse ponto, complexificamos esse exemplo de situação sobre validade, colocando as perguntas:

- há na verdade, naquela situação determinada, (com aquela amostra de crianças) alguma relação entre as ações tal como efetuadas por aquele professor, e o desempenho expresso pelos alunos na situação de verificação? (validação de conclusão estatística)

- e se há na verdade aquela relação, é ela de natureza causal? Ou seja: foi a dita intervenção (tal como efetivamente ocorreu) que causou aquele resultado obtido? (validade interna).

Ou será que outros interferentes desconhecidos também foram necessários àquele resultado? Quais seriam eles?

Nesta busca de conhecimentos, atingimos um momento crucial que é o de querer saber se, de verdade, a intervenção efetuada causou o efeito obtido. É a busca de relações causais - explicatrivas de um fenômeno - relações essas que levarão à formulação de proposições teóricas.

Aqui se faz um salto essencialmente qualitativo: que fenômeno aquele conjutno de ações representa na verdade? E os resultados obtidos traduzem verdadeiramente a ocorrência de que fenômenos?

Então, chega-se a proposições de constructos: o que significam as operações efetuadas e os resultados obtidos? Até que ponto é verdade que a intervenção representa o fenômeno x, um método qualquer, o qual, na causação do resultado, poderá estar ainda combinado com outros fenômenos causais a serem representados por outros constructos como estilo, competência do professor, momento evolutivo da criança?

É válido, por exemplo afirmar que a aplicação do método x, em momento ótimo de maturação da criança, resultou em uma verdadeira aprendizagem do ler e do escrever?

É muito comum em nosso meio, serem feitas atribuições ingênuas e rápidas a determinados fenômenos como responsáveis por resultados desejáveis e também pelos indesejáveis na alfabetização. Assim, as várias crianças são alfabetizadas se diz: "é o método x que é bom"; "foi cor causa dele...", e/ou "... porque essas crianças... tinham maturação... para tanto..."; quando há os resultados indesejáveis, então, se atribui facilmente também: "... elas não tinham maturação..." "não estavam preparadas... não têm condições devido sua origem... são desnutridas...".

Vê-se com que ongenuidade ou levianidade se atribuiu a certos constructos, certas observações, certos resultados: a criança não aprendeu a ler/escrever (será que não aprendeu mesmo?) porque não está amadurecida (o que significa isto na verdade?), ou porque suas origens sócio/culturais não são favoráveis (que é isto na verdade?) ou porque é desnutrida (é mesmo?... O que é ser desnutrida? E se ela está desnutrida, a desnutrição tem relação com a ausência daquela aprendizagem? É uma relação causal?).

Em resumo, vários constructos são evocados, dando-se o slato: da operação (o que de fato aconteceu?) para o fenômeno mesmo (que ocorreu?) É mesmo aquilo: intervenção de nome x, ocasionando aprendizagem? E o desempenho de ler/escrever observado é mesmo aprendizagem?

Pode até ser que seja segundo uma determinada perspectiva teórica e de que dirá, em termos de princípios que: determinado padrão de estimulação se adequadamente aplicado a partir de determinadas pré-condições do aluno fará com que este aprenda a ler/escrever.

Teríamos um quadro explicativo em termos de constructos, restando verificar se estas relações causais entre constructos seriam generalizáveis a outras circunstâncias, contextos culturais, populações, para ser tida como verdade científica mais ampla e viável! Poderia até ser que essa "verdade" verificada e reverificada mantivesse-se em generalizações amplas, até ser demonstrada sua insuficiência total ou parcial.

Continuando na sua busca de compreensão dessas relações - intervenções pedagógicas x aprendizado ler/escrever - algum pesquisador, observando melhor a realidade do fenômeno, poderia constatar, por exemplo, as expressivas dificuldades de grande número de crianças em alfabetizar-se. Ele então levantaria a questão da insuficiência dessa relação, desconfiando que outras inferências, outras causas, ainda desconhecidas, estariam em jogo.

Também o pesquisador poderia ser levado a desconfiar dessas insuficiências, ao deparar-se com as contribuições de outros campos de conhecimento afins à questão - a lingüística, por exemplo - o conhecimento sobre o que é um código lingüístico escrito, sua estruturação, seus componentes. sua evolução, suas funções.

Contribuições desse gênero levariam o pesquisador a hipóteses novas sobre a concepção do aprender a ler/escrever. Ao observar novamente uma situação de alfabetização ou ao operacionalizar uma situação dessas, certamente esse pesquisador registraria aspectos novos, proporia ações, dimensões estimuladoras diferentes, levando em conta esses novos aspectos e o conhecimento que ele já teria sobre eles; por exemplo, a questão da significação das palavras para as crianças, o emprego de frases com significado.

É de sublinhar, neste ponto, o quão vital é, na fase de planejamento de pesquisa, a passagem válida de uma idéia para sua operacionalização; ou seja, no melhor grau possível de aproximação, traduzir em ações (o que será feito) aquela determinada concepção do fenômeno. É um momento prévio de validação de constructo conforme a questão: "o que me proponho a fazer é, de verdade, o fenômeno x...?"

Suponho que esse aspecto tenha sido atendido, e que tenha sido efetuadas as ações previstas, que dados coletar como resultado obtido dessa intervenção? De que natureza são esses dados? Serão olhados apenas o grafar/decifrar? Ou serão levados em conta o que o "grafado/decifrado" significa, para que servem aquelas ações? O que os dados reais nos dirão a respeito? Todos esses comportamentos, quem sabe, deverão integrar, então, o que chamamos aprender a ler/escrever, alfabetizar-se, recompondo o constructo, o conceito. Quer dizer: aprender a ler/escrever agora não é mais somente decifrar/grafar; envolve também querer significar, querer dizer. É a redefinição do constructo, levando necessariamente à progressão da teoria, à sua modificação, a um melhor conhecimento do tema.

Vale a pena chamar a atenção para o processo de construção desse conhecer: a dinâmica interativa contínua de dois pólos - a teoria e a realidade - onde qualquer idéia é elaborada de dados da realidade e a esta retorna para ser verificada, o que lhe permite avançar. E este avanço será reverificado, sem seguida, na volta à realidade, de onde novos elementos virão reexaminar ainda a concepção anterior. É dessa forma que concebemos o processo de construção teórica na ciência (controlado, revisado e contrariado pela comunidade científica), processo a que a validade está intrinsicamente ligada, uma vez que sempre, em certo sentido, o pesquisador está diante da pergunta: "o que é que eu vejo?", "O que eu vejo é aquilo que eu penso ver, que eu julgo ver?"

Continuando com o exemplo, o processo de confronto "teoria x realidade" prossegue e novas questões, novas descobertas poderão surgir, colocando mais e melhor "luz" no fenômeno alfabetização para que seja ele melhor compreendido.

É assim que uma outra perspectiva teórica parece estar sendo a responsável por um novo salto qualitativo na compreensão do fenômeno "aprender a ler/escrever".

É o caso da epistemologia genética e do trabaçho de Emilia Ferreiro. Este caso nos ilustra como ocorre o processo de revisão, de revalidação de um constructo teórico, de uma teoria. Tendo como "pano de fundo" preposições sobre o como o ser humano conhece, elabora o seu conhecimento, Ferreiro pôde se fazer perguntas e hipóteses diferentes das até então feitas, voltadas para o seguinte ponto: e as crianças, se elas pensam, têm idéias originais, são sujeitos ativos na elaboração do conhecer, o que elas pensam sobre escrever/ler, escrita, material escrito? É colocar-se em outra perspectiva, indo além de admitir como expressão do ler/escrever das crianças o simples grafar/decifrar de palavras para se comunicar. Ainda no plano da suposição, da hipótese, a pesquisadora colocou em cena mais um componente na questão do "saber ler/escrever": a elaboração, a compreensão própria da criança de um objeto de conhecimento - a escrita - que pode ser por ela produzida codificando significados e que pode ser decodificada "lida", na intercomunicação de significados. Daí decorre uma hipótese de reelaboração do constructo: além do grafar/decifrar, "o conhecimentos da escrita pode envolver outras facetas entre as quais a compreensão a respeito que "quem escreve/lê" faz deste objeto. Como decorrência, é empregado um outro procedimento metodológico para obter o dado: perguntar a criança, pedir para ela escrever de modo mais "espontâneo", em situações sem modelo específico a ser necessariamente copiado. E, então, a criança "escreve", "lê"... a seu modo. O que pode ser, então, aqui entendido como "saber ler/escrever"? Quando posso dizer que uma criança está escrevendo? O contexto estimulador, sendo outro o dado obtido, necessariamente será outro. Por exemplo, diante daquele pedido, parte das crianças faz traçados de bolinhas/pauzinhos e nos diz que escreveu alguma coisa ali. Outras já fazem seqüências de letras do alfabeto, combinando-as como for possível e dizem que ali escreveram. Também lêem certas palavras em frases antes enunciadas e não lêem outras; dizem mesmo que não dá pra ler certas palavras. Esta é a realidade, o dado obtido a partir de uma situação estimuladora diferente. Mas, que fenómero é este? É escrever? Para alguns não será; Mas, para outros, é "escrever segundo a criança". Uma forma de escrever que, já demos, vai progressivamente mudando no tempo.

Da interpretação desses dados, a pesquisadora formula constructos: escritas pré-silábicas, concebidas em termos de variações intrafigurais e/ou interfiguras que expressam a capacidade da criança em compreender, agora, algo sobre a existência de diferentes signos lingüísticos em palavras.

É válida esta interpretação? Para outros, em outra perspectiva teórica, não o seria e, quem sabe, também essas produções não seriam "escrita". E outras crianças, falando outras líbguas, em outras culturas, fazem a mesma coisa? Ou seja é um fenômeno generalizável? Até que ponto?

E esses dados, essas condutas infantis parecem mostrar-se em determinadas situações estimuladoras. Então haveria uma ligação válida entre o aparecimento das condutas e rais situações especiais; por exemplo, o pedido para "escrever do seu jeito, inventando....". Seria este gênero de situação o desencadeante daquelas condutas? Ou outros acontecimentos, fatos, teriam relação com aquelas condutas? Em suma, o que aconteceu na vida da(s) criança(s) para que apresente(m) ela(s) em dado momento tais elaborações?

Há uma relação causal entre essa produções e desenhar, riscar papel, ler estórias, observar adultos lendo, escrevendo? E o que são esses fenômenos causais, como causas possíveis ou prováveis? Como representá-los em constructos?

É verdadeiro tudo isto? Em que extensão? Verificada uma relação causal entre o constructo explicativo x e seu conseqüente efeito y, até onde e para quem tais proposições são válidas?

Indo mais além, poderemos supor que se a criança apresenta essa progressão espontânea sobre o que é ler, o que é escrever, essa progressão, entre outras coisas, deve condicionar a sua alfabetização. Então, o processo de alfabetização observado tem relação com aquela progressão? É válida essa ligação? De que gênero é essa ligação? Causal? Que fenômeno estão em jogo, em que quadro teórico, e como fica então o valor deste quadro teórico? A explicação pode ser generalizada? Um pesquisador pode observar o que ele considera dados extremamente alvissareiros de escrita/leitura de um grupo de crianças; por exemplo, a produção de textos varados, ricos de idéias, complestos (com erros ortográficos mas... isto se corrigirá!). Uma série de outros indícios podem ser ainda registrados como significativos para entender o que ocorre: as crianças permanecem muito tempo escrevendo seus textos; dizem que gostam de fazer aquilo; corrigem-se mutuamente; dão sugestões sempre para mais textos; mostram alegremente o que escreveram ao professor; fazem estórias comum número cada vez maior de palavras novas; olham no dicionário. Esses são exemplos de condutas observáveis, de dados a coletar... e significam eles o quê? Que as crianças estão se alfabetizando? Alfabetizaram-se já? Quando dizer: "elas estão alfabetizadas... mostram domínio inicial do ler e do escrever..."?

E todas essas condutas interessantes de escrita ocorrem em que situação, a partir de que intervenções, de quais estímulos? Para compreender isto, teria que ser descrito o que a professora fez e, correspondentemente, o que as crianças fizeram. Também, o nível de conhecimento do objeto "escrita" das crianças ao ser iniciada uma intervenção específica. E, então, todos os componentes desse padrão de estimulação significa o quê...? Há ligação e ligação causal entre essa interações e os resultados? Se há, o que eles querem dizer...? Como interpretá-los? Quais as causas? Elas seriam diversas e provavelmente de efeitos interligados. Para complexificar mais, qual o peso da contribuição de cada uma delas? Que explicação, que trama explicativa se configurará para aqueles resultados que eu posso chamar de alfabetização, mas que... outros talvez não os chamem? Daí ser necessário toda uma justificativa válida para que eu possa afirmar: naquele caso, o que houve foi a alfabetização daquelas crianças, causadas por x e por y, com z, em condições a, b, c... Contudo, essa relação será generalizável?... Que outros elementos, outras observações retiraremos da realidade para contestar tudo isto?

O exemplo alongou-se, talvez em demasia. Ei-lo em discussão para ilustrar o quanto é relevante a validade no processo de construção científica e o quanto é longo o caminho ainda a percorrer, nesta perspectiva, quanto ao que sabemos sobre o processo da alfabetização.

• CAMPBELL, D. T. and STANLEY, J. C. (1967) Experimental and quasi-experimental designs for reserch on teoching. In N. L. GAGE (ed.), Handbook of Research on teaching 5 th. ed. Chicago, Rand Mc Nally Co. pp. 171-246.
• COOk, T. D. and CAMPBELL, D. T. (1979). Quasi-experimentation: design and analysis issues for field settings. Chicago. Rand Mc Nally Co.
• KERLINGER, F. N. (1973), Fundations of behavioral research 2^nd ed. New York, Holt, Reinehart and Winston Inc.
• KERLINGER, F. N. (1979). Metodologia da pesquisa em ciências sociais Um tratamento conceitual. Tr. do inglês por H. M. Rotundo. S. Paulo, E.P.U., 1980.
• KIRK, J. and MILLER, M. L. (1986). Reliability an validity in qualitative research Sage University Paper séries in Qualitative Research Methods, Volume 1. Beverly Hill, CA, Sage.
• KRIPPENDORF, K. (1980). Content analysis An introduction to its methodology. The Sage Commtex Series. Vol. 5. Beverly Hills, CA, Sage.
• WEBER, R. P. (1985). Basic content analysis Sage University Paper series in Qualitative Applications in the Social Sciences. Volume 49. Beverly Hill, CA, Sage.

*

Artigo originário de palestra proferida em setembro de 1989, para o curso de extensão "Reflexões Críticas sobre a Alfabetização". (DTFE e DMTE do Setor de Educação da UFPR.)

Datas de Publicação

• Publicação nesta coleção
  10 Mar 2015
• Data do Fascículo
  Dez 1989