Desvendando mitos: os computadores e o desempenho no sistema escolar

Revealing myths: computers and school performance

ARTIGOS

Desvendando mitos: os computadores e o desempenho no sistema escolar

Revealing myths: computers and school performance

Tom Dwyer^I; Jacques Wainer^II; Rodrigo Silveira Dutra^III; André Covic^II; Valdo B. Magalhães^I; Luiz Renato Ribeiro Ferreira^I; Valdiney Alves Pimenta^II; Kleucio Claudio^IV

^IDwyer (livre-docente), Magalhães (doutorando) e Ferreira (doutorando) são do Instituto de Filosofia e Ciências Humanas da UNICAMP

^IIWainer (livre-docente), Covic (mestrando) e Pimenta (mestrando) são do Instituto de Computação da UNICAMP

^IIIDutra (mestrando) é da Faculdade de Engenharia Mecânica

^IVClaudio (mestrando) é da Faculdade de Engenharia Elétrica e de Computação da UNICAMP. E-mail de contato com os autores: [e-mail]

RESUMO

As políticas públicas de educação têm dado bastante ênfase, ao longo dos últimos anos, à necessidade de informatizar as escolas e modificar práticas de ensino devido ao advento da sociedade de informação. Este artigo usa as pesquisas do saeb para verificar o desempenho de alunos de 4ª e 8ª série do ensino fundamental e da 3ª série do ensino médio e a relação deste desempenho com o uso de computador. Os resultados demonstram que para os alunos de todas as séries e para todas as classes sociais o uso intenso do computador diminui o desempenho escolar. Para alunos da 4ª série, das classes sociais mais pobres, mesmo o uso moderado do computador piora o desempenho nos exames de português e matemática. Esses resultados indicam claramente que é preciso repensar o papel do computador no ensino, sobretudo para os alunos mais pobres, para quem o uso do computador está surpreendentemente associado a uma piora nas suas notas.

Palavras-chave: Computadores. Educação fundamental. Educação média. Desempenho. SAEB.

ABSTRACT

Over the last few years, public educational policies have had an emphasis on the need to equip schools with computers and change teaching practices, to match the needs of information society. This paper analyzes the SAEB research data to check basic school students from the 4^th to the 8^th grades and 3^rd year high school students' performance, as well as to study the relation between their performance and the use of computers. The results show us that, for all grades and for all social-economic classes, heavy use of computers is related to lower school performance. For 4th grade students from poor social backgrounds, even the moderate use of computers is associated to worse performance in Portuguese and mathematics. These results point out to the need to reflect on the role of computers in teaching, especially when it comes to poor students, for whom the use of computers is associated to a worse school performance.

Key words: Computers. Basic education. High school education. Performance. SAEB.

Introdução

A educação visa preparar o jovem para viver de maneira autônoma em sociedade. A sociologia da educação estuda este processo de dois ângulo distintos: de um lado, examinando como a educação é transmitida às pessoas, de outro lado examinando as instituições responsáveis para esta transmissão. Assim temos dois campos distintos de estudo, o primeiro do funcionamento do processo de transmissão e o segundo do funcionamento da instituição, ou seja, do sistema escolar. No Brasil, ao longo do último século, o sistema escolar se expandiu muito, abraçou porcentagens cada vez maiores da população, colocou os alunos em educação formal com períodos cada vez maiores, ou seja, construiu-se um sistema de escolarização de massa.

No sistema republicano, a escola pública é projetada para ser a instituição, par excelência, que tem o papel de integrar as pessoas de origens e crenças diversas na sociedade através da transmissão da mesma matriz de valores a todos. Também se imagina que a escola, e por meio das habilidades ensinadas, seja capaz de igualizar as chances futuras de pessoas de origens sociais desiguais e diferentes. Embora estes sejam os objetivos declarados do sistema escolar, a sociologia da educação demonstra que as escolas, em vez de serem instituições de mobilidade social, são instituições de reprodução de desigualdades! (Bourdieu & Passeron, 1975; Baudelot & Establet, 1971).

No final do século XX, uma nova consciência penetrou o sistema escolar brasileiro. O padrão de escola desenvolvido desde a industrialização do país teria que mudar. Seria necessário refazer os currículos devido aos avanços alcançados na sociologia e na psicologia de educação e no campo da pedagogia, assim como readaptar o sistema educacional de modo a permitir aos jovens brasileiros um futuro promissor tanto no contexto da economia brasileira, quanto no contexto da economia mundial cada vez mais internacionalizada, competitiva e informatizada. Esta dupla tomada de consciência levou, num primeiro momento, as escolas particulares a investirem pesadamente em informática o domínio da informática passou a ser visto como chave para o êxito dos alunos neste novo tipo de economia e de sociedade que se anunciava. A outra face da tomada de consciência foi a nova ldb para a educação e os programas e políticas governamentais para a informatização das escolas públicas.

O Programa Nacional de Informática na Educação (PROINFO) existe desde o primeiro mandato do governo Fernando Henrique Cardoso. Seu "principal objetivo é a introdução das novas tecnologias de informação e comunicação (TICs) na escola pública, como ferramenta de apoio ao processo de ensino-aprendizagem. É, portanto, um programa de educação".¹

Em setembro de 2000, foi publicado Sociedade da informação no Brasil livro verde, onde se constatou:

De acordo com o último censo escolar do mec, em 1999, apenas 7.695 escolas (3,5% do total de escolas de educação básica) possuíam acesso à rede mundial de computadores, das quais 67,2% são particulares. Ou seja, há conexão com a Internet para alunos de apenas 2.527 das 187.811 escolas públicas brasileiras (...). O mesmo censo aponta que as escolas particulares são muito mais equipadas do que as públicas, seja em presença de computador, conexão à Internet, laboratório de ciências, bibliotecas ou acesso à energia elétrica e água. (lvsib, 2000, p. 50).

Para preparar os alunos das escolas públicas para enfrentar os desafios da nova economia e sociedade é preciso investir em informática. Três anos mais tarde, esta noção teve um importante reforço quando o estudo "Mapa da Exclusão Digital" (fgv, 2003) concluiu que aqueles alunos que têm acesso à Internet têm melhor desempenho na escola.

Na ausência de avaliações mais precisas, o referido estudo, que usou dados recolhidos pelo SAEB, desenvolve uma conclusão que serve de apoio à política governamental de investir em computadores e acesso à Internet, com o objetivo de melhorar a qualidade de ensino. Este mesmo estudo também legitima iniciativas privadas que buscam o mesmo objetivo.

O Censo Escolar de 2003 demonstra alguns efeitos do PROINFO:

No ano passado, 58,2% dos 7,9 milhões dos estudantes do ensino médio do sistema público freqüentaram escolas com laboratórios de informática. Outros 53% estavam matriculados em estabelecimentos conectados à Internet. Em 1999, quando a rede pública tinha 6,5 milhões de matrículas, esses índices eram de 46% e 14,2%, respectivamente. O aumento também foi verificado no ensino fundamental. Há cinco anos, 25,7% dos 15,1 milhões de alunos matriculados da 5ª à 8ª série no sistema público estudavam em escolas com laboratório de informática. Em 2003, o percentual subiu para 38% dos 15,5 milhões de estudantes. Já com acesso à Internet, o índice saltou de 7,5% para 37%, no mesmo período. (mec, 2004, p. 1)

Em nível internacional, o programa "One laptop per child" ou "o laptop de US$100" propõe que computadores (laptops) sejam distribuídos para crianças de países pobres por governos e outras instituições. O governo brasileiro já expressou seu interesse na iniciativa² e o site do projeto³ lista o Brasil como um dos lugares de testes-piloto da iniciativa.

O foco deste artigo é o efeito da informática na educação fundamental e média, que são os objetos destas várias iniciativas. O investimento em informática tem trazido melhoras no desempenho dos alunos? Esta pergunta não está sendo examinada parece que a informatização das escolas é um ato de fé. Para respondê-la, decidimos recorrer a análises da bibliografia internacional e a uma análise dos resultados do SAEB de 2001, o mesmo usado pelo "Mapa da Exclusão Digital", já que naquele SAEB os alunos tinham de responder a várias questões sobre posse e uso de computadores.

A bibliografia internacional

Existem autores muito influentes, tais como Tapscott (1999), que falam em termos extremamente otimistas sobre o papel das tecnologias de informação e comunicação (TICs) e as capacidades dos jovens em transformar o mundo por meio de seu uso. Mas este tipo de visão começa a evaporar rapidamente quando revisamos a bibliografia científica sobre o tema.

A melhor fonte de dados consolidados sobre o sistema educacional é compilada nos Estados Unidos pelo Education Research Information Center e levou à construção de um banco de dados conhecido como eric. Covic et al. (2006) fizeram uma revisão da bibliografia que se refere ao uso de informática nos ensinos fundamental e médio como instrumento de ensino/aprendizagem. O objetivo do trabalho era levantar as evidências empíricas sobre os efeitos do uso do computador na efetividade da ação pedagógica.

Usando a ferramenta de busca do eric, os autores escolheram um conjunto de palavras-chave pertinentes ao tema de ensino mediado por computador e experimentos de comparação entre o uso e o não uso do computador no ensino, cujo resultado de pesquisa incluísse todas as publicações que já foram revisadas em outras meta-análises. O conjunto de palavras-chave escolhidas foi:

• "Computer Assisted Instruction" OR "Computer Managed Instruction" OR "Assisted Instruction" OR "Computer Uses in Education" OR "Educational Technology" AND

• "Comparative Analysis" OR "Meta Analysis" OR "Data Analysis" OR "Pretests Posttests" OR "Research Reports" AND

• "Instructional Effectiveness" OR "Academic Achievement".

O resultado (baseado numa análise conduzida em novembro de 2005) foi um grupo de dados relacionados a 683 artigos. Os títulos e resumos dos artigos foram analisados individualmente e 377 foram eliminados por não serem relacionados com o ensino fundamental ou médio, ou por não apresentarem uma análise comparativa, ou por não se referirem ao uso de computador e sim de outra tecnologia pedagógica. Os 306 artigos restantes foram analisados conforme um roteiro por pares de pesquisadores. Em todos os casos de discrepância na codificação houve discussão entre pesquisadores e uma decisão comum. Desse modo, buscou-se reduzir a subjetividade da análise e os itens foram classificados em uma das seguintes categorias:

• Resultado experimental positivo: se o resumo dos artigos indica que houve uma diferença estatisticamente significativa em favor do grupo de alunos que usaram computadores frente ao grupo que não usou.

• Resultado experimental negativo: se o resumo indica que o grupo que não usou computadores teve um resultado melhor que o grupo que usou.

• Resultado experimental neutro: se os dois grupos não tiveram resultados significantemente diferentes.

• Resultado experimental indefinido: se o resumo do artigo não afirma qual foi o resultado do experimento.

Apenas 10 artigos com resultado experimental positivo foram publicados em revistas científicas indexadas no ERIC nas últimas três décadas. Três artigos com resultado experimental negativo, 10 com resultado neutro e 18 com resultado indefinido. Se considerarmos as publicações que não em revistas científicas (anais de congressos, teses, relatórios de pesquisa etc.), os números são 18, 3, 10 e 3, respectivamente.

A primeira conclusão que pode ser extraída dos resultados desta revisão bibliográfica é que, apesar da crença de que o uso de computadores traz amplos benefícios para os ensinos fundamental e médio, não existe corpo de evidências empíricas baseadas em estudos de natureza experimental que sustenta esta hipótese. Tanto os artigos que reportam resultados positivos, quanto os que reportam os negativos normalmente centram-se numa disciplina específica: matemática, ciências ou línguas, e num programa ou técnica específica, por exemplo, uso de programas de multimeios no ensino de ciências, ou de processadores de texto no ensino de escrita.

Numa meta-análise muito citada, Kulik (2003) analisa resultados de experimentos que avaliam o efeito do uso de computadores nos ensinos fundamental e médio, publicados desde 1990. O estudo analisa o efeito de diferentes conceitos de programas de computador nas disciplinas de leitura, escrita, matemática e ciências. A primeira conclusão do artigo é de que a literatura científica é muito segmentada para se ter uma visão abrangente do efeito de computadores no desempenho escolar: os resultados experimentais são poucos e cobrem domínios muito específicos uma série, numa subdisciplina particular, usando uma tecnologia pedagógica específica. De forma geral, Kulik conclui que não há ganhos associados ao uso de computadores que resultam em melhoras no desempenho da leitura dos alunos. Também constatou que o uso de processadores de texto (como o Word) e o acesso à Internet são associados com efeitos positivos e significantes no desempenho de escrita dos alunos. Nas disciplinas de matemática e ciências, os resultados mostram que o uso de programas de simulação não traz os benefícios que professores e educadores esperam, mas que programas de tutores inteligentes têm apresentado resultados homogeneamente positivos.

Outras meta-análises um pouco mais antigas, por exemplo, Wang (1993) e Fletcher-Flinn (1995), atribuem ao uso de computadores um pequeno ganho no desempenho dos alunos, mas todas são cuidadosas em dizer que as evidências são ainda limitadas.

Em estudo similar ao que desenvolvemos para o SAEB, Johnson (2000) não encontra uma relação estatisticamente significante entre o uso de computadores em classe e o desempenho de alunos da 4ª e 8ª séries em leitura, baseado em dados do National Assessment of Educational Progress (NAEP), dos Estados Unidos. O NAEP é um exame aplicado a alunos escolhidos aleatoriamente, que além de responderem a questões acadêmicas em matemática, leitura, escrita, ciências, artes (apenas duas disciplinas são avaliadas a cada aplicação do exame), respondem a questões sobre o contexto familiar e suas práticas e interesses, e seus professores respondem a questões sobre suas qualificações e métodos de ensino.

Usando dados do NAEP de 1998, Johnson (2000) analisa o impacto de raça, gênero, educação dos pais, classe socioeconômica e uso de computadores em classe (por pelo menos uma vez por semana, supervisionado por professores preparados para a tarefa). Ele descobre que o único fator sem impacto estatisticamente significante sobre o desempenho no resultado do exame de leitura de alunos da 4ª e 8ª séries é o uso do computador. Wenglinsky (1997) usa NAEP de 1996 e separa os alunos que usam o computador para desenvolver habilidades de alto nível ("high order skill") e os que usam para o desenvolvimento de habilidades de baixo nível ("using computer for drill and practice") e mostra que há uma melhora da nota para os alunos do primeiro grupo e uma piora para os do segundo grupo. Porém, na análise do impacto destes diferentes estilos de uso sobre os resultados das provas de matemática, ele descobriu que o uso do computador tem um impacto importante nas notas dos alunos da 8ª série, mas não nas dos alunos da 4ª série. O nível de profissionalização do professor é tomado por Wenglinsky como indicador de como os alunos usam o computador. A pesquisa de Johnson (2000) pode ser vista como uma resposta, já que são considerados apenas alunos cujos professores são habilitados para ensinar com computadores. Ou seja, a amostra de Johnson corresponde aos alunos pesquisados por Wenglinsky que usam o computador para adquirir habilidades de alto nível.

Uma bibliografia mais abrangente

Vamos agora situar estes resultados dentro de um contexto mais geral. Existe uma área de estudos consagrada internacionalmente sobre o "paradoxo da produtividade". Os estudos se fundamentam na observação de que vultosos investimentos em informática não estavam sendo acompanhados por aumentos de produtividade nos Estados Unidos. Fala-se de maneira positiva sobre os efeitos da informatização nos mais diversos ramos de atividade, sem demonstrar evidências empiricamente embasadas para tal. É verdade que muitas atividades novas são desenvolvidas graças ao computador, mas transformar o computador numa panacéia capaz de consertar os males do sistema educacional parece ser uma ideologia. Ou seja, parece ser uma posição tomada que reflete interesses.

Em 1995, um dos autores deste artigo estudou usuários adolescentes de computadores. Muitos deles deram maior importância à forma de apresentação de seus trabalhos escolares em vez do conteúdo. Também, professores falaram da necessidade de evitar um fetichicismo, pelo qual o computador substituiria outras ferramentas (exemplo: experimentos em laboratório), resultando numa redução na qualidade do ensino (Dwyer, 1997).

A bibliografia internacional demonstrou poucos indicadores de êxito do uso de computadores nas escolas. As observações na pesquisa de Dwyer (1997) sugerem que em certos casos a introdução de computadores nas escolas pode estar associada à redução da qualidade de ensino. Porém, a expectativa em torno do uso de computadores continua a ser alta. Será que muitos não estão sendo enganados por uma visão do mundo construída em torno de falsas expectativas positivas?

A professora Martha Stone, da Universidade de Harvard, foi uma das autoras que melhor resumiu a situação nos Estados Unidos, e isso, sem dúvida, tem uma implicação para o Brasil: "uma das dificuldades mais duradouras em torno da questão de tecnologia e educação é que muitas pessoas pensam em tecnologia em primeiro lugar e depois em educação" (apud Schacter, 1999, p. 10).

Sistema de Avaliação da Educação Básica (SAEB)

Diante do quadro traçado, decidimos que seria necessário outro tipo de estudo para responder a nossa questão Qual é o impacto mensurável do uso de computadores sobre o desempenho de aluno?

Quando um cientista da área das exatas olha para a área de educação, ele é imediatamente enfrentado com a natureza das ciências interpretativas. Isso significa dizer que uma escola é melhor do que outra? Que um método de ensino é melhor do que outro? Que uma concepção de currículo é melhor do que outra? O que constitui uma boa educação depende, de um lado, de resultados objetivos e, do outro lado, da visão do mundo. Ou seja, há dois registros, um dado pelas técnicas de avaliação e outro pela ideologia educacional do seu portador. Quando se fala em 'expectativa positiva em relação aos efeitos de informática sobre o ensino', isto faz parte de uma ideologia; quando se avalia o grau de alcance da expectativa na realidade, está se testando empiricamente esta mesma ideologia e o resultado final pode contribuir para confirmar a ideologia ou para transformá-la. Para fazer frente ao debate ideológico, e buscar alguma clareza sobre o relacionamento entre meios e fins, baterias de testes padronizados foram desenvolvidas em muitos países, inclusive no Brasil, onde o Sistema de Avaliação da Educação Básica (SAEB) preenche este papel a nível nacional.

O SAEB é um exame aplicado em todos os estados a alunos escolhidos aleatoriamente, segundo critérios demográficos. O exame é aplicado a alunos da 4ª e 8ª séries do ensino fundamental e a alunos da 3ª série do ensino médio. Além de fazer uma prova para medir o conhecimento em língua portuguesa e em matemática, os alunos respondem a um longo questionário sobre seu meio familiar, incluindo nível escolar dos pais, envolvimento destes na educação do aluno, presença de livros e revistas no domicílio, nível socioeconômico do aluno e sua família e também a questões sobre atitudes do aluno frente à escola e à educação. Os professores dos alunos selecionados também respondem a um questionário sobre sua formação profissional, atitudes frente à escola e à direção da escola, técnicas pedagógicas etc. Finalmente, os diretores das escolas onde os alunos selecionados estudam também respondem a um questionário que avalia as condições físicas da escola. As respostas do professor e do diretor são associadas aos resultados do teste e às respostas ao questionário dos alunos, de forma que é possível associar o aluno com seu professor e com a sua escola, embora a identidade de todos permaneça anônima.

A implementação do SAEB, em 1990, foi inspirada em estudos do Instituto Herbert Levy e na experiência da Secretaria de Educação do Estado de Minas Gerais, que foram auxiliados por técnicos do Banco Internacional para a Reconstrução e o Desenvolvimento (BIRD) e da Organização Internacional do Trabalho (OIT). O financiamento do SAEB, desde 1995, passou a ser realizado por estes organismos (Altman, 2002).

Os trabalhos publicados abordam o SAEB de maneiras diferentes e muitas vezes polêmicas. Uns refletem o debate ideológico e examinam o Sistema do ponto de vista de suas origens políticas, há tentativas de demonstrar que existe um pano de fundo de neoliberalismo, controle social, manutenção do sistema capitalista e do status quo, e que existem agentes internacionais identificáveis que buscam contribuir e interferir no sistema educacional brasileiro. Outros pesquisadores ignoram o debate ideológico e, a partir dos dados coletados, procuram, por meio de análises estatísticas, fornecer uma fotografia da educação básica, ou ainda avaliar os impactos de determinadas variáveis sobre o desempenho, permitindo assim auxiliar no processo de formulação de políticas educacionais.

Existe uma importante dimensão que é levantada por Bonamino et al. (2002). Estes autores abordam as concepções de letramento aplicados no SAEB de 1999 e as comparam com as concepções do exame pisa de 2000, que foi aplicado em vários países. "Pode-se dizer que a literatura educacional avançou na discussão sobre o significado mais geral desse tipo de avaliações. No entanto, ainda não foi possível desenvolver estudos mais sistemáticos que explicitem a estrutura conceitual e os critérios utilizados na elaboração dos instrumentos de avaliação do desempenho dos alunos" (p. 92). Neste trabalho, é apresentado o desempenho de alunos no SAEB por série, região e gênero. O nível de compreensão da língua portuguesa aumenta na medida em que os alunos progridem de uma série para outra, porém de maneira desigual, tanto quando analisado de ponto de vista da região, quanto por gênero. Na seqüência, os resultados obtidos por alunos brasileiros num teste estilo PISA são comparados com os de sete outros países: o pior desempenho é dos alunos brasileiros. Assim, os autores colocam em questão o instrumento de análise. Em outras palavras, investigam as diferenças entre as dimensões do desempenho mensuradas por cada um dos testes.

Quando conclusões são feitas a partir da análise dos dados, empregando a estatística, observamos que geralmente estas se preocupam menos com questões relacionadas à ideologia por trás do SAEB e mais com a demonstração e possível explicação dos fenômenos educacionais observados. É importante lembrar que os resultados destes estudos podem acabar favorecendo uma ou outra política educacional, contestar uma ou outra ideologia, mas o importante é que estes estudos acabam esclarecendo o funcionamento do sistema e, eventualmente, contribuem para a gestão do sistema e para o desenvolvimento de políticas educacionais baseadas em evidências empíricas robustas.

Alguns trabalhos afirmam que a influência da escola sobre o aluno é de grande significância e que, indiretamente, é a turma e por conseqüência "o professor que faz a diferença". Barbosa e Fernandes (2001) aplicam o modelo multinível para avaliar os efeitos das escolas na proficiência em matemática de alunos da 4ª série. Os dados utilizados foram do SAEB de 1997, da região Sudeste. Eles concluem que, uma vez controlados fatores tais como o nível socioeconômico, a infra-estrutura e equipamentos escolares disponíveis, fatores todos de extrema relevância para o desempenho do aluno, a formação do professor e seu papel em relação à turma tornam-se relevantes para explicar o desempenho dos alunos.

Outro modelo multinível é utilizado por Soares e Alves (2003). Eles desenvolvem um trabalho para verificar o papel da questão racial no sistema educacional. A base de dados utilizada foi o SAEB de 2001, referente ao teste aplicado a alunos da 8ª série, em matemática. Neste trabalho, os autores confirmam algo já conhecido na literatura internacional: que tanto a posição social do aluno quanto a de sua escola influenciam no desempenho. Os autores analisaram demoradamente a questão racial e constataram que os negros estão sempre em desvantagem em relação aos pardos e brancos. Concluíram que "a melhoria das condições de ensino pode contribuir para elevar a média do desempenho escolar, mas com sensíveis desigualdades entre estratos sociais" (p. 158).

Um trabalho importante sobre o SAEB e computadores é o "Mapa da Inclusão Digital" (fgv, 2003), que apresenta uma vasta fonte de consulta sobre a inclusão digital no Brasil. Em um dos seus capítulos, o trabalho avalia a proficiência dos alunos de 4ª série do ensino fundamental e constata-se que aqueles que possuem computadores em casa exibem um desempenho melhor em matemática. Este dado é usado como um argumento em favor de iniciativas de inclusão digital em escolas.

Um ponto aberto à crítica neste trabalho é que a análise não leva em consideração a classe socioeconômica do aluno. Por exemplo, a renda média das famílias incluídas (com computador no domicílio) é de R$ 1.677,00 e a renda familiar média dos excluídos está em R$ 452,00. Então, não está claro se o melhor desempenho dos incluídos é devido à posse do computador ou a uma renda significativamente maior. Assim, uma série de questões emerge: em primeiro lugar, será que o nível socioeconômico da família do aluno não tem um efeito maior sobre o seu desempenho do que ser proprietário de um computador?

Metodologia

Classes socioeconômicas

Para responder à questão anterior, era necessário construir um indicador de classe socioeconômica. Nossa opção foi empregar as respostas de cada aluno a respeito de características de seu domicilio e classificá-las conforme o "Critério de Classificação Econômica Brasil" (CCEB) da Associação Brasileira de Empresas de Pesquisa (ABEP, 2003). Este método dá pontos para cada pessoa em função de características identificadas de seu domicílio, como: número de televisores em cores, número de empregadas mensalistas, grau de instrução do chefe da família etc. A soma dos pontos classifica o domicílio em uma das sete classes (A1, A2, B1, B2, C, D, E), que correspondem a 1%, 5% , 9%, 14%, 36%, 31% e 4%, respectivamente, da população das áreas metropolitanas.

A maioria das questões necessárias para construir a variável 'classe socioeconômica' faz parte do questionário socioeconômico dos alunos. Por exemplo, a questão 16 do questionário 1 para alunos da 4ª série pergunta quantos televisores em cores há no domicílio do aluno e oferece as respostas 0, 1, 2, 3, e 4 ou mais. A pergunta e as alternativas de respostas correspondem exatamente à questão sobre posse de televisores em cores nos questionários do CCEB. No nosso estudo, se o aluno deixou de responder a qualquer uma destas questões, sua classe socioeconômica não foi avaliada e este aluno foi removido do estudo.

Mas há duas informações que fazem parte do cálculo das classes pelo CCEB e que não estão explícitas no questionário dos alunos: o número de empregadas mensalistas e o nível de educação do chefe da residência. A questão 11 pergunta quantas empregadas domésticas trabalham na casa do aluno e oferece como alternativas: (a) nenhuma, (b) uma, todos os dias, (c) duas ou mais, todos os dias, e (d) diarista uma ou duas vezes por semana. Para agregar os dados, consideramos que a resposta (d) é equivalente à resposta (b) para os fins de efetuar o calculo da classe socioeconômica. Assim, chegamos a três classificações: nenhuma, uma em tempo integral ou parcial, duas ou mais em tempo integral.

Um item mais difícil de se tratar é o nível educacional do chefe da família. Primeiramente, o questionário do aluno não identifica o chefe da família, mas pede o nível de educação do responsável (questão 29) e/ou da responsável (questão 28). Consideramos, para os efeitos de nossas classificações, que o chefe da família é considerado o responsável com maior nível de educação. Vale observar mais de perto as perguntas feitas:

28. Até que série a responsável por você (como, por exemplo, sua mãe, madrasta, mãe de criação ou avó) estudou? (Marque a alternativa que contém a última série a que ela chegou).

(A) Nunca estudou

(B) Ensino fundamental de 1ª a 4ª série (antigo primário)

(C) Ensino fundamental de 5ª a 8ª série (antigo ginásio)

(D) Ensino médio (antigo 2º grau, científico, curso técnico, curso normal)

(E) Faculdade (ensino superior)

(F) Não sei

No entanto, o CCEB usa as seguintes classificações:

(1) Analfabeto/Primário incompleto

(2) Primário completo/Ginasial incompleto

(3) Ginasial completo/Colegial incompleto

(4) Colegial completo/Superior incompleto

(5) Superior completo

Decidimos pela seguinte correspondência: A = 1, B = 2, C = 3, D = 4, E = 5.

Análise de significância

A análise de significância estatística é feita sempre ao nível de 95% de confiança. Quando apenas duas populações são comparadas usa-se o teste 't'. Quando mais de duas populações são comparadas, usa-se o "Tukey Honest Significant Differences" (HSD), também ao nível de 95%, como implementado no software de domínio público "R".⁴

Resultados

Ao todo, após excluir os dados relacionados a alunos que forneciam informações incompletas, utilizamos 287.719 registros do SAEB, divididos da seguinte forma: por série, matéria e classe socioeconômica.

Os questionários específicos para todas as séries e matérias contêm uma questão relativa ao uso de computadores para fazer as lições de casa ou trabalhos.

28. Você usa computador para fazer a lição de casa ou o trabalho que o(a) professor(a) de matemática passa?

(A) Sempre

(B) Quase sempre

(C) Raramente

(D) Nunca

Nas análises a seguir, as respostas anteriores foram abreviadas para S, Q, R e N, respectivamente. As figuras 1A e 1B representam os resultados para os alunos da 4ª série, de todo o Brasil, da classe A2, para a prova de matemática. A figura 1A mostra a média da nota na prova para os alunos que responderam que usam computador (N)unca, (R)aramente, (Q)uase sempre e (S)empre para fazer a lição de casa. A figura 1B mostra os intervalos de confiança para as diferenças par a par, com 95% de confiança. Se o intervalo cruza a linha de diferença igual a zero, não se pode dizer com 95% de confiança que há uma diferença entre as notas dos dois grupos.

Assim, a diferença de notas entre os alunos que responderam que usam raramente o computador e os que nunca usam (R-N) é positiva e significativamente diferente de zero. Já a diferença entre os que quase sempre usam o computador e os que nunca usam (Q-N) não é significativamente diferente de zero.

A figura mostra, então, que alunos que usam computador raramente têm notas significativamente melhores que os outros alunos; que alunos que usam o computador sempre têm notas semelhantes aos que usam quase sempre, e alunos que usam o computador sempre têm notas menores que todos os outros.

As figuras 2A e 2B a seguir mostram o mesmo gráfico para alunos da 4ª série, prova de matemática, mas da classe D. Os resultados mostram que os alunos que nunca usam o computador têm melhores notas que os que usam (diferenças R-N, Q-N e S-N) e que não há diferença significativa entre os que usam raramente, quase sempre ou sempre (diferenças Q-R, S-R e S-Q).

Gráficos similares podem ser gerados para as outras classes sociais e outras provas. Em vez de listar todos eles, vamos resumir em um só gráfico a diferença entre os grupos que usam o computador raramente e nunca (diferença R-N) e os grupos de usam o computador sempre e nunca (diferença S-N), para a 4ª série, matemática, e para cada grupo socioeconômico. A figura a seguir retrata esse resumo.

O primeiro resultado é que alunos que sempre usam o computador, independente da classe socioeconômica, obtiveram notas piores que os alunos que nunca usam o computador (diferença S-N). A segunda conclusão é que, para as classes A2, B1, B2 e C, os alunos que usam computador raramente têm notas mais altas que os alunos que nunca usam. Já para os alunos de classes D e E, a nota dos que usam raramente é pior que a nota dos alunos que não usam computador.

Para a classe A1, a diferença entre os grupos não foi significativa e, portanto, o resultado não aparece no gráfico.

Dito de outra maneira, independente da classe socioeconômica, os alunos da 4ª série que sempre usam o computador têm um desempenho inferior, na prova de matemática, àqueles que não usam. Segundo, quanto mais pobre o aluno maior é a chance que o uso do computador, mesmo que este seja raro, seja associado a um reduzido desempenho em provas de matemática.

Os dados da figura 3 são repetidos nas figuras 4A e 4B, que resumem os resultados da 4ª série, tanto para matemática como para português. Para as duas disciplinas, usar o computador sempre é associado a uma piora na nota dos exames, em comparação com a nota do grupo que nunca usa o computador. Em relação a um uso moderado deste equipamento, de novo para o português, o padrão se repete: as classes mais ricas se beneficiam do uso moderado, mas os alunos oriundos das classes mais pobres perdem nota mesmo com o uso moderado.

As figuras 5 e 6 resumem os ganhos tanto de matemática como de português para a 8ª série do ensino fundamental e para a 3ª série do ensino médio. Em todos os casos onde a diferença é significativa, usar sempre o computador está associado com uma perda de 10 a 30 pontos (dentro de 400 pontos) nas provas de matemática e português, independente da classe social. Já o uso moderado do computador é vantajoso em relação a não usar para os alunos da 3ª série do ensino médio, independente de classe, para alunos de matemática da 8ª série e para os alunos de português da mesma série, desde que membros de classes socioeconômicas mais ricas.

Discussão

Os resultados da nossa análise da bibliografia internacional parecem indicar que as evidências em favor da hipótese de que computadores são benéficos para o desempenho escolar fundamental e médio são pouco convincentes e provavelmente não muito significantes. Isso parece contrastar fortemente com a crença da maioria das pessoas. As políticas públicas brasileiras que favorecem a introdução de computadores nas escolas parecem estar baseadas na hipótese de que o uso de computadores pelos alunos traria benefícios significativos para a qualidade dos ensinos fundamental e médio. Uma análise da bibliografia brasileira demonstrou a existência de uma crença, por parte de muitos pesquisadores, de que a adoção das TICs seja por si só associada com melhoras na escola. Esta 'expectativa positiva' levou à falta de pesquisa empírica para testar esta hipótese, que acabou sendo tratada como uma a priori.

Certamente, o campo de estudos no Brasil é bastante diferente daquele detectado na nossa análise da bibliografia internacional. Nos Estados Unidos há, desde os anos de 1970, uma preocupação limitada, mas presente na análise dos impactos do uso de computadores na educação. É possível que o resultado dessas análises tenha levado os professores, os desenvolvedores de software, os administradores a adquirir uma maior compreensão de como empregar estas tecnologias e maior clareza a respeito dos objetivos desejados.

Em contraste, no Brasil é simplesmente impossível dizer com confiança o que está acontecendo, e isso é pernicioso tanto para o desenvolvimento de políticas educacionais quanto para o desenvolvimento da ciência.

Os resultados da nossa análise dos dados do SAEB não entram em conflito com análises similares de dados do NAEB nos Estados unidos (Johnson, 2000; Wenglinsky, 1997). Estes resultados são qualitativamente diferentes dos experimentos discutidos nas meta-análises anteriores naqueles casos, comparava-se um uso específico do computador, para alguma disciplina, por exemplo, o não uso do computador, e seu impacto no desempenho dos alunos naquela disciplina. As análises do NAEB e a nossa do SAEB buscam uma correlação (mas não uma relação causal) entre um uso não especificado do computador e o resultado num teste em disciplinas que, no caso do NAEB, não parecem relacionadas com o uso do computador. No caso do SAEB, espera-se que o aluno que estava fazendo o teste de matemática tenha respondido sobre seu uso do computador para fazer os deveres de casa naquela disciplina. Nossos resultados, por serem baseados em uma análise mais complexa de variáveis, conflitam com os obtidos pelo Mapa da Exclusão Digital (FGV, 2003).

Uma análise dos resultados da pesquisa demonstra que, independente da classe social, onde existem diferenças significativas, usar o computador raramente é, em quase todos os casos, associado a melhores resultados de não usar. Esta descoberta leva diretamente à hipótese de que é necessário promover o uso leve de computadores para melhorar o desempenho escolar. Isto, sobretudo, porque a ausência de uso é associada a piores resultados do que o uso leve. Contudo, como desenvolver um conceito robusto de 'uso leve do computador' e uma política adequada é um desafio que, conforme os resultados desta pesquisa, precisa ser enfrentado.

O uso do computador (seja na escola, em casa, no trabalho ou em outro local) não é associado a uma melhoria uniforme do desempenho do aluno no sistema escolar. Pelo contrário, aqueles que sempre usam o computador têm pior desempenho que outros usuários da mesma classe social. Para os mais pobres, o resultado é mais nítido ainda. Não há na bibliografia científica nacional (não estamos falando da bibliografia meramente 'teórica' construída sem extenso apoio empírico) nenhum reconhecimento da existência desta situação. Por esta razão, qualquer hipótese explicativa será necessariamente especulativa. A bibliografia sobre o 'paradoxo da produtividade' sugere uma hipótese: usuários mais pesados se dedicam aos estudos durante menos tempo e com menos afinco do que seus colegas, como padrões de menor tempo de uso. Existem outras hipóteses plausíveis: o artigo de Bonamino et al. (2002) demonstra que testes diferentes medem capacidades diferentes. Assim, uma hipótese é que os usuários intensivos de computadores já detêm um bom conhecimento do uso de programas de cálculo e de correção de ortografia. Dessa maneira, a aprendizagem de capacidades associadas à escrita e ao calculo manual é considerada por estes alunos cada vez menos relevantes. Porém, o SAEB testa o domínio de conhecimentos em matemática e português sem recurso ao uso do computador. Assim, os testes ignoram a natureza das capacidades dos usuários do computador. Uma terceira hipótese é derivada de um estudo recente de Bezerra (2006) que demonstrou que os alunos que trabalham por mais de duas horas por dia têm notas inferiores àqueles que não trabalham. Dessa forma, um número significativo de alunos que usam o computador para fazer os trabalhos de casa pode estar trabalhando, o que explicaria seu acesso ao computador. Ou seja, a relação entre uso intenso do computador e as notas baixas obtidas pode ser parcialmente devido ao fato de que o aluno trabalha.

Esta discussão não pretende exaurir as hipóteses explicativas dos resultados observados. É preciso testar esta e outras hipóteses na base de rigorosos estudos empíricos.

Conclusão

Em outra ocasião, quando analisamos o mundo das organizações complexas, inclusive as escolas, escrevemos:

O mundo é cheio de ideologias e poucas têm maior força hoje do que aquela que disse que existe uma revolução tecnológica em curso que impõe por toda parte a compra e uso de tecnologias de informação e comunicação. Vemos a força desta ideologia no setor público, em bancos, instituições de pesquisa, escolas, comércio, indústria, saúde, lazer e no lar, entre outros. (Ruben et al., 2003, p. 247)

Hoje a ideologia dominante é claramente favorável ao maior uso de computadores nas escolas e nos lares. Assim, quando se apresentam resultados que vão contra posições dominantes, é de se esperar uma avaliação muito mais política do que científica dos mesmos. Como equipe de pesquisadores, não temos medo desta avaliação crítica, acreditamos que nossos resultados são dignos de confiança, não estão incompatíveis com a bibliografia científica internacional dominante e certamente devem estimular novos estudos. Mas, também, nossos resultados devem inspirar profundas interrogações entre todos aqueles que apóiam o uso de computadores no sistema escolar e nos lares e telecentros da nação, em nome da luta contra uma suposta 'desigualdade digital'. É preciso notar que, muitas vezes, a aplicação do conceito de 'desigualdade digital' é estranhamente separada de uma discussão mais ampla sobre as desigualdades profundas da sociedade brasileira. Nossos resultados indicam que a criação de maior 'igualdade digital' pode levar não a simples reprodução da desigualdade social pelo sistema escolar, identificada há mais de 30 anos na França (Bourdieu & Passeron, 1975; Baudelot & Establet, 1971), mas a um efeito ainda mais perverso: a ampliação das desigualdades! Seria uma triste ironia, resultado de políticas mal pensadas e também da fragilidade das investigações científicas críticas no campo em questão.

Notas

Recebido em maio de 2007 e aprovado em setembro de 2007.

• ALTMAN, H. Influências do Banco Mundial no projeto educacional brasileiro. Educação & Pesquisa, São Paulo, v. 28, n. 1, p. 77-89, 2002.
• ASSOCIAÇÃO BRASILEIRA DAS EMPRESAS DE PESQUISA (ABEP). CCEB: critério de classificação econômica Brasil. 2003. Disponível em: <http://www.abep.org/?usaritem=arquivos&iditem=23>. Acesso em: mar. 2006.
• BARBOSA, M.E.F.; FERNANDES, C. A escola brasileira faz diferença?: uma investigação dos efeitos da escola na proficiência em matemática dos alunos da 4ª série. In: Franco, C. (Org.). Promoção, ciclos e avaliação educacional Curitiba: artmed, 2001.
• BAUDELOT, C.; ESTABLET, R. L'école capitaliste en France Paris: Maspero, 1971.
• BECKER, H. A computer-based integrated learning system in the elementary and middle grades: a critical review and synthesis of evaluation reports. Journal of Educational Computing Research, Amityville, ny, v. 8, n. 1, p. 1-41, 1992.
• BEZERRA, M.E. O trabalho infantil afeta o desempenho escolar no Brasil? 2006. Dissertação (Mestrado) Escola Superior de Agricultura Luiz de Queiroz, Universidade de São Paulo, Piracicaba.
• BONAMINO, A.; FRANCO, C.C.C. Avaliação e letramento: concepções de aluno letrado subjacentes ao SAEB e ao pisa. Educação & Sociedade, Campinas, v. 23, n. 81, p. 91-113, 2002.
• BOURDIEU, P.; PASSERON, J.-C. A reprodução Trad. de Reynaldo Bairão. Rio de Janeiro: Francisco Alves, 1975.
• BRASIL. Ministério da Educação. Assessoria de Comunicação Social. Estudantes têm acesso ampliado a novas tecnologias; notícia do dia 22 jun. 2004. Brasília, df, 2004. Disponível em: <www.uema.br/noticias/noticia.php?id=2540>
• COVIC, A. et al. Uso de computadores no ensino fundamental e médio e seus resultados empíricos: uma revisão sistemática da literatura. 2006 (paper).
• DWYER, T. Secretários, engenheiros e autores: ordem e mudança entre adolescentes brasileiros usuários de computadores. Teoria & Sociedade, Belo Horizonte, n. 2, p. 125-175, 1997.
• FLETCHER-FLINN, C.M.; GRAVATT, B. The efficacy of computer assisted instruction: a meta-analysis. Journal of Educational Computing Research, Amityville, ny, v. 12, p. 219-242, 1995.
• FUNDAÇÃO GETÚLIO VARGAS (FGV). Mapa da inclusão digital São Paulo: fgv, 2003. Disponível em: <http://www2.fgv.br/ibre/cps/mapa_exclusao/apresentacao/apresentacao.htm>. Acesso em: mar. 2006.
• JOHNSON, K.A. Do computers in the classroom boost academic achievement?: a report of the Heritage Center for Data Analysis. Washington, DC: Heritage Foundation, 2000. 15p. (Report CDA00-08)
• KULIK, J.A. Effects of using instructional technology in elementary and secondary schools: what controlled evaluation studies say? Arlington: sri International, 2003. Disponível em: <http://www.sri.com/policy/csted/reports/sandt/it/Kulik_ITinK-12_Main_Report.pdf> Acesso em: set. 2006.
• LIVRO Verde da Sociedade da Informação no Brasil (LVSIB). Brasília, DF: Grupo de Implementação do Programa da Sociedade de Informação, 2000. Disponível em: <www.socinfo.org.br>
• SANTOS, L.L.C.P. Políticas públicas para o ensino fundamental: parâmetros curriculares nacionais e Sistema Nacional de Avaliação (SAEB). Educação & Sociedade, Campinas, v. 23, n. 80, p. 346-367, 2002.
• SCHACTER, J. The impact of educational technology on student achievement: what the most current research has to say? Santa Monica: Milken Family Foundation, 1999.
• SOARES, J.F.; ALVES, M.T.G. Desigualdades raciais no sistema brasileiro de educação básica. Educação & Pesquisa, São Paulo, v. 29, n. 1, p. 147-165, 2003.
• RUBEN, G.; WAINER, J.; DWYER, T. Informática, organizações e sociedade no Brasil São Paulo: Cortez, 2003.
• TAPSCOTT, D. Geração digital São Paulo: Makron, 1999.
• WANG, S.; Sleeman, P. Computer-assisted instruction effectiveness: a brief review of the research. International Journal of Instructional Media, Darien, ct, v. 12, p. 333-348, 1993.
• WENGLINSKY, H. Does it compute?: the relationship between educational technology and student achievement in mathematics. Princeton, nj: Educational Testing Services, 1997.

1

. Disponível em: <

http://www.mec.gov.br/seed/proinfo.shtm>. Acesso em: nov. 2005.

2

. "Governo estuda levar laptop de US$ 100 a estudantes da rede pública".

Folha de S. Paulo, 28 jun. 2005.

3

. Disponível em: <

http://laptop.org>. Acesso em: mar. 2006.

4

. Disponível em: <

http://www.r-project.org>

Datas de Publicação

• Publicação nesta coleção
  22 Jan 2008
• Data do Fascículo
  Dez 2007

Histórico

• Recebido
  Maio 2007
• Aceito
  Set 2007