Resumos
Este estudo investigou relações entre as práticas educativas maternas e os problemas de externalização na infância. Participaram 64 díades mãe-criança, selecionadas em escolas públicas (68,8%) e particulares (31,3%) de Salvador, Bahia, por meio de amostragem por acessibilidade e também por indicações feitas pelas participantes. Os dados foram coletados em visitas domiciliares ou nas escolas. As mães responderam a uma ficha de dados sociodemográficos, a uma entrevista estruturada sobre as práticas educativas maternas e ao Inventário de Comportamentos da Infância e Adolescência 4-18 anos. A análise de regressão linear múltipla revelou que o modelo que incluiu como variáveis preditoras dos problemas de externalização a escolaridade materna, a renda familiar e as práticas negociação e troca e punição física explicou 15,8% da variância nos problemas de externalização. Discute-se o impacto da punição física no desenvolvimento dos problemas de externalização e o poder preditivo do nível de instrução e da renda familiar em relação às práticas educativas parentais.
Práticas educativas maternas; Problemas de externalização; Punição física
This study investigated the relationship between maternal upbringing and externalizing behavior problems in childhood. Participants in the study included 64 mother-child dyads recruited from public (68.8%) and private (31.3%) schools in Salvador, in the Brazilian state of Bahia, via a convenience sampling method and through referral by other participants. The data were collected during home visits or in school. Mothers completed a socio-demographic data form, underwent a structured interview about the practice of maternal upbringing and the Child Behavior Checklist 4-18. A multiple linear regression analysis revealed that the model that included mother's schooling, family income, negotiation and corporal punishment as predictor variables of externalizing behavior problems, accounted for 15.8% of the variance in externalizing behavior problems. The impact of corporal punishment on the development of externalizing behaviors and the predictive power of the level of instruction and family income in relation to the child's upbringing, are discussed.
Maternal childrearing practices; Externalizing behavior problems; Physical punishment
ARTIGOS
Relações entre práticas educativas maternas e problemas de externalização em pré-escolares1
Relationship between maternal upbringing and externalizing behavior problems in pre-school children
Patrícia AlvarengaI; Mauro de Oliveira MagalhãesI; Quele de Souza GomesI
IUniversidade Federal da Bahia, Instituto de Psicologia. R. Aristides Novis, 197, Estrada de São Lázaro, 40210-730, Salvador, BA, Brasil, Correspondência para/Correspondence to: P. ALVARENGA, E-mail: palvarenga66@gmail.com
RESUMO
Este estudo investigou relações entre as práticas educativas maternas e os problemas de externalização na infância. Participaram 64 díades mãe-criança, selecionadas em escolas públicas (68,8%) e particulares (31,3%) de Salvador, Bahia, por meio de amostragem por acessibilidade e também por indicações feitas pelas participantes. Os dados foram coletados em visitas domiciliares ou nas escolas. As mães responderam a uma ficha de dados sociodemográficos, a uma entrevista estruturada sobre as práticas educativas maternas e ao Inventário de Comportamentos da Infância e Adolescência 4-18 anos. A análise de regressão linear múltipla revelou que o modelo que incluiu como variáveis preditoras dos problemas de externalização a escolaridade materna, a renda familiar e as práticas negociação e troca e punição física explicou 15,8% da variância nos problemas de externalização. Discutese o impacto da punição física no desenvolvimento dos problemas de externalização e o poder preditivo do nível de instrução e da renda familiar em relação às práticas educativas parentais.
Unitermos: Práticas educativas maternas. Problemas de externalização. Punição física.
ABSTRACT
This study investigated the relationship between maternal upbringing and externalizing behavior problems in childhood. Participants in the study included 64 mother-child dyads recruited from public (68.8%) and private (31.3%) schools in Salvador, in the Brazilian state of Bahia, via a convenience sampling method and through referral by other participants. The data were collected during home visits or in school. Mothers completed a socio-demographic data form, underwent a structured interview about the practice of maternal upbringing and the Child Behavior Checklist 4-18. A multiple linear regression analysis revealed that the model that included mother's schooling, family income, negotiation and corporal punishment as predictor variables of externalizing behavior problems, accounted for 15.8% of the variance in externalizing behavior problems. The impact of corporal punishment on the development of externalizing behaviors and the predictive power of the level of instruction and family income in relation to the child's upbringing, are discussed.
Uniterms: Maternal childrearing practices. Externalizing behavior problems. Physical punishment.
A relação entre práticas educativas parentais de caráter coercitivo e comportamentos agressivos e desafiadores em crianças tem sido confirmada de forma consistente na literatura da psicologia do desenvolvimento. Nos estudos que avaliam essas relações, o conceito de problemas de externalização (Achenbach, 1991) vem sendo empregado para fazer referência às primeiras manifestações da conduta antissocial na infância e também como recurso para definir operacionalmente o conceito de comportamento antissocial e avaliá-lo nessa etapa do desenvolvimento (Pacheco, Alvarenga, Reppold, Piccinini & Hutz, 2005).
Diferentes modelos e hipóteses teóricas têm sido elaborados com o objetivo de explicar as relações entre as práticas parentais coercitivas e os problemas de externalização. O processo familiar coercitivo é o conceito central do modelo desenvolvido por Patterson, Reid e Dishion (1992) para a compreensão do comportamento antissocial infantil. De acordo com esses autores, é particularmente por meio de práticas educativas parentais ineficazes e coercitivas que a criança experimenta oportunidades de ter seus comportamentos agressivos e desafiadores incentivados e fortalecidos no cotidiano. Em geral, as práticas educativas coercitivas dos pais são pouco consistentes e pouco contingentes quando se destinam a reduzir comportamentos indesejáveis da criança. Em outras situações, são dadas solicitações ou ordens por meio de comandos vagos, em tom hostil e irritante, isto é, com caráter coercitivo também. Como resultado, diante da solicitação, a criança reage também de forma hostil, protestando, choramingando ou fazendo birra, e os pais, por sua vez, acabam desistindo da solicitação inicial devido à falta de um repertório de habilidades mais amplo para lidar com a situação (Patterson et al., 1992; Patterson, 2002). Nesse caso, tanto a criança que escapa da solicitação dos pais quanto os próprios pais que eliminam a reação incômoda da criança (ex. protesto e birra) estariam sendo reforçados negativamente (Granic & Patterson, 2006; Skinner, 1954/1994).
Para Hoffman (1975; 1994), a relação entre os problemas de externalização e as práticas coercitivas pode ser explicada pelo fato de que as práticas coercitivas, ao contrário das práticas indutivas (como as explicações), não contribuem para o desenvolvimento da capacidade de autorregulação na criança. As práticas coercitivas indicam a necessidade de mudança de comportamento, porém fazem-no sem apontar para a criança as razões que justificam a necessidade de mudança. Nesse sentido, crianças frequentemente expostas a esse tipo de estratégia não desenvolveriam uma compreensão adequada das relações entre o comportamento e suas consequências, e, portanto, teriam menor grau de autonomia na regulação do próprio comportamento. Além disso, tais práticas tendem a produzir emoções intensas, tais como medo e raiva, que tendem a reduzir a possibilidade de que a criança compreenda a situação e a necessidade de mudança de comportamento. Soma-se a isso o fato de que as práticas coercitivas são úteis apenas para reduzir ou eliminar comportamentos no repertório infantil, não sendo eficazes na construção de um repertório socialmente competente (Sidman, 1995; Skinner, 1954/1994).
Na literatura que examina as relações entre as práticas educativas parentais e o desenvolvimento social, embora nem todos os estudos façam referência explícita aos modelos propostos por Hoffman e Patterson e colegas, muitos utilizam modelos semelhantes que classificam as práticas educativas parentais em termos da presença ou ausência de coerção (Cohen & Brook, 1998; Miner & Clarke Stewart, 2008; Patterson, DeGarmo & Knutson, 2000). A análise desses estudos confirma que a presença frequente de coerção, particularmente da punição física, nas práticas educativas parentais é um dos principais preditores dos problemas de externalização, enquanto a ausência de coerção tem estado associada à competência social (Alvarenga & Piccinini, 2001, 2009; Bordin et al., 2009; Fox, Paltz & Bentley, 1995; McLoyd & Smith, 2002). Alguns estudos têm investigado a afetividade ou envolvimento positivo dos pais como uma possível variável moderadora na relação entre a punição física e os problemas de externalização, porém os achados são controversos (DeaterDeckard, Ivy & Petrill, 2006; Stacks, Oshio, Gerard & Roe, 2009).
Além das evidências a respeito do impacto das práticas coercitivas, vários estudos indicam que as práticas educativas parentais que não envolvem o uso da coerção exercem um papel fundamental no que se refere ao desenvolvimento social infantil. Práticas que priorizam o uso do controle assertivo (Crockenberg & Littman, 1990), do reforçamento positivo e do envolvimento positivo (Arsenio & Overton, 2004; Cia, Pereira, Z.A.P. Del Prette & A. Del Prette, 2007; Dumas & LaFreniere, 1993) e, sobretudo, de explicações que apontam para a criança as consequências de suas ações atuam como fatores protetivos contra o desenvolvimento de problemas de externalização e favorecem a competência social (Hoffman, 1975).
Outros aspectos como a intrusividade (Dumas & LaFreniere, 1993), o caráter contingente das práticas (Patterson et al., 1992) e a autorização de autonomia (Denham, Renwick & Holt, 1991) também são variáveis relevantes para o entendimento dessas relações. Nesse sentido, além de fazer uso demasiado da coerção e de apresentar um repertório escasso de práticas de caráter positivo e assertivo, pais de crianças com problemas de externalização costumam ser mais intrusivos e permissivos. Isso inclui reforçar positivamente comportamentos inadequados ou utilizar pouco o reforçamento positivo para aspectos adequados da conduta dos filhos, assim como dar ordens confusas ou ambíguas à criança e ignorar ou reforçar comportamentos agressivos e desafiadores (Patterson et al., 1992). Estudos brasileiros também têm revelado o papel do monitoramento e do comportamento moral dos pais como fatores protetivos contra o surgimento dos problemas de externalização (Gomide, 2001; Salvo, Silvares & Tony, 2005).
Outra questão relevante referente à relação entre as práticas educativas parentais e o desenvolvimento social infantil diz respeito à direcionalidade dessa relação. As concepções mais recentes que discutem esse processo adotam um modelo recíproco, no qual características dos pais e dos filhos estão em constante interação, como é o caso do modelo do processo familiar coercitivo, desenvolvido por Patterson et al. (1992). Os achados de Lansford et al. (2009) estão de acordo com essa concepção. Famílias com crianças de cinco anos que apresentavam taxas altas de problemas de externalização tinham pais que também apresentavam frequências mais altas de punição física, enquanto famílias de crianças com queixas menos intensas de problemas de externalização relatavam frequências menores de punição física. Contudo, em ambos os tipos de família, quando a disciplina física prevalecia ao longo da infância, os filhos apresentaram maior vulnerabilidade para o desenvolvimento do comportamento antissocial na adolescência. Nessa mesma perspectiva, Sheehan e Watson (2008), ao investigarem díades mãe-filho durante a infância e a adolescência, verificaram que, assim como a agressividade da criança foi uma variável preditora de agressão verbal e física por parte das mães, o uso desse tipo de estratégia disciplinar também foi um preditor eficaz do aumento da agressividade dos filhos. Além disso, muitos estudos empíricos têm revelado que intervenções voltadas tanto para a redução de práticas coercitivas e ineficazes como para a promoção de práticas não coercitivas e assertivas tendem a produzir melhora nos problemas de conduta das crianças (Bolsoni-Silva, Ferreira & Marturano, 2008; Coelho & Murta, 2007; Marinho, 1999; Marinho & Silvares, 2000; WebsterStratton & Hammond, 1997). Tais evidências indicam o papel fundamental das práticas utilizadas pelos pais na manutenção ou alteração desses comportamentos.
Embora a literatura ofereça muitas evidências sobre as relações entre as práticas educativas maternas e os problemas de externalização na infância, a grande maioria dessas investigações foi conduzida em países desenvolvidos, e poucos estudos foram realizados no Brasil, que se caracteriza também por marcantes diferenças regionais. Assim, o objetivo do presente estudo foi investigar as relações entre as práticas educativas maternas e os problemas de externalização em préescolares da cidade de Salvador. Considerando os achados da literatura revisada, a hipótese era a de que práticas educativas maternas coercitivas estariam relacionadas à presença de problemas de externalização nas crianças.
Método
Participantes
Participaram deste estudo 64 díades mãecriança. Do total de crianças, 32 eram meninos e 32 eram meninas. As díades foram selecionadas por conveniência em diferentes escolas públicas (68,8%) e particulares (31,3%) de Salvador a partir de dados fornecidos pela direção das escolas e também por indicações feitas pelas próprias mães que participaram do estudo.
Nenhuma das crianças apresentava problemas de saúde graves ou enfermidades crônicas no momento da coleta de dados. A média da idade das crianças foi 5,47 anos (DP=0,50), e a das mães, 32,34 anos (DP=7,42). O nível de instrução médio das mães foi de 8,75 anos de estudo (DP=4,75). Por se tratar de uma amostra formada por díades de diferentes níveis socioeconômicos, a renda familiar mensal variou muito: de R$70,00 a R$10.000,00. Portanto, optou-se pela adoção de diferentes medidas de tendência central dessa variável (MD=R$525,00; Moda=R$350,00). A Tabela 1 apresenta detalhes sobre as características sociodemográficas dos participantes.
Instrumentos
1) Ficha de dados demográficos: investiga informações como idade e sexo da criança, problemas de saúde da criança, idade dos pais, renda familiar, ocupação e nível de instrução dos pais, entre outras.
2) Inventário de Comportamentos da Infância e Adolescência 4-18 anos (CBCL) (Achenbach, 1991): avalia competência social e problemas de comportamento em crianças e adolescentes de 4 a 18 anos, a partir de informações fornecidas pelos pais. O instrumento é composto por 138 itens: 20 destinados à avaliação da competência social e 118 relativos à avaliação de problemas de comportamento. Apenas a segunda parte do instrumento, referente a problemas de comportamento, foi utilizada na análise. Os 118 itens constituem descrições de comportamentos que podem estar presentes ou ausentes na criança e fornecem uma cobertura ampla de sintomas psicopatológicos. Para cada um dos itens são oferecidas três alternativas de resposta: "nunca", "algumas vezes" e "frequentemente". Essa parte do instrumento é composta por nove subescalas, sendo que as escalas de comportamento delinquente e comportamento agressivo quando em conjunto constituem a escala de problemas de externalização. A pontuação do questionário apresenta pontos de corte que determinam as categorias não clínica, limítrofe e clínica na escala de problemas de externalização (abaixo de 60 pontos: categoria não clínica; de 60 a 63 pontos: categoria limítrofe; acima de 63 pontos: categoria clínica). Foram utilizados para análise os escores na escala de externalização.
3) Entrevista sobre práticas educativas maternas: trata-se de uma entrevista estruturada, adaptada a partir da proposta de Alvarenga e Piccinini (2001). Foram apresentadas quatro situações de conflito que normalmente ocorrem no cotidiano de mães e crianças, envolvendo comportamentos inadequados ou desobediência da criança: a) a criança recusa-se a almoçar; b) a criança brinca com algo perigoso; c) a criança bate em outra criança; d) a criança faz "birra". Após o relato de cada situação, foram investigadas as práticas educativas maternas. As respostas das mães foram submetidas à análise de conteúdo (Bardin, 1977). Para essa análise, foi utilizada a estrutura de categorias de Alvarenga e Piccinini (2001), que apresenta dois grandes grupos de categorias:
a) práticas não coercitivas: 1) negociação e troca (a mãe usa algum tipo de negociação com a criança, conversa com ela, promete-lhe alguma coisa em troca de obediência ou oferece-lhe alguma alternativa. Ex.: "Se você comer mais um pouco, você pode ver TV"; "Eu invento uma salada que ele gosta"); 2) explicação apontando consequências (a mãe afirma utilizar explicações que envolvem a descrição de consequências do comportamento da criança para ela mesma ou para outras pessoas. Ex.: "Você tem que comer, você tem que ficar forte porque agora você está no colégio, senão você não vai aprender nada"; "Você pode machucar ele"); 3) explicação baseada em convenções (a mãe utiliza explicações que envolvem normas ou convenções sociais relacionadas ao comportamento da criança. Ex.: "Eu digo que ela está mocinha e que não pode estar brigando."; "Você não pode fazer assim com ela, ela é pequena."); 4) mudança nos hábitos da criança (a mãe afirma fazer algum tipo de alteração na rotina da criança para obter uma mudança de comportamento. Ex.: "Eu não deixo comer doce antes do almoço"); 5) comando verbal não coercitivo (a mãe dá ordens ou faz pedidos à criança de maneira não aversiva ou coercitiva (punitiva), indicando o comportamento que deveria ser emitido por ela. Ex: "Come tudinho filho"; "Filha, levanta daí");
b) práticas coercitivas: 6) punição verbal (a mãe relata repreender a criança, demonstra desaprovação diante do seu comportamento e proibe verbalmente a criança de fazer algo ou utilizar comandos verbais coercitivos, ou seja, dá ordens ou faz pedidos indicando o comportamento que deveria ser emitido pela criança, porém de forma coercitiva. Ex.: "Eu grito com ele: Vai já pro banho"; "Fazer isso é feio"; "Como é que você bate na sua irmã?"); 7) ameaça de punição (a mãe ameaça verbalmente punir a criança. Ex.: "Se você bater nele de novo eu vou te dar umas palmadas"; "Faz de novo que você vai ver uma coisa"); 8) privação/castigo (a mãe deixa a criança privada de algo de que ela gosta em função de um comportamento inadequado ou a mãe relata castigar a criança, deixando-a sozinha em alguma parte da casa ou sentada no sofá, por exemplo. Ex.: "Mando o amigo para casa e ele fica sem ninguém pra brincar"; "Eu boto ele sentado no sofá"); 9) coação física (quando a mãe obriga ou força fisicamente a criança a comportar-se de determinada forma. Ex.: "Eu ia levar ele à força pra dentro"; "Às vezes eu tenho que segurar ele"); 10) punição física (a mãe relata utilizar intervenções físicas que causem dor na criança. Ex.: "Ah, eu dei umas palmadas"; "Eu me obrigo a dar nele"). A décima primeira categoria, à qual foi atribuído o código 0 (zero), é a de não interferência (a mãe afirma não interferir de nenhuma forma diante do comportamento da criança. Ex.: "Eu não faço nada"; "Eu deixo ele chorando."), que não foi classificada nem como prática coercitiva, nem como prática não coercitiva. Foram utilizadas para análise as frequências de resposta em cada uma das categorias consideradas.
Procedimentos
Inicialmente, as díades que se adequavam aos critérios estabelecidos para a inclusão na amostra (ter entre cinco e seis anos e não ser portador de doença crônica, transtornos do desenvolvimento ou síndromes) foram contatadas nas escolas. O contato inicial foi feito diretamente com as mães no momento em que levavam ou buscavam os filhos na escola ou por telefone, especialmente nos casos de indicações feitas pelas participantes. Nesse contato inicial, as mães foram convidadas a participar do estudo e foi agendada uma visita domiciliar ou entrevista na própria escola para a realização da coleta dos dados. As mães inicialmente assinaram o termo de consentimento livre e esclarecido em duas vias e preencheram a ficha de dados demográficos. Após o preenchimento desse material, foram realizadas a entrevista sobre práticas educativas maternas e a aplicação do inventário de Comportamentos da Infância e Adolescência, ambos respondidos pelas mães. O estudo foi aprovado pelo Comitê de Ética em Pesquisa da Faculdade de Filosofia e Ciências Humanas da Universidade Federal da Bahia em 27 de setembro de 2007.
Resultados
A análise dos dados do Inventário de Comportamentos da Infância e Adolescência (CBCL) revelou que as crianças obtiveram um escore médio de 60,7 (DP=9,71) na escala de externalização. Quanto à classificação da amostra nas categorias não clínica, limítrofe e clínica, 27 (42,2%) crianças foram classificadas na categoria não clínica, e 37 (57,8%) ficaram nas categorias limítrofe ou clínica.
A análise de conteúdo das práticas educativas maternas revelou um total de 243 unidades de análise. A classificação das práticas foi feita de acordo com a estrutura de categorias descrita no método, por dois codificadores que tiveram treinamento extensivo (20 horas). O índice de concordância simples entre os codificadores foi calculado em uma amostra de 30% das entrevistas e atingiu o valor de 0,87.
Examinando-se os percentuais totais das práticas educativas indutivas e coercitivas, constatou-se que as práticas não coercitivas (48,1%) foram mencionadas com frequência um pouco superior do que as práticas coercitivas (40,7%). O exame das situações específicas investigadas na entrevista indica o predomínio das práticas não coercitivas nas situações de recusar-se a comer (63,6%) e mexer em algo perigoso (56,4%). Práticas coercitivas foram mencionadas particularmente na situação de bater em outra criança (66,2%). A não interferência foi relatada apenas nas situações de recusar-se a comer (20,6%) e na situação de crise de birra (22,6%).
Inicialmente, foram examinadas as relações entre variáveis demográficas da amostra e práticas educativas maternas por meio do Teste de Correlação de Pearson. Os resultados revelaram as seguintes tendências: a) Quanto maior a idade da mãe, maior a frequência da categoria negociação e troca (r=0,22; p<0,05) e das práticas não coercitivas em geral (r=0,26; p<0,05); b) Quanto menor a renda familiar, mais frequente a utilização de explicações envolvendo convenções sociais (r=-0,23; p<0,05) e da punição física (-0,28; p<0,05) e menor o uso da prática privação/castigo (r=0,43; p<0,01); e c) Quanto menor a escolaridade da mãe, mais frequente o uso da punição física (r=-0,25; p<0,05). Foi encontrada também uma correlação positiva entre a idade do pai e o total de práticas maternas não coercitivas (r=0,02; p<0,05) e uma correlação negativa entre a escolaridade do pai e a punição física (r=0.24; p<0,05). Contudo, tais resultados apenas refletem a correlação entre a idade da mãe e a idade do pai (r=0,79; p<0,01).
A análise das correlações (Teste de Correlação de Pearson) entre as práticas educativas maternas e o escore de problemas de externalização das crianças revelou uma correlação negativa entre a prática negociação e troca e o escore total de externalização (r=-0,30; p<0,05), e uma correlação positiva entre a punição física e o escore de problemas de externalização (r=0,39; p<0,01). As demais correlações não foram significativas (Tabela 2).
Na última etapa da análise, foi realizada uma análise de regressão linear múltipla, utilizando-se, como variáveis preditoras dos problemas de externalização, a escolaridade materna, a renda familiar e as práticas negociação e troca e punição física. O modelo de regressão explicou 15,8% da variância nos problemas de externalização. Não houve indícios de que as variáveis sociodemográficas (escolaridade materna, escolaridade paterna e renda familiar) e a prática negociação e troca explicassem os problemas de externalização. No entanto, para cada ocorrência a mais de punição física, a frequência total de problemas de externalização aumentou em 4,14.
Discussão
Os resultados revelaram que, entre todas as práticas educativas maternas que foram analisadas, somente dois tipos de práticas estiveram correlacionados aos problemas de externalização: a negociação e troca e a punição física. A punição física esteve positivamente correlacionada aos problemas de externalização, e o seu impacto sobre esse tipo de problema de comportamento foi confirmado pela análise de regressão. Esses achados apoiam a literatura que relaciona as duas variáveis, o que destaca o papel da punição física no desenvolvimento dos problemas de externalização. A punição física se caracteriza como uma estratégia disciplinar coercitiva não verbal. Comparada com outras práticas educativas coercitivas investigadas no presente estudo, como a punição verbal, a ameaça de punição e a retirada de privilégios/castigo, a punição física representa, possivelmente, o tipo de estratégia que tem o menor potencial de favorecer a autorregulação na criança, bem como o maior potencial de eliciar emoções desfavoráveis, como o medo e a raiva, que prejudicam sua compreensão a respeito do episódio disciplinar (Hoffman, 1979). Enquanto a punição verbal ou mesmo a ameaça de punição podem envolver alguma indicação quanto às consequências do comportamento da criança, a punição física não o faz de forma alguma, ao mesmo tempo em que mobiliza a criança emocionalmente de forma bastante intensa. Talvez por essas razões, no presente estudo, apenas a punição física, e não as práticas coercitivas em geral, estiveram relacionadas aos problemas de externalização. Seguindo essa tendência, grande parte dos estudos publicados na área destaca o papel da punição física, dentre os demais tipos de práticas coercitivas, no desenvolvimento dos problemas de externalização (Bordin et al., 2009; Deater-Deckard et al., 2006; McLoyd & Smith, 2002; Stacks et al., 2009).
Entretanto, a prática de negociar ou propor algum tipo de troca com o objetivo de regular o comportamento da criança também esteve negativamente correlacionada com os problemas de externalização. Segundo alguns autores, esse tipo de estratégia combinado com o controle assertivo e com práticas indutivas, como dar explicações para a criança, pode atuar como fator protetivo contra o desenvolvimento de queixas de externalização (Crockenberg & Litman, 1990; Denham et al., 1991). Além disso, a importância de diferentes tipos de práticas não coercitivas tem sido destacada na literatura pelo seu papel no desenvolvimento da competência social e na prevenção dos problemas de comportamento. Contudo, a análise de regressão não confirmou a relevância desse fator no modelo. De qualquer modo, considerando-se as evidências da literatura acerca das relações entre esse tipo de prática e o desenvolvimento social infantil e os resultados do presente estudo, é fundamental que novas pesquisas continuem testando o efeito das práticas não coercitivas sobre os problemas de externalização.
Também foram verificadas algumas relações entre as variáveis sociodemográficas e as práticas educativas maternas, que merecem ser consideradas. Quanto menor a renda familiar e a escolaridade da mãe, mais frequente o uso da punição física. Esse achado está de acordo com o que muitos estudos indicam sobre o impacto negativo da baixa escolaridade e do baixo nível socioeconômico sobre as práticas educativas parentais (Do Carmo, 2009; Knutson, DeGarmo, Koppl & Reid, 2005; Mistry, Vandewater, Huston & McLoyd, 2002). Bordin et al. (2009) verificaram que mães brasileiras de comunidades pobres estão normalmente sobrecarregadas com tarefas e obrigações no contexto doméstico e no trabalho e são frequentemente as principais provedoras da família. Segundo as autoras, essas condições de vida estressantes reduzem a capacidade das mães de estarem emocionalmente disponíveis e de fornecerem o apoio necessário a suas crianças. Nesse sentido, as práticas educativas maternas seriam desfavorecidas pelo contexto de vida característico de famílias de baixa renda, o que poderia, também por essas razões, favorecer a punição física. Embora essas relações não tenham sido confirmadas pela análise de regressão, elas devem ser levadas em consideração em futuras investigações.
Foi verificada também uma correlação negativa entre a renda familiar e a prática de explicação envolvendo convenções sociais. A explicação baseada em convenções foi uma categoria utilizada para contemplar explicações maternas que, ao invés de apontar para as consequências naturais do comportamento da criança, indicassem regras sociais que justificassem a adequação ou inadequação de algum comportamento. Esse tipo de prática pode ser exemplificado pelos seguintes relatos das mães durante as entrevistas: "Eu digo que ela está mocinha e que não pode estar brigando"; "Você não pode fazer assim com ela, ela é pequena". Nenhum achado semelhante foi encontrado na literatura revisada. Embora as consequências desse tipo de estratégia não estejam claras na literatura, trata-se, possivelmente, de um tipo de explicação menos favorável para o desenvolvimento da autorregulação se comparado a explicações que apontam consequências (Hoffman, 1979). Nesse sentido, esse resultado merece atenção na medida em que indica que mães que dispõem de menor renda familiar podem fazer uso mais frequente desse tipo de prática.
A análise de correlações indicou ainda que mães com menor renda utilizam com menor frequência a prática de privar a criança de algum reforçador ou colocála de castigo. Considerando esse achado em conjunto com aquele que aponta maior frequência de punição física no relato de mães com menor renda, é plausível supor que a punição física seja mais utilizada por essas mães devido ao fato de que práticas mais eficazes e menos coercitivas, como a privação/castigo, não estejam disponíveis ou bem estabelecidas em seu repertório parental.
Além disso, quanto maior a idade da mãe, maior foi a frequência de práticas não coercitivas e da categoria negociação e troca em particular. Dois estudos recentes indicaram essa mesma tendência. No estudo de Carmo e Harada (2006), a idade dos pais e a frequência de violência física estiveram negativamente correlacionadas. Entretanto, a revisão de literatura sobre práticas educativas de mães adolescentes e mães adultas, conduzida por Marin e Levandowski (2008), indica que, embora grande parte dos estudos revisados tenha salientado o uso de práticas educativas coercitivas por parte das adolescentes, também foram encontrados estudos que evidenciaram que, apesar da idade, mães adolescentes cuja rede de apoio social é efetiva tendem a utilizar práticas educativas menos coercitivas. Esses achados indicam que a relação entre a idade da mãe e as práticas educativas pode sofrer efeito de variáveis moderadoras.
Por fim, é importante destacar o caráter interativo e recíproco da relação pais-criança e suas implicações para a compreensão do fenômeno investigado. Ao mesmo tempo em que o uso frequente de práticas coercitivas em geral e da punição física em particular prejudica o desenvolvimento da autorregulação e é pouco eficaz na construção de um repertório socialmente competente, a agressividade e os comportamentos impulsivos e desafiadores da criança tendem a gerar desânimo e irritabilidade nos pais, o que reduz a probabilidade de que eles utilizem práticas mais positivas e eficazes. Esse ciclo tende a agravar os problemas de externalização da criança e a tornar as práticas educativas parentais progressivamente mais severas, além de gerar nos pais sentimentos de inadequação e desapontamento (Bordin et al., 2009).
O presente estudo tem algumas limitações. Uma delas está relacionada à técnica de amostragem não probabilística, que foi utilizada e que produziu efeitos nos resultados. A literatura indica, por exemplo, que a prevalência de problemas e transtornos mentais, avaliada por meio de instrumentos de triagem, em crianças e adolescentes brasileiros é bastante inferior à prevalência de problemas de externalização encontrada na amostra do presente estudo (Bordin et al., 2009; Silva, 1999). Contudo, os dados sobre a população brasileira considerados nessa comparação foram gerados por estudos epidemiológicos que utilizaram técnicas de amostragem probabilística, enquanto, no presente estudo, foi utilizada a técnica de amostragem por acessibilidade ou conveniência.
Nesse sentido, os resultados sobre a prevalência de problemas de externalização nas crianças da amostra do presente estudo de modo algum indicam maior prevalência de problemas de externalização nessa população e não devem ser utilizados com esse objetivo. É possível que, além dos efeitos produzidos na avaliação da prevalência de problemas de externalização, a técnica de amostragem utilizada tenha tido efeitos também nas demais análises estatísticas realizadas. Outra limitação do estudo diz respeito ao tipo de delineamento utilizado, que envolveu a avaliação das duas variáveis no mesmo momento do desenvolvimento das crianças, o que restringe a possibilidade de se chegar a conclusões sobre a direcionalidade da relação entre elas. Nesse sentido, é importante que futuras investigações apresentem alternativas para esse tipo de limitação, possibilitando, assim, o avanço nessa esfera específica do conhecimento sobre o desenvolvimento social infantil.
Apesar dessas limitações, o presente estudo contribui com evidências a respeito das relações entre as práticas educativas maternas e os problemas de externalização, revelando que, a despeito de possíveis diferenças regionais existentes no Brasil, o impacto da punição física sobre indicadores precoces do comportamento antissocial foi novamente verificado. Além disso, os achados também sublinham a importância dos efeitos do menor acesso à educação e da renda familiar sobre o uso mais frequente da punição física. Outras investigações produzidas no Brasil e em outros países já apontavam para essa relação, e os dados do presente estudo, mais uma vez, indicam que populações de baixa renda e com pouco acesso à educação de qualidade encontram-se numa situação de maior vulnerabilidade no que se refere ao desenvolvimento social de suas crianças.
Referências
Achenbach, T. M. (1991). Manual for the child behavior checklist/4-18 and 1991 profile. Burligton, VT: University of Vermont.
Alvarenga, P., & Piccinini, C. A. (2001). Práticas educativas maternas e problemas de comportamento em pré-escolares. Psicologia: Reflexão e Crítica, 14 (3), 449-459.
Alvarenga, P., & Piccinini, C. A. (2009). Práticas educativas maternas e indicadores do desenvolvimento social no terceiro ano de vida. Psicologia: Reflexão e Crítica, 22 (2), 191-199.
Arsenio, W. F., & Overton, W. F. (2004). Trajectories of physical aggression from toddlerhood to middle childhood: predictors, correlates, and outcomes. Monographs of the Society for Research in Child Development, 69 (4), 1-129.
Bardin, L. (1977). Análise de conteúdo. São Paulo: Martins Fontes.
Bolsoni-Silva, A. T., Silveira, F. F., & Maturano, E., M. (2008) Promovendo habilidades sociais educativas parentais na prevenção de problemas de comportamento. Revista Brasileira de Terapia Comportamental e Cognitiva, 10 (2), 125-142.
Bordin, I. A., Duarte, C. S., Peres, C. A., Nascimento, R., Curto, B. M., & Paula, C. S. (2009). Severe physical punishment: risk of mental health problems for poor urban children in Brazil. Bulletin World Health Organization, 87 (5), 336-344.
Carmo, C. J., & Harada, M. J. C. S. (2006). Violência física como prática educativa. Revista Latino-Americana de Enferma-gem, 14 (6), 849-856.
Cia, F., Pereira, C. S., Del Prette, Z. A. P., & Del Prette, A. (2007). Habilidades sociais das mães e envolvimento com os filhos: um estudo correlacional. Estudos de Psicologia (Campinas), 24 (1), 3-11. doi: 10.1590/S0103-166X2 007000100001.
Coelho, M. V., & Murta, S. G. (2007). Treinamento de pais em grupo: um relato de experiência parental. Estudos de Psicologia (Campinas), 24 (3), 333-341. doi: 10.1590/S0103-166X2007000300005.
Cohen, P., & Brook, J. (1998). The reciprocal influence of punishment and child behavior disorder. In J. McCord (Org.), Coercion and punishment in long-term perspectives (pp. 154-164). Cambridge: Cambridge University Press.
Crockenberg, S. B., & Litman, C. (1990). Autonomy as competence in 2-year-olds: maternal correlates of child defiance, compliance and self-assertion. Developmental Psychology, 26 (6), 961-971.
Deater-Deckard, K., Ivy, L., & Petrill, S. A. (2006). Maternal warmth moderates the link between physical punishment and child externalizing problems: a parent - offspring behavior genetic analysis. Parenting: Science and Practice, 6 (1), 59-78.
Denham, S. A., Renwick, S. M., & Holt, R. W. (1991). Working and playing together: prediction of preschool social-emotional competence from mother-child interaction. Child Development, 62, 242-249.
Do Carmo, P. H. B. (2009). Práticas educativas coercitivas e crenças sobre a coerção em mães de diferentes níveis socioeconômicos. Dissertação de mestrado não-publicada, Programa de Pós-Graduação em Psicologia do Desenvolvimento, Universidade Federal da Bahia, Salvador.
Dumas, J. E., & LaFreniere, P. J. (1993). Mother-child relationships as sources of support or stress: a comparision of competent, average, agressive, and anxious dyads. Child Development, 64 (6), 1732-1754.
Fox, R. A., Platz, D. L., & Bentley, K. S. (1995). Maternal factors related to parenting practices, developmental expectations, and perceptions of child behavior problems. The Journal of Genetic Psychology, 156 (4), 431-441.
Granic, I., & Patterson, G. R. (2006). Toward a comprehensive model of antisocial development: a dynamic systems approach. Psychological Review, 113 (1), 101-131.
Gomide, P. I. C. (2001). Efeito das práticas educativas no desenvolvimento do comportamento anti-social. In M. L. Marinho & V. E. Caballo (Orgs.), Psicologia clínica e da saúde (pp.33-54). Londrina: UEL.
Hoffman, M. L. (1975). Moral internalization, parental power, and the nature of parent-child interaction. Developmental Psychology, 11 (2), 228-239.
Hoffman, M. L. (1979). Development of moral thought, feeling, and behavior. American Psychologist, 34 (10), 958-966.
Hoffman, M. L. (1994). Discipline and internalization. Developmental Psychology, 30 (1), 26-28.
Knutson, J. F., Degarmo, D., Koeppl, G., & Reid, J. B. (2005). Care neglect, supervisory neglect, and harsh parenting in the development of children's aggression: a replication and extension. Child Maltreatment, 10 (2), 92-107.
Lansford, J. E., Dodge, K. A., Pettit, G. S., Criss, M. M., Shaw, D. S., & Bates, J. E. (2009). Trajectories of physical discipline: early childhood antecedents and developmental outcomes. Chid Development, 80 (5), 1385-1402.
Marin, A. H., & Levandowski, D. C. (2008). Práticas educativas no contexto da maternidade adolescente: breve revisão de literatura. Interação em Psicologia, 12 (1), 107-113.
Marinho, M. L. (1999). Comportamento infantil anti-social: programa de intervenção junto à família. In R. R. Kerbauy & R. C. Wielenska (Orgs.), Sobre comportamento e cognição: psicologia comportamental e cognitiva: da reflexão teórica à diversidade na aplicação (pp.207-215). Santo André: SET.
Marinho, M. L., & Silvares, E. M. (2000). Modelos de orientação a pais de crianças com queixas diversificadas. In R. C. Wielenska (Org.), Sobre comportamento e cognição: questionando e ampliando a teoria e as intervenções clínicas e em outros contextos (pp.171-185) Santo André: SET.
McLoyd, V. C., & Smith, J. (2002). Physical discipline and behavior problems in african american, european, and spanic children: emotional support as a moderator. Journal of Marriage and Family, 64 (1), 40-53.
Miner, J. L., & Clarke-Stewart, A. (2008). Trajectories of externalizing behavior from age 2 to age 9: relations with gender, temperament, ethnicity, parenting and rater. Developmental Psychology, 44 (3), 771-786.
Mistry, R. S., Vandewater, E. A., Huston, A. C., & McLoyd, V. C. (2002). Economic wellbeing and children's social adjustment: the role of family processes in an ethnically diverse low-income sample. Child Development, 73 (3), 935-951.
Pacheco, J., Alvarenga, P., Reppold, C., Piccinini, C. A., & Hutz, C. S. (2005). Estabilidade do comportamento anti-social na transição da infância para a adolescência: uma perspectiva desenvolvimentista. Psicologia: Reflexão e Crítica, 18 (1), 55-61.
Patterson, G. R., Reid, J., & Dishion, T. (1992). Antisocial boys. Eugene: Castalia Publishing Company.
Patterson, G. R., DeGarmo, D. S., & Knutson, N. (2000). Hyperactive and antisocial behaviors: comorbid or two points in the same process? Development and Psychopathology, 12 (1), 91-106.
Patterson, G. R. (2002). The early development of coercive family process. In J. B. Reid, G. R. Patterson & J. Snyder (Eds.), Antisocial behavior in children and adolescents: a developmental analysis and model for intervention (pp.25-44). Washington: American Psychological Association.
Salvo, C. G., Silvares, E. M., & Tony, P. M. (2005). Práticas educativas como forma de predição de problemas de comportamento e competência social. Estudos de Psicologia (Campinas), 22 (2), 187-195. doi: 10.1590/S0103-16 6X2005000200008.
Sheehan, M., & Watson, M. W. (2008). Reciprocal influences between maternal discipline techniques and aggression in children and adolescents. Aggressive Behavior, 34 (3), 245-255.
Sidman, M. (1995). Coerção e suas implicações. Campinas: Editorial PSY.
Silva, L. A. D. (1999). Determinantes psicossociais dos problemas de comportamento e do coeficiente intelectual (QI) de crianças pré-escolares. Dissertação de mestrado não-publicada, Programa de Pós-Graduação em Psicologia do desenvolvimento, Universidade Federal do Rio Grande do Sul, Porto Alegre.
Skinner, B. F. (1994). Ciência e comportamento humano. São Paulo: Martins Fontes. (Originalmente publicado em 1954)
Stacks, A. M., Oshio, T., Gerard, J., & Roe, J. (2009). The moderating effect of parental warmth on the association between spanking and child aggression: a longitudinal approach. Infant and Child Development, 18 (2), 178-194.
Webster-Stratton, C., & Hammond, M. (1997). Treating children with early-onset conduct problems: a comparison of child and parent training interventions. Journal of Consulting and Clinical Psychology, 65 (1), 93-109.
Recebido em: 4/8/2010
Versão final reapresentada em: 26/4/2011
Aprovado em: 28/4/2011
Agradecimentos: às estudantes que auxiliaram na coleta e análise dos dados e a todas as mães e crianças participantes.
Referências bibliográficas
- Achenbach, T. M. (1991). Manual for the child behavior checklist/4-18 and 1991 profile. Burligton, VT: University of Vermont.
- Alvarenga, P., & Piccinini, C. A. (2001). Práticas educativas maternas e problemas de comportamento em pré-escolares. Psicologia: Reflexão e Crítica, 14 (3), 449-459.
- Alvarenga, P., & Piccinini, C. A. (2009). Práticas educativas maternas e indicadores do desenvolvimento social no terceiro ano de vida. Psicologia: Reflexão e Crítica, 22 (2), 191-199.
- Arsenio, W. F., & Overton, W. F. (2004). Trajectories of physical aggression from toddlerhood to middle childhood: predictors, correlates, and outcomes. Monographs of the Society for Research in Child Development, 69 (4), 1-129.
- Bardin, L. (1977). Análise de conteúdo São Paulo: Martins Fontes.
- Bolsoni-Silva, A. T., Silveira, F. F., & Maturano, E., M. (2008) Promovendo habilidades sociais educativas parentais na prevenção de problemas de comportamento. Revista Brasileira de Terapia Comportamental e Cognitiva, 10 (2), 125-142.
- Bordin, I. A., Duarte, C. S., Peres, C. A., Nascimento, R., Curto, B. M., & Paula, C. S. (2009). Severe physical punishment: risk of mental health problems for poor urban children in Brazil. Bulletin World Health Organization, 87 (5), 336-344.
- Carmo, C. J., & Harada, M. J. C. S. (2006). Violência física como prática educativa. Revista Latino-Americana de Enferma-gem, 14 (6), 849-856.
- Cia, F., Pereira, C. S., Del Prette, Z. A. P., & Del Prette, A. (2007). Habilidades sociais das mães e envolvimento com os filhos: um estudo correlacional. Estudos de Psicologia (Campinas), 24 (1), 3-11. doi: 10.1590/S0103-166X2 007000100001.
- Coelho, M. V., & Murta, S. G. (2007). Treinamento de pais em grupo: um relato de experiência parental. Estudos de Psicologia (Campinas), 24 (3), 333-341. doi: 10.1590/S0103-166X2007000300005.
- Cohen, P., & Brook, J. (1998). The reciprocal influence of punishment and child behavior disorder. In J. McCord (Org.), Coercion and punishment in long-term perspectives (pp. 154-164). Cambridge: Cambridge University Press.
- Crockenberg, S. B., & Litman, C. (1990). Autonomy as competence in 2-year-olds: maternal correlates of child defiance, compliance and self-assertion. Developmental Psychology, 26 (6), 961-971.
- Deater-Deckard, K., Ivy, L., & Petrill, S. A. (2006). Maternal warmth moderates the link between physical punishment and child externalizing problems: a parent - offspring behavior genetic analysis. Parenting: Science and Practice, 6 (1), 59-78.
- Denham, S. A., Renwick, S. M., & Holt, R. W. (1991). Working and playing together: prediction of preschool social-emotional competence from mother-child interaction. Child Development, 62, 242-249.
- Do Carmo, P. H. B. (2009). Práticas educativas coercitivas e crenças sobre a coerção em mães de diferentes níveis socioeconômicos. Dissertação de mestrado não-publicada, Programa de Pós-Graduação em Psicologia do Desenvolvimento, Universidade Federal da Bahia, Salvador.
- Dumas, J. E., & LaFreniere, P. J. (1993). Mother-child relationships as sources of support or stress: a comparision of competent, average, agressive, and anxious dyads. Child Development, 64 (6), 1732-1754.
- Fox, R. A., Platz, D. L., & Bentley, K. S. (1995). Maternal factors related to parenting practices, developmental expectations, and perceptions of child behavior problems. The Journal of Genetic Psychology, 156 (4), 431-441.
- Granic, I., & Patterson, G. R. (2006). Toward a comprehensive model of antisocial development: a dynamic systems approach. Psychological Review, 113 (1), 101-131.
- Gomide, P. I. C. (2001). Efeito das práticas educativas no desenvolvimento do comportamento anti-social. In M. L. Marinho & V. E. Caballo (Orgs.), Psicologia clínica e da saúde (pp.33-54). Londrina: UEL.
- Hoffman, M. L. (1975). Moral internalization, parental power, and the nature of parent-child interaction. Developmental Psychology, 11 (2), 228-239.
- Hoffman, M. L. (1979). Development of moral thought, feeling, and behavior. American Psychologist, 34 (10), 958-966.
- Hoffman, M. L. (1994). Discipline and internalization. Developmental Psychology, 30 (1), 26-28.
- Knutson, J. F., Degarmo, D., Koeppl, G., & Reid, J. B. (2005). Care neglect, supervisory neglect, and harsh parenting in the development of children's aggression: a replication and extension. Child Maltreatment, 10 (2), 92-107.
- Lansford, J. E., Dodge, K. A., Pettit, G. S., Criss, M. M., Shaw, D. S., & Bates, J. E. (2009). Trajectories of physical discipline: early childhood antecedents and developmental outcomes. Chid Development, 80 (5), 1385-1402.
- Marin, A. H., & Levandowski, D. C. (2008). Práticas educativas no contexto da maternidade adolescente: breve revisão de literatura. Interação em Psicologia, 12 (1), 107-113.
- Marinho, M. L. (1999). Comportamento infantil anti-social: programa de intervenção junto à família. In R. R. Kerbauy & R. C. Wielenska (Orgs.), Sobre comportamento e cognição: psicologia comportamental e cognitiva: da reflexão teórica à diversidade na aplicação (pp.207-215). Santo André: SET.
- Marinho, M. L., & Silvares, E. M. (2000). Modelos de orientação a pais de crianças com queixas diversificadas. In R. C. Wielenska (Org.), Sobre comportamento e cognição: questionando e ampliando a teoria e as intervenções clínicas e em outros contextos (pp.171-185) Santo André: SET.
- McLoyd, V. C., & Smith, J. (2002). Physical discipline and behavior problems in african american, european, and spanic children: emotional support as a moderator. Journal of Marriage and Family, 64 (1), 40-53.
- Miner, J. L., & Clarke-Stewart, A. (2008). Trajectories of externalizing behavior from age 2 to age 9: relations with gender, temperament, ethnicity, parenting and rater. Developmental Psychology, 44 (3), 771-786.
- Mistry, R. S., Vandewater, E. A., Huston, A. C., & McLoyd, V. C. (2002). Economic wellbeing and children's social adjustment: the role of family processes in an ethnically diverse low-income sample. Child Development, 73 (3), 935-951.
- Pacheco, J., Alvarenga, P., Reppold, C., Piccinini, C. A., & Hutz, C. S. (2005). Estabilidade do comportamento anti-social na transição da infância para a adolescência: uma perspectiva desenvolvimentista. Psicologia: Reflexão e Crítica, 18 (1), 55-61.
- Patterson, G. R., Reid, J., & Dishion, T. (1992). Antisocial boys Eugene: Castalia Publishing Company.
- Patterson, G. R., DeGarmo, D. S., & Knutson, N. (2000). Hyperactive and antisocial behaviors: comorbid or two points in the same process? Development and Psychopathology, 12 (1), 91-106.
- Patterson, G. R. (2002). The early development of coercive family process. In J. B. Reid, G. R. Patterson & J. Snyder (Eds.), Antisocial behavior in children and adolescents: a developmental analysis and model for intervention (pp.25-44). Washington: American Psychological Association.
- Salvo, C. G., Silvares, E. M., & Tony, P. M. (2005). Práticas educativas como forma de predição de problemas de comportamento e competência social. Estudos de Psicologia (Campinas), 22 (2), 187-195. doi: 10.1590/S0103-16 6X2005000200008.
- Sheehan, M., & Watson, M. W. (2008). Reciprocal influences between maternal discipline techniques and aggression in children and adolescents. Aggressive Behavior, 34 (3), 245-255.
- Sidman, M. (1995). Coerção e suas implicações Campinas: Editorial PSY.
- Silva, L. A. D. (1999). Determinantes psicossociais dos problemas de comportamento e do coeficiente intelectual (QI) de crianças pré-escolares. Dissertação de mestrado não-publicada, Programa de Pós-Graduação em Psicologia do desenvolvimento, Universidade Federal do Rio Grande do Sul, Porto Alegre.
- Skinner, B. F. (1994). Ciência e comportamento humano. São Paulo: Martins Fontes. (Originalmente publicado em 1954)
- Stacks, A. M., Oshio, T., Gerard, J., & Roe, J. (2009). The moderating effect of parental warmth on the association between spanking and child aggression: a longitudinal approach. Infant and Child Development, 18 (2), 178-194.
- Webster-Stratton, C., & Hammond, M. (1997). Treating children with early-onset conduct problems: a comparison of child and parent training interventions. Journal of Consulting and Clinical Psychology, 65 (1), 93-109.
Datas de Publicação
-
Publicação nesta coleção
27 Abr 2012 -
Data do Fascículo
Mar 2012
Histórico
-
Recebido
04 Ago 2010 -
Aceito
28 Abr 2011