Associações entre Bullying Escolar e Conduta Infracional: Revisão Sistemática de Estudos Longitudinais¹

Associations between School Bullying and Offensive Behavior: Systematic Review of Longitudinal Studies

RESUMO

O presente estudo consiste de uma revisão sistemática de estudos longitudinais que investigaram a associação entre bullying escolar e conduta infracional na adolescência e criminosa na idade adulta. Realizou-se uma busca bibliográfica em cinco bases de dados internacionais (ERIC, LILACS, Scopus, PsycINFO e Web of Science) e uma biblioteca eletrônica nacional (Scielo). Foram selecionados 13 estudos que atenderam aos critérios de inclusão. A maioria dos trabalhos encontrou associação estatisticamente significativa entre bullying e cometimento de atos contrários à lei por adolescentes e adultos. Em alguns deles, a associação permaneceu significativa após o controle de outros fatores de risco na infância, sinalizando, assim, ser o bullying um fator de risco independente. Isso reforça a necessidade de se prevenir e enfrentar precocemente o bullying escolar.

Palavras-chave:
bullying; delinquência juvenil; crime; revisão de literatura

ABSTRACT

The present study consists of a systematic review of longitudinal studies investigating the association between school bullying and offensive behavior during adolescence and criminal behavior in adulthood. A bibliographic search was conducted in five international databases (ERIC, LILACS, Scopus, PsycINFO and Web of Science) and a national electronic library (Scielo). A total of 13 studies that met the inclusion criteria were selected. Most studies report a statistically significant relationship between bullying and illegal actions committed by adolescents and adults. In some of the analyzed studies a significant relationship remained after controlling for other risk factors during childhood, indicating that bullying is an independent risk factor and reinforcing the need to address and prevent school bullying at an early stage.

Keywords:
bullying; juvenile delinquency; crime; literature review

O bullying representa um problema sério e generalizado nas escolas brasileiras. A Pesquisa Nacional de Saúde do Escolar - PeNSE, realizada no ano de 2012, com 109.104 estudantes do 9º ano do Ensino Fundamental de escolas públicas e privadas, investigou vários aspectos que afetam a saúde dos alunos, dentre os quais o bullying. No estudo, 20,8% dos escolares investigados praticaram algum tipo de agressão contra os colegas e 7,2% manifestaram terem sofrido bullying (Brasil, 2013).

Observa-se igualmente a existência de um número significativo de estudos, realizados em vários países, que atestam a significativa ocorrência do bullying nas instituições escolares, indicando que a sua manifestação transcende diferenças culturais (Barker, Arseneault, Brendgen, Fontaine, & Maughan, 2008; Fante, 2005; Magklara et al., 2012; Olweus, 2013; Renda, Vassallo, & Edwards, 2011; Rothon, Head, Klineberg,& Stansfeld, 2011; Sampson, 2009). A elevada prevalência desse fenômeno, associada às diversas consequências negativas que acarreta aos alunos nele envolvidos, seja enquanto vítimas, agressores ou testemunhas, contribui para que o bullying seja considerado um problema de saúde pública (Feder, 2007).

Em termos de conceituação, o bullying é geralmente definido a partir da proposta de Dan Olweus (1993, 2013), que o concebe como comportamentos agressivos e intencionais praticados entre pares, assinalados pela repetitividade e por um desequilíbrio de poder entre os sujeitos envolvidos (agressores e vítimas). Tais comportamentos apresentam natureza física (empurrar, socar, beliscar, entre outros), verbal (insultos e fofocas) ou psicológica (exclusão, por exemplo).

Tradicionalmente essas condutas eram interpretadas pelos adultos como brincadeiras típicas da idade, como ritos de passagem da infância para a adolescência (Silva, Oliveira, Bazon, & Cecilio, 2013; Szymansky, Gonçalves, Damke, & Kliemann, 2008). Foi somente a partir das pesquisas pioneiras desenvolvidas por Olweus, no início da década de 1970, na Suécia, que as consequências negativas ocasionadas pelo bullying ao desenvolvimento físico e psicossocial de crianças e adolescentes foram identificadas (Unnever & Cornell, 2003). Desde então, diversas investigações têm se dedicado ao estudo dos diferentes desajustes provocados pela intimidação entre pares na escola ao desenvolvimento saudável dos estudantes.

Sumariamente, tais estudos indicam que as vítimas geralmente apresentam baixa autoestima, emoções negativas, depressão, sintomas psicossomáticos, consumo de substâncias psicoativas, suicídio, desvinculação escolar e evasão. Os agressores, em seu turno, podem se envolver em violência doméstica, consumo de substâncias psicoativas, iniciação sexual precoce, conduta infracional, participação em gangues e atitudes negativas em relação à escola (Fante, 2005; Guttmannova, Szanyi, & Cali, 2008; Hansen, Steenberg, Palic, & Elklit, 2012; Zaine, Reis, & Pandovani, 2010).

Identifica-se que, especificamente a partir da década de 1990, ocorreu o reconhecimento de uma estreita associação entre bullying escolar e condutas contrárias à lei. Nesse sentido, na literatura científica, há dados que demonstram a associação positiva entre esses dois fenômenos (Basile, Espelage, Rivers, McMahon, & Simon, 2009; Bender, Perron, Howard, & Jenson, 2010; Farrington & Ttofi, 2011; Olweus, 1993).

Além disso, pesquisas internacionais reconhecem e delimitam as características que tipificam o bullying e a delinquência enquanto conceitos autônomos e distintos. Em linhas gerais, a delinquência refere-se a comportamentos vedados exclusivamente a crianças e adolescentes em leis e estatutos (evasão escolar, presença em locais próprios para adultos, dirigir sem habilitação, etc.) e, principalmente, a comportamentos passíveis de serem tipificados como infrações, que, se fossem praticados por maiores de idade, seriam considerados crimes, segundo leis penais (furtos, assaltos, homicídios, tráfico, etc.) (LeBlanc, 2003). Nessa perspectiva, as agressões violentas graves de natureza física praticadas no contexto de bullying, podem também constituir um comportamento infracional, ao passo que outras formas de agressões, de natureza física mais leve ou verbal, tais como empurrão, insultos, provocações, entre outras, em geral, não constituem comportamentos passíveis de serem tipificados como infração.

Como na adolescência a probabilidade de emissão de comportamentos de risco, tais como os inerentes ao bullying e os relativos às infrações, é maior do que em outras fases de desenvolvimento (Mun, Windle, & Schainker, 2008), considera-se que esse período da vida refere-se a um momento de maior vulnerabilidade às experiências de violência entre pares na escola em função, dentre outros aspectos, do tempo que passam nessa instituição e do maior contato com outros adolescentes. No mais, a prática de bullying sinaliza, em muitos casos, o início de um processo desenvolvimental problemático, que conduz ao cometimento de infrações à lei (Piquero, Connell, Piquero, Farrington, & Jennings, 2012; Ttofi & Farrington, 2012), sendo que alguns estudos têm demonstrado que o comportamento agressivo e o bullying na escola são preditores de participação em gangues, bem como de criminalidade na idade adulta (Hinduja & Patchin, 2007; Sourander et al., 2011).

Em outras realidades socioculturais, tanto o bullying quanto a delinquência têm sido amplamente investigados. A maior parte dos estudos, porém, detém seu foco em aspectos específicos de cada um dos fenômenos, em particular. Ademais, as pesquisas existentes acerca da relação entre essas duas problemáticas possuem delineamento transversal, na grande maioria dos casos, o que impossibilita o estabelecimento de relações de causalidade (Renda et al., 2011).

Diante do exposto, empreendeu-se o presente trabalho de revisão sistemática da literatura científica versando sobre a associação entre bullying escolar e conduta infracional na adolescência e/ou criminal na idade adulta, considerando somente estudos com delineamento longitudinal. Os objetivos propostos foram identificar e descrever os principais aspectos, resultados e conclusões veiculadas pelos estudos, com vistas à consolidação do conhecimento acerca das relações existentes entre as duas problemáticas, em uma perspectiva desenvolvimental. Identificar possíveis fragilidades e/ou lacunas que possam ser preenchidas por futuras investigações constituiu outro objetivo deste estudo.

Método

Tipo de estudo

Trata-se de uma revisão sistemática de literatura, cujos princípios gerais incluem a padronização dos procedimentos inerentes às etapas de busca e de análise das produções recuperadas, considerando a diversidade de fontes para localização dos estudos a serem analisados, a predefinição de critérios de inclusão e de exclusão, definidos de acordo com os objetivos da revisão e a avaliação da qualidade metodológica dos estudos, com vistas a limitar a presença de vieses na seleção e na análise das produções recuperadas (Noronha & Ferreira, 2000).

Bases de dados consultadas e estratégias de busca

A busca bibliográfica foi realizada em cinco bases de dados internacionais: Education Resources Information Center (ERIC), Literatura Latino-Americana e do Caribe em Ciências da Saúde (LILACS), Psychological Information Database (PsycINFO), Scopus e Web of Science. Também foi consultado um banco de dados nacional: a Scientific Electronic Library Online/Brasil (Scielo). A questão que norteou a busca foi: Existe associação entre bullying escolar e delinquência juvenil e/ou criminalidade adulta? Em cada uma das bases de dados, realizou-se o cruzamento das principais palavras-chave relacionadas aos temas: "bullying and juvenile delinquency"; "bullying and adult criminality"; "bullying and criminal behavior", "bullying and offender"; "bullying and delinquent". Na base LILACS e na biblioteca Scielo, foram utilizadas as mesmas palavras-chave, porém traduzidas para o espanhol e para o português. Optou-se, neste primeiro momento, por deixar a busca o mais ampla possível, na intenção de se evitar que algum artigo importante pudesse ser excluído em função de restrições impostas pelos termos de busca. O refinamento dos trabalhos encontrados foi realizado em seguida, mediante a leitura dos títulos e dos resumos de cada estudo, tomando por referência os critérios de inclusão e de exclusão previamente estabelecidos.

Critérios de inclusão/exclusão dos artigos

Foram incluídos somente estudos com delineamento longitudinal publicados nas línguas inglesa, portuguesa e espanhola, sem definição de recorte temporal. A opção pela análise exclusiva de estudos longitudinais se justifica por possibilitarem a investigação dos diferentes modos de produção dos problemas pesquisados, dos fatores de risco e proteção a eles associados, a avaliação das consequências identificadas e a elaboração de inferências acerca de relações causais complexas (Hinshaw, 1992). Também foram incluídos trabalhos com foco no bullying especificamente, e não violência em geral, bem como aqueles cujos participantes fossem estudantes em um primeiro momento da coleta de dados sobre delinquência e bullying.

Foram excluídas teses, dissertações, livros e capítulos de livros, por não passarem por processo rigoroso de avaliação por pares, como ocorre com os artigos científicos. Excluíram-se também os estudos com outros delineamentos que não o longitudinal, bem como aqueles que não se propuseram a aferir o bullying como um construto independente da violência em geral. De igual modo, não foram selecionados os artigos publicados em outros idiomas, além de inglês, espanhol e português.

Procedimentos da revisão

A busca foi realizada em agosto de 2013. Primeiramente, todos os títulos e resumos dos artigos foram lidos e analisados. Selecionaram-se apenas aqueles que atendiam aos critérios de inclusão e não se enquadravam nos critérios de exclusão. Esse procedimento foi realizado por dois investigadores de modo independente. As discordâncias foram discutidas e avaliadas pelos dois investigadores até a obtenção de consensos.

Na segunda fase, o conteúdo integral dos textos selecionados foi sintetizado em um quadro sinóptico, contemplando os seguintes itens: título, autores, ano de publicação, título do periódico, país no qual a pesquisa foi desenvolvida, instituição dos autores, objetivos, informações sobre o método, resultados e conclusões. Tais dados serviram de respaldo tanto para análises descritivas quanto para análises críticas dos estudos revisados. Adianta-se que os principais resultados oriundos das análises dos trabalhos selecionados foram sintetizados em duas categorias temáticas denominadas: (a) Participação em situações de bullying escolar como um dos preditores da conduta infracional na adolescência; (b) Participação em situações de bullying - especialmente no papel de agressor - como preditor de criminalidade adulta.

Com vistas a atribuir maior sistematização à análise dos estudos recuperados, especialmente àquela realizada sobre os métodos empregados, utilizou-se um instrumento específico a esse fim: uma escala adaptada a partir do instrumento original elaborado por Downs e Black (1998), com o objetivo de auxiliar a avaliação da qualidade de estudos de intervenção. Assim, algumas questões inerentes a esse instrumento foram suprimidas e outras ajustadas à natureza dos estudos em foco na presente investigação. Mais precisamente, nove questões foram excluídas por não se aplicarem a estudos longitudinais e duas foram adequadas, concorrendo para que o instrumento final empregado no estudo aqui relatado fosse composto por 18 questões, as quais são apresentadas na Tabela 1. Em uma das questões houve a substituição da palavra "intervenções de interesse" por "temáticas de interesse" e em outra foi substituído o termo "efeito clinicamente esperado" por "efeito esperado".

Tabela 1
Critérios para avaliação dos estudos selecionados, com base em Downs e Black (1998)

Critérios	nº Artigos
	Sim	Não
A hipótese e/ou objetivos do estudo estão claramente descritos?	13	0
Os desfechos a serem medidos estão claramente descritos na introdução ou na seção de métodos?	13	0
As características dos sujeitos do estudo estão claramente descritas?	11	2
As temáticas de interesse estão claramente descritas?*	13	0
A distribuição dos principais fatores de confusão em cada grupo está claramente descrita?	13	0
Os principais achados do estudo são claramente descritos?	13	0
O estudo proporciona estimativas da variabilidade aleatória dos dados dos principais achados?	13	0
As características dos sujeitos perdidos foram descritas?	7	6
Os intervalos de confiança de 95% e/ou valores de p foram relatados para os principais desfechos, exceto quando o valor de p foi menor que 0,001?	13	0
Os sujeitos chamados para participar do estudo foram representativos de toda a população de onde foram recrutados?	4	9
Os sujeitos que foram preparados para participar são representativos da população inteira de onde foram recrutados?	4	9
Em ensaios e estudos de coorte, as análises se ajustam para diferentes tempos de acompanhamento, ou nos estudos de caso-controle o tempo que transcorre entre a intervenção e o desfecho é o mesmo para casos e controles?	13	0
Os testes estatísticos utilizados foram apropriados?	13	0
As medidas dos principais desfechos foram acuradas (válidas e confiáveis)?	13	0
Os sujeitos em diferentes grupos de intervenção (ensaios e estudos de coorte) ou em casos-controle foram recrutados no mesmo período de tempo?	13	0
Houve um ajuste adequado dos fatores de confusão nas análises a partir das quais os principais achados foram tirados?	13	0
As perdas dos sujeitos no andamento foram consideradas?	13	0
O estudo apresentava os parâmetros para cálculo de amostra e se tinha poder para detectar o efeito esperado? *	3	10

• Nota: Questões adaptadas para estudos longitudinais

Todas as questões foram pontuadas com o valor de 1 quando atendiam aos critérios estabelecidos para cada item analisado e com o valor de 0 diante do não atendimento aos critérios. A pontuação máxima, portanto, ficou fixada em 18 pontos, indicando que os resultados mais próximos a esse valor representavam melhor qualidade do estudo analisado.

Resultados

Sublinha-se que a produção levantada e analisada foi eminentemente internacional, publicada em língua inglesa, uma vez que não foi encontrado nenhum artigo indexado na base LILACS, nem na biblioteca Scielo, o que sugere que as temáticas investigadas (bullying e conduta infracional/criminalidade) não têm sido abordadas por meio de estudos longitudinais na América Latina. Dentre os 309 trabalhos inicialmente identificados, 296 foram excluídos por não se adequarem aos critérios de inclusão e exclusão.

A Figura 1 apresenta o fluxograma de busca e seleção das produções identificadas. Ao final do processo restaram 13 estudos, que foram incluídos e analisados nesta revisão, estando algumas de suas características sumarizadas na Tabela 2.

Figura 1
Fluxograma do processo de seleção dos artigos

Tabela 2
Características dos estudos selecionados para a revisão sistemática

Autoria	Ano	País	Amostra	Idade dos participantes na 1ª coleta de dados (T1) (anos)	Tempo de seguimento (anos)	Instrumentos
Sourander et al.	2007	Finlândia	2551	08	12	Questionários e registros criminais
Barker et al.	2008	Escócia	3932	12	04	Questionários
White & Loeber	2008	Estados Unidos	503	06	14	Questionários
Bender & Losel	2011	Alemanha	63	15	10	Questionários e teste
Bijleveld, Geest, & Hendricks	2011	Holanda	1038	15	7	Questionário e registros criminais
Farrington & Ttofi	2011	Inglaterra	411	08-10	40	Questionário e teste
Hemphill et al.	2011	Austrália	700	11-14	04	Questionários
Jiang, Walsh, &Augimeri	2011	Canadá	949	06-11	08	Questionário e teste
Luukkonen, Riala, Hakko, & Räsänen	2011	Finlândia	508	15	05	Entrevista, teste e registros criminais
Olweus	2011	Suécia	780	08	16	Entrevista e registros criminais
Renda et al.	2011	Austrália	2443	13-14	13	Questionários
Sourander et al.	2011	Finlândia	5351	08	16	Questionários e registros criminais
Piquero et al.	2012	Inglaterra	411	08	49	Questionários e registros criminais

Nota-se que os artigos são produções recentes, sendo o mais antigo de 2007. Há predomínio de publicações no ano de 2011, que concentrou dois terços do total de estudos analisados. Apesar da pequena quantidade de produções identificadas, evidenciou-se que, em sua maioria, essas foram realizadas em realidades socioculturais distintas, estando a maior parte delas situadas na América do Norte e na Europa. Em termos de distribuição, a Finlândia concentra a maior quantidade de artigos (n=3), seguida por Austrália (n=2), Inglaterra (n=2), Alemanha (n=1), Canadá (n=1), Escócia (n=1), Estados Unidos (n=1), Holanda (n=1) e Suécia (n=1).

O tamanho das amostras investigadas variou de 63 a 5351 sujeitos. Quatro artigos referem-se a estudos que tiveram por base um coorte de base populacional (Barker et al., 2008; Olweus, 2011; Sourander et al., 2007; Sourander et al., 2011). A idade média apresentada pelos sujeitos pesquisados na primeira onda de coleta de dados (avaliação) foi de 10,6 anos e o tempo médio de seguimento (follow up) foi de 15,2 anos. Denota-se que, em sete estudos, realizou-se a primeira onda de coleta de dados quando os participantes ainda eram crianças e, em cinco, quando eles eram adolescentes, conforme os parâmetros da Organização Mundial da Saúde - OMS (Eisenstein, 2005), que delimita a infância ao período compreendido entre os 0 e 9 anos de idade, e a adolescência entre os 10 e 19 anos.

No que se refere aos periódicos selecionados pelos autores para divulgação dos seus trabalhos, foram identificados sete títulos diferentes. Dentre eles, o Criminal Behaviour and Mental Health se destacou com a maior quantidade de estudos abarcados (n=7). Isso se deve ao fato dele ter divulgado um número especial, no ano de 2011, exclusivamente com estudos longitudinais acerca da relação entre bullying e conduta infracional, fato que também explica a maior quantidade de estudos no ano de 2011, recuperados nesta revisão. Os outros periódicos identificados apresentaram uma produção cada: Archives of Pediatrics and Adolescent Medicine; Forensic Science International; Journal of American Academy of Child and Adolescent Psychiatry; Journal of Research in Crime and Delinquency; Journal of Youth and Adolescence; e Social Psychiatry and Psychiatric Epidemiology. Em relação às áreas do conhecimento nas quais os periódicos se inserem, observou-se a seguinte proporção: Criminologia (n=3), Psiquiatria (n=2), Medicina (n=1) e Psicologia (n=1).

Do total de artigos analisados, seis apresentaram a conceituação de bullying explicitamente (Barker et al., 2008; Bender & Lösel, 2011; Luukkonen et al., 2011; Olweus, 2011; Sourander et al., 2007; Sourander et al., 2011), com base na definição proposta por Olweus (1993, 2013).Apesar das demais investigações não terem apresentado uma conceituação explícita, nelas se encontram referências aos trabalhos de Olweus e/ou o emprego de instrumentos adaptados a partir dos originalmente propostos por esse autor. Sublinha-se a utilização de definições semelhantes relativas ao bullying, quando não idênticas, na medida em que se dispõe de um relativo consenso na área, o que é sobremaneira útil, pois permite uma aproximação e uma comparação mais rápida entre os resultados obtidos por diferentes pesquisadores, contribuindo, assim, para a construção de um corpo sólido e coeso de conhecimento sobre a temática.

Para a apreciação dos outros aspectos dos estudos relatados nos artigos revisados, conforme mencionado, utilizou-se como guia um instrumento específico para análise de suas características. Os resultados produzidos por meio desse procedimento se encontram sintetizados na Tabela 2. A análise dos 18 critérios indicou uma mediana de 15 pontos, com amplitude de 12-18 pontos, tomando-se por referência a pontuação máxima que poderia ser obtida de 18 pontos. Denota-se que as fragilidades mais importantes, compartilhadas pelos estudos relatados, são: falta de representatividade da amostra; não apresentação de dados referentes ao cálculo da amostra; caracterização imprecisa ou pouco clara dos participantes; e descrição das perdas de sujeitos, ao longo do tempo.

Na sequência são descritos os principais resultados dos estudos analisados, concernindo às relações entre bullying e comportamento infracional na adolescência e criminal na vida adulta, sintetizados em duas categorias temáticas.

Participação em situações de bullying escolar como um dos preditores da conduta infracional na adolescência

Dentre os oito estudos analisados, sete apresentaram associação significativa entre participação em situações de bullying e conduta infracional na adolescência. Todavia, em dois deles a associação perdeu a significância quando foram controladas outras variáveis também consideradas fatores de risco para a conduta infracional. Farrington e Ttofi (2011) avaliaram se bullying sofrido na idade de 14 anos exercia algum efeito posterior em sujeitos do sexo masculino. Descobriram, entre outros aspectos, que o bullying previu condenações por violência (15-20 anos) e autorrelato de violência (15-18 anos). Entretanto, os efeitos foram se tornando mais fracos à medida que o intervalo de tempo entre uma avaliação e outra aumentava. Além disso, para o número de condenações entre 15 e 20 anos de idade, os efeitos do bullying desapareceram quando outras variáveis consideradas preditores precoces de delinquência foram introduzidas nas análises.

Na investigação conduzida por Hemphill et al. (2011) foram identificadas associações entre participação em bullying como agressor no sétimo ano escolar e comportamentos violentos, roubo, bebedeiras e consumo de substâncias no décimo primeiro ano escolar. As associações se mostraram mais fortes quando comparadas no intervalo de tempo compreendido entre o décimo e décimo primeiro ano escolar. Não obstante, quando foram controladas outras variáveis (sexo, impulsividade, déficit de atenção, conflito familiares, insucesso escolar, entre outras) as associações desapareceram.

O estudo de Jiang et al. (2011) verificou ligação entre bullying e prática de delitos. Em termos de proporção, os agressores apresentaram quase duas vezes mais condenações quando comparados aos não agressores, mesmo diante do controle por idade, sexo e outros fatores de risco na infância. Duas trajetórias de bullying na adolescência foram identificadas por Barker et al. (2008), sendo elas: baixa/decrescente e alta/crescente. A maior quantidade de conduta delitiva se associou à trajetória alta/crescente para meninos e meninas.

Bijleveld et al. (2011), em seu turno, investigaram a relação entre bullying e reincidência infracional em adolescentes infratores dos sexos masculino e feminino que apresentavam alto risco para reincidência. Verificou-se associação significativa apenas para os infratores sexuais do sexo masculino que, na época em que estudavam, teriam se envolvido em situações de bullying como agressores. A associação permaneceu sendo significativa, mesmo diante do controle de outras variáveis (transtorno de déficit de atenção e hiperatividade, impulsividade, abuso e negligência dos pais).

Luukkonen et al. (2011) identificaram que o bullying mostrou-se associado à prática de delitos violentos, tráfico e dirigir embriagado em uma amostra de adolescentes sob custódia, acompanhados em serviço psiquiátrico. Além disso, ter se envolvido em situações de bullying como agressor predisse a participação em delitos violentos graves. O efeito preditivo para os adolescentes que haviam se envolvido em bullying como vítimas diminuiu quando foram consideradas outras variáveis (sexo, idade, tipo de família, duração da conduta delitiva e diagnóstico psiquiátrico). Não se realizaram análises separadas entre os sexos devido à pequena quantidade de participantes com histórico infracional.

Com objetivos semelhantes, a pesquisa de Sourander et al. (2007) identificou o bullying enquanto preditor do cometimento de delitos violentos, contra a propriedade e infrações de trânsito para sujeitos do sexo masculino. Entretanto, os resultados não se mantiveram significativos quando se excluiu da análise a presença de sintomas psiquiátricos.

Contrariando os achados da literatura e dos demais estudos abarcados nesta revisão, White e Loeber (2008) não encontraram associação entre bullying no ensino primário e delinquência no ensino secundário, em uma amostra composta por meninos. No entanto, os autores recomendam cautela na apreensão do resultado, uma vez que utilizaram uma medida indireta do fenômeno, ou seja, avaliaram a participação em situação de bullying por meio de relatos de professores, bem como o consideraram como um mediador entre a participação em reforço escolar e o desenvolvimento de conduta infracional, o que pode ter interferido significativamente nos resultados obtidos.

Participação em situações de bullying - especialmente no papel de agressor - como preditor de criminalidade adulta

Os cinco artigos analisados demonstraram associação positiva entre bullying e criminalidade. Mesmo diante do controle de outras variáveis, a significância permaneceu em quatro deles. As associações preditivas entre o bullying aos oito anos de idade e o cometimento de infrações penais por adultos foram estudadas por Sourander et al. (2011). Esses autores identificaram que os meninos que haviam se envolvido de forma frequente enquanto agressores em situações de bullying apresentavam aproximadamente duas vezes mais chances de cometimento de pelo menos um crime entre as idades de 23 e 26 anos, em comparação àqueles que não tinham esse histórico. A participação em bullying predisse ainda, de modo independente, crimes violentos e contra a propriedade, além de envolvimento em infrações de trânsito. Em contraposição, a história de vitimização não predisse criminalidade adulta de modo independente para os homens. Da mesma forma, não foram encontradas associações entre bullying e criminalidade adulta para as mulheres.

A investigação de Olweus (2011) verificou a conexão entre bullying na adolescência e criminalidade adulta, evidenciando que os agressores (do sexo masculino) apresentaram quantidade cinco vezes maior de condenações se comparados àqueles que não eram agressores em situações de bullying, ao longo da adolescência. Entretanto, quando foram analisados somente os crimes violentos, que apresentam natureza mais grave, a proporção foi ainda maior, de seis a oito vezes mais em comparação com os não agressores.

Com objetivos similares, a pesquisa realizada por Renda et al. (2011) confirmou a associação do bullying com o fato de se ter passagens pelo Sistema de Justiça, no contexto da sociedade australiana, sendo essa associação destacada para o sexo masculino. A associação se manteve significativa mesmo após o controle de outras variáveis consideradas fatores de risco, como associação a pares desviantes, supervisão e disciplina parental severa, uso de substâncias pelos genitores, profissão, idade e escolaridade dos pais.

A relação entre bullying e passagens pela justiça também foi alvo do estudo de Piquero et al. (2012), sendo, porém, examinada em grupos de pessoas do sexo masculino que apresentavam trajetórias distintas de conduta criminal. Em síntese, os resultados mostraram associação do bullying com algumas trajetórias infracionais, porém o efeito se tornou insignificante mediante a inclusão, na análise, de fatores de risco na infância. Os autores sublinharam, todavia, que a amostra de participantes foi reduzida e pode ter interferido no resultado.

A pesquisa de Bender e Lösel (2011), por sua vez, demonstrou que o bullying prediz crimes violentos e agressão na idade adulta para homens. Essa relação se manteve mesmo após o controle de variáveis de risco familiar e de apresentação de problemas internalizantes e externalizantes.

Discussão

A quantidade de estudos abarcados na presente revisão pode ser considerada pequena e refere-se, predominantemente, a uma produção recente, evidenciando relativa escassez de estudos longitudinais dedicados ao estudo das associações entre bullying e conduta infracional na adolescência e/ou criminal na idade adulta. Isso talvez possa ser justificado, por um lado, em função de o bullying constituir um objeto de estudo que passou a ser extensivamente pesquisado pela comunidade científica internacional há apenas algumas décadas, mais precisamente a partir de meados de 1980, na Europa, e no início da década de 1990 nos Estados Unidos (Olweus, 2013). No Brasil, as primeiras produções começaram a surgir no final da década de 1980, tendo maior impulso a partir dos anos 2000 (Fante, 2005). Por outro lado, o longo tempo requerido pelos estudos longitudinais, assim como o custo elevado geralmente envolvido nesse tipo de investigação, pode representar outro fator em razão do qual não há uma quantidade maior de estudos publicados.

Os resultados dos artigos revisados indicaram que, dos 13 artigos analisados, 12 identificaram associação estatisticamente significativa entre bullying e cometimento de atos contrários à lei por adolescentes e adultos, corroborando resultados de outras pesquisas desenvolvidas com delineamentos diferentes, especialmente transversais (Hinduja & Patchin, 2007; Wei, Jonson-Reid, &Tsao, 2007; Zaine et al., 2009). Em contraposição, o estudo de White e Loeber (2008) não localizou nenhuma associação significativa entre as problemáticas e, nas investigações Farrington e Ttofi (2011) e Hemphill et al. (2011), os efeitos desapareceram após o controle de outras variáveis de risco associadas ao cometimento de atos infracionais na adolescência.

Destaca-se que todos os estudos analisados foram desenvolvidos com participantes do sexo masculino, sendo que alguns incluíram também participantes do sexo feminino. O conjunto de resultados concernindo às mulheres também apresenta certo grau de incoerência: alguns indicam associações significativas entre o bullying escolar e a delinquência juvenil (Barker et al., 2008; Jiang et al., 2011; Luukkonen et al., 2011), enquanto outro denota inexistência de qualquer associação (Sourander et al., 2007).

Diferenças entre os sexos também são identificadas por outras pesquisas como um fator de risco independente por exercer efeitos distintos em relação às consequências do bullying, considerando-se que as agressões praticadas por meninos e por meninas tendem a ser qualitativamente diferentes (Archer, 2004). Os meninos geralmente se envolvem mais em agressões de natureza direta e física, ao passo que as meninas frequentemente praticam agressões indiretas de natureza verbal ou psicológica (insultos, fofocas, exclusão social, etc.), que são mais difíceis de serem identificadas pelas autoridades escolares, sendo, porém, não menos intensas ou prejudiciais (Nesdale & Pickering, 2006). Como as respostas à intimidação são igualmente moduladas por questões relacionadas ao sexo dos envolvidos, depreende-se a necessidade do desenvolvimento de uma compreensão matizada das consequências acarretadas pelo bullying para meninos e meninas, especialmente no tocante à conduta infracional, que também apresenta nuances referentes à sua gênese e desenvolvimento para homens e mulheres (Agnew & Broidy, 1997).

Outro aspecto a ser destacado, com base na revisão realizada, refere-se ao dado de os agressores em situação de bullying escolar apresentarem maior probabilidade de envolvimento infracional em comparação àqueles que assumiram preponderantemente um papel de vítima e/ou de testemunha. Esses achados sugerem a existência de uma trajetória de manifestação de problemas de comportamentos agressivos e divergentes, na qual o bullying, bem como outros possíveis problemas de comportamento externalizantes, precede a delinquência (LeBlanc, 2010). Uma explicação possível para a persistência de comportamentos divergentes ao longo do tempo, ainda que esses sofram alterações na forma de expressão, na linha do proposto por Olweus (2013), refere-se a um provável padrão de personalidade, que predispõe os agressores à manifestação de desajustes psicossociais variados, dentre os quais se inclui o bullying e a conduta contrária à lei. Outra possível explicação, de natureza mais social, refere-se à possibilidade de rejeição dos agressores pelos pares com conduta convencional, o que aumenta a probabilidade de eles se associarem a outros jovens com histórico similar, o que favorece a continuidade das agressões por influência mútua (Weerman, 2011).

Sublinha-se que algumas produções demonstraram o bullying predizendo significativamente a conduta infracional, de modo independente, após o controle de fatores de risco preditores tanto do bullying quanto da delinquência e da criminalidade adulta (Bender & Lösel, 2011; Bijleveld et al., 2011; Jiang et al., 2011; Luukkonen et al., 2011; Renda et al., 2011; Sourander et al., 2011). Isso reforça a indicação de que o bullying não apresenta natureza inofensiva, não podendo ser interpretado como um ritual de passagem da infância para a adolescência ou como brincadeiras típicas da idade (Szymansky et al., 2008).

Portanto, a delimitação da influência exercida especificamente pelo bullying à conduta infracional é importante e o destaca como um problema sério que, por si só, atrela-se a consequências negativas a curto e a longo prazo aos sujeitos nele envolvidos. Dessa forma, abrangem-se diferentes problemas psicossociais, sendo a conduta infracional um deles (Farrington, Losel, Ttofi, & Theodorakis, 2012).

Sublinha-se que um dos pontos fortes dos estudos analisados é a variedade de realidades socioculturais abarcadas, denotando a prevalência significativa do bullying em diferentes sociedades, o que o caracteriza como um fenômeno universal nas instituições escolares, assim como as associações identificadas, conforme indicado pela literatura (Harel-Fisch et al., 2010). Além disso, a maioria das investigações trabalhou com grandes amostras compostas por participantes do sexo masculino e feminino (Sourander et al., 2007; Barker et al., 2008; Bijleveld et al., 2011; Hemphill et al., 2011; Jiang et al., 2011; Olweus, 2011; Renda et al., 2011; Sourander et al., 2011), sendo algumas delas representativas (Barker et al., 2008; Olweus, 2011; Sourander et al., 2007; Sourander et al., 2011), o que assegura maior possibilidade de generalização dos resultados obtidos. Outro aspecto positivo a destacar se refere ao tratamento dos dados e à robustez das análises estatísticas realizadas, que oportunizaram uma análise minuciosa da significância, magnitude, variação das associações e tamanho de efeito das variáveis investigadas, dados que foram apresentados detalhadamente nos artigos.

De igual modo, denota-se convergência conceitual apresentada pelos estudos no tocante à definição de bullying, o que representa outro ponto positivo a ser considerado, porquanto uma definição mais precisa evita vieses nos instrumentos de medida, no fornecimento de informações pelos sujeitos das pesquisas acerca do fenômeno em estudo e na compreensão dessas (Ttofi & Farrington, 2012). Embora nem todos os artigos tenham fornecido uma definição explícita (Barker et al., 2008; Bijleveld et al., 2011; Farrington & Ttofi, 2011; Jiang et al., 2011; Piquero et al., 2010; Renda et al., 2011; White & Loeber, 2008), pode-se verificar que as características que enunciavam na descrição do bullying compatibilizavam-se com a proposta de Olweus (1993), definição amplamente difundida, aceita pela comunidade científica internacional e adotada pela American Psychological Association (APA, 2004).

Apesar dos diversos pontos fortes identificados, existem algumas limitações nos estudos revisados, que não podem ser desconsideradas. A primeira delas diz respeito à ausência de referenciais teóricos respaldando a discussão dos resultados obtidos. Assim, mesmo diante da associação identificada entre as variáveis estudadas, prevalece uma discussão mais geral e, em certa medida, superficial por se basear apenas na comparação com dados de outros estudos presentes na literatura. Como segunda limitação, cita-se o método de coleta de dados baseado em autorrelato, adotado em algumas pesquisas (Barker et al., 2008; Bender & Lösel, 2011; Farrington & Ttofi, 2011; Jiang et al., 2011; Renda et al., 2011; White & Loeber, 2012). Embora estudos baseados em autorrelatos sobre delitos e crimes tendam a ser confiáveis e, muitas vezes, forneçam maior quantidade de informações em comparação àquelas que se pode obter junto a registros oficiais, em algumas situações, podem restringir a precisão dos resultados, especialmente quando os dados são coletados com participantes que se caracterizam por apresentarem conduta infracional séria, pois podem ser relutantes em divulgar as infrações que cometeram (Sourander et al., 2011).

Outra limitação identificada se relaciona aos instrumentos utilizados para a mensuração das variáveis, especificamente em dois estudos procedentes do mesmo projeto longitudinal iniciado no ano de 1953 na Inglaterra (Farrington & Ttofi, 2011; Piquero et al., 2012). À época da coleta dos dados referentes à escolarização dos sujeitos pesquisados, não existiam instrumentos próprios para o levantamento de informações sobre bullying, considerando-se que os estudos pioneiros nessa temática iniciaram-se posteriormente, no início da década de 1970 por Olweus na Suécia (Olweus, 1993, 2013). Nesse caso, as medidas foram indiretas, o que pode implicar em viés no poder preditivo da variável estudada.

Considerações Finais

Os resultados da maioria dos estudos revisados verificaram a associação significativa entre o bullying e a delinquência juvenil e/ou a criminalidade adulta. Em alguns deles, a associação permaneceu significativa após o controle de outros fatores de risco na infância. Nestes casos, especificamente, o bullying pode ser considerado um fator de risco independente ou um preditor, o que não significa que per si ele cause a conduta infracional. A manifestação e a manutenção de conduta contrária à lei certamente se apoia em diversos fatores de risco de natureza pessoal e social, incluindo a ausência de aspectos que poderiam representar proteção a esses riscos (Silveira, Maruschi, & Bazon, 2012). Desse modo, pesquisas futuras podem se dedicar à identificação de fatores de proteção que atenuem ou impeçam os resultados negativos do bullying referentes à conduta infracional, questão que ainda permanece sem resposta (Ttofi & Farrington, 2012).

A identificação das consequências negativas acarretadas pelo bullying ao desenvolvimento e sua contribuição para a conduta infracional e criminal - além do impacto de natureza emocional e social que produz para os diferentes envolvidos, não só como agressores, mas como vítimas e testemunhas - reforça a necessidade de se enfrentar e prevenir esse problema nas escolas. O conhecimento de um fator de risco específico relacionado tanto à delinquência juvenil quando à criminalidade adulta é de suma importância para o enfrentamento dessas duas problemáticas nos seus estágios iniciais de desenvolvimento, de modo a evitar que se agravem com o passar do tempo. Deve-se cogitar que, para alguns adolescentes, a participação como agressor nas situações de bullying pode constituir-se em manifestação de comportamento delituoso, até porque alguns dos comportamentos típicos do bullying, como a extorsão, por exemplo, são passíveis de tipificação enquanto infrações da lei. Nesse quadro, bullying e delinquência seriam expressões da mesma problemática em curso. Para outros adolescentes, contudo, a participação no bullying certamente se constitui em fator de risco ao desenvolvimento saudável, de forma geral, e à delinquência, de forma específica. No tocante à delinquência especificamente, é possível que o impacto do bullying seja mediado pela fragilização do vínculo escolar e, provavelmente, pela naturalização da violência que tal experiência gera (Silva, Cianflone, & Bazon, 2016). Esse tipo de reflexão merece que pesquisas mais apuradas sejam realizadas, mas já oferece pistas para o delineamento mais consistente de estratégias de intervenção e de prevenção da intimidação entre pares no ambiente escolar.

Não obstante, identifica-se como uma limitação desta revisão a inclusão de dois estudos com amostras clínicas, referentes a participantes recrutados em serviços de saúde mental (Luukkonen et al., 2011; Sourander et al., 2007), os quais não permitem que os seus resultados possam ser generalizados para a população em geral. Ainda que se reconheça que o ideal seria que todos os trabalhos fossem baseados em amostras da população geral, optou-se pela inclusão dos artigos mencionados com vistas a aumentar o alcance da revisão, uma vez que os referidos estudos analisaram as possíveis influências de transtornos psiquiátricos como mediadores da associação bullying-conduta infracional/criminal. Destaca-se que eles denotaram que a força das associações encontradas diminuía quando os transtornos eram considerados. Resta, porém, precisar se a psicopatologia se encontra na gênese ou representa uma consequência do bullying ou da conduta infracional. Assim, pesquisas futuras podem se dedicar ao estudo da sequência temporal e ordem causal entre bullying, conduta infracional e transtornos psiquiátricos.

Para finalizar, ressalta-se que, um dos pontos fortes desta revisão foi o fato de ter focalizado somente estudos de natureza longitudinal prospectiva, que permitem o acompanhamento dos sujeitos através de suas respectivas trajetórias de vida a partir de um ponto anterior ao aparecimento da conduta contrária à lei. A ordenação temporal decorrente da participação no bullying até os desfechos infracionais possibilitou, aos estudos analisados, a consideração de outras variáveis que igualmente poderiam se relacionar ao resultado esperado. Outro ponto forte a ser considerado consiste no fato de a busca e a seleção dos estudos terem sido realizadas por dois pesquisadores independentes, sem que se delimitasse um recorte temporal para a localização dos trabalhos. Ademais, a avaliação metodológica das produções recuperadas indicou que elas possuem qualidade suficiente para sustentar os resultados divulgados.

Referências

• Agnew, R., & Broidy, B. (1997). Gender and crime: a general strain theory perspective. The Journal of research in crime and delinquency, 34(3), 275-306.
• Archer, J. (2004). Sex differences in aggression in real-world settings: a meta-analytic review. Review of General Psychology, 8(2), 291-322.
• American Psychological Association. (2004). APA Resolution on Bullying Among Children and Youth. Retrieved from https://www.apa.org/about/policy/bullying.pdf
  » https://www.apa.org/about/policy/bullying.pdf
• Barker, E. D., Arseneault, L., Brendgen, M., Fontaine, N., & Maughan, B. (2008). Joint development of bullying and victimization in adolescence: Relations to delinquency and self-harm. Journal of the American Academy of Child & Adolescent Psychiatry, 47(9), 1030-1038.
• Basile, K. C., Espelage, D. L., Rivers, I., McMahon, P. M., & Simon, T. R. (2009). The theoretical and empirical links between bullying behavior and male sexual violence perpetration. Aggression and Violent Behavior, 14(5), 336-347.
• Bender, D., & Lösel, F. (2011). Bullying at school as a predictor of delinquency, violence and other anti-social behaviour in adulthood. Criminal Behaviour and Mental Health, 21(2), 99-106.
• Bender, K., Howard, M., Perron, B., & Jenson, J. M. (2010). Strong-arm bullying prior to incarceration among a sample of young offenders. Journal of the Society for Social Work and Research, 1(1), 1-13.
• Bijleveld, C., Van Der Geest, V., & Hendriks, J. (2011). Bullying and (re)offending: Results from three samples in the Netherlands. Criminal Behaviour and Mental Health, 21(2), 145-150.
• Brasil. (2013). Pesquisa Nacional de Saúde do Escolar. Retrieved from http://portalsaude.saude.gov.br/portalsaude/arquivos/pdf/2013/Jun/20/pense_2012_arquivo_web.pdf
  » http://portalsaude.saude.gov.br/portalsaude/arquivos/pdf/2013/Jun/20/pense_2012_arquivo_web.pdf
• Downs, S. H, & Black N. (1998). The feasibility of creating a checklist for the assessment of the methodological quality both of randomised and non-randomised studies of health care interventions. Journal of Epidemiology and Community Health, 52, 377-84.
• Eisenstein, E. (2005). Adolescência: definições, conceitos e critérios. Adolescência & Saúde, 2(2), 6-7.
• Fante, C. (2005). Fenômeno Bullying: Como prevenir a violência nas escolas e educar para a paz. Campinas: Verus.
• Farrington, D. P., & Ttofi, M. M. (2011). Bullying as a predictor of offending, violence and later life outcomes. Criminal Behaviour and Mental Health, 21(2), 90-98.
• Farrington, D. P., Losel, F., Ttofi, M. M., & Theodorakis, N. (2012). School bullying, depression and offending behaviour later in life: An updated systematic review of longitudinal studies. Stockholm: Swedish National Council for Crime Prevention.
• Feder, L. (2007). Bullying as a public health issue. International Journal of Offender Therapy and Comparative Criminology, 51(1), 491-494.
• Guttmannova, K., Szanyi, J. M., & Cali, M. (2008). Internalizing and externalizing behavior problem scores. Educational and Psychological Measurement, 68(4), 676-694.
• Hansen, T. B., Steenberg, L. M., Palic, S., & Elklit, A. (2012). A review of psychological factors related to bullying victimization in schools. Aggression and Violent Behavior, 17(4), 383-387.
• Harel-Fisch, Y., Walsh, S. D., Fogel-Grinvald, H., Amitai, G., Pickett, W., Molcho, M., ... Craig, W. (2010). Negative school perceptions and involvement in school bullying: A universal relationship across 40 countries. Journal of Adolescence, 34(4), 639-652.
• Hemphill, S. A., Kotevski, A., Herrenkohl, T. I., Bond, L., Kim,M. J., Toumbourou, J. W., & Catalano, R. F. (2011). Longitudinal consequences of adolescent bullying perpetration and victimization: A study of students in Victoria, Australia. Criminal Behaviour and Mental Health, 21, 107-116.
• Hinduja, S., & Patchin, J. W. (2007). Offline consequences of online victimization: School violence and delinquency. Journal of School Violence, 6(3), 89-112.
• Hinshaw, S. P. (1992). Externalizing behavior problems and academic underachievement in childhood and adolescence: Causal relationships and underlying mechanisms. Psychological Bulletin, 111(1), 127-155.
• Jiang, D., Walsh, M., & Augimeri, L. K. (2011). The linkage between childhood bullying behaviour and future offending. Criminal Behaviour and Mental Health, 21(2), 128-135.
• LeBlanc, M. (2003). Traité de criminologie empirique. Montreal: Université de Montréal Press.
• LeBlanc, M. (2010). Un paradigme développemental pour la criminologie: Développement et autorégulation de la conduite déviante. Criminologie, 43(2), 401-428.
• Luukkonen, A. H., Riala, K., Hakko, H., & Räsänen, P. (2011). Bullying behaviour and criminality: A population-based follow-up study of adolescent psychiatric inpatients in Northern Finland. Forensic Science International, 207(1-3), 106-110.
• Magklara, K., Skapinakis, P., Gkatsa, T., Bellos, S., Araya, R., Stylianidis, S., & Mavreas, V. (2012). Bullying behaviour in schools, socioeconomic position and psychiatric morbidity: A crosssectional study in late adolescents in Greece. Child and Adolescent Psychiatry and Mental Health, 6(8), 02-13.
• Mun, E. Y., Windle, M., & Schainker, L. M. (2008). A model-based cluster analysis approach to adolescent problem behaviors and young adult outcomes. Development and Psychopathology, 20(1), 291-318.
• Nesdale, D., & Pickering, K. (2006). Teachers' reactions to children's aggression. Social Development, 15(1), 109-127.
• Noronha, D. P., & Ferreira, S. M. S. P. (2000). Revisões de Literatura. In B. S. Campello, B. V. Condón & J. M. Kremer (Eds.), Fontes de informação para pesquisadores e profissionais (pp. 191-198). Belo Horizonte: Editora UFMG.
• Olweus, D. (1993). Bullying at school. Cambrigde: Blackwell.
• Olweus, D. (2011). Bullying at school and later criminality: Findings from three Swedish community samples of males. Criminal Behaviour and Mental Health, 21(2), 151-156.
• Olweus, D. (2013). School bullying: Development and some important challenges. Annual Review of Clinical Psychology, 9, 751-780.
• Piquero, A. R., Connell, N. M., Piquero, N. L., Farrington, D. P., & Jennings, W. G. (2013). Does adolescent bullying distinguish between male offending trajectories in late middle age? Journal of Youth and Adolescence, 42, 444-453.
• Renda, J., Vassallo, S., & Edwards, B. (2011). Bullying in early adolescence and its association with anti-social behaviour, criminality and violence 6 and 10 years later. Criminal Behaviour and Mental Health, 21(2), 117-127.
• Rothon, C., Head, J., Klineberg, E., & Stansfeld, S. (2011). Can social support protect bullied adolescents from adverse outcomes? A prospective study on the effects of bullying on the educational achievement and mental health of adolescents at secondary schools in East London. Journal of Adolescence, 34(1), 579-588.
• Sampson, R. (2009). Bullying in schools. New York, NY: Center for Problem-Oriented Policing.
• Silva, J. L, Cianflone, A. R. L, & Bazon, M. R. (2016). School bonding of adolescent offenders. Paidéia (Ribeirão Preto), 26(63), 91-100.
• Silva, J. L., Oliveira, W. A., Bazon, M. R., & Cecilio, S. (2013). Bullying na sala de aula: percepção e intervenção de professores. Arquivos Brasileiros de Psicologia, 65(1),121-137.
• Silveira, M. A. S., Maruschi, M. C., & Bazon, M. R. (2012). Risk and protection for adolescents engaged in practices of offensive conduct. Revista Brasileira de Crescimento e Desenvolvimento Humano, 22(3), 348-357.
• Sourander, A., Jensen, P., Rönning, J. A., Elonheimo, H., Niemelä, S., Helenius, H., ... Almqvist, F. (2007). Childhood bullies and victims and their risk of criminality in late adolescence: The Finnish from a boy to a man study. Archives of Pediatrics and Adolescent Medicine, 161(6), 546-552.
• Sourander, A., Klomek, A., Kumpulainen, K., Puustjärvi, A., Elonheimo, H., Ristkari, T., ... Ronning, J. (2011). Bullying at age eight and criminality in adulthood: Findings from the Finnish Nationwide 1981 Birth Cohort Study. Social Psychiatry and Psychiatric Epidemiology, 46(12), 1211-1219.
• Szymansky, M. L., Gonçalves, J. P., Damke, A. S., & Kliemann, M. P. (2008, Outubro). O bullying no contexto escolar: a omissão da escola (pp. 4311-4322). In VII Congresso Nacional de Educação da PUC-PR e III Congresso Ibero-Americano sobre violência nas escolas. Curitiba, PR: Champagnat.
• Ttofi, M. M., & Farrington, D. P. (2012). Risk and protective factors, longitudinal research and bullying prevention. New Directions for Youth Development, 133, 85-98.
• Unnever, J., & Cornell, D. G. (2003). Culture of bullying in middle school. Journal of School Violence, 2(2), 5-27.
• Weerman, F. M. (2011). Delinquent peers in context: a longitudinal network analysis of selection and influence effects. Criminology, 49(1), 253-286.
• Wei, H. S., Jonson-Reid, M., & Tsao, H. L. (2009). Bullying and victimization among Taiwanese 7th graders: A multi-method assessment. School Psychology International, 28(4), 479-500.
• White, N., & Loeber, R. (2008). Bullying and special education as predictors of serious delinquency. Journal of Research in Crime and Delinquency, 45(4), 380-397.
• Zaine, I., Reis, M. J. D., & Pandovani, R. C. (2010). Comportamentos de bullying e conflito com a lei. Estudos de Psicologia, 27(3), 375-382.

• 1
  Pesquisa financiada pela Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP). Processo n. 2011/04634-9

Datas de Publicação

• Publicação nesta coleção
  Jan-Mar 2016

Histórico

• Recebido
  21 Nov 2013
• Revisado
  14 Fev 2015
• Aceito
  06 Jul 2015