Acessibilidade / Reportar erro

Tradução e validação da versão portuguesa da Goal Orientation in Exercise Scale (GOESp)

Translation and validation of the portuguese version of Goal Orientation in Exercise Scale (GOESp)

Resumos

O objectivo deste estudo é a apresentação dos resultados da tradução e validação da versão Portuguesa da Goal Orientation in Exercise Scale (GOES), com recurso à análise factorial exploratória (AFE) e confirmatória (AFC), realizadas com dois grupos de praticantes de exercício em ginásios, de ambos os géneros e com idades entre os 15 e os 61 anos. Os resultados da AFE revelam uma estrutura factorial que explica 61% da variância dos resultados, pesos factoriais entre 0,63 e 0,86, e uma boa consistência interna (αEgo=0,91; αTarefa=0,74). No entanto, os resultados da AFC indicam que o modelo não se ajustou aos dados: S-Bχ²=154,59; gl=34; p=0,000; S-Bχ²/gl=4,55; SRMR=0,06; NNFI=0,87; CFI=0,90; RMSEA=0,10; 90% IC RMSEA=0,09-0,12, e só apresentou índices aceitáveis de ajustamento após a sua re-especificação, que conduziu à eliminação de um item. Assim, aconselha-se alguma prudência na sua utilização, e a realização de mais estudos sobre a sua validade.

Motivação; objectivos realização; avaliação psicológica; análise factorial


The purpose of this study is to present the results of the translation and validation of the Portuguese version of Goal Orientation in Exercise Scale (GOES) through exploratory (EFA) and confirmatory (CFA) factor analysis. The study was conducted with two groups of participants who exercise in fitness centers, both sexes, and aged between 15 and 61 years old. The EFA results reveal a factorial structure which explains 61% of results variance, with item factor loadings ranging from .63 to .86 and reasonable reliability (αEgo=.91; αTask=.74). However, the CFA results showed an inadequate model fit: S-Bχ²=154.59; df=34; p=.000; S-Bχ²/df=4.55; SRMR=.06; NNFI=.87; CFI=.90; RMSEA=.10; 90% IC RMSEA=.09-.12, and only presented acceptable fit after its respecification, which leads to an item elimination. Thus, we suggest some caution in its utilization and more research is required to clearly assess its validity.

Motivation; achievement goals; psychological assessment; factorial analysis


AVALIAÇÃO PSICOLÓGICA

Tradução e validação da versão portuguesa da Goal Orientation in Exercise Scale (GOESp)

Translation and validation of the portuguese version of Goal Orientation in Exercise Scale (GOESp)

Luis Cid I, II; José LeitãoII, III; José AlvesII, IV

IEscola Superior de Desporto de Rio Maior, Rio Maior, Portugal

IICentro de Investigação em Desporto, Saúde e Desenvolvimento Humano, Vila Real, Portugal

IIIUniversidade de Trás-os-Montes e Alto Douro, Vila Real, Portugal

IVInstituto Superior de Ciências da Saúde do Norte, Gandra, Portugal

Endereço para correspondência Endereço para correspondência: Escola Superior de Desporto de Rio Maior (ESDRM-IPS) Av. Dr. Mário Soares, Pavilhão Multiusos 02040-413, Rio Maior, Portugal E-mail: luiscid@esdrm.ipsantarem.pt

RESUMO

O objectivo deste estudo é a apresentação dos resultados da tradução e validação da versão Portuguesa da Goal Orientation in Exercise Scale (GOES), com recurso à análise factorial exploratória (AFE) e confirmatória (AFC), realizadas com dois grupos de praticantes de exercício em ginásios, de ambos os géneros e com idades entre os 15 e os 61 anos. Os resultados da AFE revelam uma estrutura factorial que explica 61% da variância dos resultados, pesos factoriais entre 0,63 e 0,86, e uma boa consistência interna (αEgo=0,91; αTarefa=0,74). No entanto, os resultados da AFC indicam que o modelo não se ajustou aos dados: S-Bχ2=154,59; gl=34; p=0,000; S-Bχ2/gl=4,55; SRMR=0,06; NNFI=0,87; CFI=0,90; RMSEA=0,10; 90% IC RMSEA=0,09-0,12, e só apresentou índices aceitáveis de ajustamento após a sua re-especificação, que conduziu à eliminação de um item. Assim, aconselha-se alguma prudência na sua utilização, e a realização de mais estudos sobre a sua validade.

Palavras-chave: Motivação, objectivos realização, avaliação psicológica, análise factorial.

ABSTRACT

The purpose of this study is to present the results of the translation and validation of the Portuguese version of Goal Orientation in Exercise Scale (GOES) through exploratory (EFA) and confirmatory (CFA) factor analysis. The study was conducted with two groups of participants who exercise in fitness centers, both sexes, and aged between 15 and 61 years old. The EFA results reveal a factorial structure which explains 61% of results variance, with item factor loadings ranging from .63 to .86 and reasonable reliability (αEgo=.91; αTask=.74). However, the CFA results showed an inadequate model fit: S-Bχ2=154.59; df=34; p=.000; S-Bχ2/df=4.55; SRMR=.06; NNFI=.87; CFI=.90; RMSEA=.10; 90% IC RMSEA=.09-.12, and only presented acceptable fit after its respecification, which leads to an item elimination. Thus, we suggest some caution in its utilization and more research is required to clearly assess its validity.

Keywords: Motivation, achievement goals, psychological assessment, factorial analysis.

A teoria dos objectivos de realização (Achievement Goal Theory [AGT], Nicholls, 1984, 1989), baseia-se na existência de dois grupos de objectivos de realização (i.e. orientação motivacional para a tarefa ou para o ego), que reflectem os critérios pelos quais os sujeitos avaliam a sua competência e definem o sucesso da sua participação numa determinada actividade. Este modelo teórico tem implicações práticas de extrema importância, uma vez que a forma como o sujeito orienta os seus objectivos vai ter um impacto significativo na motivação (i.e. direcção, intensidade e persistência do comportamento).

De acordo com vários autores (Biddle & Mutrie, 2001; Duda, 2001; G. Roberts, 2001), nesta abordagem assume-se que os indivíduos são organismos intencionais, orientados por objectivos e que operam de uma forma racional. Como tal, os objectivos de realização influenciam a atitude dos sujeitos (cognitiva e emocionalmente) e conduzem a tomada de decisão que orienta o comportamento que, em grande parte, determina os seus índicesmotivacionais. É através do julgamento subjectivo da realização que o sujeito define os critérios pelos quais avalia a sua competência e define o seu sucesso e/ou fracasso, sendo este facto determinante para o envolvimento do sujeito na actividade, uma vez que influencia directamente a sua motivação e tem repercussões significativas no seu comportamento futuro.

Segundo Duda (2001), as investigações decorrentes da aplicação da teoria dos objectivos de realização podem ajudar a prever as consequências positivas e/ou potencialmente negativas para a participação no desporto, relacionando a orientação motivacional do sujeito e o seu comportamento neste contexto específico. De acordo com vários autores (Biddle & Mutrie, 2001; Duda, 2001; Kilpatrick, Bartholomew, & Riemer, 2003; Kingston, Harwood, & Spray, 2006; Petherick & Markland, 2008; G. Roberts, 2001), os sujeitos podem orientar a sua motivação de duas formas (com repercussões diferenciadas em termos comportamentais): Tarefa - aqueles que se orientam para a tarefa focalizam a sua actuação na melhoria das suas competências pessoais e a sua percepção de competência é regida por critérios auto-referenciados. Normalmente, os sujeitos que se orientam mais para a tarefa, tendem a adoptar estratégias adaptativas do comportamento (e.g. esforçam-se mais, escolhem tarefas desafiadoras, são mais persistentes na busca dos seus objectivos); Ego - aqueles que se orientam para o ego focalizam a sua actuação no resultado que provém do seu envolvimento na actividade, sendo a sua percepção de competência resultante da comparação com os outros (i.e. por critérios normativos). Normalmente, esta forma de orientação motivacional, conduz a estratégias mal adaptativas do comportamento (e.g. menos empenho e persistência na realização, menor compromisso com a actividade, maior ansiedade na realização).

No entanto, ao contrário do que sucede no campo do desporto, a aplicabilidade da teoria dos objectivos de realização ao domínio do exercício é ainda muito escassa, e só recentemente recebeu uma atenção especial na literatura (e.g. Kilpatrick et al., 2003; Petherick & Markland, 2008), uma vez que a sua relevância no domínio do exercício ainda é um tema de debate entre investigadores (e.g. G. Roberts, 2001). As razões para que tal aconteça, podem-se condensar em dois aspectos fundamentais: por um lado, ainda se colocam questões teóricas, relacionadas com o facto de saber se é ou não pertinente a aplicação dos objectivos de realização (tarefa ou ego) num contexto de actividade física/exercício, onde não existe uma expressão explícita (directa) do factor competitivo e da demonstração de habilidade aos outros (Petherick & Markland, 2008); e por outro lado, em termos práticos, colocam-se problemas relacionados com a inexistência de instrumentos de medida válidos que permitam avaliar os objectivos de realização especificamente no domínio do exercício, o que contribuiu para diminuir a sua dimensão mais aplicada (Kilpatrick et al., 2003).

Para Kilpatrick et al. (2003), quer o contexto do desporto, quer o do exercício, possibilitam aos praticantes a oportunidade de avaliarem o seu sucesso e a sua competência, e como tal, é provável que o comportamento em ambos os contextos possa ser influenciado de forma consistente pela perspectiva da orientação dos objectivos de realização. Embora seja razoável assumir que a maioria das pessoas se envolvam no exercício físico com uma orientação predominante para a tarefa, não se pode excluir a hipótese de que as pessoas se envolvam neste contexto com uma orientação predominante para o ego, uma vez que o ser humano é compelido a fazer comparações com os outros e isto acontece naturalmente em diversos aspectos da vida dos sujeitos (ver Teoria da Comparação Social; Festinger, 1954). De acordo com Petherick e Markland (2008), a questão principal tem sido focalizada na relevância ou não dos objectivos de realização para a actividade física, que é um contexto onde a competição e a demonstração de habilidades físicas não se expressam directamente. No entanto, a investigação tem demonstrado que os praticantes de actividade física e exercício apresentam motivos para o seu envolvimento com a prática, que tanto podem reflectir os aspectos associados à melhoria pessoal (auto-referenciados), como os aspectos competitivos ou relacionados com o reconhecimento social (e.g. Markland & Ingledew, 1997). Por isso, na opinião de Kilpatrick et al. (2003), o grau pelo qual a orientação para o ego existe e tem um impacto significativo no comportamento no contexto do exercício, também é uma questão empírica, que pode ser encontrada na investigação relacionada com os motivos para a prática de exercício.

No entanto, a capacidade de testar esta questão empírica também depende do desenvolvimento de instrumentos de medida válidos para avaliar os objectivos de realização no contexto específico do exercício. E foi nesse sentido, que os autores desenvolveram a Goal Orientation Exercise Scale ([GOES], Kilpatrick et al., 2003), com base no Task and Ego Orientation in Sport Questionnaire ([TEOSQ], Duda & Nicholls, 1992), colmatando assim uma falha existente na literatura sobre esta matéria. Desta forma, o objectivo principal do presente estudo é a apresentação dos resultados da adaptação da versão Portuguesa da GOES, desde o processo de tradução até à determinação das suas qualidades psicométricas, através de uma análise factorial exploratória e confirmatória ao modelo de medida.

Metodologia

Participantes

Para a análise factorial exploratória, participaram 124 sujeitos (n=124), de ambos os géneros (79 femininos; 45 masculinos), com idades compreendidas entre os 18 e os 61 anos (M=30,4; DP=7,6), todos praticantes de exercício físico em ginásios ou health clubs de diversas actividade (23,3% musculação; 76.7% aulas de grupo - indoor cycling, step, aeróbica, ginástica localizada), com uma frequência de prática de 1 a 6 sessões por semana (M=2,8; DP=1,2), o que corresponde a uma média de 4,1±2,9 horas por semana (entre 1 e 13 horas). Todos os sujeitos tinham uma experiência de prática que variava entre 6 meses e 16 anos (M=3,3; DP=4,0).

Para a análise factorial confirmatória, participaram 338 sujeitos (n=338), de ambos os géneros (207 femininos; 131 masculinos), com idades compreendidas entre os 15 e os 55 anos (M=29,1; DP=7,8), todos praticantes de exercício físico em ginásios ou health clubs de diversas actividades (24,4 % musculação; 60,9 aulas de grupo - indoor cycling, step, aeróbica, ginástica localizada; 14,7 cardiofitness - combinação de exercícios em ergómetros com exercícios de musculação), com uma frequência de prática de 1 a 7 sessões por semana (M=3,2; DP=1,3), o que corresponde a uma média de 4,5±2,7 horas por semana (entre 1 e 14 horas). Todos os sujeitos tinham uma experiência de prática que variava entre 5 meses e 15 anos (M=4,5; DP=2,7).

Instrumento

A Goal Orientation Exercise Scale ([GOES], Kilpatrick et al., 2003), é um instrumento de medida constituído por 10 itens, aos quais se responde numa escala tipo Likert com 5 alternativas de resposta, que variam entre o "Discordo Totalmente" (1) e o "Concordo Totalmente" (5). Posteriormente os itens são agrupados em 2 dimensões (Tarefa e Ego), que representam as formas distintas de orientação motivacional do sujeito no contexto do exercício, de acordo com a teoria dos objectivos de realização.

Após o processo de tradução para a língua Portuguesa, procedimento que se descreverá em pormenor em seguida, o instrumento de medida passou a ser designado por GOESp (Questionário de Orientação Motivacional para o Exercício).

Procedimentos: Recolha dos Dados

Em primeiro lugar, foram informados os responsáveis administrativos dos ginásios sobre os propósitos do estudo a fim de se obter a permissão para recolher a informação junto dos praticantes. Estes foram abordados de forma aleatória pelos investigadores junto da área de recepção, antes da sessão de exercício e durante os dias da semana, sempre ao final do dia, uma vez que é neste horário que se concentram nos ginásios a maior parte dos praticantes. Após uma breve explicação sobre os objectives do estudo, o instrumento de avaliação foi aplicado de forma individual, sempre em condições semelhantes. Para tal, teve-se o cuidado de criar as condições adequadas para que os indivíduos não se sentissem estranhos com a situação e, ao mesmo tempo, pudessem estar concentrados durante o preenchimento do questionário (após a explicação dos objectivos os sujeitos eram convidados a preencher o questionário numa zona da recepção mais afastada do restante público). Todos os participantes que concordaram fazer parte do estudo, fizeram-no de forma voluntária e o consentimento informado foi obtido. Para além disso, convém ainda referir que, para garantir a confidencialidade dos dados recolhidos e assegurar que os mesmos não seriam, em momento algum, transmitidos individualmente a terceiros, todas as respostas foram efectuadas de forma anónima. O tempo de aplicação do questionário demorou aproximadamente 10 minutos.

Procedimentos: Tradução do Questionário

Para a tradução e adaptação do instrumento da língua original (Inglês) para a língua Portuguesa, foram adoptados procedimentos metodológicos similares aos sugeridos por Banville, Desrosiers e Genet-Volet (2000) e Vallerand (1989) para a tradução e validação transcultural de instrumentos de avaliação psicológica.

Assim, o processo de tradução foi realizado em cinco etapas, desde a tradução inicial até à versão final da GOESp:

1.Tradução Preliminar: esta primeira etapa foi efectuada pelos investigadores com o auxílio de 2 tradutores com formação superior em Inglês-Português da qual resultou a 1ª versão do questionário, da responsabilidade dos investigadores.

2.Primeiro Painel de Avaliação: a análise/avaliação da versão inicial foi realizada individualmente por um júri composto por 4 especialistas de diferentes áreas do conhecimento científico (1 Licenciado em Inglês-Português, 1 Psicólogo Clínico, 1 Psicólogo do Desporto, 1 Licenciado em Desporto). Das sugestões de alteração apresentadas, resultou a 2ª versão do questionário, da responsabilidade dos investigadores.

3.Segundo Painel de Avaliação: a 2ª versão do questionário foi outra vez submetida à análise/avaliação de um outro júri (diferente da fase anterior), igualmente composto por 4 especialistas nas áreas do conhecimento (1 Licenciado em Inglês-Português, 2 Psicólogos do Desporto, 1 Licenciado em Desporto). Esta fase foi de discussão colectiva, e só terminou quando houve concordância entre os especialistas e a opinião de todos os membros do júri foi unânime em relação ao conteúdo dos itens da nova versão do questionário (3ª versão).

4.Estudo Piloto: elaboração do primeiro layout do instrumento e aplicação da 3ª versão do questionário a 50 sujeitos (i.e. estudantes do ensino superior dos cursos de Psicologia do Desporto e do Exercício e de Condição Física e Saúde no Desporto), para análise e determinação das dificuldades de compreensão e interpretação do conteúdo dos seus itens. Desta fase, resultaram apenas pequenas alterações de sintaxe, que fizeram parte da 4ª versão do questionário.

5.Revisão Final: revisão do Português (aspectos de sintaxe - ortografia, gramática e construção frásica), realizada por 2 Licenciados em Ensino (Professores de Português) e elaboração do layout final do questionário (versão final).

Procedimentos: Análise Factorial Exploratória (AFE)

Em primeiro lugar, convém referir que o número de sujeitos utilizados no nosso estudo respeita o rácio de 10:1 (nº de sujeito por cada item do questionário), valor que é recomendado para a realização de uma análise factorial exploratória (Hair, Black, Babin, Anderson, & Tatham, 2006; M. Hill & Hill, 2000; Kahn, 2006; Worthington & Whittaker, 2006).

A estrutura factorial da GOESp foi examinada através da AFE, utilizando o método de extracção das componentes principais, seguido da rotação ortogonal dos factores (Varimax Rotation), para que se possa obter uma solução factorial mais clara e objectiva, maximizando assim os pesos factoriais dos itens (Brown, 2006). Seguindo as orientações de autores como Blunch, 2008; Brown, 2006; Hair et al., 2006; Henson e J. Roberts, 2006; Kahn, 2006; Preacher e MacCallum, 2003; e Worthington e Whittaker, 2006, utilizou-se os seguintes critérios de determinação dos factores: (a) Critério de Kaiser: Factores com valor próprio igual ou superior a 1; (b) Peso factorial dos itens igual ou superior a 0,5; (c) Inexistência de itens com pesos factoriais com alguma relevância (> 0,30) em mais do que um factor. Se isso acontecer e se a diferença entre eles não for significativa (< 0,15), o item deve ser eliminado; (d) A percentagem da variância explicada pelos factores retidos deve ser no mínimo de pelo menos 40%; (e) A consistência interna do factor deve ser igual ou superior a 0,70; (f) A consistência interna do factor não deve aumentar se o item for eliminado; (g) Só devem ser retidos os factores com pelo menos 3 itens.

Procedimentos: Análise Factorial Confirmatória (AFC)

Em primeiro lugar, queremos fazer uma referência ao número de participantes necessários para esta face da validação do instrumento. De acordo com vários autores (Hair et al., 2006; Kahn, 2006; Kline, 2005; Worthington & Whittaker, 2006), o rácio recomendado é de 10:1 (nº de sujeito por cada parâmetro a ser estimado no modelo - e não por item do questionário como é usualmente proposto para a AFE), embora também poderá ser equacionado um ratio de 15:1, que é geralmente aceite para minimizar o problema da distribuição não normal dos dados (Hair et al., 2006).

O método de estimação utilizado foi o da máxima verosimilhança (i.e. ML: Maximum Likeliood) que assume que os dados têm uma distribuição normal multivariada (Kahn, 2006; Kline, 2005). O que não acontece no presente estudo. Desta forma, e seguindo as sugestões de Bentler (2007), Byrne (1994) e Hu e Bentler (1999), foi utilizádo o teste estatístico robusto do quiquadrado, o chamado Satorra-Bentler χ2 (S-B χ2) [ver Satorra & Bentler, 1994], que é corrigido para a não normalidade da distribuição dos dados, e produz resultados mais satisfatórios (Chou & Bentler, 1995).

Para além do teste S-B χ2, os respectivos graus de liberdade (gl) e o nível de significância (p), autores como Bentler, 2007; Brown, 2006; Byrne, 2001; Hair et al., 2006; Kahn, 2006; Kline, 2005; Worthington e Whittaker, 2006 recomendam também a utilização dos seguintes índices de ajustamento: Standardized Root Mean Square Residual (SRMR), Comparative Fit Index (CFI), Non-Normed Fit Index (NNFI), Root Mean Square Error of Approximation (RMSEA) e o respectivo intervalo de confiança (90% CI). No presente estudo, para os índices referidos, foram adoptados os valores de corte sugeridos por Hu e Bentler (1999): SRMR < 0,08, CFI e NNFI > 0,95 e RMSEA < 0,06.

Por último, convém ainda referir que a AFC foi realizada com o recurso ao software de análise de equações estruturais EQS 6.1 (Bentler, 2002).

Resultados e Discussão

Análise da Fiabilidade Temporal

A fiabilidade temporal foi feita através de uma análise teste-reteste (coeficiente de correlação r de Pearson) baseada na aplicação do instrumento ao mesmo sujeito em dois momentos distintos no tempo (ver Tabela 1). Embora não seja consensual, o tempo que medeia as aplicações pode variar entre 1 e 4 semanas (M. Hill & Hill, 2000; Moreira, 2004; Nideffer & Sagal, 2001), tendo no presente estudo sido utilizadas 4 semanas de intervalo entre as aplicações. Por outro lado, para examinar a fiabilidade temporal, sugere-se a utilização de pelo menos 30 sujeitos (M. Hill & Hill, 2000; Maroco, 2007; Pestana & Gageiro, 2005), pelo que, participaram nesta análise 30 sujeitos (n=30), de ambos os géneros (19 femininos, 11 masculinos), todos alunos do ensino superior de cursos de Desporto, com experiência de prática de actividade física não competitiva.

Como podemos observar na Tabela 2, as correlações das respostas dadas aos itens entre a primeira e a segunda aplicação variam entre 0,73 (item 3) e 0,95 (item 2). Segundo M. Hill e Hill (2000), Maroco (2007) e Pestana e Gageiro (2005), podemos considerar que as correlações encontradas são altas (valores entre 0,70 e 0,89: itens 1, 3, 4, 5, 7, 9) e muito altas (valores acima de 0,89: itens 2, 6, 8, 10), o que nos leva a concluir que a GOESp possui um elevado grau de fiabilidade temporal.

Análise Factorial Exploratória

Em primeiro lugar, a medida de adequação da amostra (teste KMO=0,78) indica que a análise de componentes principais pode ser realizada e o teste de esfericidade significativo diz-nos que as variáveis são correlacionáveis (M. Hill & Hill, 2000; Maroco, 2007; Pestana & Gageiro, 2005; Worthington & Whittaker, 2006).

Na Tabela 2 são apresentados os resultados relativos à solução inicial da estrutura do questionário que foram encontrados com o recurso à AFE, onde são indicados apenas os pesos factoriais relevantes e considerados como valor mínimo para poderem ser interpretados ([0,30]; Hair et al., 2006; Kahn, 2006; Tabachnick & Fidell, 1989; Worthington & Whittaker, 2006).

A solução inicial preconizada pela AFE, apresenta uma estrutura concordante com o modelo original ([GOES], Kilpatrick et al., 2003), uma vez que o agrupamento dos itens indica uma estrutura de 2 factores com valores próprios acima de um: Factor 1 (Ego - Itens 2, 3, 6, 8, 10); Factor 2 (Tarefa - Itens 1, 4, 5, 7, 9), que justificam no seu conjunto 61,1% da variância total dos resultados.

Relativamente aos resultados das comunalidades, Hair et al. (2006) aconselham os investigadores à sua análise numa perspectiva de verificar se os itens atingem ou não níveis aceitáveis (0,50). No entanto, segundo Worthington e Whittaker (2006) a hipótese de eliminação dos itens só deve ser considerada com valores abaixo de 0,40, o que não acontece em nenhum dos itens do questionário.

No que respeita aos pesos factoriais dos itens nos respectivos factores, todos apresentam valores acima do critério estabelecido (0,50), ou seja, factor 1 (Ego) entre 0,82 e 0,88, e factor 2 (Tarefa) entre 0,63 e 0,79, o que é considerado de muito bom a excelente (Tabachnick & Fidell, 1989). Por outro lado, ao analisar a fiabilidade do questionário, verificamos que o alfa de Cronbach apresenta valores de consistência interna que podemos considerar de aceitáveis nos 2 factores (Hair et al., 2006; M. Hill & Hill, 2000; Pestana & Gageiro, 2005): factor 1 (Ego) α=0,91 (excelente) e factor 2 (Tarefa) α=0,74 (razoável). Para além disso, verificou-se ainda que nenhum dos itens aumentava a consistência interna do respectivo factor caso fosse eliminado.

Assim, face aos resultados acabados de referir podemos afirmar que a tradução do questionário para a língua Portuguesa possui qualidades psicométricas iniciais bastante razoáveis. No entanto, é necessário que a estrutura do modelo seja confirmada através da aplicação de técnicas estatísticas que são mais robustas e requerem fortes fundamentos conceptuais para orientar as especificações do modelo. Estamos a falar da análise factorial confirmatória, cujos resultados apresentamos de seguida.

Análise Factorial Confirmatória (AFC)

Analisando o coeficiente de Mardia (ver Mardia, 1970), verificou-se que os dados não tinham uma distribuição normal (kurtosis multivariada=34,11; valor normalizado= 17,90), uma vez que o valor do coeficiente de Mardia normalidado é superior a 5,0 (Byrne, 2006), pelo que foram equacionadas medidas correctivas, utilizando-se o qui-quadrado corrigido (Satorra-Bentler χ2: S-B χ2).

Como podemos verificar na Tabela 3, para os valores de corte adoptados (Hu & Bentler, 1999), os resultados obtidos não permitem afirmar que o modelo de dois factores com 10 itens da GOESp (modelo 1) se ajusta bem aos dados. Senão vejamos:

Teste S-B χ2. Está associado a um valor de p significativo, o que quer dizer que existem diferenças entre as matrizes analisadas, e que as estimativas do modelo não reproduzem suficientemente as variâncias e covariâncias da amostra, ou seja, o modelo não se ajusta bem aos dados. Apesar das críticas que normalmente lhe são dirigidas não se pode ignorar o resultado deste teste Markland (2007) e como se pode observar na Tabela 3, nenhum dos modelos se ajusta por via do teste do qui-quadrado.

Ratio χ2/gl. Para reduzir a sensibilidade do teste do S-B χ2 ao tamanho da amostra e à complexidade do modelo, é comum que os investigadores dividam o seu valor pelos graus de liberdade (Kline, 2005). Embora ainda exista pouco acordo em relação ao seu valor para que se considere o modelo aceitável (Biddle, Markland, Gilbourne, Chatzisarantis, & Sparkes, 2001), normalmente valores abaixo de 3,0 são considerados indicadores de bom ajustamento do modelo aos dados (Arbuckle, 2006; Hair et al., 2006; Kline, 2005), o que não se verifica no caso do presente estudo (ratio χ2/gl=4,55).

SRMR. Os valores obtidos neste estudo (SRMR=0,06), indicam um bom ajustamento do modelo tendo em linha de conta os valores de corte adoptados (SRMR<0,080). No entanto, como veremos mais à frente, existem valores residuais muito altos entre algumas variáveis (itens).

NNFI e CFI. No presente estudo não foram atingidos os valores de corte adoptados (Hu & Bentler, 1999), pelo que podemos dizer que este modelo não se ajusta aos dados (NNFI=0,87; CFI=0,90).

RMSEA. Este indicador, expressa o grau de "erro" do modelo, avaliando assim a extensão pela qual se ajusta (ou não) aos dados (Brown, 2006). No caso do presente estudo o valor atingido não respeita os critérios adoptados (RMSEA<0,06).

Para além dos índices de ajustamento, os resultado indicam ainda uma correlação negativa não significativa (r=-0,031) entre os dois factores, assim como, uma consistência interna razoável em ambos os factores (factor Ego α=0,89; factor Tarefa α=0,69). Para além disso, como podemos observar na Tabela 4, os pesos factoriais estandardizados dos itens (todos estatisticamente significativos para um p<0,05), variam entre 0,74 e 0,82 (factor Ego) e entre 0,40 e 0,69 (factor Tarefa). Neste último factor, existem dois itens com pesos factoriais abaixo de 0,50 (item 7 - 0,40; item 9 - 0,46). No entanto, se tomarmos em consideração as recomendações de Hair et al. (2006) e Tabachnick e Fidel (1989), que consideram como justo um peso factorial acima de 0,45, podemos aceitar o valor do item 9. No entanto, o valor do item 7 já nos deixa algumas reservas. De facto, o baixo peso factorial do item 7 (0,40), indica um efeito directo baixo que a variável latente tem sobre o indicador observável, assim como, o valor do coeficiente de determinação (SMC=0,16) indica a pouca quantidade de variância que é explicada pelo item devido ao erro associado, ou seja, quanto maior for o erro maiores são as influencias de outras fontes para além daquelas que são indicadas (Kline, 2005).

Apesar do nosso modelo não se ajustar aos dados, não podemos deixar de concordar com Hair et al. (2006) quando afirmam que, para além do objectivo principal da AFC ser o de fornecer respostas sobre o ajustamento do modelo (i.e. se é ou não válido), este processo de avaliação também pode fornecer informações adicionais para a sua modificação, com vista à resolução de problemas ou do seu melhoramento. Por isso, partindo do pressuposto de que raramente a análise de modelos de equações estruturais envolve a estimação de um único modelo, sendo comum o recurso à estratégia de modelos alternativos, principalmente quando o processo de estimação revela falhas no modelo principal (Hoyle & Panter, 1995), procuram-se possíveis soluções. Para tal, é sugerido por alguns autores (e.g. Byrne, 1994, 2001; Chou & Bentler, 1995; Hoyle, 1995; Worthington & Whittaker, 2006), a análise dos valores residuais que resultam do ajustamento do modelo aos dados e a análise do Lagrange Multiplier Test (LM) e do Wald Test (W). As análises efectuadas conduziram a duas situações distintas: (a) à eliminação do item 7 do factor 2 (Tarefa), por se observarem valores residuais muito altos com outras variáveis (e.g. Item 6 e 8, ambos do factor 1) e porque o teste LM e o teste W sugerem a possibilidade de existir uma forte relação (i.e. cross-loading) com o factor 1 (Ego). Para além disso, como já foi mencionado anteriormente, não podemos deixar de reforçar o facto do peso factorial baixo deste item também sugerir a sua eliminação (0,40); (b) à estimação da correlação entre os erros de medida 2 e 3 (ambos do factor Ego), uma vez que os valores residuais entre os itens 2 e 3 assim o sugerem.

De acordo com Hair et al. (2006), as modificações aos modelos devem ser realizadas após uma análise cuidada, sendo a mais comum a eliminação dos itens que não tem bons valores no que respeita à integridade do modelo. Por isso, optámos em primeiro lugar pela eliminação do item 7. No entanto, o ajustamento do modelo continua a não ser aceitável (ver modelo 2 na Tabela 3). Talvez o conteúdo do item 7 (i.e. versão Portuguesa: "Sinto que um exercício que aprendo, está correcto ou bem executado"; Versão Original: "An exercise skill I learn really feels right") esteja a ser compreendido pelos sujeitos como um elemento que não esteja a avaliar unicamente a orientação motivacional para o tarefa. De facto, já na fase de tradução (i.e. 2º painel de especialistas) este item tinha gerado alguma discussão no que se refere à sua composição final (especialmente no que se refere à introdução ou não do termo "skill" como "exercício" e não como "habilidade"). Inclusivamente, na fase do estudo piloto (na qual o questionário foi aplicado a 50 sujeitos), alguns indivíduos (6) levantaram algumas dúvidas sobre o significado do item, nomeadamente, no que se refere aos termos "aprendo" e "correcto", sendo na altura sugerido a introdução dos termos "fazer" ou "executar", pelo que optámos por introduzir também o termo "bem executado" (convém não esquecer que todos os itens são precedidos da seguinte afirmação: "Ao praticar exercício, sinto-me melhor sucedido(a) quando...").

Relativamente à decisão de se estimar a correlação entre os erros de medida, podemos dizer que, estamos perfeitamente conscientes de que uma das regras básicas sobre a identificação de modelos é que os erros de medida não podem ser correlacionados (e.g. Blunch, 2008; Brown, 2006; Kline, 2005). Pelo que se desaconselha esta prática, especialmente se for só para conseguir aumentar os valores de ajustamento dos modelos (Markland, 2007; Marsh, Hau, & Wen, 2004). No entanto, ao estimar a correlação entre o erros de medida dos itens 2 e itens 3 (r=0,50) a solução tornou-se mais robusta (ver modelo 3 da Tabela 3). Tendo em linha de conta o conteúdo dos itens, e que ambos se referem ao critério normativo para avaliação da competência, julgamos que esta correlação pode ser justificada pela proximidade do seu valor semântico-lexical (i.e. item 2: "Consigo fazer melhor que os meus amigos"; item 3: "Os outros não conseguem fazer tão bem como eu"). Apesar desta solução já ser bastante aceitável, os valores de corte propostos por Hu e Bentler (1999), ainda não são atingidos em todos os índices de ajustamento. Por essa razão decidimos testar o modelo sem o item 7 e com os erros de medida dos itens 2 e 3 correlacionados (ver modelo 4 na Tabela 3).

Apesar de o modelo 4 ter sido a solução que melhor se ajustou aos dados, isso não faz com que as fragilidades detectadas anteriormente desapareçam. Por isso, não podemos ter outra alternativa senão a de considerar que o modelo falhou no ajustamento aos dados.

Assim, não se pode excluir a hipótese de explorar outras forma de avaliar os objectivos de realização no contexto do exercício. Aliás, de acordo com Petherick e Markland (2008) o GOES apresenta algumas limitações, pelo que desenvolveram um novo instrumento que, segundo estes autores, é mais robusto teórica e estatisticamente ([GOEM], Goal Orientation in Exercise Measure). De facto, Petherick e Markland (2008) argumentam o seguinte:

1. O GOES foi desenvolvido com base no TEOSQ (Duda & Nicholls, 1992), e este instrumento tem sido criticado com a fundamentação de que o factor Tarefa confunde a definição de orientação para a tarefa (i.e. percepção de competência auto-referenciada) com os seus correlatos (e.g. esforço, aprendizagem, divertimento). Este facto pode ser problemático porque, uma vez que teoricamente as duas formas de orientação dos objectivos são ortogonais (i.e. podem não estar correlacionadas), sugere que os sujeitos que se orientam para o Ego não experienciem tais resultados, o que é errado porque é muito provável que os sujeitos orientados para o Ego possam ter sensações de divertimento com a actividade desde que a sua concepção de realização seja alcançada (i.e. demonstração de habilidade). Numa situação similar, também é muito provável que, quer os sujeitos orientados para a Tarefa, quer para o Ego, possam responder de igual modo aos itens relacionados com o esforço (uma vez que ambos se esforçam por conseguir alcançar os seus objectivos de realização), o que pode reduzir a sensibilidade de diferenciação dos dois tipos de orientação. Por isso, tendo em linha de conta os problemas encontrados no item 7 da versão Portuguesa, esta pode ser uma das explicações para o sucedido.

2. Os autores do GOES não especificaram qual a frase que precede os itens do questionário, pelo que está implícito que utilizaram a frase do TEOSQ (i.e. "I feel most sucessful in sport when...") com as devidas adaptações ao exercício (esta foi a opção tomada no caso da versão Portuguesa). Desta forma, podese colocar em causa a relevância da aplicação do termo "sucesso" ao contexto do exercício, uma vez que originalmente implica a noção de vitória (i.e. ganhar), que é mais direccionada para situações de competição.

3. Apesar do autores do GOES sugerirem (pelas perguntas de caracterização que foram realizadas aos sujeitos) que apenas incluíram no estudo praticantes de exercício (i.e. aeróbico e musculção), esta situação não é clara, uma vez que ao perguntar aos sujeitos se o exercício praticado fazia parte de um treino para a competição, cerca de 30% respondeu que sim. Ora este facto pode suscitar confusões na avaliação dos objectivos de realização relacionados com o exercício. Para além disso, se olharmos com alguma atenção para a caracterização dos praticantes, verificamos que Kilpatrick et al. (2003) reportam os seguintes dados, que na nossa opinião, reflectem algumas incongruências relativamente ao contexto onde o GOES foi aplicado: 32% não tinha experiencia nenhuma de actividade física ou apenas praticavam actividade física recreativa, 36% participavam em actividade desportivas escolares (i.e. high school), 12% participavam em actividades físicas internas da faculdade (i.e. college) e 9% participavam em actividades desportivas interfaculdades (i.e. intercolle-giate). Convém referir que no nosso estudo participaram apenas praticantes de exercício em ginásios ou health clubs, o que delimita de forma clara o contexto de aplicação da versão Portuguesa do GOES.

4. Existem algumas inconsistências nos resultados estatísticos reportados por Kilpatrick et al. (2003), relacionados com a análise factorial confirmatória ao GOES. De facto, no resumo do artigo os autores reportam os seguintes valores: N=204; χ2/gl=2,2; GFI=0,98; AGFI=0,96; NFI= 0,96; NNFI=0,97; RMSEA=0,08. No entanto, na apresentação dos resultados são reportados outros valores, com algumas incongruências relativamente aos do resumo: N=197; χ2=75,78; gl=34; GFI=0,96; AGFI=0,98; NFI=0,96; NNFI=0,97; CFI=0,98; RMSEA=0,08; 90% IC RMSEA=0,06-0,10. Ora, como se pode observar, existem resultados contraditórios entre os resultados reportados no resumo e os reportados no corpo do artigo (i.e. GFI e AGFI), bem como, a introdução de um novo índice de ajustamento (i.e. CFI). Para além disso, o valor do RMSEA é mais elevado ao recomendado por Hu e Bentler (1999), embora possamos aceitar como suficientes valores até 0,08 (Hair, et al., 2006). No entanto, o 90% IC RMSEA deveria manter-se dentro desse limite também, o que não se verifica já que o seu limite superior é 0,10.

Em suma, as limitações ou inconsistência relacionadas com a validação do GOES que são referidas por Petherick e Markland (2008), podem ter tido algum efeito nas fragilidades encontradas na versão Portuguesa (GOESp) e que conduziram a que o modelo não se tivesse ajustado de forma aceitável aos nossos dados, pelo menos na sua estrutura completa (i.e. 2 factores, 10 itens), apesar de na fase exploratória não terem surgido quaisquer problemas. Na versão Espanhola do GOES (ver Murcia, Blanco, Galindo, Villodre, & Coll, 2006), também não surgiram problemas na validação preliminar do instrumento realizada com recurso à análise factorial exploratória (desconhecemos até à data se foi realizada algum estudo de confirmação do modelo da versão Espanhola).

Conclusões

Tendo em linha de conta que o principal objectivo deste estudo era a validação da versão Portuguesa (GOESp) da Goal Orientation in Exercise Scale ([GOES], Kilpatrick et al., 2003), podemos concluir que o modelo de dois factores, com cinco itens cada, não se ajusta aos dados. Apesar do mesmo ter evidenciado características psicométricas iniciais bastante promissoras (análise factorial exploratória), bem como, níveis de fiabilidade interna (alfa de Cronbach) e estabilidade temporal (teste-reteste) bastante aceitáveis, foram encontradas algumas fragilidades na confirmação da sua estrutura factorial (análise factorial confirmatória), pelo que o modelo só se ajustou aos dados quando se eliminou o item 7 e estimou a correlação entre os erros de medida dos itens 2 e 3. Desta forma, aconselha-se alguma prudência na utilização deste questionário para a avaliação dos objectivos de realização no contexto do exercício, pelo menos até que sejam realizados mais estudos que comprovem inequivocamente a sua validade de construto, não sendo de excluir a hipótese de explorar outros instrumentos de medida alternativos.

Recebido: 30/07/2010

1ª revisão: 07/07/2011

Aceite final: 13/07/2011

Anexo A

Versão Portuguesa (GOESp)

Goal Orientation in Exercise Scale ([GOES], Kilpatrick et al., 2003)

Neste questionário, pedimos que nos indique a sua opinião acerca do significado do sucesso na prática de actividade física/exercício. Lembre-se que não existem respostas certas ou erradas. O que realmente importa é que nos indique o que pensa, com a máxima sinceridade. As suas respostas serão confidenciais. Por favor, leia cuidadosamente o questionário e considerando os níveis indicados: 1 "Discordo Totalmente"; 2 "Discordo"; 3 "Não Concordo, Nem Discordo"; 4 "Concordo"; 5 "Concordo Totalmente", responda às seguintes afirmações, colocando um círculo em redor do número que melhor reflecte o seu grau de concordância acerca da mesma.

Ao praticar exercício, sinto-me melhor sucedido(a) quando...

1) aprendo algo e isso faz-me querer praticar mais.

2) consigo fazer melhor que os meus amigos.

3) os outros não conseguem fazer tão bem como eu.

4) aprendo um novo exercício, esforçando-me bastante.

5) a possibilidade de aprender, faz-me querer continuar e praticar mais.

6) sou o(a) melhor.

7) sinto que um exercício que aprendo, está correcto ou bem executado.

8) sou o(a) único(a) que consegue exercitar-se a um nível de intensidade elevada.

9) divirto-me enquanto aprendo.

10) os outros não têm um desempenho tão bom como o meu.

  • Arbuckle, J. (2006). AMOS 7.0. User guide Chicago, IL: SPSS.
  • Banville, D., Desrosiers, P., & Genet-Volet, Y. (2000). Translating questionnaires and inventories using a Cross-Cultural Translation Technique. Journal of Teaching in Physical Education, 19,374-387.
  • Bentler, P. (2002). EQS 6 Structural Equations Program Manual [Computer software]. Encino, CA: Multivariate Software.
  • Bentler, P. (2007). On tests and índices for evaluating structural models. Personality and Individual Differences, 42,825-829.
  • Biddle, S., Markland, D., Gilbourne, D., Chatzisarantis, N., & Sparkes, A. (2001). Research methods in sport and exercise psychology: Quantitative and qualitative issues. Journal of Sports Sciences, 19,777-809.
  • Biddle, S., & Mutrie, N. (2001). Psychology of Physical Activity: Determinants, well-being and interventions London: Routledge, Taylor & Francis Group.
  • Blunch, N. (2008). Introduction to Structural Equation Modelling using SPSS and AMOS London: Sage.
  • Brown, T. (2006). Confirmatory Factor Analysis for Applied Research New York: The Guiford Press.
  • Byrne, B. (1994). Structural equation modeling with EQS and EQS/Windows. Basic concepts, applications, and programming Thousand Oaks, CA: Sage.
  • Byrne, B. (2001). Structural equation modeling with AMOS. Basic concepts, applications and programming Mahwah, NJ: Lawrence Erlbaum.
  • Byrne, B. (2006). Structural equation modeling with EQS. Basic concepts, applications, and programming (2nd ed.). Mahwah, NJ: Lawrence Erlbaum.
  • Chou, C., & Bentler, P. (1995). Estimates and tests in structural equation modeling. In R. Hoyle (Ed.), Structural equation modeling. Concepts, issues, and applications (pp. 37-54). Thousand Oaks, CA: Sage.
  • Duda, J. (2001). Achievement goal research in sport: Pushing the boundaries and clarifying some misunderstandings. In G. Roberts (Ed.), Advances in motivation in sport and exercise (pp. 129-182). Champaign, IL: Human Kinetics.
  • Duda, J., & Nicholls, J. (1992). Dimensions of achievement motivation in schoolwork and sport. Journal of Educational Psychology, 84,290-299.
  • Festinger, L. (1954). A theory of social comparison processes. Human Relations, 7,117-140.
  • Hair, J., Black, W., Babin, B., Anderson, R., & Tatham, R. (2006). Multivariate Data Analysis (6th ed.). Upper Saddle River, NJ: Pearson Educational.
  • Henson, R., & Roberts, J. (2006). Use of exploratory factor analysis in published research. common erros and some comment on improved practice. Educational and Psychological Measurement, 66(3),393-416.
  • Hill, M., & Hill, A. (2000). Investigação por questionário Lisboa, Portugal: Edições Sílabo.
  • Hoyle, R. (1995). The Structural Equation Modeling Approach. Basic concepts and fundamental issues. In R. Hoyle (Ed.), Structural Equation Modeling Approach. Concepts, issues, and applications (pp. 1-15). Thousand Oaks, CA: Sage.
  • Hoyle, R., & Panter, A. (1995). Writing about structural equation medels. In R. Hoyle (Ed.), Structural Equation Modeling. Concepts, issues, and applications (pp. 158-176). Thousand Oaks, CA: Sage.
  • Hu, L., & Bentler, P. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling, 6(1),1-55.
  • Kahn, J. (2006). Factor analysis in Counseling Psychology. Research, trainning, and practice: Principles, advances and applications. The Counseling Psychologist, 34(5),684-718.
  • Kilpatrick, M., Bartholomew, J., & Riemer, H. (2003). The measurement of goal orientations in exercise. Journal of Sport Behavior 26(2),121-136.
  • Kingston, K., Harwood, C., & Spray, C. (2006). Contemporary approaches to motivation in sport. In S. Hanton & S. Mellalieu (Eds.), Literature reviews in Sport Psychology (pp. 159-197). New York: Nova Science.
  • Kline, R. (2005). Principles and practice of Structural Equation Modeling (2nd ed.). New York: The Guilford Press.
  • Mardia, K. (1970). Measures of multivariate skewness and kurtosis with applications. Biometrika, 57(3),519-530.
  • Markland, D. (2007). The golden rule is that there are no golden rules: A commentary on Paul Barrett's recommendations for reporting model fir in structural equation modelling. Personality and Individual Differences, 42,851-858.
  • Markland, D., & Ingledew, D. (1997). The measurement of exercise motives. Factorial validity and invariance across gender of a revised Exercise Motivation Inventory. British Journal of Health Psychology, 2,361-376.
  • Maroco, J. (2007). Análise estatística com utilização do SPSS (3. ed.). Lisboa, Portugal: Edições Sílabo.
  • Marsh, H., Hau, K., & Wen, Z. (2004). In search of golden rules: Comment on hypothesis-testing approaches to setting cutoff values for fit indexes and dangers in overgeneralizing Hu and Bentler's (1999) findings. Structural Equation Modeling, 11(3),320-341.
  • Moreira, J. (2004). Questionários: Teoria e prática Coimbra, Portugal: Livraria Almedina.
  • Murcia, J., Blanco, M., Galindo, C., Villodre, N., & Coll, D. (2006). Validación preliminar de la escala de percepción del clima motivacional de los iguales (CMI) y la escala de las orientaciones de meta en el ejercicio (GOES) con practicantes españoles de actividades físico-deportivas. Revista Iberoamericana de Psicología del Ejercicio y el Deporte, 1(2),13-28.
  • Nicholls, J. (1984). Achievement motivation: Conceptions of ability, subjective experience, task choice, and performance. Psychological Review, 91(3),328-346.
  • Nicholls, J. (1989). The competitive ethos and democratic education Cambridge, MA: Harvard University Press.
  • Nideffer, R., & Sagal, M. (2001). Assessment in Sport Psychology Morgantown,WV: Fitness Information Technology.
  • Pestana, M., & Gageiro, J. (2005). Análise de dados para Ciências Sociais. A complementaridade do SPSS Lisboa, Portugal: Edições Sílabo.
  • Petherick, C., & Markland, D. (2008). The development of a Goal Orientation in Exercise Measure (GOEM). Measurement in Physical Education and Exercise Science, 12,55-71.
  • Preacher, K., & MacCallum, R. (2003). Repairing Tom Swift's Electric Factor Analysis Machine. Understanding Statistics, 2(1),13-43.
  • Roberts, G. (2001). Understanding the dynamics of motivation in physical activity: The influence of achievement goals on motivational processes. In G. Roberts (Ed.), Advances in motivation in Sport and Exercise (pp. 1-50). Champaign, IL: Human Kinetics.
  • Satorra, A., & Bentler, P. (1994). Corrections to test statistics and standard errors in covariance structure analysis. In A. Eye & C. Clogg (Eds.), Latent variables analysis: Applications for development research Thousand Oaks, CA: Sage.
  • Tabachnick, B., & Fidell, L. (1989). Using Multivariate Statistics (2nd ed.). New York: HarperCollins.
  • Vallerand, R. (1989). Vers une méthodologie de validation transculturelle de questionnaires psychologiques: Implications pour la recherche en langue française. Canadian Psychology, 30(4),662-680.
  • Worthington, R., & Whittaker, T. (2006). Scale Development Research. A content analysis and recommendations for best practices. The Counseling Psychologist, 34(6),806-838.
  • Endereço para correspondência:

    Escola Superior de Desporto de Rio Maior (ESDRM-IPS)
    Av. Dr. Mário Soares, Pavilhão Multiusos
    02040-413, Rio Maior, Portugal
    E-mail:
  • Datas de Publicação

    • Publicação nesta coleção
      11 Out 2012
    • Data do Fascículo
      2012

    Histórico

    • Recebido
      30 Jul 2010
    • Aceito
      13 Jul 2011
    • Revisado
      07 Jul 2011
    Curso de Pós-Graduação em Psicologia da Universidade Federal do Rio Grande do Sul Rua Ramiro Barcelos, 2600 - sala 110, 90035-003 Porto Alegre RS - Brazil, Tel.: +55 51 3308-5691 - Porto Alegre - RS - Brazil
    E-mail: prc@springeropen.com