Estudo empírico dos antecedentes de medidas de impacto do treinamento no trabalho

An empirical study of the antecedents of training impact at work measures

Estudo empírico dos antecedentes de medidas de impacto do treinamento no trabalho¹

An empirical study of the antecedents of training impact at work measures

Ronaldo Pilati²; Jairo Eduardo Borges-Andrade

Universidade de Brasília

RESUMO

O foco dos pesquisadores no campo do Treinamento e Desenvolvimento (T&D) tem sido a mudança de comportamento no trabalho. O objetivo do presente estudo é comparar dois modelos de predição desta mudança, denominada, aqui, impacto do treinamento no trabalho. Participaram da pesquisa 426 ex-treinandos de quatro organizações. Foram utilizadas escalas validadas para a mensuração das variáveis de estudo e os dados obtidos foram submetidos a análises multivariadas. Os principais resultados apontaram uma diferença de predição entre impacto de treinamento em profundidade e impacto em largura. Além disso, uma variável situacional distal indicou uma relação preditiva com estes dois impactos, mediada por uma variável situacional proximal. Com base nesses resultados, argumenta-se que impactos em amplitude e em profundidade possuem preditores distintos, sendo facetas diferentes da mudança de comportamento no trabalho resultante de T&D.

Palavras-chave: treinamento e desenvolvimento; mudança de comportamento; transferência de treinamento; modelos de predição.

ABSTRACT

The focus of researchers in the Training and Development (T&D) field is behavior change at work. The objective of the present study is to compare two predictive models for this change, called here, training impact at work. The research participants were 426 ex-trainees from four organizations. Validated scales were used to measure the variables in this study and the collected data have been treated by multivariate analytical procedures. The main results have shown a difference in prediction between training impact in depth and impact in breadth. Furthermore, a distal situational variable showed a predictive relationship with these two impacts, mediated by a proximal situational variable. Based on these results, it is argued that training impacts in depth and in breadth have different predictors, being different facets of the behavior change at work resulting from T&D.

Key words: training and development; behavior change; transfer of training; prediction models.

A construção de modelos para a mensuração de resultados de treinamento tem sido foco de atenção das pesquisas na área de psicologia aplicada. Modelos influentes propõem uma classificação de níveis de avaliação de treinamento (Hamblin, 1978; Kirkpatrick, 1976). Outros modelos, inspirados nos iniciais, propuseram uma relação complexa entre múltiplas variáveis presentes na organização e as medidas de resultados de treinamento (Borges-Andrade, 1982; Goldstein, 1993). Esses modelos mais recentes compreendem o fenômeno de treinamento a partir de uma abordagem sistêmica, o que enriqueceu o estudo do treinamento nas organizações, bem como possibilitou a investigação de variáveis que podem influenciar o resultado do treinamento no trabalho dos treinandos.

Segundo o modelo de Hamblin (1978), existem cinco níveis para a mensuração de resultados do treinamento: reação, aprendizagem, comportamento no cargo, mudança na organização e valor final. Tradicionalmente, a pesquisa em psicologia aplicada à avaliação de treinamento estuda os níveis de reação, aprendizagem e comportamento no cargo (Abbad, Pilati & Pantoja, 2003). Mais recentemente, é que a abordagem multinível nos estudos de psicologia organizacional (Klein & Kozlowski, 2000) começa a influenciar as pesquisas visando o envolvimento de outros níveis de mensuração.

A mudança provocada pelo treinamento no nível de comportamento do treinando no cargo, ou no trabalho, é um tópico de relevância e interesse dos estudos, tendo em vista que a maioria dos modelos de investigação desenvolvidos passou a ter esse nível como principal variável critério (Abbad, 1999; Rodrigues, 2000; Roullier & Goldstein, 1993; Sallorenzo, 2000; Tanembaum, Mathieu, Salas & Cannon-Bowers, 1991). Borges-Andrade (2002) ressalta que houve um grande avanço no desenvolvimento de medidas de comportamento no cargo ou no trabalho, tendo vários estudos utilizado diversas formas de mensuração desse fenômeno. Para esse autor, a mensuração de comportamento no cargo ou no trabalho deve responder algumas perguntas como: (1) o que medir, (2) em que nível de complexidade, (3) como medir e (4) quem deve fornecer os dados. O presente estudo busca auxiliar na compreensão das duas primeiras questões norteadoras.

A mudança provocada no nível de comportamento no cargo poderia ser aferida pelo impacto do treinamento no trabalho. Segundo Hamblin (1978), esse construto seria composto por duas facetas, a primeira denominada de impacto em profundidade e a segunda de impacto em amplitude. A noção de impacto em amplitude corresponderia ao efeito provocado pelo treinamento em todas as competências exigidas para a execução das tarefas do cargo, de forma mais abrangente, e a noção de profundidade seria relativa, estritamente, à aplicação daquelas competências desenvolvidas em treinamento.

Abbad (1999) propõe uma reanálise do conceito de impacto do treinamento em amplitude, argumentando que essa noção teórica deveria ser atrelada à idéia de desempenho. Nessa linha de argumentação, propõe que o impacto do treinamento em amplitude seria o efeito do treinamento no desempenho produtivo do treinado, após o treinamento, no ambiente de trabalho. A autora propôs uma diferenciação teórica entre transferência e impacto. A transferência de aprendizagem, que ocorre entre a situação de treinamento e a situação de trabalho, seria menos abrangente do que o conceito de impacto e sinônimo de impacto em profundidade. Dessa forma, poder-se-ia argumentar que os conceitos de transferência e impacto possuem uma relação entre si, mas, ao mesmo tempo, analisam componentes diferenciados do que Hamblin (1978) definiu como mudança de comportamento no cargo. Assim, impacto do treinamento no trabalho é medido em termos da transferência de aprendizagem e da influência que o evento instrucional exerce sobre o desempenho global subseqüente do participante do treinamento. Especificamente, transferência de aprendizagem se refere à aplicação correta no ambiente de trabalho, de conhecimentos, habilidades ou atitudes adquiridas em situações de treinamento. Aquilo que o treinando transfere ou aplica no trabalho é uma nova forma de desempenhar antigas tarefas e/ou, por outro lado, um novo tipo de desempenho que nunca antes havia sido exibido. Em qualquer desses casos, impacto se refere, principalmente, à influência exercida pelo treinamento sobre o desempenho subseqüente do treinando em tarefa similar àquela aprendida por meio do programa instrucional (Abbad, 1999). Entretanto, o impacto do treinamento no trabalho nem sempre se reduz à transferência de aprendizagem. Habilidades metacognitivas, estratégias de autogerenciamento, uso de ferramentas de informática, lógica, metodologia científica, técnicas de estimulação da criatividade, uma vez aprendidas, podem afetar o desempenho do indivíduo em muitas atividades que executa dentro da organização.

Faz-se necessário esclarecer que os modelos clássicos têm definido os conceitos de transferência de aprendizagem e impacto do treinamento em amplitude com outras nomenclaturas, mas com o mesmo sentido lógico. Por exemplo, no modelo de Hamblin (1978), a noção de transferência de aprendizagem é nomeada de impacto em profundidade, pois diz respeito ao uso, no trabalho, dos comportamentos aprendidos em treinamento. Já a noção de impacto do treinamento no trabalho é nomeada, no mesmo modelo, de impacto em largura, pois diz respeito ao efeito provocado pelo treinamento nas exigências funcionais diárias do egresso. Assim, existem várias formas de se nomear esse fenômeno e suas facetas, mas seu uso lógico permanece o mesmo.

É muito comum observar estudos na literatura especializada que utilizam a medida de impacto em profundidade (ou transferência) para mensurar o resultado do treinamento no trabalho dos treinandos (Burke, 1997; Morin & Latham, 2000; Richman-Hirsch, 2001; Roullier & Goldstein, 1993; Stevens & Gist, 1997). Esse consenso da literatura acaba por deixar à margem a necessidade de delimitação teórica e conceitual sobre o nível de complexidade da mudança de comportamento no trabalho. Uma das formas de se empreender uma melhor delimitação do fenômeno em estudo seria a realização de análises conceituais sobre os construtos (Abbad, 1999). Uma outra seria a comparação empírica entre modelos preditivos das duas medidas. Assim, inspirado nessa linha de investigação, o presente trabalho tem como objetivo o teste comparativo entre modelos preditivos de impacto do treinamento, quando este é medido em amplitude e em profundidade.

Para comparação de preditores, é fundamental a identificação de variáveis antecedentes que têm relação com as medidas de impacto do treinamento. Que variáveis seriam essas? Muitos estudos têm replicado sucessivamente modelos preditivos que tomam variáveis proximais do contexto pós-treinamento (suporte à transferência de treinamento e/ou clima para a transferência) como preditores positivos de impacto do treinamento no trabalho (Abbad, 1999; Holton III, Bates, Seyler & Carvalho, 1997; Pilati & Borges-Andrade, 2000; Roullier & Goldstein, 1993). Segundo Salas e Cannon-Bowers (2001), já é consenso na literatura que as variáveis do contexto pós-treinamento exercem uma grande influência sobre a transferência do treinamento. Vários estudos, realizados fora do Brasil, apresentaram evidências empíricas sobre essa relação. Abbad, Pilati e Pantoja (2003) chegaram à mesma conclusão, revisando estudos brasileiros. Com base nesse conjunto de evidências, a variável de suporte à transferência de treinamento torna-se integrante dos modelos preditivos da presente investigação, pois ambas as facetas do conceito (impacto em amplitude e profundidade) seriam fortemente relacionadas.

Hipótese 1: Percepção de suporte à transferência de treinamento será um preditor direto, forte e significativo dos dois impactos do treinamento no trabalho.

Existem variáveis contextuais distais que podem exercer influência sobre o resultado do treinamento no trabalho. Uma delas é a percepção de suporte organizacional ao desempenho (e não à transferência de treinamento). Esse construto seria distal em relação a resultado do treinamento no trabalho, porque é relacionado ao desempenho no trabalho de forma mais genérica, diferentemente de suporte à transferência que é relacionado estritamente ao resultado da ação instrucional. Borges-Andrade (1996) aponta que variáveis contextuais distais podem exercer influência sobre o resultado do treinamento no trabalho, uma vez que criam condições situacionais mais favoráveis para aplicação do aprendido no trabalho. Nessa linha de raciocínio, uma variável que pode criar essa condição mais favorável é a percepção do funcionário sobre a gestão do seu desempenho em geral. Abbad, Pilati e Borges-Andrade (1999) definem que a gestão do desempenho é um conjunto de ações organizacionais com o intuito de definição de metas de trabalho, participação nos processos de tomada de decisão, manutenção da coerência entre diretrizes e metas, dentre outros. Abbad (1999) apresentou indicações sobre a percepção dos trabalhadores de que a organização que realiza uma gestão do desempenho leva a um relato de maior impacto do treinamento no trabalho. Apesar de não serem observadas muitas evidências empíricas, a compreensão teórica do fenômeno de percepção de suporte organizacional ao desempenho indica que organizações que têm um ambiente geral mais suportivo teriam, também, condições mais adequadas para aplicação do aprendido no trabalho em geral. Assim, apresenta-se a segunda hipótese do estudo.

Hipótese 2: Percepção de suporte organizacional ao desempenho (gestão do desempenho) será: preditor direto para impacto em amplitude e para impacto em profundidade, com menor valor preditivo para esse último.

Variáveis relativas ao desenho do trabalho também exercem influência sobre o resultado do treinamento no trabalho. Para Borges-Andrade (1996), trabalhos mais complexos e desafiadores provocariam uma maior demanda na transferência do aprendido, tendo em vista a maior exigência das tarefas da função. Paula (1992) observou que pessoas que descreviam seus trabalhos como mais estimulantes e desafiadores também relatavam que o impacto do treinamento era maior. A relação do trabalho desafiador ocorre mais intensamente com impacto em amplitude, por serem fenômenos proximais. Isso se deve ao fato de que o resultado provocado pelo treinamento no desempenho geral é mais próximo de todo o escopo da tarefa. Devido ao escopo geral do trabalho, é que esse pode ser compreendido pelo trabalhador como estimulante e/ou desafiante. Nesse sentido, o impacto em profundidade é mais distal, pois apenas uma ação instrucional não possibilita o retrato da exigência e desafio da atividade. Dessa forma, a identificação de qual é o papel exercido pelo tipo de desenho da tarefa sobre os dois indicadores de impacto do treinamento no trabalho é importante, uma vez que podem existir distinções entre eles.

Hipótese 3: Trabalhos mais estimulantes e desafiadores terão maior relação preditiva com impacto em amplitude e menor com impacto em profundidade.

MÉTODO

Esse estudo pode ser definido como de corte transversal, em que é utilizada uma metodologia multivariada de controle e análise de variáveis.

Participantes

Participaram da pesquisa 426 funcionários treinandos de quatro organizações situadas ou com sede no Distrito Federal. Ao todo, foi avaliado o impacto de 29 treinamentos, sendo que cada funcionário somente avaliou o impacto de um treinamento realizado. Das quatro empresas, duas eram privadas do setor de telecomunicações (291 treinandos), mas com negócios diferenciados (uma de telefonia e outra de TV a cabo), uma instituição pública de ensino superior (66 treinandos) e uma instituição pública de pesquisa agropecuária (69 treinandos). A maioria dos participantes tinha o nível superior completo (35,4%), seguido de nível superior incompleto (28,6%). A média de tempo de trabalho na empresa dos participantes foi de 6,16 anos (d. p. = 7,98). Além da avaliação de impacto ter sido realizada pelos funcionários treinados, ela também foi feita por uma amostra de seus supervisores imediatos, que utilizaram questionários de hetero-avaliação em profundidade e largura. Foram recebidas apenas 110 hetero-avaliações de duas organizações.

Instrumentos

Para a coleta de dados, foi aplicado um questionário composto por um conjunto de questões de identificação pessoal e de levantamento de indicadores demográficos (escolaridade e tempo de trabalho na organização). Os demais itens do questionário eram relativos a cinco escalas de medida, a saber:

– Impacto do treinamento no trabalho em amplitude: 12 itens, associados a uma escala de resposta Likert de cinco pontos de concordância. Medida desenvolvida por Abbad (1999) com estrutura unifatorial (a = 0,91).

– Impacto do treinamento no trabalho em profundidade: composta por itens que relatavam os objetivos comportamentais do treinamento, seguindo a recomendação de Borges-Andrade (2002). Esses itens foram associados a uma escala Likert de cinco pontos de freqüência. Uma escala para cada um dos 29 treinamentos. Não houve a possibilidade de submetê-la a um processo de validação psicométrica. As medidas de amplitude e profundidade foram correlacionadas (r = 0,39; p < 0,001) para aferição de validade concorrente. Melhores indicadores de impacto em profundidade devem ser elaborados para investigações futuras.

– Percepção de gestão do desempenho: apresentado por Abbad, Pilati e Borges-Andrade (1999). A escala é unifatorial com 13 itens ancorados a cinco pontos de concordância (a = 0,87).

– Percepção de suporte à transferência do treinamento: desenvolvida por Abbad (1999). Possui estrutura bifatorial, com um fator mensurando a percepção de suporte gerencial e social à transferência e o segundo fator avaliando a percepção de suporte material. São 22 itens associados a uma escala de concordância de cinco pontos (a_s superiores a 0,85).

– Percepção de trabalho desafiador e estimulante: escala apresentada por Paula (1992), sem processo de validação. Sete itens ancorados em cinco pontos de concordância. Nessa amostra, a análise de componentes principais (PC) indicou que a matriz de dados era razoavelmente fatorável (KMO = 0,77) e que a melhor solução era a extração de um fator. A análise fatorial de fatoração dos eixos principais (PAF) com um fator apontou que seis itens permaneceriam na solução (cargas fatoriais superiores a 0,30) e o índice de consistência interna foi razoável (a = 0,72). Ressalta-se que esta medida precisa ser aperfeiçoada para estudos futuros, visando uma melhor mensuração do construto.

– Hetero-avaliação em amplitude e profundidade: duas escalas, a primeira era uma versão de impacto em amplitude, que são os mesmos itens da auto-avaliação redigidos em terceira pessoa. Foi desenvolvida por Abbad (1999) e validada por Borges-Andrade, Azevedo, Pereira, Rocha e Puente (1999) e Meneses (2002) com bons índices psicométricos (a > 0,85). A segunda era uma versão em terceira pessoa da auto-avaliação de impacto em profundidade.

Procedimentos

Os questionários foram aplicados no mínimo três meses após o treinamento. Tal aplicação se deu coletivamente em uma das organizações, individualmente em uma segunda e nas outras duas houve envio dos instrumentos para os treinados por meio de malotes internos ou correio eletrônico. Nessa última estratégia de coleta, o questionário foi enviado em um arquivo de editor de texto anexado à mensagem.

Análise de dados

Inicialmente, foram feitas inspeções para identificar erros de digitação. Foram gerados escores, por meio da média aritmética, para cada um dos fatores das escalas utilizadas na pesquisa. Os dados foram submetidos a análises exploratórias, visando sua adequação ao modelo linear geral, tal como recomendado por Tabachnick e Fidel (2001). Foi detectado que menos 5% dos dados das auto-avaliações foram omitidos pelos respondentes. Decidiu-se substituí-los pela média geral. Não foram detectados casos extremos de nenhuma natureza (univariados e multivariados). Gráficos cumulativos de probabilidade, histogramas com curva densidade e indicadores de simetria e achatamento não apontaram para problemas significativos de normalidade nas variáveis. Na inspeção dos gráficos de dispersão, para detecção de multicolinearidade, observou-se alta correlação entre algumas variáveis preditoras. Essas relações poderiam levar a dificuldades nos modelos de regressão. As soluções para esses problemas serão apresentadas na seção de resultados.

Para testar a estrutura empírica das medidas para esta amostra, todas as escalas foram submetidas a análises fatoriais exploratórias de fatoração dos eixos principais (PAF) com rotação oblíqua. Para testar e comparar os modelos propostos, foram realizadas análises de regressão múltipla (padrão e hierárquica) e modelagem por equações estruturais, por meio do programa AMOS (versão 4.0).

RESULTADOS

As análises fatoriais indicaram que a escala de impacto do treinamento no trabalho em amplitude, validada por Abbad (1999), replicou rigorosamente a mesma estrutura de sua amostra de validação, com cargas fatoriais variando entre 0,49 a 0,72. A escala de percepção de gestão do desempenho, validada por Abbad, Pilati e Borges-Andrade (1999), também obteve estrutura idêntica àquela encontrada no estudo de validação, com cargas variando de 0,40 a 0,81. A escala de percepção de suporte à transferência de treinamento foi parcialmente corroborada, pois a estrutura inicial bifatorial apresentada por Abbad (1999) apresentou alguns itens de um fator com cargas maiores que 0,30 em outro. Por este motivo, optou-se por utilizar a estrutura fatorial observada na amostra de validação do instrumento, graças às evidências de corroboração dessa estrutura (Abbad, Sallorenzo, Gama & Morandini, 1999; Bastos, Fernandes & Viana, 1999; Borges-Andrade, Morandini & Machado, 1999; Pantoja, 1999). Os dados da escala de percepção de trabalho desafiador foram apresentados na seção de método e a escala de impacto do treinamento em profundidade não foi submetida a nenhum processo de fatoração porque era específica para cada treinamento.

O primeiro modelo de regressão testado foi o da variável critério impacto do treinamento em amplitude (ITA). Foram variáveis preditoras: trabalho desafiador e estimulante (TDE), percepção de gestão do desempenho (GD), suporte material à transferência (SMT) e suporte gerencial e social à transferência (SGST). Os dados apontaram que o modelo explicou a variabilidade de ITA (R² ajustado = 0,37) e que algumas variáveis preditoras possuem relação invertida com ITA, como pode ser observado na Tabela 1.

As únicas variáveis que foram preditoras significativas são TDE e SGST. As correlações de todas as variáveis preditoras com a critério são altas, positivas e significativas. Segundo Cohen e Cohen (1983), o efeito observado na análise de regressão apresentada na Tabela 1 é resultado de uma supressão dentro do pacote de variáveis preditoras.

Para identificar a contribuição individual de cada variável, foi realizada uma análise de regressão hierárquica com quatro passos. Em cada passo foi inserida uma variável antecedente na seguinte ordem: TDE, GD, SMT e SGST. Os dados apontaram que as variáveis GD e SMT explicam significativamente a variabilidade de impacto do treinamento. Após a inserção da variável do último passo nota-se, novamente, o efeito de supressão, como ocorrido na regressão padrão (ver Tabela 1).

O segundo modelo testado teve como variável critério impacto do treinamento em profundidade (ITP). Os resultados da regressão múltipla padrão desse modelo são apresentados na Tabela 2.

Este modelo explica muito menos variância do que o modelo anterior (R² ajustado = 0,05, ou seja, 5% ao invés de 37% do primeiro modelo). Apesar da correlação bivariada entre ITP e SGST ser pequena e não significativa, observa-se que ela é um preditor positivo e marginalmente significativo (p &lt: 0,001). Esse efeito pode ser uma supressão devido à redundância entre essa variável e suporte material. Para avaliar a contribuição individual, também foi realizada uma análise hierárquica, inserindo uma variável preditora por passo, na seguinte ordem: TDE, GD, SGST e SMT. Os resultados dessa análise corroboram os daqueles apresentados na Tabela 2. No caso desse modelo, a supressão pode ser devida à alta correlação entre as variáveis de suporte à transferência e gestão do desempenho.

Com base no conjunto de resultados das análises de regressão, hipotetizou-se que a predição de gestão do desempenho sobre as duas medidas de impacto do treinamento no trabalho poderia ser mediada por suporte à transferência de treinamento. Por este motivo decidiu-se submeter os dados a uma modelagem por equações estruturais. Essa técnica foi escolhida devido a: (1) seu caráter confirmatório, justificado pelos modelos de pesquisa da área (Salas & Cannon-Bowers, 2001) e (2) pela robustez da técnica para aferir mediações. A Figura 1 descreve o primeiro modelo (impacto amplitude – ITA – como endógena principal) e os coeficientes obtidos. O segundo modelo é apresentado na Figura 2 e a variável endógena principal é impacto em profundidade (ITP).

Como pode ser observado na Figura 1, a variável suporte à transferência de treinamento (SupT) foi definida como uma variável latente, composta pelos seus dois subfatores (SMT e SGST). Essa estrutura foi definida devido à forte indicação da existência de um traço latente composto pelas duas sub-escalas. As demais variáveis foram tratadas como observadas, tendo em vista a aferição prévia de suas estruturas empíricas e da necessidade de parcimônia do modelo.

A estimação dos parâmetros foi realizada por meio do ML (Maximum Likelihood). O indicador de normalidade multivariada (Arbukle & Worth, 1999; Mardia, 1971) apontou que os dados são ajustados para análises de estruturas de covariância. Todos os coeficientes de regressão observados na Figura 1 são significativos, bem como as variâncias. Os índices de ajuste do modelo aos dados foram muito bons (c² = 27,60; RMR = 0,03; CFI = 0,98; RMSEA = 0,12), com exceção do RMSEA, considerado elevado no critério de MacCallum, Browne e Sugawara (1996). Esses indicadores possibilitam afirmar que o modelo proposto se ajusta aos dados, corroborando a hipótese de que a relação entre GD e ITA é mediada pela estrutura latente SupT. Além disso, ainda pode-se observar, no modelo da Figura 1, que existe uma correlação significativa entre GD e TDE, reforçando a noção de que as pessoas que percebem seu trabalho como mais estimulador tendem a perceber maior gestão de seu desempenho por parte da organização. Ainda foi observada uma relação preditiva positiva e significativa de trabalho desafiador e estimulante sobre impacto do treinamento no trabalho.

Para o segundo modelo, as estimações também foram realizadas por meio do ML. O indicador de normalidade multivariada apontou que os dados são ajustados para as análises. Apenas o coeficiente de regressão de TDE sobre ITP não foi estatisticamente significativo. Os índices de ajuste do modelo aos dados foram muito bons (c² = 32,54; RMR = 0,04; CFI = 0,97; RMSEA = 0,13), com exceção, novamente, do RMSEA. Pôde ser observada uma predição positiva de gestão de desempenho sobre suporte à transferência. As diferenças mais importantes desse modelo para o anterior centram-se na ausência de significância da predição de trabalho desafiador e estimulante (TDE) sobre impacto em profundidade e da relação preditiva negativa de suporte à transferência (SupT) sobre impacto. Essa relação negativa é marginalmente significativa e o coeficiente (-0,14) não é elevado, indicando que a percepção de suporte a transferência não é relevante para predizer o impacto em profundidade.

As análises das hetero-avaliações indicaram que apenas uma pequena porcentagem da variação (aproximadamente 4%) das duas medidas critério desse estudo foi predita pelo conjunto de variáveis antecedentes. Um fator que dificulta a análise dessas hetero-avaliações é a baixa devolução de questionários respondidos por parte dos supervisores. Assim, optou-se pela não utilização desses dados. Entretanto, foi realizada uma correlação bivariada simples entre as auto e hetero-avaliações, observando-se que possuem correlação positiva (amplitude: r = 0,27; p = 0,004 e profundidade:r = 0,18; p não significativo). Esses dados corroboram achados já relatados (Borges-Andrade & Siri, 2000).

DISCUSSÃO

Devido ao padrão de redundância entre as variáveis de percepção de suporte organizacional e suporte à transferência de treinamento, a melhor estratégia adotada foi o teste da relação da variável contextual distal mediada pela variável contextual proximal.

Testando a relação mediada pode-se observar que a primeira hipótese proposta foi parcialmente corroborada. A percepção de suporte à transferência de treinamento apenas é um preditor forte e significativo de impacto em amplitude, característica não observada em impacto em profundidade, onde o coeficiente de regressão foi apenas marginalmente significativo e negativo. Esse resultado indica que existe uma diferença de predição entre os dois modelos, uma vez que a percepção de um clima suportivo para a transferência leva os treinandos a relatarem um maior impacto em amplitude, o que corrobora estudos anteriores (Abbad, 1999; Pilati & Borges-Andrade, 2000; Sallorenzo, 2000) e reforça a noção de que um ambiente pós-treinamento mais suportivo possibilita uma modificação do desempenho do treinado.

Já a mesma situação não é observada para impacto em profundidade, onde a regressão tem coeficiente negativo, ou seja, quanto menor a percepção de um ambiente suportivo maior o relato de impacto em profundidade. Esse resultado pode ser devido à característica menos instrumental dos treinamentos analisados, uma vez que estes podem exigir menos o uso de equipamentos, não sendo a questão material uma variável saliente para influenciar na freqüência de uso das competências no trabalho. Uma outra possibilidade (graças à significância marginal dessa variável) é a menor importância atribuída a questões ambientais para o uso das competências no trabalho, uma vez que esse uso estaria atrelado a questões intrínsecas do treinamento e, conseqüentemente, menos sujeito a variações ambientais. Então, com relação à primeira hipótese elaborada nesse estudo, observa-se que houve corroboração parcial. Uma diferença entre os modelos também pode ser destacada, uma vez que o papel de suporte à transferência é diferente para cada um deles.

A segunda hipótese do estudo foi completamente refutada, uma vez que a relação entre percepção de gestão do desempenho e impactos do treinamento não foi direta. Uma nova evidência empírica importante proporcionada por este estudo diz respeito ao forte caráter preditivo entre a variável de suporte organizacional ao desempenho e suporte à transferência. Esse tipo de predição é importante, pois uma vez que as pessoas que relatam maior percepção de que a organização realiza gestão de seu desempenho também tendem a perceber maior suporte à transferência de treinamento. Dessa forma, a criação de ambientes mais suportivos ao desempenho na organização possibilitaria também a geração de condições específicas necessárias à aplicação do aprendido no trabalho no ambiente pós-treinamento. Com base nesse resultado é que podem ser traçadas relações de algumas variáveis organizacionais distais com impacto do treinamento no trabalho. As evidências na literatura são difusas e não existem muitos estudos que indiquem tal relação. Leitão (1994) procurou traçar relações entre clima social no trabalho e impacto do treinamento em amplitude, mas a autora não observou evidências empíricas que sustentassem tais relações. Já Abbad (1999), utilizando alguns indicadores de percepção de suporte organizacional, encontrou algumas relações, mas a autora não chegou a testar a relação mediada por outras variáveis proximais. Assim, os resultados desse estudo apontam para a importância da criação de ambientes favoráveis para a gestão do desempenho dos funcionários, o que poderia levar a um ambiente suportivo para a aplicação do aprendido no trabalho. Deve-se ressaltar ainda que para o modelo de impacto em profundidade, a influência desse tipo de variável seria reduzida, tendo em vista que a percepção de suporte à transferência não é um preditor muito importante.

A última hipótese proposta nessa investigação foi corroborada, uma vez que trabalho desafiador foi um preditor de impacto em amplitude e não foi para impacto em profundidade. Essa relação positiva está associada com a natureza dos construtos de impacto do treinamento no trabalho. A noção de impacto em amplitude tem uma maior proximidade com a idéia de trabalho estimulante e desafiador, pois versa sobre o desempenho no trabalho de forma mais geral, diferente do que ocorre com impacto em profundidade que é específico para as competências adquiridas em treinamento. Assim, uma percepção de desafio e estimulação em todo o conjunto de competências esperadas no trabalho tenderia a levar a uma avaliação de maior resultado positivo, proporcionado pelo treinamento. Paula (1992) encontrou algumas relações entre trabalho desafiador e impacto no trabalho, tendo agora seus resultados sido corroborados no presente estudo.

As evidências observadas nesse estudo apontam para uma diferença de preditores entre as duas facetas de impacto do treinamento no trabalho (amplitude e profundidade/transferência). Esse tipo de indicação reforça a noção de que esses conceitos são facetas diferentes de um mesmo fenômeno, tendo em vista que os modelos de predição são diferentes. Uma possibilidade aventada por algumas proposições conceituais sobre o resultado do treinamento no trabalho (Abbad, 1999), aponta para uma possível relação de predição de impacto em profundidade (transferência) sobre impacto em amplitude, tendo em vista que o resultado do treinamento no trabalho passa pela transferência das competências específicas adquiridas em treinamento para o trabalho, o que seria uma das variáveis que provocaria a alteração no desempenho. Deve-se ressaltar que existe um conjunto de outras variáveis provocadoras dessa alteração no desempenho no trabalho, como as variáveis contextuais (utilizadas também nesse estudo) e individuais, como estratégias metacognitivas. Com essa compreensão, o fenômeno de resultado do treinamento no trabalho poderia ser entendido por meio de uma série de conceitos que levariam a sua instância final, que é o impacto em amplitude ou o resultado provocado pelo treinamento no desempenho dos treinandos. Futuramente, é importante o estudo da relação preditiva que os construtos relacionados a resultado no trabalho têm sobre sua instância final, pois esse tipo de investigação pode ajudar a compreender o fenômeno e diferenciá-lo de questões correlatas que podem causar confusão na produção de conhecimento da área.

É importante ressaltar que este estudo possui algumas limitações, como o tipo de medida utilizada para impacto em profundidade, que inviabiliza a aferição de sua estrutura empírica. A característica falha dessa medida pode ter influenciado as análises dos modelos, levando a correlações espúrias ou outros efeitos indesejados. Sugere-se que novos estudos sejam feitos para a melhoria dessa medida, exatamente para que resultados mais confiáveis sejam alcançados. Borges-Andrade (2002) aponta que existem algumas evidências na literatura de que as medidas em profundidade são confiáveis, mas a impossibilidade de validação empírica para cada escala ainda trará suspeita sobre o tipo de validade dessas medidas, uma vez que esses resultados são sempre provenientes de amostras independentes e não comparáveis. Talvez, com o incremento de avaliações de aprendizagem, a possibilidade de construção de medidas de transferência válidas e confiáveis aumente, pois objetivos bem descritos (como requerem provas válidas de aprendizagem) facilitariam a construção de medidas válidas em profundidade. Borges-Andrade (2002) também aponta para outros esforços de construção de medidas de transferência e impacto. Esses esforços ressaltam a importância de que novos estudos procurem comparar modelos preditivos dos dois principais construtos indicadores de resultado do treinamento no trabalho, mas utilizando diversas formas de mensuração.

Uma outra limitação diz respeito à impossibilidade de realização de estudos de relacionamento das duas medidas de hetero-avaliação. Sem dúvida, a busca de múltiplas fontes de avaliação pode auxiliar na redução de erros inferenciais (Fiske, 1995) comumente observados em medidas perceptuais. Borges-Andrade (2002) aponta que a melhor estratégia é o uso de múltiplas fontes de informação, na tentativa de redução de erros comuns de julgamento. Dessa forma, faz-se necessário que outros estudos alcem esforços para compreender as variáveis preditoras de hetero-avaliações, como já pode ser observado na literatura anteriormente citada aqui.

Muitos esforços ainda devem ser realizados para a compreensão e delimitação empírica e conceitual dos construtos de mudança de comportamento no cargo. Esse estudo tem implicações para a investigação na área, uma vez que auxilia o esforço de descrição do fenômeno em questão. Também existem implicações práticas, pois aponta para a importância de que as organizações invistam em sistemas de avaliação de treinamento que busquem aferir os diversos indicadores de mudança do comportamento no cargo, pois eles podem trazer subsídios importantes sobre o processo de avaliação, que norteia toda a tomada de decisão das ações educacionais das mesmas.

Recebido em 11.06.2003

Primeira decisão editorial em 04.03.2004

Versão final em 11.03.2004

Aceito em 25.03.2004

• Abbad, G. (1999). Um modelo integrado de avaliação de impacto de treinamento no trabalho. Tese de Doutorado, Universidade de Brasília, Brasília.
• Abbad, G., Pilati, R. & Borges-Andrade, J.E. (1999). Percepção de suporte organizacional: Desenvolvimento e validação de um questionário. Revista de Administração Contemporânea, 3(2), 29-52.
• Abbad, G., Pilati, R. & Pantoja M.J. (2003). Preditores de efeitos de treinamento: O estado da arte e o futuro necessário. Revista de Administração da USP, 38(3), 205-218.
• Abbad, G., Sallorenzo, L.H., Gama, A.L.G & Morandini, D.C. (1999). Preditores de impacto do treinamento no trabalho: O caso do TCU [Resumo]. Em Sociedade Brasileira de Psicologia (Org.), Resumos de Comunicação Científica, XXIX Reunião Anual de Psicologia (p. 53). Ribeirão Preto: SBP.
• Arbukle, J.L. & Worthke, W. (1999). AMOS 4.0 users guide [Computer software] SPSS Chicago: Small Waters.
• Bastos, A.V.B., Fernandes, S.R.P. & Viana, A.V. (1999). Desenvolvimento de competências e aprendizagem organizacional: Avaliando os impactos do programa cuidar-se para cuidar [Resumo]. Em Sociedade Brasileira de Psicologia (Org), Resumos de Comunicação Científica, XXIX Reunião Anual de Psicologia (p. 53). Ribeirão Preto: SBP.
• Borges-Andrade, J.E. (1982). Avaliação somativa de sistemas instrucionais: Integração de três propostas. Tecnologia Educacional, 11(46), 29-39.
• Borges-Andrade, J.E. (1996). Treinamento de pessoal: Em busca de conhecimento e tecnologia relevantes para as organizações. Em A. Tamayo, J.E. Borges-Andrade & W. Codo (Orgs.), Trabalho, organizações e cultura (pp. 129-149). São Paulo: Cooperativa dos Editores Associados.
• Borges-Andrade, J. E. (2002). Desenvolvimento de medidas em avaliação de treinamento. Estudos de Psicologia, 7(número especial), 31-43.
• Borges-Andrade, J.E., Azevedo, L.P.S., Pereira, M.H.G.G., Rocha, K.C.P. & Puente, K.E.P. (1999). Impacto de treinamento no trabalho: O caso do Banco do Brasil [Resumo]. Em Sociedade Brasileira de Psicologia (Org.), Resumos de Comunicação Científica, XXIX Reunião Anual de Psicologia (p. 53). Ribeirão Preto: SBP.
• Borges-Andrade, J.E., Morandini, D.C., & Machado, M.S. (1999). Impacto de treinamento gerencial e efetividade de equipes em ambientes de inovação tecnológica [Resumo]. Em Sociedade Brasileira de Psicologia (Org.), Resumos de Comunicação Científica, XXIX Reunião Anual de Psicologia (p. 53). Ribeirão Preto: SBP.
• Borges-Andrade, J.E. & Siri, C. (2000). Impacts of training: the PM&E Project's training. Em D. Horton, R. Mackay, A. Andersen & L. Dupleich (Orgs.), Evaluating capacity development in planning, monitoring, and evaluation: A case from agricultural research (study n. 3, CD-Rom, 1-56). The Hague: International Service for National Agricultural Research.
• Burke, L. (1997). Improving positive transfer: A test of relapse prevention training on training outcomes. Human Resource Development Quarterly, 8(2), 115-128.
• Cohen, J. & Cohen, P. (1983). Applied multiple regression/correletion analysis for the behaviorial sciences New Jersey: Lawrence Erlbaum.
• Fiske, S.T. (1995). Social cognition. Em A. Tesser (Org.). Advanced social psychology (pp. 149-194). New York: McGraw-Hill.
• Goldstein, I.L. (1993). Training in organizations California: Pacific Grove.
• Hamblin, A.C. (1978). Avaliação e controle do treinamento. São Paulo: McGraw-Hill do Brasil.
• Holton III, E. F., Bates, R. A., Seyler, D. L. & Carvalho, M. B. (1997). Toward construct validation of a transfer climate instrument. Human Resource Development Quartely, 8 (2), 95-113.
• Kirkpatrick, D.L. (1976). Evaluation of training. Em R.L. Craig (Org.), Training and development handbook (pp. 18.1-18.27) (2Ş ed. revisada). New York: McGraw-Hill.
• Klein, K.J. & Kozlowski, S.W.J. (2000). Multilevel theory, research and methods in organizations. San Francisco: Jossey-Bass.
• Leitão, J.S.S. (1994). Clima organizacional na transferência de treinamento Dissertação de Mestrado, Universidade de Brasília, Brasília.
• MacCallum, R.C., Browne, M.W. & Sugawara, H.M. (1996). Power analysis and determination of sample size for covariance structure modeling. Psychological Methods, 1 (2), 130-149.
• Mardia, K.V. (1971). The effect of nonnormality on some multivariate tests and robustness to nonnormality in the linear model. Biometrika, 88(1), 105-121.
• Meneses, P.P.M. (2002). Auto-eficácia, locus de controle, suporte à transferência e impacto do treinamento no trabalho Dissertação de Mestrado, Universidade de Brasília, Brasília.
• Morin, L. & Latham, G.P. (2000). The effect of mental practice and goal setting as a transfer of training intervention on supervisor's self-efficacy and communication skills: An exploratory study. Applied Psychology: An International Review, 49(3), 566-578.
• Pantoja, M.J. (1999). Avaliação de impacto de treinamento na área de reabilitação: Preditores individuais e situacionais Dissertação de Mestrado, Universidade de Brasília, Brasília.
• Paula, S.M.A. (1992). Variáveis preditoras de impacto de treinamento no trabalho: Análise da percepção dos treinados de duas organizações. Dissertação de Mestrado, Universidade de Brasília, Brasília.
• Pilati, R. & Borges-Andrade, J.E. (2000). Variáveis pessoais e situacionais e impacto(s) do treinamento no trabalho [Resumo]. Em Sociedade Brasileira de Psicologia (Org.), Resumos de Comunicação Científica, XXX Reunião Anual de Psicologia (p. 63). Brasília: SBP.
• Richman-Hirsch, W.L. (2001). Posttraining interventions to enhance transfer: The moderating effects of work environments. Human Resource Development Quartely, 12(2), 105-120.
• Rodrigues, A.G. (2000). A natureza da participação e suas implicações no impacto do treinamento no trabalho. Dissertação de Mestrado, Universidade de Brasília, Brasília.
• Rouiller, J.Z. & Goldstein, I.L. (1993). The relationship between organizational transfer climate and positive transfer of training. Human Resource Development Quartely, 4(4), 377-390.
• Salas, E. & Cannon-Bowers, J.A. (2001). The science of training. Annual Review of Psychology, 52, 471-499.
• Sallorenzo. L.H. (2000). Avaliação de impacto de treinamento no trabalho: Analisando e comparando modelos de predição. Dissertação de Mestrado, Universidade de Brasília, Brasília.
• Stevens, C.K. & Gist, M.E. (1997). Effects of self-efficacy and goal-orientation training on negotiation skill maintenance: What are the mechanisms? Personnel Psychology, 50(4), 955-978.
• Tabachnick, B. & Fidell, L.S. (2001). Using multivariate statistics (4Ş ed.). San Francisco: Allyn & Bacon.
• Tannenbaum, S.I., Mathieu, J.E, Salas, E. & Cannon-Bowers, J.A. (1991). Meeting trainee's expectations: the influence of training fulfillment on the development of commitment, self-efficacy and motivation. Journal of Applied Psychology, 76(6), 759-769.

1

Esse trabalho teve apoio do CNPq, do PRONEX Treinamento e Comportamento no Trabalho e da CAPES. Os autores agradecem as sugestões dos integrantes do grupo PRONEX e dos consultores ad hoc da revista para a versão .nal desse artigo.

Datas de Publicação

• Publicação nesta coleção
  30 Jun 2004
• Data do Fascículo
  Abr 2004

Histórico

• Recebido
  11 Jun 2003
• Aceito
  25 Mar 2004