Qualificação profissional a distância: avaliação da transferência de treinamento

Calificación profesional a distancia: evaluación de trasferencia de entrenamiento

Distance Education: training transfer evaluation

ARTIGO

Qualificação profissional a distância: avaliação da transferência de treinamento¹

Distance Education: training transfer evaluation

Calificación profesional a distancia: evaluación de trasferencia de entrenamiento

Thaís ZerbiniI; Gardênia Abbad^II

^IUniversidade de São Paulo, Ribeirão Preto-SP, Brasil

^IIUniversidade de Brasília, Brasília-DF, Brasil

^{Endereço para correspondência}

RESUMO

O objetivo da pesquisa é identificar variáveis explicativas da aplicação de habilidades ensinadas aos participantes de um curso de qualificação profissional a distância, via internet. Foram aplicadas as escalas, submetidas à validação estatística: Ambiente de Estudo e Procedimentos de Interação, Estratégias de Aprendizagem, Reação aos Procedimentos Instrucionais, Reação ao Desempenho do Tutor e Transferência de Treinamento. A coleta de dados foi realizada em três momentos distintos. O modelo de regressão múltipla teve como variável critério a média das respostas de 470 participantes aos itens da escala de Transferência de Treinamento. As variáveis preditoras foram as médias das respostas dos participantes aos itens das demais escalas. Os resultados revelaram que o participante que percebeu favoravelmente o seu Contexto de Estudo e os Procedimentos Instrucionais do curso e utilizou com mais frequência as estratégias de aprendizagem Elaboração e Monitoramento da Compreensão, foi também aquele que relatou maior ocorrência de Transferência de Treinamento.

Palavras-chave: educação à distância, aprendizagem, estudo, transferência de treinamento.

ABSTRACT

This study identifies variables that explain the application of skills taught to participants of a web-based professional education distance-learning program. The scales Ambient of Study and Interaction Procedures, Learning Strategies, Reaction to Instructional Procedures, Reaction to Tutor Performance and Training Transfer were applied and submitted to statistical validation. Data collection was performed in three different points in time. The multiple regression model displayed the average of the answers of 470 participants in relation to the items of the scale Transfer of Training as a variable criterion. The predictor variables were the average answers of participants to items of the remaining scales. The results revealed that the participant who favorably perceived his/her Context of Study and Instructional Procedures and more frequently used the learning strategies known as Elaboration and Comprehension Monitoring also reported an increased occurrence of Training Transfer.

Keywords: distance training, learning, study, training transfer.

RESUMEN

El objetivo de esta investigación es identificar variables explicativas de la aplicación de habilidades enseñadas a los participantes de un curso de calificación profesional a distancia, por internet. Fueron aplicadas las escalas, sometidas a validación estadística, Ambiente de Estudio y Procedimientos de Interacción, Estrategias de Aprendizaje, Reacción a los Procedimientos de Instrucción, Reacción al Desempeño del Tutor y Trasferencia de Entrenamiento. La recolección de datos fue realizada en tres periodos distintos. El modelo de regresión múltiple tuvo al promedio de las respuestas de 470 participantes a los ítems de la escala de transferencia de entrenamiento como variable criterio. Los resultados mostraron que el participante que percibió favorablemente su Contexto de Estudio y los Procedimientos de Instrucción del curso y utilizó con más frecuencia las estrategias de aprendizaje Elaboración y Supervisión de la Comprensión fue también aquel que relató la mayor ocurrencia de Transferencia de Entrenamiento.

Palabras clave: formación a distancia, aprendizaje, estudio, transferencia de entrenamiento.

A discussão sobre educação e qualificação para o trabalho e suas relações com o desenvolvimento do país tem ocorrido com muita freqüência nas reuniões de trabalhadores, empresários, governos, pesquisadores e profissionais liberais. O atendimento às novas exigências do mercado de trabalho exige que empresas que compõem o sistema produtivo desenvolvam estratégias de atualização contínua de suas competências organizacionais e individuais. Programas de treinamento, desenvolvimento e educação de pessoal (TD&E) nas empresas e de formação e qualificação profissional em ambiente aberto contribuem para que este desenvolvimento ocorra.

Torna-se necessário entender, portanto, como ocorrem os processos de aprendizagem e, principalmente, de transferência de aprendizagem para diferentes ambientes corporativos e profissionais. Para possibilitar o estudo desses fenômenos, pesquisadores e profissionais interessados em identificar formas de garantir a melhoria do desempenho no trabalho, procuram investigar o processo de aquisição de conhecimentos, habilidades e atitudes, por meio de ações de TD&E, formação e qualificação profissional. Tais eventos são considerados ações formais que induzem a aprendizagem em organizações e em ambientes de trabalho (Coelho Jr. & Borges-Andrade, 2008). Em função do aumento da demanda por ações deste tipo é fundamental promover a avaliação constante da qualidade e da eficácia das ações educacionais ofertadas para um grande número de pessoas, visando garantir que os objetivos inicialmente propostos sejam alcançados. Entretanto, ainda são raros os estudos sistemáticos na área de psicologia instrucional e organizacional sobre avaliação dos efeitos de tais ações no desempenho do indivíduo em seu ambiente de trabalho.

Diante deste cenário, o objetivo desta pesquisa consiste identificar variáveis preditoras de Transferência de Treinamento, entre as variáveis de características da clientela (estratégias de aprendizagem), de reações ao curso (procedimentos instrucionais e desempenho do tutor) e de contexto (ambiente de estudo do aluno e procedimentos de interação do curso). O curso avaliado é o Iniciando um Pequeno Grande Negócio (IPGN) ofertado pelo SEBRAE Nacional (Serviço de Apoio às Micro e Pequenas Empresas), cujo objetivo é ensinar os participantes a elaborar um Plano de Negócios. O IPGN é gratuito e aberto aos cidadãos brasileiros que desejam desenvolver habilidades de empreendedorismo. Consiste em um evento de qualificação profissional, ofertado a distância, via internet, com características de aprendizagem aberta. A seguir, apresentam-se as características e definição da variável-critério do estudo – Transferência de Treinamento –, alguns modelos de avaliação de treinamento, e uma breve revisão da literatura das variáveis de interesse da presente pesquisa.

Transferência de treinamento

De forma geral, os estudiosos da área caracterizam a aprendizagem como um processo de mudanças que ocorre no indivíduo, não resultante da maturação ou de outro conceito que está associado à idade ou fases da vida. Abbad e Borges-Andrade (2004) definem aprendizagem como um processo psicológico, que ocorre no nível do indivíduo, essencial para a sobrevivência dos seres humanos no decorrer de todo o seu desenvolvimento, principalmente no mercado de trabalho. Pilati e Abbad (2005) discutem os componentes do conceito aprendizagem (aquisição, retenção, generalização), relacionados aos conceitos de transferência de aprendizagem e impacto do treinamento no trabalho. Aquisição, segundo os autores, define-se como o processo básico de apreensão de conhecimentos, habilidades e atitudes (CHAs), desenvolvidos ao longo da ação instrucional. Retenção é o processo imediatamente posterior à aquisição e se refere ao armazenamento dos CHAs na memória de longo prazo. Generalização refere-se ao grau em que os CHAs adquiridos são utilizados no ambiente de transferência em contextos e condições diferentes daquelas que foram desenvolvidas durante eventos de TD&E (Ford & Kraiger, 1995). Outros conceitos, no entanto, são relacionados ao conceito de aprendizagem no processo de mudança comportamental como resultado de ações instrucionais, tais como transferência de aprendizagem e impacto do treinamento no trabalho.

O conceito de transferência de aprendizagem foi denominado por Hamblin (1978) de Impacto do treinamento em profundidade, para distinguir efeitos diretos e específicos de um evento instrucional de outros, mais gerais e não extraídos diretamente dos objetivos de ensino, por ele denominado Impacto em Amplitude. Segundo Pilati e Abbad (2005), a transferência de aprendizagem é o indicador mais utilizado em pesquisas de TD&E para verificar a aplicação de CHAs no trabalho. Entretanto, os autores alertam que, caso o objetivo do profissional de treinamento seja medir os efeitos da ação instrucional no desempenho global, atitudes e motivação do indivíduo, a medida de transferência de aprendizagem (ou impacto do treinamento em profundidade) não é suficiente. O indivíduo que aplica os CHAs no trabalho não apresentará, necessariamente, mudanças globais em seu comportamento.

Outra expressão usada em ambientes organizacionais é transferência de treinamento. Segundo análise conceitual realizada por Abbad (1999), os termos transferência de treinamento, transferência de aprendizagem e impacto no cargo são vistos como sinônimos pela área de psicologia organizacional. A autora ressalta ainda que transferência de treinamento e transferência de aprendizagem são expressões utilizadas em pesquisas que avaliam os resultados de ações de treinamento sobre o desempenho dos participantes em atividades similares às adquiridas ao longo do curso. Entretanto, Abbad (1999) ressalta que nem todas as situações que geram aprendizagem em organizações são ações formais de TD&E. O processo de aprendizagem natural, por exemplo, não necessita de procedimentos sistemáticos para ocorrer.

Segundo Abbad (1999), a expressão transferência de aprendizagem tem origem na psicologia experimental, área na qual o termo adquire um uso mais genérico. Por outro lado, na área de avaliação de treinamento, o termo transferência de treinamento assume um uso mais específico, que se refere à aplicação eficaz, no ambiente de trabalho, dos CHAs adquiridos em situações de treinamento. Para Baldwin e Ford (1988) e Ford e Kraiger (1995), o termo transferência de treinamento consiste na aplicação eficaz, no contexto de trabalho, dos CHAs adquiridos ao longo da ação instrucional.

Diante do exposto, verifica-se que o conceito de transferência de aprendizagem é similar ao conceito de transferência de treinamento. Entretanto, em função da análise conceitual de Abbad (1999) apontar o fato de que o conceito de transferência de aprendizagem também vem sendo utilizado para avaliar os efeitos de atividades informais em ambientes de trabalho e por ser um conceito com origem na psicologia experimental, no presente estudo adota-se o conceito Transferência de Treinamento como variável critério, já que o mesmo assume um uso mais específico na área de avaliação de treinamento.

Modelos de avaliação de treinamento

Os modelos clássicos de avaliação de treinamento propostos por Kirkpatrick (1976) e Hamblin (1978), além de serem considerados modelos tradicionais da área de avaliação de treinamento, podem ser considerados modelos com foco em resultados, pois não analisam características individuais e contextuais como fatores influentes nos resultados de treinamentos. Já os modelos de Borges-Andrade (2006), Baldwin e Ford (1988) e Abbad (1999) podem ser chamados de modelos integrados, pois reúnem uma série de componentes do ambiente, do próprio treinamento, e dos indivíduos para explicarem a ocorrência dos resultados de eventos instrucionais.

Kirkpatrick (1976) propôs um modelo em quatro níveis de avaliação: reação, aprendizagem, comportamento e resultados. Hamblin (1978) adaptou o modelo, desdobrando o quarto nível de avaliação em dois, e propôs cinco níveis de avaliação de treinamento: reação, aprendizagem, comportamento no cargo, organização, e valor final. Kirkpatrick (1976) sugere em seu modelo que os níveis de avaliação são seqüenciais, lineares e fortemente correlacionados entre si. Por outro lado, Hamblin (1978), apesar de apresentar um modelo seqüencial, ressalta que variáveis distintas podem influenciar diferentes níveis. Os modelos clássicos não têm apoio empírico da área de avaliação. Pesquisas mais recentes se encarregaram de analisar esses modelos e mostraram que, na verdade, a relação hierárquica e positiva entre os níveis de avaliação não é correta (Alliger & Janak, 1989; Tannenbaum & Yukl, 1992).

O Modelo de Avaliação Integrado e Somativo (MAIS) de Borges-Andrade (2006) acrescenta aos modelos tradicionais, variáveis do indivíduo, do curso e do ambiente na avaliação de resultados de treinamento. O modelo é formado por cinco componentes: insumo, procedimentos, processo, resultados e ambiente, que se subdivide em: necessidades, suporte, disseminação e efeitos em longo prazo.

Abbad (1999) construiu e testou um modelo de avaliação integrado de treinamento e deu início ao trabalho de construção e validação de medidas de avaliação de treinamento. O modelo IMPACT, desenvolvido pela autora, propõe a análise articulada de vários componentes de avaliação e foi aplicado, em versões reduzidas, em diversas pesquisas que resultaram na criação e validação de vários instrumentos de avaliação de cursos presenciais, semipresenciais e a distância.

Quanto aos modelos de avaliação de treinamentos a distância, em análise da produção nacional e estrangeira no período de 1990 e 2008, poucos relatos de pesquisas empíricas ou teste de modelos similares aos utilizados pelos pesquisadores de TD&E foram localizados. Em comparação com outras áreas de estudo, há poucas pesquisas que identificaram variáveis explicativas dos efeitos de treinamentos a distância mediante análise do relacionamento entre variáveis, entre eles: Alvin (2008), Borges-Ferreira (2005), Brauer (2005), Carvalho e Abbad (2006), Coelho Jr. (2004), Jegede (1999), Vargas (2004), Warr e Bunce (1995), Zerbini e Abbad (2005).

Zerbini (2007) observou a ausência de avaliações sistemáticas de treinamento em diferentes níveis e pequena produção tecnológica em avaliação de treinamentos baseados na web. Segundo a autora, o planejamento de cursos mediados pelas Novas Tecnologias de Informação e Comunicação (NTICs) requer equipe treinada em desenho instrucional, especialistas em conteúdo, programadores visuais, profissionais da computação, ergonomistas, entre outros profissionais. A autora alerta que a baixa eficácia das ações educacionais a distância, mediadas por novas tecnologias, poderá levar essa modalidade ao descrédito.

Breve revisão da literatura

A análise da literatura mostra que grande parte das pesquisas sobre características da clientela e a influência que exercem sobre resultados de treinamentos enfoca variáveis psicossociais, motivacionais e sócio-demográficas. Características cognitivo-comportamentais de clientelas de cursos a distância têm sido pouco estudadas, apesar da importância desse tipo de característica pessoal na compreensão das variáveis que explicam ou interferem na efetividade de eventos instrucionais (Borges-Ferreira, 2005; Brauer, 2005; Jegede, 1999; Pilati, 2004; Warr & Allan, 1998; Warr & Bunce, 1995; Warr & Downing, 2000; Zerbini & Abbad, 2005). Neste estudo será investigada a influência das variáveis cognitivo-comportamentais, denominadas estratégias de aprendizagem. Em cursos a distância pela internet, as características individuais podem ter maior influência nos efeitos do treinamento por se tratar de uma aprendizagem que depende muito mais do esforço do próprio indivíduo (autogerenciamento da aprendizagem) do que os recursos instrucionais. Além disso, o indivíduo provavelmente utilizará diferentes estratégias usadas nos cursos presenciais em função dos procedimentos instrucionais específicos de treinamentos realizados a distância via internet.

Quanto às medidas de reações, definidas como percepções ou satisfação dos participantes com o evento instrucional, foram identificados avanços metodológicos no processo da construção de medidas, embora as soluções desenvolvidas tenham, elas próprias, produzido outros desafios, como é o caso das medidas específicas em ações educacionais a distância (Pilati & Borges-Andrade, 2006). É importante ressaltar que, no contexto de curso a distância a escolha das estratégias e meios instrucionais demanda mais tempo do profissional, por se tratar de procedimentos específicos e por demandar um planejamento prévio mais detalhado do que ocorre em cursos tradicionais presenciais. Além disso, o processo de tutoria exige novas habilidades e competências do instrutor. Em função das diferenças as modalidades de ensino, novos instrumentos de avaliação de reações tiveram que ser construídos e validados para o contexto de cursos a distância. A literatura tem mostrado resultados que indicam relacionamento positivo entre reações e impacto de treinamentos no trabalho (Abbad, 1999; Alvim, 2008; Alliger & Janak, 1989; Borges-Ferreira, 2005; Carvalho & Abbad, 2006; Coelho Jr., 2004; Meneses & Abbad, 2003; Pilati, 2004; Warr & Bunce, 1995; Zerbini & Abbad, 2005). Neste estudo, avaliam-se as reações dos participantes aos procedimentos instrucionais e ao desempenho do tutor ao longo do curso.

Segundo Abbad e cols. (2004) ainda são raros estudos sobre a influência que aspectos relacionados ao ambiente de estudo do aluno e aos procedimentos de interação podem apresentar no processo de transferência de treinamento em cursos a distância. Na análise da literatura foi verificado que a maior parte dos estudos encontrados é realizada em contexto de treinamento presencial (Abbad, 1999; Meneses & Abbad, 2003; Peters & O’Connor, 1980; Pilati, 2004; Sallorenzo, 2001; Tamayo & Abbad, 2006; Tannenbaum & Yukl, 1992). Outra constatação é a localização de poucos instrumentos de medida validados estatisticamente. Verifica-se a necessidade de investigar se tais aspectos influenciam negativamente o processo de transferência de treinamento ou se o fato do aluno superar os obstáculos encontrados ao longo do curso, aumenta a ocorrência dessa transferência para o ambiente de trabalho. Neste estudo serão investigados quais são os aspectos contextuais de estudo do aluno e quais são os aspectos do próprio curso que podem dificultar a permanência do aluno no curso.

Há instrumentos válidos e confiáveis de impacto de treinamento no trabalho adotados em diversas pesquisas nacionais e estrangeiras (Abbad, Borges-Andrade & Sallorenzo, 2004; Carvalho, Zerbini & Abbad, 2005; Peters & O’Connor, 1980; Roullier & Goldstein, 1993). Por outro lado, a validação de um instrumento de transferência de treinamento é fato raro na área, por serem poucos os treinamentos ofertados a um número suficiente de participantes que permitam a realização da análise fatorial. Quanto à modalidade das ações educacionais avaliadas, há uma clara predominância de cursos presenciais, e verifica-se que a amostra das pesquisas nacionais científicas sobre impacto é predominantemente composta por funcionários de organizações de natureza pública e privada. Portanto, é necessário o desenvolvimento de pesquisas que avaliem ações instrucionais na modalidade à distância em contextos diferentes do ambiente corporativo, já que a oferta de programas de qualificação profissional vem aumentando no país em função da necessidade de promover o desenvolvimento do país.

A área de avaliação de cursos a distância, mediados pela internet, em especial os programas de qualificação profissional, é um campo de conhecimento ainda em fase de exploração. O objetivo principal deste estudo consiste emtestar um modelo de avaliação de treinamento a distância visando identificar variáveis preditoras da Transferência de Treinamento, entre as variáveis de características da clientela (estratégias de aprendizagem), de reações ao curso (procedimentos instrucionais e desempenho do tutor) e de contexto (ambiente de estudo do aluno e procedimentos de interação do curso).

Método

Modelo de investigação

A Figura 1 apresenta o modelo geral de investigação proposto. As definições das variáveis envolvidas no modelo da Figura 1 são apresentadas a seguir.

Ambiente de Estudo e Procedimentos: aspectos do contexto pessoal de estudo do aluno e do próprio curso que podem dificultar a permanência do aluno no curso. Contexto de estudo (Amb1): aspectos relacionados à regularidade proposta de acesso e de estudo, à disponibilidade do computador, e à conciliação do curso com outras atividades de estudos, profissionais e compromissos familiares, que podem dificultar a permanência do aluno no curso; Custos Pessoais e Profissionais (Amb2): aspectos relacionados a problemas de saúde e aos custos financeiros envolvidos com manutenção do computador, acesso à internet e impressão do material que podem dificultar a permanência do aluno no curso; Ferramentas de interação (Inter3): aspectos relacionados ao curso, como utilização de e-mails, chats, fórum, quantidade de mensagens administrativas enviadas por e-mails e volume de leitura na tela do computador que podem dificultar a permanência do aluno no curso. Agrupa aspectos ligados aos procedimentos instrucionais do curso (recursos tecnológicos e estratégias e métodos instrucionais).

Estratégias de Aprendizagem: capacidades cognitivas complexas aprendidas pelo indivíduo ao longo da vida. As definições a seguir, baseiam-se no estudo de Warr e Allan (1998). Controle da Emoção (Est1): são estratégias de aprendizagem auto-regulatórias de controle da ansiedade e de prevenção de dispersões de concentração, causadas por sentimentos de ansiedade; Busca de Ajuda Interpessoal (Est2): estratégias comportamentais que representam a obtenção de auxílio de outras pessoas, como pares e professores, para tirar dúvidas sobre o conteúdo do curso; Repetição e Organização (Est3): correspondem às estratégias cognitivas de repetição mental da informação contida nos materiais na forma em que foi apresentada e às estratégias cognitivas de organização, que se referem à identificação de idéias centrais do material e criação de esquemas mentais que agrupam e relacionam elementos que foram aprendidos; Controle da Motivação (Est4): são estratégias de aprendizagem auto-regulatórias de controle da motivação e da atenção, apesar de existência de um interesse limitado em relação ao conteúdo a ser aprendido; Elaboração (Est5): corresponde a estratégias cognitivas de aprendizagem relativas aos procedimentos adotados pelo aprendiz para analisar e refletir sobre implicações e conexões possíveis entre o material aprendido e os conhecimentos que ele já possui sobre os assuntos contidos nos materiais; Busca de Ajuda do Material (Est6): refere-se às estratégias de obtenção de informações em documentos escritos, manuais de instruções, programas de computador e outras fontes de estudo que não envolve contato social; Monitoramento da Compreensão (Est7): são estratégias auto-regulatórias de monitoramento da compreensão do processo de aquisição de aprendizagem.

Reações ao Curso: satisfação dos participantes com características instrucionais do curso e com o desempenho do tutor. Procedimentos Tradicionais (Proc1): satisfação dos participantes com a qualidade dos objetivos de ensino, conteúdos, seqüência, avaliações de aprendizagem, estratégias e meios; Procedimentos baseados na Web (Proc2): satisfação dos participantes com a qualidade das ferramentas da web, links, FAQ, Mural, chats; Reações ao Desempenho do Tutor (Tutor): percepção do treinando sobre a qualidade da interação do tutor com os alunos, domínio do conteúdo e uso de estratégias de ensino.

Transferência de Treinamento (Transf), quarto componente do modelo, refere-se à aplicação dos CHAs aprendidos no curso no contexto de trabalho do participante.

Participantes

A pesquisa foi realizada no período de abril de 2003 a fevereiro de 2007 e consistiu na avaliação do curso IPGN, ofertado pelo SEBRAE Nacional. O total de inscritos no IPGN no período da coleta de dados – 3 de fevereiro a 12 de maio de 2006 – foi de 4.719 alunos. O SEBRAE forneceu os dados sócio-demográficos e informações sobre o número de acessos feitos pelos alunos ao ambiente eletrônico do curso. Na Tabela 1 são apresentados os dados da população de inscritos (N=4.719) em comparação com a amostra (n=722), em relação aos índices de conclusão do curso, aos dados sócio-demográficos e ao uso das ferramentas eletrônicas da web. A amostra é composta pelas respostas pareadas dos participantes que responderam a todos os questionários nos três momentos de coleta de dados.

Verifica-se que a amostra é muito semelhante à população de inscritos no curso, no que diz respeito à região de residência e escolaridade. Já em relação ao sexo dos participantes, há mais participantes do sexo feminino na amostra do que na população. O mesmo ocorre em relação à idade, na amostra a média de idade é um pouco mais alta. Em todos os casos houve predominância de participantes que concluíram o curso, porém, em proporção mais elevada na amostra. Em relação ao uso de ferramentas eletrônicas ao longo do curso, há diferença entre população e amostra. Isso se deve, provavelmente, em função da inclusão dos não-concluintes na descrição da população, já que o uso de algumas ferramentas (lista de discussão, chat e ambiente do curso) teve frequência mais baixa na população do que na amostra. A amostra, portanto, é semelhante à população de concluintes do IPGN, o que facilita a análise de generalidade dos resultados encontrados. Porém, não foram aplicados testes inferenciais para verificação das diferenças estatisticamente significativas entre as amostras e entre as amostras e população estudadas.

Instrumentos

Na Tabela 2, apresenta-se um resumo dos dados dos instrumentos validados.

Como pode ser observado na Tabela 2, os índices de confiabilidade variaram de 0,75 a 0,98, o que caracteriza que as escalas apresentam consistência. As cargas fatoriais variaram de -0,31 a -0,95, indicando que, além de consistentes, as escalas também são válidas e contemplam itens representativos do fator.

Os itens do instrumento "Ambiente de Estudo e Procedimentos de Interação" foram associados a uma escala do tipo Likert, de 11 pontos (0 – Dificultou muito minha participação no curso e 10 – Não dificultou minha permanência no curso), que mede a opinião do participante sobre o quanto os aspectos descritos dificultaram a permanência no curso. Os itens de "Estratégias de Aprendizagem" foram associados a uma escala do tipo Likert, de 11 pontos (0 – Nunca e 10 – Sempre) que mede a freqüência com que os participantes utilizam as estratégias de aprendizagem ao longo do curso. Os itens de "Reação aos Procedimentos Instrucionais" estão associados a uma escala do tipo Likert, de 11 pontos, em que 0 (zero) corresponde a Péssimo, e 10 a Excelente, e mede a satisfação dos participantes sobre os aspectos instrucionais do curso. Os itens de "Reação ao Desempenho do Tutor" estão associados uma escala do tipo Likert, de 11 pontos (0 – Nunca e 10 – Sempre), que mede a freqüência com que o tutor utiliza os comportamentos descritos ao longo do curso. E, finalmente, os itens de "Transferência de Treinamento" estão associados a uma escala do tipo Likert, de 11 pontos (0 – Nunca e 10 – Sempre), que mede a freqüência com que os participantes utilizaram os comportamentos descritos nos objetivos instrucionais do curso após o término do curso em seu ambiente de trabalho. Os instrumentos foram hospedados em páginas da internet para a coleta eletrônica de dados.

Considerações éticas

A privacidade das pessoas envolvidas no trabalho foi respeitada, já que não foi solicitada, em momento algum da coleta de dados, a identificação dos participantes. Além disso, a organização-alvo do estudo consentiu a publicação dos dados agrupados.

Procedimentos

Coleta de dados

Os questionários foram enviados por e-mail em três momentos distintos. No primeiro momento (30 dias após o início) foram coletados dados referentes ao ambiente de estudo e procedimentos de interação. No segundo momento (último dia de curso) foram coletados dados de estratégias de aprendizagem, reação aos procedimentos instrucionais e reação ao desempenho do tutor. No terceiro momento (25 a 30 dias após o término do curso) foram coletados dados de transferência de treinamento. Os índices de retorno foram bons (34,64% no momento 1; 21,48% no momento 2; e 32,49% no momento 3), levando-se em conta o fato da coleta de dados ter ocorrido totalmente à distância.

Análise dos dados

As respostas dos participantes aos questionários foram automaticamente registradas em um arquivo de dados eletrônico no programa Excel e, em seguida, importados pelo o SPSS For Windows, versão 14.0. Foram realizadas análises descritivas e exploratórias para investigar a exatidão da entrada dos dados, a presença de casos extremos, a distribuição dos casos omissos, a distribuição de frequência e o tamanho das amostras de acordo com as orientações de Hair, Anderson, Tatham e Black (2005) e Tabachnick e Fidell (2001). Foram realizadas análises de regressão múltipla padrão e stepwise.

Resultados

Após a retirada dos casos extremos uni e multivariados, os quais totalizaram 252 casos, o arquivo de dados, composto por 722 casos, permaneceu com 470 casos. Foi realizada análise de regressão múltipla padrão (N=470, 13 variáveis). Foram encontradas porcentagens entre 0,2 e 2,5% de casos omissos, por isso, optou-se pelo tratamento pairwise para dados omissos. Na Tabela 3, observam-se as correlações entre as variáveis, os coeficientes de regressão não padronizados (B), os coeficientes de regressão padronizados (β), a contribuição individual de cada variável (sr²), as médias das variáveis (X), os desvios-padrão (DP), a constante, o R², o R² ajustado e o R.

O coeficiente de regressão múltipla R foi significativamente diferente de zero, F(13, 439) = 23,54, <0,001, sendo considerados limites de confiança de 95%. Apenas duas variáveis antecedentes contribuíram significativamente para a explicação de transferência de treinamento, a saber: amb1 (b =0,20) e proc1 (b = 0,35). Agrupadas, as 13 variáveis iniciais, explicam 41% (39% ajustado) da variabilidade de transferência de treinamento percebida pelos participantes. As duas variáveis que contribuem significativamente com a explicação da variável-critério explicam, com suas contribuições individuais (sr²), cerca de 6% da variabilidade de transferência. Em suma, relatam mais transferência de treinamento, aqueles participantes do IPGN que percebem pouca dificuldade quanto ao contexto de estudo em educação a distância (EaD) e avaliam favoravelmente os procedimentos tradicionais do curso.

Mesmo com um número de respondentes menor do que o indicado (razão de 40 casos para cada variável antecedente) realizou-se a análise stepwise, já que se obteve uma razão de 36 casos por cada variável antecedente, o que não difere muito da razão de 40 casos por variável sugerida pelas autoras Tabachnick e Fidell (2001). Como resultado obtido, relataram mais transferência de treinamento, aqueles participantes do IPGN que avaliam favoravelmente os procedimentos tradicionais do curso, percebem pouca dificuldade quanto ao contexto de estudo em EaD, e utilizam com mais freqüência as estratégias de aprendizagem monitoramento da compreensão e elaboração.

Após todas essas análises, realizaram-se análises de regressão múltipla padrão e stepwise somente com as variáveis que indicaram maior poder preditivo com a variável-critério. Como resultado obtido, relataram mais transferência de treinamento, aqueles participantes do IPGN que avaliam favoravelmente os procedimentos tradicionais do curso, percebem pouca dificuldade quanto ao contexto de estudo em EaD, e utilizaram com mais freqüência as estratégias de aprendizagem monitoramento da compreensão e elaboração.

Discussão

Reação aos Procedimentos Tradicionais do curso encontra suporte parcial no estudo de Zerbini e Abbad (2005), no qual a variável antecedente que explicou a maior parte da variabilidade de transferência de treinamento foi Reação aos Procedimentos Instrucionais, medida em termos da satisfação dos participantes quanto aos procedimentos tradicionais e recursos da web, em conjunto (b=0,32). Na presente pesquisa, verificou-se que a medida de Reação aos Procedimentos Tradicionais apresenta sozinha, maior contribuição na predição de transferência de treinamento do que a medida conjunta de Zerbini e Abbad (2005).

A segunda variável com maior poder preditivo foi Contexto de Estudo (b=0,19), o que significa que participantes do IPGN que perceberam pouca dificuldade quanto ao contexto de estudo, apresentam maior ocorrência de transferência de treinamento para o ambiente de trabalho. Resultado semelhante foi obtido nas pesquisas de Carvalho e Abbad (2006) e Zerbini e Abbad (2005). Nos estudos das autoras avaliações desfavoráveis de suporte à transferência é que estiveram relacionadas positivamente com transferência de treinamento. Verifica-se que, nesse ambiente não corporativo, em especial, nesse curso de qualificação profissional que objetiva desenvolver habilidades empreendedoras, este resultado não parece surpreendente. No caso do IPGN, por exemplo, é ensinado aos participantes, no primeiro módulo, que um empreendedor de sucesso é aquele que transforma obstáculos em desafios. Diante disso, aumentar a percepção que o ambiente é desfavorável aumentaria o mérito daquele indivíduo que o enfrentasse como um desafio. No resultado obtido no presente estudo, a direção do relacionamento da variável de ambiente com transferência de treinamento foi oposta à encontrada nos estudos Carvalho e Abbad (2006) e Zerbini e Abbad (2005), entretanto, os resultados podem ser interpretados da mesma forma. Os participantes que relataram perceber que determinados aspectos do contexto de estudo não dificultam sua permanência no curso, também são aqueles que relataram aplicar com mais freqüência no ambiente de trabalho, os CHAs adquiridos no curso. Ou seja, aqueles indivíduos que enfrentaram dificuldades como desafios à sua permanência no curso, relataram menos dificuldade com o contexto e, portanto, maior transferência de treinamento.

Não foram identificados na literatura da psicologia instrucional e organizacional estudos que relacionassem aspectos do ambiente de estudo do aluno em EaD com transferência de treinamento. Os resultados desta pesquisa levam à suposição de que os aspectos do contexto, que, para os alunos que desistem do curso são obstáculos, para os que concluem são, ao contrário, desafios superados. Há, portanto, uma grande necessidade de mais pesquisas que investiguem a influência do ambiente de estudo do aluno em EaD nos resultados do evento instrucional. É necessário também investigar outros aspectos presentes no ambiente de transferência do aluno que participa de cursos à distância não corporativos, já que em quase 30 anos de pesquisa na área de treinamentos presenciais corporativos, observou-se que variáveis do ambiente são importantes variáveis explicativas de efeitos de treinamentos (Abbad, 1999; Coelho Jr., 2004; Meneses & Abbad, 2003; Peters & O’Connor, 1980; Pilati, 2004; Roulllier & Goldstein, 1993; Sallorenzo, 2001; Tamayo & Abbad, 2006; Tannenbaum & Yukl, 1992; Zerbini & Abbad, 2005, entre outros).

Além de Reação aos Procedimentos Tradicionais e Contexto de Estudo, outras duas variáveis mostraram-se preditoras de transferência de treinamento: Monitoramento da Compreensão (b=0,15) e Elaboração (b=0,12). O fato da variável Monitoramento da Compreensão apresentar contribuição para a explicação da ocorrência de transferência de treinamento faz sentido em se tratando do IPGN. O curso oferece ao aluno a possibilidade de desenvolver seu plano de negócios ao longo do curso. A cada final de módulo há uma atividade complementar que relaciona os conhecimentos aprendidos no módulo às etapas do roteiro de elaboração do plano de negócios. Diante disso, caso haja interesse, o participante pode elaborar seu plano de negócios ao longo do curso e, ao mesmo tempo, tem a possibilidade de auto-avaliar seu processo de aquisição de aprendizagem, bem como melhorar seu rendimento, caso necessário, antes de chegar ao módulo final.

A explicação para que Controle da Emoção e Controle da Motivação não terem contribuído para explicar transferência de treinamento pode ter ocorrido em função de os indivíduos estarem acostumados a utilizar, ao longo da vida, estratégias de aprendizagem cognitivas, consideradas as mais comuns em diversos tipos de ações educacionais. Os itens de Monitoramento da Compreensão, apesar de não se agruparem em um fator composto por itens de estratégias cognitivas, são bem próximos aos procedimentos típicos de tais estratégias. É necessário o desenvolvimento de mais pesquisas para obter respostas mais precisas quanto à influência de estratégias auto-regulatórias no processo de ensino-aprendizagem, bem como, no processo de transferência de treinamento, em cursos a distância.

Faz sentido que a variável Elaboração tenha entrado como variável preditora de transferência de treinamento no curso avaliado, já que para o aluno elaborar um plano de negócio inovador e criativo, é preciso relacionar o conteúdo aprendido no curso com suas experiências e seus conhecimentos já existentes sobre o assunto. Tal resultado corrobora, em parte, os resultados obtidos por Zerbini e Abbad (2005), os quais indicam que "elaboração e aplicação prática" mantêm relacionamento positivo com transferência de treinamento.

Quanto às estratégias comportamentais (busca de ajuda interpessoal, busca de ajuda ao material didático e aplicação prática do conteúdo), Warr e Bunce (1995) relacionaram os três tipos juntos e não encontraram relacionamento significativo com aprendizagem. O fato de Busca de Ajuda Interpessoal não ter entrado como variável preditora de transferência de treinamento no modelo de regressão múltipla testado neste estudo pode ter ocorrido em função da baixa freqüência de uso pelos participantes dos recursos instrucionais de interação oferecidos pelo curso. Os dados de arquivos fornecidos pelo SEBRAE confirmaram estes resultados (Zerbini, 2007).

Quanto ao fato de Repetição e Organização não ter entrado nas equações de regressão múltipla como preditora da variável-critério, Zerbini e Abbad (2005) encontraram resultado semelhante: o fator "repetição, organização e ajuda do material" não apresentou relacionamento significativo com transferência de treinamento. Segundo as autoras, esse resultado provavelmente ocorreu em função da ausência de atribuições de notas pelos tutores às avaliações de aprendizagem. Os itens incluídos nessa escala provavelmente são mais utilizados quando as atividades a serem realizadas necessitam de retenção de informações.

Em função dos resultados obtidos na presente pesquisa é possível perceber a ocorrência de um maior poder explicativo de variáveis individuais sobre resultados de treinamentos, em comparação com modelos de avaliação de treinamentos presenciais. Talvez, em cursos a distância, características da clientela, principalmente as cognitivo-comportamentais, tenham maior poder explicativo nos resultados de treinamento do que em cursos presenciais, em função da necessidade de o aluno desenvolver estratégias de autogerenciamento da aprendizagem para ser bem sucedido em seus estudos.

Considerações finais

Todas as escalas utilizadas no presente estudo mostraram-se psicometricamente confiáveis e válidas. Em estudos futuros, sugere-se que tais instrumentos sejam aplicados em outras amostras e em diferentes contextos para a realização de análises fatoriais confirmatórias.

Os baixos coeficientes de determinação dos modelos de regressão múltipla indicam a existência de outras variáveis, não abordadas neste estudo, que podem explicar grande parcela da variabilidade de transferência de treinamento. Em estudos futuros, é fundamental ampliar a revisão de literatura, em especial, relativas à produção científica publicada por pesquisadores na área de Educação.

Outra consideração consiste nas variáveis de ambiente utilizadas nesta pesquisa. Foram utilizadas medidas do ambiente de estudo do aluno, incluindo os procedimentos de interação presentes no desenho do curso. A contribuição dessas variáveis na explicação da variabilidade das respostas dos participantes à escala de transferência de treinamento foi pequena e, em alguns momentos, de difícil interpretação. Dois aspectos podem justificar os resultados discutidos nas seções anteriores: a natureza do público-alvo do curso IPGN e o ambiente de transferência deste público. Os participantes do IPGN não mantêm vínculo institucional com o SEBRAE e, talvez por isso, não transferem as habilidades e conhecimentos adquiridos no curso para um só ambiente. Além disso, o ambiente de estudo de aluno é extremamente amplo e diversificado.

Quanto às contribuições deste estudo, destacam-se: a utilização de instrumentos validados; a revisão de literatura da área de avaliação de treinamento presencial e a distância em psicologia instrucional e organizacional e TD&E; e o aprimoramento da estratégia de coleta de dados realizada pela internet. Entre as principais limitações desta pesquisa estão: (1) Impossibilidade de generalizar os resultados encontrados na presente pesquisa para outros contextos e participantes, já que se trata de um curso aberto, gratuito e não corporativo; (2) Ausência de avaliação dos efeitos do curso IPGN a longo prazo, já que o curso é introdutório, relacionado à elaboração do plano de negócios, portanto, o resultado esperado é a abertura de um negócio, podendo levar alguns anos para ser possível verificar o resultado; (3) Ausência de informações objetivas sobre quantos e quais eram os ambientes de transferência do egresso do IPGN. Tais dados poderiam trazer informações importantes sobre o modo como ocorre a transferência de treinamento do curso no ambiente de trabalho dos participantes; (4) Uso de apenas uma fonte de informação: o participante do curso IPGN.

Quanto às implicações práticas dos resultados obtidos, torna-se necessário disseminar a utilização das medidas de avaliação de cursos a distância nas organizações de trabalho e instituições de ensino que ofertam cursos desta natureza. É preciso desenvolver uma cultura de avaliação dos efeitos destes cursos, visando ao aprimoramento do planejamento instrucional utilizado. Além disso, a melhoria de cursos à distância, pode estimular planejadores instrucionais a elaborarem objetivos de aprendizagem mais complexos e delinearem estratégias de ensino e avaliações de aprendizagem mais compatíveis com os mesmos. Poucas organizações oferecem cursos que desenvolvem habilidades complexas, dificultando o desenvolvimento de pesquisas e conseqüente aprimoramento de metodologia de avaliação.

Quanto às implicações teóricas, é necessário continuar a busca de preditores de resultados de treinamento a distância. Estudos e pesquisas em Educação, Empreendedorismo, Inovação, Tecnologia da Informação, entre outras áreas do conhecimento, precisam ser consideradas nos estudos dos efeitos de treinamentos, principalmente aqueles que ocorrem em contexto não corporativo.

Recebido: 06/05/2009

1ª revisão: 01/03/2010

2ª revisão: 26/07/2010

Aceite final: 25/08/2010

Thaís Zerbini é Professora Doutora da Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto da Universidade de São Paulo.

Gardênia Abbad é Professora Adjunta do Instituto de Psicologia da Universidade de Brasília.

• Abbad, G. (1999). Um modelo integrado de avaliação do impacto do treinamento no trabalho IMPACT. Tese de doutorado não-publicada, Universidade de Brasília, Brasília, DF.
• Abbad, G., & Borges-Andrade, J. E. (2004). Aprendizagem humana em organizaçőes de Trabalho. In J. C. Zanelli, J. E. Borges-Andrade & A. V. B. Bastos (Orgs.), Psicologia, Organizaçőes e Trabalho no Brasil (pp. 237-275). Porto Alegre: Artmed.
• Abbad, G., Borges-Andrade, J.E., & Sallorenzo, L.H. (2004). Self-Assessment of training impact at work: Validation of a measurement scale. Revista Interamericana de Psicologia, 38(2), 277-284.
• Alliger, G. M., & Janak, E. A. (1989). Kirkpatricks levels of training criteria: Thirty years later. Personnel Psychology, 42(2), 331-342.
• Alvim, S. (2008). Impacto em profundidade e amplitude: avaliando um treinamento extra-organizacional com foco em empreendedorismo Dissertação de mestrado não-publicada, Universidade Federal da Bahia, Salvador, BA.
• Baldwin, T. T., & Ford, J. K. (1988). Transfer of training: A review and directions for future research. Personnel Psychology, 41(1), 63-105.
• Borges-Andrade, J. E. (2006). Avaliação integrada e somativa em TD&E. In J. E. Borges-Andrade, G. Abbad, & L. Mourão (Orgs.), Treinamento, desenvolvimento e educação em organizaçőes e trabalho: Fundamentos para a gestão de pessoas (pp. 343-358). Porto Alegre: Artmed.
• Borges-Ferreira, M. F. (2005). Avaliação  de reaçőes e aprendizagem em disciplinas de curso técnico profissionalizante oferecidas a distância. Dissertação de mestrado não-publicada, Universidade de Brasília, Brasília, DF.
• Brauer, S. (2005). Avaliação de um curso a distância: Valor instrumental do treinamento, barreiras pessoais à conclusão e evasão Dissertação de mestrado não-publicada, Universidade de Brasília, Brasília, DF.
• Carvalho, R. S., & Abbad, G. S. (2006). Avaliação de treinamento a distância: Reação, suporte à transferência e impactos no trabalho. Revista de Administração Contemporânea, 10(1), 95-116.
• Carvalho, R. S., Zerbini, T., & Abbad, G. (2005). Competências empreendedoras de pequenos empresários: Construção e validação de uma escala. In E. C. L. Souza & Guimarães, T. A (Orgs.), Empreendedorismo além do plano de negócio (pp. 217-240). São Paulo: Atlas.
• Coelho Jr., F. A. (2004). Avaliação de treinamento a distância: Suporte à aprendizagem e impacto do treinamento no trabalho. Dissertação de mestrado não-publicada, Universidade de Brasília, Brasília, DF.
• Coelho Jr., F. A., & Borges-Andrade, J. E. (2008). Uso do conceito de aprendizagem em estudos relacionados ao trabalho e organizaçőes. Paidéia (Ribeirão Preto), 18(40), 221-234.
• Ford, J. K., & Kraiger, K. (1995). The application of cognitive constructs and principles to the instructional systems design model of training: Implications for needs assessment, design, and transfer. International Review of Industrial and Organizational Psychology, 10, 1-48.
• Hair, J. F., Anderson, R. L., Tatham, R. L., & Black, W. C. (2005). Análise multivariada de dados (5a ed.). Porto Alegre: Bookman.
• Hamblin, A. C. (1978). Avaliação e controle do treinamento São Paulo: McGraw-Hill do Brasil.
• Jegede, O. (1999). Differences between low and high achieving distance learners in locus of control and metacognition. Distance Education. 20(2), 255-263.
• Kirkpatrick, D. L. (1976). Evaluation of training. In R. L. Craig (Org.), Training and development handbook (pp. 18.1-18.27). New York, NY: Mc Graw-Hill.
• Meneses, P. P. M., & Abbad, G. (2003). Preditores individuais e situacionais de auto e heteroavaliação de impacto do treinamento no trabalho. Revista de Adminstração Contemporânea, 7(Número especial), 185-204.
• Peters, L. H., & OConnor, E. J. (1980). Situational constraints and work outcomes: The influence of frequently overlooked construct. Academy of Management Review, 5(3), 391-397.
• Pilati, R. (2004). Modelo de efetividade do treinamento no trabalho: Aspectos dos treinandos e moderação do tipo de treinamento Tese de doutorado não-publicada, Universidade de Brasília, Brasília, DF.
• Pilati, R., & Abbad, G. (2005). Análise fatorial confirmatória da escala de impacto do treinamento no trabalho. Psicologia: Teoria e Pesquisa, 21(1), 43-51.
• Pilati, R., & Borges-Andrade, J. E. (2006). Construção de medidas e delineamentos em avaliação de TD&E. In J. E. Borges-Andrade, G. Abbad, & L. Mourão (Orgs.), Treinamento, desenvolvimento e educação em organizaçőes e trabalho: Fundamentos para a gestão de pessoas (pp. 359-384). Porto Alegre: Artmed.
• Roullier, J. Z., & Goldstein, I. L. (1993). The relationship between organizational transfer climate and positive transfer of training. Human Resource Development Quarterly, 4(4), 377-390.
• Sallorenzo, L. H. (2000). Avaliação de impacto de treinamento no trabalho: Analisando e comparando modelos de predição Dissertação de mestrado não-publicada, Universidade de Brasília, Brasília, DF.
• Tabachnick, B. G., & Fidell, L. S. (2001). Using multivariate statistics New York, NY: Harper-Collins College Publishers.
• Tamayo, N., & Abbad, G. (2006). Autoconceito profissional e suporte à transferência e impacto do treinamento no trabalho. Revista de Administração Contemporânea, 10(3), 9-28.
• Tannenbaum, S. I., & Yukl, G. (1992). Training and development in work organizations. Annual Review of Psychology, 43, 399-441.
• Vargas, M. R. M. (2004). Barreiras à implantação de programas de educação e treinamento a distância Tese de doutorado não publicada, Universidade de Brasília, Brasília, DF.
• Warr, P., & Allan, C. (1998). Learning strategies and occupational training. Internacional Review of Industrial and Organizational Psychology, 13, 83-121.
• Warr, P., & Bunce D. (1995). Trainee characteristics and outcomes of open learning. Personnel Psychology, 48, 347-375.
• Warr, P., & Downing, J. (2000). Learning strategies, learning anxiety and knowledge acquisition. British Journal Psychology, 91, 311-333.
• Zerbini, T. (2007). Avaliação da transferência de treinamento em curso a distância Tese de doutorado não-publicada, Universidade de Brasília, Brasília, DF.
• Zerbini, T., & Abbad, G. (2005). Impacto de treinamento no trabalho via internet [Versão eletrônica]. RAE Eletrônica, 4(2), 1-21. Recuperado em 20 janeiro 2006, de h ttp://www.rae.com.br/redirect.cfm?ID=3575
• Zerbini, T., & Abbad, G. (2008a). Estratégias de aprendizagem em curso a distância: Validação de uma escala. Psico-USF, 13(2), 177-187.
• Zerbini, T., & Abbad, G. (2008b). Qualificação profissional: Ambiente de estudo e procedimentos de interação-validação de uma escala. Análise, 19(1), 148-172.
• Zerbini, T., & Abbad, G. (2009a). Reação ao desempenho do tutor em um curso a distância: Validação de uma escala. Estudos e Pesquisa em Psicologia, 9(2), 447-463.
• Zerbini, T., & Abbad, G. (2009b). Reação aos procedimentos instrucionais de um curso via internet: Validação de uma escala. Revista Estudos de Psicologia (Campinas), 26(3), 363-371.

1

Apoio: CNPq. Este trabalho é derivado da Tese de Doutorado defendida pela primeira autora, sob a orientação da segunda, no Programa de Pós-graduação em Psicologia da Universidade de Brasília. Recorte do trabalho foi apresentado anteriormente, em 2007, na 5ª Conferência Internacional da Iberoamerican Academy of Management (IAM), em Santo Domingo na República Dominicana.

Datas de Publicação

• Publicação nesta coleção
  04 Fev 2011
• Data do Fascículo
  Dez 2010

Histórico

• Recebido
  06 Maio 2009
• Revisado
  26 Jul 2010
• Aceito
  25 Ago 2010