Renata Silveira Carvalho¹ Dissertação de Mestrado Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Renata Silveira Carvalho¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES ¹Integrante do PRONEX/ Treinamento e Comportamento no Trabalho

Cenário Atual Por um lado... Exigências do mercado “Prazo de validade” do conhecimento Inovações tecnológicas Por outro... Educação empresarial com uso da tecnologia Avaliação sistemática das ações educacionais

Aprendizagem Organizacional Justificativa para as organizações Derivado da aprendizagem individual Mapas cognitivos compartilhados (mapas de aprendizagem, comunidades de aprendizagem) Crítica ao uso do termo (Pantoja e Borges-Andrade, 2002)

Comunicação de conhecimento TD&E Educação Desenvolvimento Treinamento Instrução Comunicação de conhecimento Adaptado de Sallorenzo (2000) Metáfora com aprendizagem organizacional

Educação a Distância Definição Distância física e temporal Flexibilidade Autonomia Aspectos importantes Caráter sócio-afetivo Conjunção de mídias

Educação Corporativa Uso da EaD Propósitos de T,D e E indistintos Vantagens: redução de custos de deslocamento e substituição; formação simultânea de colaboradores dispersos geograficamente Propósitos de T,D e E indistintos Educação continuada

Sistema Treinamento Necessidade de novas ferramentas de avaliação Sistema de Treinamento Levantamento de Necessidades Planejamento e Execução Avaliação Necessidade de novas ferramentas de avaliação

Modelos de Avaliação Hamblin (1978) Reação, Aprendizagem, Comportamento no Cargo, Mudança Organizacional e Valor Final Críticas ao modelo (Alliger & Janak, 1989) Acréscimo de informações Causalidade Correlação entre níveis

Modelos de Avaliação Modelo MAIS (Borges-Andrade, 1982) Apoio Processo Avaliação de Necessidade Resultado a longo prazo Insumos Resultados Procedimento Processo Disseminação Modelo MAIS (Borges-Andrade, 1982) Destaque para variáveis do ambiente

Modelos de Avaliação Modelo IMPACT (Abbad, 1999) 7. Impacto 6. Suporte à Transferência 3. Características da Clientela 2. Características do Treinamento 1. Suporte Organizacional 5. Aprendizagem 4. Reações Modelo IMPACT (Abbad, 1999) Identificação de variáveis preditoras de Impacto do Treinamento no Trabalho

Modelo de Investigação 1. Características da Clientela 1.1. Dados demográficos 1.2. Uso de ferramentas da web 2. Reações 2.1. Desempenho do Tutor 2.2. Interface Gráfica 2.3. Resultados e Aplicabilidade 4. Falta de Suporte à Transferência 3. Aprendizagem 5. Impacto Treinamento no Trabalho 5.1. Profundidade 5.2. Amplitude – Perfil do Empreendedor Revisão de Literatura

Delimitação do Problema Grande lacuna nos estudos sobre treinamentos a distância NTICs trazem novos questionamentos Interface Gráfica Papel do Tutor Aprendizagem continua pouco estudada Necessidade de reconstrução de instrumental de avaliação

Objetivos Estudo 1 Estudo 2 Construir e Validar medidas nos níveis de Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho Estudo 2 Identificar variáveis preditoras de aprendizagem e impacto, nos componentes características da clientela, reação e suporte à transferência. 4. Falta de Suporte à Transferência 1. Características da Clientela 5. Impacto Treinamento no Trabalho 3. Aprendizagem 2. Reações

Componentes - Definições 1. Características da Clientela Dados demográficos (sexo, idade, escolaridade e região geográfica de residência) Uso de ferramentas da web (acesso ao “tira-dúvida”, à lista de discussão, ao mural de notícias, ao chat e ao ambiente do curso) 2. Reações Desempenho do Tutor (interação com participantes, domínio do conteúdo e uso de estratégias de ensino) Interface Gráfica (navegabilidade e usabilidade do software) Resultados e Aplicabilidade (transmissão dos conhecimentos a outras pessoas, aplicação do aprendido em diferentes situações, trabalho com outros profissionais e enfrentamento de dificuldades)

Componentes - Definições 3. Aprendizagem Desempenho do participante nos exercícios de fixação obrigatórios, aplicados ao final de cada capítulo do curso (número de acertos) 4. (Falta de) Suporte à Transferência Fatores ambientais, da família, comunidade e do governo capazes de prejudicar a abertura e manutenção de um empreendimento

Componentes - Definições 5. Impacto do Treinamento no Trabalho Profundidade Auto-avaliação sobre o grau de aplicação dos desempenhos no ambiente de trabalho do participante Amplitude Auto-avaliação sobre o grau de emprego de estratégias de gerenciamento de um empreendimento, quanto a: tratamento com colaboradores clientes e fornecedores ações de autodesenvolvimento controle financeiro e jurídico do negócio ações de marketing e estruturação do ambiente físico.

Método - Organização e Curso - Organização: Sebrae Sua missão é promover desenvolvimento sustentável do Brasil por apoio a micro e pequenas empresas Curso: IPGN Objetivo: elaboração de um Plano de Negócio Público-alvo: interessados em desenvolver habilidades de empreendedorismo 100% a distância via internet / Gratuito 40 horas / 60 dias / 5 módulos seqüenciais - de 2 a 5 capítulos Tutoria (200 alunos por tutor) e Recursos de interação

Método População de inscritos no momento da avaliação 21.920 Número de concluintes 11.600 (52,9%) Maior amostra obtida 2.347 9 arquivos de dados criados

Método - Participantes - Semelhança entre população de concluintes e amostras dos Estudos 1 e 2 Concluintes (52 a 91%) Sexo masculino (59 a 65%) Idade média de 34 anos (DP  9) Nível superior incompleto (32 a 34%) Região Sudeste (43 a 57%) Dados Pessoais (Estudo 2) Não possui negócio (71%) Experiente na internet (52%) Não participou de curso a distância (53%) Interesse em Serviços (50 a 54%) Funcionário de empresa privada (21%) Inscreveu-se para aprender a elaborar plano de negócio (52 a 54%)

Método - Participantes - Pouco uso das ferramentas da web Dúvidas no “tira-dúvida”: 0 (76 a 88%) Mensagens para a lista de discussão: de 1 a 10 (45 a 61%) Participação em chats: 0 (33 a 60%) Acesso ao mural de notícias: até 12 vezes (30 a 58%) Acesso ao ambiente do curso: de 1 a 20 vezes (37 a 63%)

Método - Instrumentos de Medida e Fontes - Seções do instrumento No. de Itens Roteiro de Análise do Material Didático Objetivos instrucionais Estratégias instrucionais Planejamento de atividades Seqüência do ensino Fontes de informação Informações gerais sobre o curso 39 Dados Pessoais Dados demográficos e profissionais 11 Sebrae Reação ao Desempenho do Tutor Interação com os Participantes 17 Domínio do Conteúdo 4 Uso de Estratégias de Ensino 22

Método - Instrumentos de Medida - Seções do instrumento No. de Itens Reação à Interface Gráfica Usabilidade e navegabilidade do software 15 Reação a Resultados e Aplicabilidade 7 Aprendizagem Acertos nos exercícios Sebrae Falta de Suporte à Transferência Apoio familiar, governamental e social Impacto do Treinamento Impacto em Profundidade 25 Impacto do Treinamento no Trabalho (em Amplitude) Colaboradores 37 Clientes e fornecedores Autodesenvolvimento Controle jurídico e financeiro Marketing e ambiente

Método - Construção de Instrumentos - Reação Tutor: relatos de tutores e alunos Interface Gráfica: critérios ergonômicos (Scapin & Bastien, 1993) Resultados e Aplicabilidade: adaptado de Abbad (1999) Impacto em Profundidade Análise do Material Didático Suporte e Impacto em Amplitude Entrevistas com empreendedores

Método - Coleta de Dados - 1° Momento - final do curso: Dados Pessoais Desempenho do Tutor Interface Gráfica Resultados e Aplicabilidade 2° Momento - 42 a 105 dias após o término do curso: Falta de Suporte à Transferência Impacto do Treinamento (em profundidade) (em amplitude) Coleta via e-mail Instrumentos digitalizados, hospedados na internet Índice de retorno baixo: 24% (1° Momento) e 8,5% (2° Momento)

Método - Análise de Dados - Análises exploratórias Distribuição das variáveis, dados omissos e casos extremos Tratamento pairwise para dados omissos Manutenção dos casos extremos Estudo 1 Componentes Principais valor próprio>1; scree plot; 3% de variância explicada; interpretabilidade do fator PAF (cargas>0,30) Alfa de Cronbach Estudo 2 ANOVA, Teste t Regressão Múltipla Padrão e Stepwise

Resultados Estudo 1 Escalas Obtidas KMO No. Itens Valor Próprio % Var Alfa Cargas fatoriais mín. máx. TUT1 Desempenho Didático e Domínio do Conteúdo 0,98 27 23,02 52,31 0,40 0,93 TUT2 Uso de Estratégias Motivacionais 12 18,65 42,38 0,95 0,49 TUT3 Respeito aos Participantes 5 9,84 22,36 0,92 0,41 0,52 TUTG Desempenho do Tutor 44 25,07 57,00 0,59 0,83 INT Interface Gráfica 0,96 15 8,62 57,46 0,68 0,84 RESULT Resultados e Aplicabilidade 0,88 7 3,80 54,30 0,62 0,82

Resultados Estudo 1 Escalas Obtidas KMO No. Itens Valor Próprio % Var Alfa Cargas mín máx SUP1 Contexto do Empreendimento 0,91 8 5,18 34,5 0,87 0,34 0,85 SUP2 Aspectos Financeiros 7 5,23 34,87 0,88 -0,44 -0,91 SUPG Falta de Suporte à Transferência 15 6,14 40,93 0,30 0,75 IMPP1 Administração do Negócio 0,97 12 10,87 45,29 0,92 0,32 0,83 IMPP2 Planejamento Financeiro 10,31 42,95 0,95 -0,54 -0,94 IMPP3 Análise do Mercado 5 9,20 38,33 0,90 -0,31 -0,89 IMPPG Impacto do Treinamento no Trabalho (em Profundidade) 24 12,48 52,01 0,96 0,41 0,79 IMPA1 Gestão do Negócio 0,98 18,63 50,35 0,48 0,82 IMPA2 Gestão de Pessoas 13 17,96 48,48 -0,61 -0,99 IMPAG Impacto do Treinamento no Trabalho (em Amplitude) 37 20,14 54,45 0,49 0,84

Resultados Estudo 2 - Aprendizagem - Escores de Aprendizagem Número de Acessos ao Mural de Notícias Reação a Resultados e Aplicabilidade Número de Acessos ao Chat =0,15  =0,13  =0,10 R²=0,06 “Tira-dúvida”, Lista de Discussão e Reação à Interface Gráfica não explicaram aprendizagem. As seis variáveis antecedentes explicaram 6% da variabilidade nos Escores de Aprendizagem.

Resultados Estudo 2 - Impacto em Profundidade - Impacto do Treinamento no Trabalho (em Profundidade) Elaboração de Plano de Negócio Falta de Suporte à Transferência Reação a Resultados e Aplicabilidade  =0,44  =0,26  = -0,18 R²=0,34 Reação à Interface Gráfica e Região Geográfica não entraram no modelo. As cinco variáveis antecedentes explicaram 34% (33% ajustado) da variância de impacto em profundidade.

Resultados Estudo 2 - Impacto em Amplitude - Impacto do Treinamento no Trabalho (em Amplitude) Elaboração de Plano de Negócio Falta de Suporte à Transferência Reação a Resultados e Aplicabilidade  =0,40  =0,25  = -0,14 R²=0,31 Reação à Interface Gráfica e Região Geográfica não entraram no modelo. As cinco variáveis antecedentes explicaram 31% (30% ajustado) da variância total das respostas de Impacto do Treinamento no Trabalho (em Amplitude).

Discussão Estudo 1 Instrumentos válidos e confiáveis Tutor Suporte Multicolinearidade Corrobora em parte Abbad (1999) Suporte Necessidade de avaliar barreiras e restrições ao desempenho no cargo Falta apoio familiar Impacto Alta correlação entre profundidade e amplitude Pré-teste de empreendedorismo

Discussão Estudo 2 Baixa predição de aprendizagem Medida não fidedigna e pouco uso da web Reações: apoio parcial na literatura Tutor e interface gráfica sem poder preditivo Suporte ainda é preditor de impacto Magnitude menor e Relação negativa Elaboração do plano de negócio Necessária porém não obrigatória Variáveis demográficas não explicam aprendizagem e impacto Estudar variáveis motivacionais

Discussão - Análises Adicionais - Diferenças entre médias Diferença no uso de ferramentas da web entre concluintes e não concluintes Experiência no uso da internet não interfere na Reação à Interface Gráfica Reação a Resultados e Aplicabilidade difere em função da conclusão do curso Possuir negócio não altera percepção de falta de suporte

Considerações Finais Escalas psicometricamente válidas e confiáveis Baixo poder preditivo das variáveis antecedentes Necessidade de aprimoramento de escalas e aplicação em outros contextos Desempenho do tutor e interface gráfica não explicaram resultados de impacto Necessidade de pré-teste de aprendizagem e empreendedorismo

Limitações Baixo índice de retorno Falhas em programação e quedas de conexão Delineamento da coleta Modelo de investigação completo não testado Apenas um curso avaliado, em contexto específico Aprendizagem – baixa qualidade psicométrica

Contribuições Validação de 6 escalas de avaliação de treinamento a distância Validação de medida de impacto em profundidade Medida de impacto em amplitude aplicável aos cursos da organização-alvo Avaliação de curso a distância Inclusão de variáveis típicas de EaD tutor e interface gráfica

Agenda Analisar relacionamento entre níveis de avaliação individual Estudar características da clientela (variáveis motivacionais) em EaD Analisar perfil dos participantes evadidos Aplicar e reformular os instrumentos utilizados nesta pesquisa Avaliar impacto em amplitude em mais momentos, incluindo medidas não-perceptuais

Fim Obrigada! renatac@yawl.com.br

Características da Clientela Pequena contribuição dessas variáveis na explicação de impacto e aprendizagem Motivacionais são as mais importantes (Colquitt, LePine & Noe, 2000) Dados demográficos: idade com correlação negativa com aprendizagem (Abbad, 1999; Pantoja, 1999; Warr & Bunce, 1995)

Reação Desempenho do Tutor Contato com aluno mediado pelo tutor Papel do tutor não está claramente definido (Maggio, 2001): Não se resume ao afetivo, de motivar e incentivar ao aluno Domínio do conteúdo e uso de estratégias de ensino também são defendidos Professor presencial avaliado em 3 dimensões: Domínio do conteúdo, estratégias de ensino e entrosamento Interação com o tutor e interatividade do ambiente virtual: complementares nas ações de EaD (Belloni, 1999)

Reação Interface Gráfica Influente na produtividade e conforto dos usuários Uso linear, sem uso do hipertexto (Dean & Webster, 2000) Raros casos de medidas de avaliação do ambiente de ensino na web (p.e., Sarmet & Silvino, 2002) Critérios ergonômicos, ainda não validados estatisticamente (Scapin & Bastien, 1993) Interface gráfica e exigências cognitivas

Reação Resultados e Aplicabilidade (Abbad, 1999; Alves, Pasquali & Pereira, 1999; Alliger et al., 1997) Avaliação de Utilidade Reações: falta de critérios rigorosos, pouca explicação de procedimentos e nenhuma comparação entre níveis

Aprendizagem Processo de aquisição e retenção de CHAs, expresso por mudança em comportamento Pré e pós-testagem para mensurar alcance dos objetivos Avanços escassos (Borges-Andrade, 2002) Pouco conhecimento sobre variáveis explicativas Não se configura como preditora de impacto do treinamento no trabalho

Suporte à Transferência Características específicas do ambiente de trabalho que podem restringir ou facilitar a aplicação dos conhecimentos aprendidos no treinamento Importância da variável na explicação de impacto corroborada em diferentes ambientes organizacionais, tipos de treinamento e amostras Não há estudo dessa variável em TaD Restrições situacionais: aspectos prejudiciais ao desempenho (Peters & O’Connor, 1980) Natureza do curso avaliado implica redefinição da medida (comunidade, família, governo)

Impacto do Treinamento Profundidade vs. Amplitude Efeitos específicos do treinamento, relacionados aos objetivos de ensino Efeitos gerais do evento sobre o desempenho de tarefas relacionadas diretamente ou não ao conteúdo Dificuldade de validação (Borges-Andrade, 2002) Amplitude para o curso avaliado: Medida de empreendedorismo e técnicas gerenciais Não há relato empírico sobre definição de características do empreendedor Criatividade, iniciativa e inovação