Capítulo 24 – TD&E – 2006 Capítulo 5 – Medidas de avaliação - 2012 Transferência de treinamento e impacto do treinamento no trabalho Profa. Dra. Gardênia da Silva Abbad Instituto de Psicologia Programas de Pós-graduação em Psicologia e Administração Capítulo 24 – TD&E – 2006 Capítulo 5 – Medidas de avaliação - 2012

Gardênia da Silva Abbad Impacto: O que é? Mensurar impacto de TD&E significa avaliar se a ação empreendida gerou melhorias nos desempenhos dos indivíduos, dos grupos e da organização. Significa avaliar em que medida os esforços despendidos nestas ações de TD&E efetivamente geraram os efeitos desejados Gardênia da Silva Abbad

O que é impacto no nível do indivíduo? O conceito de impacto de TD&E pode ser compreendido à luz dos conceitos de transferência de treinamento e de desempenho no trabalho (Abbad, 1999; Abbad e cols., 2004). Impacto é a influência exercida por um treinamento sobre o desempenho subsequente do participante. O conceito de transferência de treinamento inclui a questão da mudança na forma de desempenhar as atividades de trabalho, a partir das aprendizagens ocorridas nos eventos de TD&E. O foco da avaliação neste nível está no grau de aplicação dos CHAs aprendidos e na sua capacidade de influenciar o desempenho subsequente.

O que é impacto no nível do indivíduo? Ocorrência de melhorias significativas no desempenho específico ou no desempenho geral da pessoa treinada. O efeito da aplicação, no trabalho, dos CHAs aprendidos em TD&E.

O que é impacto no nível do indivíduo? O impacto é observado quando a pessoa treinada aplica os CHAs aprendidos e quando essa aplicação gera melhorias significativas na vida pessoal ou profissional. Impacto é o resultado positivo da transferência. Entretanto, pode haver transferência com pouco impacto no trabalho.

Impacto, Transferência e Desempenho Análise das Expressões Impacto do treinamento no trabalho compreende os conceitos de transferência de treinamento e desempenho. Transferência de treinamento refere-se à aplicação eficaz, no ambiente de trabalho, de conhecimentos, habilidades ou atitudes adquiridas em situações de treinamento. O participante transfere para o trabalho uma nova forma de desempenhar antigas tarefas e/ou leva para o ambiente de trabalho as habilidades, atitudes e/ou conhecimentos necessários à execução de uma nova tarefa.

Treinamento, resultados e explicações alternativas ou externalidades Representação esquemática das relações entre treinamento e resultados, adaptada de Taylor e O`Driscoll (1998)

Impacto, Transferência e Desempenho Análise das Expressões (cont.) Impacto refere-se à influência exercida pelo treinamento sobre o desempenho subsequente do participante em tarefas similares às ensinadas durante o evento instrucional. Impacto do treinamento no trabalho, no Brasil, foi definido e medido como: utilização frequente, no trabalho, dos conhecimentos adquiridos no curso melhoria da qualidade do desempenho em aspectos relacionados ao curso diminuição do número de erros cometidos no trabalho em atividades ligadas ao curso (Lima, Borges-Andrade e Vieira, 1989; Paula, 1992; Leitão, 1994).

Impacto, Transferência e Desempenho Análise das Expressões (cont.) Certas habilidades, capacidades, conhecimentos e/ou atitudes aprendidas em treinamentos podem afetar o desempenho em muitas tarefas não diretamente ligadas ao curso. Treinamento pode afetar motivação, comprometimento e autoeficácia. O conceito de impacto do treinamento no trabalho não se reduz ao conceito de transferência positiva de treinamento.

Impacto, Transferência e Desempenho Impacto, Transferência e Desempenho Análise das Expressões (continuação) A expressão transferência de treinamento difere das expressões transferência de aprendizagem e transferência de tecnologia. Treinamentos ensinam habilidades, atitudes, conhecimentos, capacidades. Esses conceitos referem-se a disposições (conjuntos de comportamentos, situações e padrões de desempenho) e não a fatos isolados.

IMPACT: Impacto, Transferência e Desempenho IMPACT: Impacto, Transferência e Desempenho Análise das Expressões (continuação) A natureza disposicional dos conceitos de habilidades, conhecimentos, atitudes e/ou capacidades aponta para a necessidade de: investigar a longo-prazo o novo desempenho aprendido no treinamento, identificar fatores restritivos e facilitadores do uso dessas novas habilidades, identificar as condições necessárias para que os níveis de desempenho do participante melhorem.

Análise das metas pessoais é importante na explicação dessas ações. IMPACT: Impacto, Transferência e Desempenho Análise das Expressões (continuação) Desempenho: ações voltadas para metas, passíveis de julgamento em termos de adequação e eficácia. Análise das metas pessoais é importante na explicação dessas ações.

IMPACT: Impacto e Desempenho Análise das Expressões (continuação) Fontes: Abbad (1999) e Abbad; Borges Andrade (2004, 2013 no prelo)

Impacto do Treinamento no Trabalho – em amplitude Modelo conceitual de Impacto do treinamento no trabalho e construtos correlatos (Abbad, 1999, Pilati e Abbad, 2005 ) Aquisição Retenção Generalização Transferência Impacto do Treinamento no Trabalho – em amplitude Medidas de desempenho E resultados Medidas: Provas e testes

Treinamento, resultados e explicações alternativas ou externalidades Zerbini, Coelho Jr., Abbad, Mourão, Alvim, Loiola – 2012. p.129

Etapas – construção de medidas Zerbini, Coelho Jr., Abbad, Mourão, Alvim, Loiola – 2012. p.131

O que medir? No nível do indivíduo: afetivos (atitudes frente a pessoas, objetos, aspectos do trabalho e não trabalho, si próprio e aprendizagem; motivação no trabalho; auto eficácia; bem estar mental) cognitivos (uso de informações verbais, conceitos e regras e solução de problemas ou criatividade) psicomotores (velocidade, fluidez) Efeitos instrumentais extrínsecos (aumento, promoção e novos trabalhos) Efeitos instrumentais relacionais (networking, relações de colaboração, capacitação de outras pessoas) Efeitos instrumentais não relacionados ao trabalho (mudanças em relações ou desempenhos fora do trabalho, novos papéis em outras esferas de vida).

Como medir impacto no trabalho individual? Auto (treinandos) ou hetero (supervisores, colegas ou clientes) avaliações? Combinação seria o ideal Validade e alta precisão confirmadas seguidamente Supervisores e colegas às vezes mais rigorosos que treinandos. Validar os resultados dessas avaliações baseadas em julgamentos humanos com resultados de desempenho (indicadores duros de produtividade) Estudos permitiram avanços importantes nesse nível de avaliação Medir observando ou perguntando? Dificuldades para observar desempenhos complexos, ou não rotineiros. Perguntas são as melhores alternativas, além de exigirem custos e esforços menores Análises de conteúdos de perguntas abertas muito frequentemente apoiam dados quantitativos. Uso de dados sobre resultados objetivos de desempenho individual Resultados de avaliação de desempenho individual

Exemplos de itens Escala de avaliação: 0 = Nunca e 10 = Sempre Zerbini, Coelho Jr., Abbad, Mourão, Alvim, Loiola – 2012. p 140

EXEMPLOS DE ITENS DE AVALIAÇÃO DE IMPACTO EM PROFUNDIDADE Hetero

Impacto do Treinamento no Trabalho – Medida em Amplitude Livro: Medidas de Avaliação em TD&E Capítulo 9 – páginas 145-160 Gardênia da Silva Abbad Ronaldo Pilati Jairo Borges‑Andrade Lucia Henriques Sallorenzo

O que é impacto em amplitude? Impacto em amplitude é o efeito direto da transferência de treinamento sobre o desempenho do egresso. Difere do impacto em profundidade em termos da abrangência e da natureza do relacionamento que mantém com o desempenho do egresso no pós‑treinamento. Enquanto a transferência é um efeito direto do treinamento, impacto ou comportamento no cargo são efeitos indiretos do treinamento no desempenho subsequente do egresso.

Treinamento, resultados e explicações alternativas ou externalidades Representação esquemática das relações entre treinamento e resultados, adaptada de Taylor e O`Driscoll (1998)

Como medir impacto no trabalho individual? Medir observando, perguntando ou analisando resultados? Dificuldades para observar desempenhos complexos, ou não rotineiros e para evitar ingerências no trabalho Perguntas são as melhores alternativas, além de exigirem custos e esforços menores Análises de conteúdos de perguntas abertas muito freqüentemente apoiam dados quantitativos Resultados objetivos de desempenho, se existentes podem ser adotados para pareamento e validação das avaliações subjetivas.pareados com podem de Auto (treinandos) ou hetero (supervisores, colegas ou clientes) avaliações? Combinação seria o ideal Validade e alta precisão confirmadas seguidamente Supervisores e colegas às vezes mais rigorosos que treinandos. Estudos permitiram avanços importantes nesse nível de avaliação

As medidas impacto em amplitude são mais gerais: Como medir ? As medidas impacto em amplitude são mais gerais: itens gerais e aplicáveis a quaisquer tipos de treinamentos que objetivam efeitos no desempenho profissional do egresso no trabalho (Abbad, 1999); itens que espelham objetivos gerais de programas educacionais ou de capacitação (Carvalho (2003), Pereira (2009), Neto (2009); itens de avaliação de desempenho funcional, escolhidos entre aqueles que ilustram dimensões do desempenho possivelmente afetadas pelo programa ou pelo treinamento em foco, como os utilizados por Nóbrega (2003). Resultados objetivos do trabalho. As medidas de transferência são específicas: Itens construídos a partir de objetivos instrucionais contidos na documentação do treinamento ou extraídos de relatos de instrutores, desenhistas instrucionais, estudantes.

Questionário de Autoavaliação de Impacto em Amplitude Escala de Concordância: 1 - discordo Totalmente e 5 - concordo totalmente Construído em 1999 por Abbad, validado em diversas organizações. Estrutura empírica confirmada em 2004 por Pilati e Abbad., 2005

Questionário de heteroavaliação de impacto do treinamento no trabalho – medida em amplitude

Exemplos de itens – impacto em amplitude curso para empreendedores Carvalho (2003)

Relatório de avaliação Os resultados das avaliações devem ser interpretados de modo a responder as seguintes questões: O treinamento produziu os efeitos desejados no desempenho do egresso? Quantas pessoas e qual o perfil dos egressos que estão aplicando as novas aprendizagens no trabalho? Em quais unidades organizacionais houve maior impacto do treinamento no trabalho? O impacto é maior em unidades em que há maior suporte psicossocial (de chefes e colegas) à transferência de treinamento? Se o treinamento não atingiu os objetivos esperados é preciso compreender porque isso aconteceu. Como podemos investigar isto? Como podemos interpretar os resultados? analisando e relacionando impacto com as demais avaliações (reações, aprendizagem e transferência); analisando resultados de análises documentais, observações e entrevistas; Integrando os resultados provenientes de diferentes fontes e técnicas de coleta de dados, Interpretando e validando os resultados com os participantes da pesquisa; Descrevendo falhas e sugerindo aprimoramentos no sistema instrucional como um todo (retroalimentação científica) ou no treinamento.

3 - O que mais medir e avaliar? Variáveis interferentes – preditivas de resultados: Suporte ao treinamento Suporte externo e interno à transferência de treinamento

...?!!

Praia da Transferência Eureka! Praia da Transferência

Exemplos de itens de Suporte Externo à Organização Suporte Externo à Aplicação Exemplos de itens de Suporte Externo à Organização Engajamento da comunidade e dos líderes comunitários em discussões e na busca de soluções para o desenvolvimento regional sustentável. Interesse da comunidade e dos líderes comunitários pelo sucesso da implementação do plano de negócios DRS. Apoio de parceiros (órgãos públicos e privados) de acordo com suas competências, para o planejamento e a realização das ações de DRS. Nível de concertação dos membros da equipe DRS. Potencial econômico do meu Município ou região para implementar a estratégia DRS (atividades produtivas, fatores climáticos, mão-de-obra, desenvolvimento, etc). Fonte: Dissertação de mestrado - Stella Cristina Moraes Pereira – 2009 – PSTO

Exemplos de itens de Gestão e carga de trabalho Suporte Interno à Aplicação Exemplos de itens de Gestão e carga de trabalho Quantidade de atribuições e serviços a serem realizados no dia-a-dia de trabalho. Quantidade de funcionários na Agência para atender a outras demandas de trabalho. Quantidade de metas a serem cumpridas além das metas relativas ao DRS. Distribuição de atividades entre os funcionários. Disponibilidade de tempo para aplicar, no trabalho, o que aprendi no curso DRS. Grau de prioridade dada às atividades de DRS em relação às outras atividades de trabalho. Prazos para realização das etapas da metodologia DRS. Número de funcionários treinados na Agência que atuam com DRS. Fonte: Dissertação de mestrado - Stella Cristina Moraes Pereira – 2009 – PSTO

Suporte Material à Aplicação Suporte Material à Transferência: refere-se à disponibilidade e qualidade dos recursos materiais necessárias ao uso eficaz de novas habilidades no trabalho Construído em 1999 por Abbad, aplicado e validado em diversas organizações. Gardênia da Silva Abbad

gardenia.abbad@gmail.com