9º CONGRESSO NORTE NORDESTE DE PSICOLOGIA Minicurso Avaliação de Treinamento: Aspectos Metodológicos e Práticos Professora: Dra. Gardênia da Silva Abbad Departamento de Psicologia Social e do Trabalho Instituto de Psicologia Salvador-Ba, 2015

9º CONGRESSO NORTE NORDESTE DE PSICOLOGIA Resumo dos Conteúdos Avaliação de Treinamento: Definições e propósitos Modelos de Avaliação: tradicionais e integrados 2. Medidas de avaliação: (1) características da clientela ou público-alvo (2) reações dos participantes (3) aprendizagem, transferência de treinamento (4) impacto do treinamento no trabalho (5) impacto na organização (6) suporte

Mensurar Julgar Avaliar Avaliar e medir: Qual é a diferença? Avaliação: processo que inclui coleta de dados e emissão de juízo de valor sobre a efetividade de um dado sistema instrucional

Avaliar e medir: Qual é a diferença?

Avaliar e medir: Qual é a diferença? Situação exemplo: Verificação da temperatura corporal de uma criança. Condições: 1) um instrumento de medida (o termômetro), 2) uma unidade de medida (graus centígrados), 3) procedimentos de aplicação (colocar o termômetro embaixo de um dos braços da criança e mantê-la quieta por três minutos enquanto é feita a mensuração), 4) leitura e interpretação das informações coletadas através do termômetro.

Avaliar e medir: Qual é a diferença? Situação exemplo: Verificação da temperatura corporal de uma criança Resultado: Até o momento da leitura da temperatura da criança, estamos apenas realizando uma mensuração (isto é, estamos verificando o quanto a criança possui o atributo temperatura). Neste exemplo hipotético, o resultado da mensuração foi o seguinte: 39,2 graus Celsius. O que você diria disto? Sim, você diria que o bebê está com muita febre!!! Isto é um julgamento de valor – avaliação.

Objetivos da avaliação em TD&E Avalia-se para: 1) verificar cumprimento de objetivos, desempenhos de pessoas e instituições (Tyler, 1949), 2) julgar o mérito de ações (Hamblin, 1978; Scriven, 1991) 3) analisar processos e observar situações a partir do olhar de agentes externos (Worthen, Sanders, & Fitzpatrick, 2004) 4) reconhecer o nexo causal entre ações e eventos (McLauglin & Jordan, 2010; Oston, 2007), 5) julgar e aplicar padrões de qualidade, utilidade, eficácia e efetividade àquilo que foi avaliado (Bloom, Hastings, & Madaus, 1983; Khandker, Koolwal, & Samad, 2010; Vianna, 2000), 6) suscitar reflexão sobre ações (Hoffmann, 1991) 7) fomentar comunicação entre atores sociais diversos (Guba & Lincoln, 1989), dentre eles os stakeholders (Knowlton & Phillips, 2009; McLaughlin & Jordan, 2004; 2010). Fonte: Souza (2013)

Avaliação de Treinamento: Modelos Individual Reação Aprendizagem Comportamento Mudança Valor Final Modelos Tradicionais Foco em resultados Hamblin (1978) Kirkpatrick (1976, 1977) organização

Avaliação de Treinamento: Modelos de Avaliação Critérios de avaliação Kirkpatrick (1979) Reação Aprendizagem Comportamento Resultados Kaufmann & Keller (1994) Enabling-Reação Aquisição Aplicação Resultados Organizacionais Resultados societais Warr, Bird & Rackham - CIRO (1970) Contexto Insumos Reações Stufflebeam – CIPP (2003) Insumo Processo Produto Phillips – ROI (2007) Reação, Aprendizagem Aplicação da aprendizagem no trabalho, Resultados de negócio Retorno de investimento Avaliação de Treinamento: Modelos de Avaliação Adaptado: Passmore e Velez (2015)

Avaliação de Treinamento: Modelos Reação Aprendizagem Comportamento Resultados Valor Final Treinamento Clientela Suporte Preditores Critérios Alliger e Janak (1989) observaram após análise de 203 artigos que somente oito artigos relataram correlações entre dois ou mais níveis de avaliação. Tannenbaum e Yukl (1992) observaram que não há suporte empírico à suposição de relacionamento direto causal entre os níveis de avaliação.

Benefícios do uso de modelos: Avaliação de Treinamento: Modelos de Avaliação Benefícios do uso de modelos: (McLaughlin e Jordan, 2010) Planejamento, implementação, monitoramento e avaliação de um programa; Identificação de indicadores de resultados; Desenho e a melhoria das atividades críticas; Construção de um entendimento comum sobre o programa; Compartilhamento de ideias e a explicitação de pressupostos sobre relações de causa e efeito; Comunicação entre interessados e constituintes do programa.

Avaliação de Treinamento: Modelos de Avaliação MODELOS INTERNACIONAIS INFLUENTES: SCRIVEN (1967) Propôs classificação das avaliações em formativas realizadas durante a implementação das atividades e as somativas realizadas após a conclusão de um ciclo completo de atividades. STUFFLEBEAM (1978) Propôs o modelo CIPP – Context, Input, Process and Product, para avaliar programas educacionais WARR, BIRD E RACKHAM (1970) Propôs a abordagem CIRO – Context, Input, Reactions and Outcomes (CIRO), para avaliar diferentes componentes, apesar de não incluir explicitamente os processos ou atividades

Avaliação de Treinamento: Modelos de Avaliação MODELOS NACIONAIS Modelo de Avaliação Integrado e Somativa (MAIS), elaborado por Borges-Andrade (1982), Modelo IMPACT, elaborado por Abbad (1999, 2010,2013) Os modelos de avaliação acima mencionados, assim como os modelos lógicos, foram criados a partir de abordagens sistêmicas. Essa semelhança facilita a adoção conjunta desses modelos na realização de pesquisas avaliativas, como as conduzidas por Mourão (2004), Meneses (2007), Pereira (2009), Laval (2011), Borges de Souza (2011). Adaptado: Passmore e Velez (2015)

Avaliação de Treinamento: Modelos de Avaliação Modelo MAIS – Borges-Andrade AMBIENTE: APOIO AMBIENTE: NECESSIDADES RESULTADOS A LONGO PRAZO AMBIENTE: DISSEMINAÇÃO PROCESSO INSUMOS INSUMOS RESULTADOS PROCEDIMENTOS PROCESSO

Avaliação de Treinamento: Modelos de Avaliação Avaliação de programas inclui (Chen, 2005): Elementos descritivos : componentes do programa Elementos prescritivos: o que o programa deveria ser Explicitação de pressupostos: causas do sucesso ou fracasso Esse conjunto de informações e conhecimentos denomina-se “teoria do programa” Adaptado: Passmore e Velez (2015)

Uso de modelos lógicos de avaliação: Avaliação de Treinamento: Modelos de Avaliação Uso de modelos lógicos de avaliação:

Avaliação de Treinamento: Modelos de Avaliação Representação da Associação do Modelo Lógico com Modelo IMPACT – 2013 Recursos Insumos Atividades Processos Produtos Resultados

Insumos ou recursos - Características da Clientela ou Público-Alvo 2. Medidas de Avaliação Insumos ou recursos - Características da Clientela ou Público-Alvo Fonte: Meneses e cols. (2006), capítulo 21, p. 425. Medidas: Abbad e cols (2012), capítulos 12,13,14 e 15, p.190-243.

Reações a Treinamentos Presenciais e a Distância 2. Medidas de Avaliação Reações a Treinamentos Presenciais e a Distância

2. Medidas de Avaliação

2. Medidas de Avaliação O Que e Como medir reações? Construto Indicadores Instrumentos Fontes, Meios e Avaliadores Aplicação e Análise de Dados Apoio à execução Salas de aula: ventilação, tamanho, mobiliário, leiaute, acústica, entre outras. Hospedagem: proximidade do local do curso, quantidade de hóspedes por quarto, alimentação, e outras. Valor das diárias Coordenação: facilidade de acesso, presteza no atendimento, etc. Instalações: banheiros, salas para estudo, reuniões e consultas a materiais didáticos. Serviços e Recursos de apoio às aulas (equipamentos, materiais e similares) Questionários de avaliação de reações com itens objetivos e questões abertas. Fonte primária Avaliadores: Participantes Coletiva e Presencial ao final do curso. Análise quantitativa (questões objetivas) Análise qualitativa para as questões abertas.

2. Medidas de Avaliação O Que e Como medir reações? Construto Indicadores Instrumentos Fontes, Meios e Avaliadores Aplicação e Análise de Dados Procedimentos – atividades Planejamento ou desenho instrucional: Objetivos instrucionais. Sequência de conteúdos. Estratégias instrucionais. Tempo destinado a atividades práticas. Qualidade e quantidade de materiais didáticos. Avaliações de aprendizagem. Execução: Desempenho do instrutor. Interações requeridas pelos exercícios e atividades instrucionais. Questionário de avaliação de reações. Roteiro de análise dos materiais do curso. Roteiros de Observação. Fontes primárias. Participantes Instrutores. Especialistas em TD&E e nos conteúdos. Especialistas em TD&E. Coletiva e Presencial ao final do curso. Avaliações feitas por duplas (ou mais pessoas) de avaliadores independentes e análise de confiabilidade. Quadro 22.2. Definição de métodos de avaliação de ações presenciais de TD&E. Adaptado de Borges-Andrade, Abbad e Mourão (2006). P. 449.

2. Medidas de Avaliação O Que e Como medir reações? Construto Indicadores Instrumentos Fontes, Meios e Avaliadores Aplicação e Análise de Dados Processos intermediários Resultados de testes intermediários ou exercícios práticos. Motivação durante o curso. Quantidade de tempo de estudo individual. Interações participante-participante, participante-instrutor. Reações às atividades propostas durante o curso. Absenteísmo. Evasão Testes ou provas Roteiro de Observação ou Questionário de reações aplicado durante o curso. Instrutores. Especialistas Instrutores Participantes Avaliação feita pelos instrutores, geralmente coletiva e presencial. Avaliação por duplas de avaliadores independentes. Consulta simples a registros relativos ao curso. Quadro 22.2. Definição de métodos de avaliação de ações presenciais de TD&E. Adaptado de Borges-Andrade, Abbad e Mourão (2006). P. 449.

2. Medidas de Avaliação O Que e Como medir reações? Construto Indicadores Instrumentos Fontes, Meios e Avaliadores Aplicação e Análise de Dados Apoio Interface gráfica Serviço de apoio técnico Sistema de tutoria: passiva ou ativa, quantidade de alunos por tutor. Ambiente de estudo: adequação do curso ao computador (acesso e adequação), aos locais, preferências e hábitos de estudos dos participantes, apoio ao participante na administração do tempo para conclusão das unidades do curso. Questionário de avaliação de reações Roteiros Primárias: Participantes Avaliadores: Tutores Desenhistas instrucionais Especialistas em conteúdo Desenvolvedores WEB Secundárias Dados de arquivo gerenciadores eletrônicos de cursos, conteúdo de e-mails. Tutores e profissionais de TD&E. Aplicação individual com questionário digitalizado e hospedado no site do curso ou da organização. Análise quantitativa das respostas ao questionário e dos dados secundários. Análise qualitativa de mensagens dos participantes sobre apoio. Quadro 22.5. Definição de métodos de avaliação de ações a distância de TD&E Adaptado de Borges-Andrade, Abbad e Mourão (2006). P. 455.

Instrumentos de Medida Reação ao Treinamento Reação ou Satisfação com a Programação Pontuação 1. Clareza na definição dos objetivos do curso. 2. Compatibilidade dos objetivos com as suas necessidades de treinamento. 3. Carga horária programada para as atividades teóricas. 4. Ordenação dos conteúdos. 5. Carga horária programada para as atividades práticas. 6. Carga horária diária. 7. Adequação do conteúdo programático aos objetivos do curso. 8. Qualidade das instalações. 9. Qualidade e organização do material didático 10. Quantidade de material didático. Escala: (5) Ótimo, (4) Muito Bom, (3) Bom, (2) Regular, (1) Ruim Fonte: Abbad (1999), e Abbad, Borges-Andrade, Sallorenzo, Gomes-Gama e Morandini (2001). Em: Abbad(2006). P. 458. Abbad e cols (2012), capítulos 5 e 6, p. 78-107.

Instrumentos de Medida Reação ao Treinamento a Distância

Instrumentos de Medida Reações ao desempenho do tutor

Capítulo 24 – TD&E – 2006 Capítulo 8 – Medidas de avaliação - 2012 Transferência de treinamento e impacto do treinamento no trabalho – em profundidade Capítulo 24 – TD&E – 2006 Capítulo 8 – Medidas de avaliação - 2012

Treinamento, resultados e explicações alternativas ou externalidades Zerbini, Coelho Jr., Abbad, Mourão, Alvim, Loiola – 2012. p.129

Impacto, Transferência e Desempenho Transferência de treinamento refere-se à aplicação eficaz, no ambiente de trabalho, de conhecimentos, habilidades ou atitudes adquiridas em situações de treinamento. O participante transfere para o trabalho uma nova forma de desempenhar antigas tarefas e/ou leva para o ambiente de trabalho as habilidades, atitudes e/ou conhecimentos necessários à execução de uma nova tarefa.

Etapas – construção de medidas Zerbini, Coelho Jr., Abbad, Mourão, Alvim, Loiola – 2012. p.131

O que medir? No nível do indivíduo: afetivos (atitudes frente a pessoas, objetos, aspectos do trabalho e não trabalho, si próprio e aprendizagem; motivação no trabalho; auto eficácia; bem estar mental) cognitivos (uso de informações verbais, conceitos e regras e solução de problemas ou criatividade) psicomotores (velocidade, fluidez) Efeitos instrumentais extrínsecos (aumento, promoção e novos trabalhos) Efeitos instrumentais relacionais (networking, relações de colaboração, capacitação de outras pessoas) Efeitos instrumentais não relacionados ao trabalho (mudanças em relações ou desempenhos fora do trabalho, novos papéis em outras esferas de vida).

Como medir impacto no trabalho individual? Auto (treinandos) ou hetero (supervisores, colegas ou clientes) avaliações? Combinação seria o ideal Validade e alta precisão confirmadas seguidamente Supervisores e colegas às vezes mais rigorosos que treinandos. Validar os resultados dessas avaliações baseadas em julgamentos humanos com resultados de desempenho (indicadores duros de produtividade) Estudos permitiram avanços importantes nesse nível de avaliação Medir observando ou perguntando? Dificuldades para observar desempenhos complexos, ou não rotineiros. Perguntas são as melhores alternativas, além de exigirem custos e esforços menores Análises de conteúdos de perguntas abertas muito frequentemente apoiam dados quantitativos. Uso de dados sobre resultados objetivos de desempenho individual Resultados de avaliação de desempenho individual

Como medir impacto no trabalho? As medidas impacto em amplitude são mais gerais: itens gerais e aplicáveis a quaisquer tipos de treinamentos que objetivam efeitos no desempenho profissional do egresso no trabalho (Abbad, 1999); itens que espelham objetivos gerais de programas educacionais ou de capacitação (Carvalho (2003), Pereira (2009), Neto (2009); itens de avaliação de desempenho funcional, escolhidos entre aqueles que ilustram dimensões do desempenho possivelmente afetadas pelo programa ou pelo treinamento em foco, como os utilizados por Nóbrega (2003). Resultados objetivos do trabalho. As medidas de transferência são específicas: Itens construídos a partir de objetivos instrucionais contidos na documentação do treinamento ou extraídos de relatos de instrutores, desenhistas instrucionais, estudantes.

EXEMPLOS DE ITENS DE AVALIAÇÃO DE TRANSFERÊNCIA OU IMPACTO EM PROFUNDIDADE Hetero

Impacto do Treinamento no Trabalho – Medida em Amplitude Livro: Medidas de Avaliação em TD&E Capítulo 9 – páginas 145-160 Gardênia da Silva Abbad Ronaldo Pilati Jairo Borges‑Andrade Lucia Henriques Sallorenzo

O que é impacto em amplitude? Impacto em amplitude é o efeito direto da transferência de treinamento sobre o desempenho do egresso. Difere do impacto em profundidade em termos da abrangência e da natureza do relacionamento que mantém com o desempenho do egresso no pós‑treinamento. Enquanto a transferência é um efeito direto do treinamento, impacto ou comportamento no cargo nem sempre se refere a efeitos diretos do treinamento no desempenho subsequente do egresso.

Treinamento, resultados e explicações alternativas ou externalidades Representação esquemática das relações entre treinamento e resultados, adaptada de Taylor e O`Driscoll (1998)

Questionário de Autoavaliação de Impacto em Amplitude Escala de Concordância: 1 - discordo Totalmente e 5 - concordo totalmente Construído em 1999 por Abbad, validado em diversas organizações. Estrutura empírica confirmada em 2004 por Pilati e Abbad., 2005

Questionário de heteroavaliação de impacto do treinamento no trabalho – medida em amplitude

Exemplos de itens – impacto em amplitude curso para empreendedores Carvalho (2003)

Relatório de avaliação Os resultados das avaliações devem ser interpretados de modo a responder as seguintes questões: O treinamento produziu os efeitos desejados no desempenho do egresso? Quantas pessoas e qual o perfil dos egressos que estão aplicando as novas aprendizagens no trabalho? Em quais unidades organizacionais houve maior impacto do treinamento no trabalho? O impacto é maior em unidades em que há maior suporte psicossocial (de chefes e colegas) à transferência de treinamento? Se o treinamento não atingiu os objetivos esperados é preciso compreender porque isso aconteceu. Como podemos investigar isto? Como podemos interpretar os resultados? analisando e relacionando impacto com as demais avaliações (reações, aprendizagem e transferência); analisando resultados de análises documentais, observações e entrevistas; Integrando os resultados provenientes de diferentes fontes e técnicas de coleta de dados, Interpretando e validando os resultados com os participantes da pesquisa; Descrevendo falhas e sugerindo aprimoramentos no sistema instrucional como um todo (retroalimentação científica) ou no treinamento.

O que mais medir e avaliar? Externalidades - Suporte Variáveis interferentes – preditivas de resultados: Suporte ao treinamento Suporte externo e interno à transferência de treinamento

IMPACT: Impacto e Desempenho Fontes: Abbad (1999) e Abbad; Borges Andrade (2004, 2014)

..?!!

Suporte PSICOSSOCIAL à Transferência: refere-se ao apoio de chefes e colegas ao uso de novas habilidades no trabalho (fator 1). Abbad, 1999 Abbad e Sallorenzo, 2001

Gardênia da Silva Abbad - Universidade de Brasília Suporte Material Suporte Material à Transferência: refere-se à disponibilidade e qualidade dos recursos materiais necessárias ao uso eficaz de novas habilidades no trabalho Abbad e cols (2012). P. 244-263 Gardênia da Silva Abbad - Universidade de Brasília

Suporte Interno Exemplos de itens de Gestão e carga de trabalho Quantidade de atribuições e serviços a serem realizados no dia-a-dia de trabalho. Quantidade de funcionários na Agência para atender a outras demandas de trabalho. Quantidade de metas a serem cumpridas além das metas relativas ao DRS. Distribuição de atividades entre os funcionários. Disponibilidade de tempo para aplicar, no trabalho, o que aprendi no curso DRS. Grau de prioridade dada às atividades de DRS em relação às outras atividades de trabalho. Prazos para realização das etapas da metodologia DRS. Número de funcionários treinados na Agência que atuam com DRS. Fonte: Dissertação de mestrado - Stella Cristina Moraes Pereira – 2009 – PSTO Gardênia da Silva Abbad - Universidade de Brasília

Exemplos de itens de Suporte Externo à Organização Engajamento da comunidade e dos líderes comunitários em discussões e na busca de soluções para o desenvolvimento regional sustentável. Interesse da comunidade e dos líderes comunitários pelo sucesso da implementação do plano de negócios DRS. Apoio de parceiros (órgãos públicos e privados) de acordo com suas competências, para o planejamento e a realização das ações de DRS. Nível de concertação dos membros da equipe DRS. Potencial econômico do meu Município ou região para implementar a estratégia DRS (atividades produtivas, fatores climáticos, mão-de-obra, desenvolvimento, etc). Fonte: Dissertação de mestrado - Stella Cristina Moraes Pereira – 2009 – PSTO

Avaliação de Treinamento: Mudança e Valor Final Mudança refere-se aos efeitos produzidos por eventos educacionais nos processos de trabalho dos grupos e da organização. Podem ser mensurados por meio de indicadores de resultados e/ou de mudanças no desempenho e atitudes de grupos. Valor Final refere-se aos efeitos globais do treinamento sobre indicadores organizacionais de resultados e produtividade. Freitas e Mourão (2012), capítulo 10, p. 163-176 Mourão e Meneses (2012), capítulo 11, 177-189.

Resultados Longo Prazo No nível da equipe: afetivos (coesão, satisfação, auto-eficácia, ambigüidade de papéis e orientação para tarefa) cognitivos (conhecimento possuído e representado) de desempenho (comunicação interna, tomada de decisão, solução de conflitos, níveis de participação) instrumentais intrínsecos (responsabilidades e variedade de trabalho recebido) instrumentais extrínsecos (bônus) instrumentais de qualificação (certificações formais) No nível da organização: relativos a metas de produtos (quantidade, qualidade, variedade) relativos a metas do sistema (crescimento, lucro, retorno de investimentos) aquisição de recursos (novos clientes, compra de outras organizações) constituintes (satisfação de consumidores e acionistas, imagem) de processos internos (novas tecnologias, clima, absenteísmo, rotatividade, taxas de acidentes)

Como medir impacto nos níveis de mudança organizacional? Indicadores objetivos de desempenho organizacional Foco no comportamento da organização ou de suas unidades Mudanças (deduzidas dos objetivos) a serem detectadas na cultura, valores, metas, estruturas, processos e desempenhos organizacionais ou de equipes Faltam sistemas organizacionais de controle e avaliação sensíveis à detecção de efeitos de T&D São altos os custos associados à construção de indicadores Falta de definição prévia dos níveis de resultados esperados das ações educacionais.

Questões no nível de VALOR FINAL Identificação e cálculo dos parâmetros da avaliação Que objetivos educacionais aprendidos levariam a mudanças previstas nas metas do programa? Quais resultados mostram que o problema que originou o programa foi resolvido pelas atividades ? Raramente consegue-se implementar esse nível Existem relatos de algumas experiências nacionais e internacionais

Referências ABBAD, Gardenia da Silva (Org.); MOURÃO, Luciana (Org.) ; MENESES, Pedro Paulo Murce (Org.); ZERBINI, Thaís (Org.) ; BORGES-ANDRADE, Jairo Eduardo (Org.) ; VILAS-BOAS, R. (Org.) . Medidas de Avaliação TD&E: Ferramentas para a Gestão de Pessoas. 1. ed. Porto Alegre - RS: Artmed, 2012. v. 1. 304p . BORGES-ANDRADE, Jairo Eduardo (Org.) ; ABBAD, Gardenia da Silva (Org.) ; MOURÃO, Luciana (Org.) . Treinamento, Desenvolvimento e Educação em Organizações e Trabalho: Fundamentos para a Gestão de Pessoas.. 1. ed. Porto Alegre -RS: Artmed, 2006. v. 1. 576.p . MENESES, Pedro Paulo Murce ; ZERBINI, Thaís ; ABBAD, Gardenia da Silva . Manual Prático de Treinamento Organizacional. 1. ed. Porto Alegre-RS: Artmed, 2010. v. 01. 168p

Referências

9º CONGRESSO NORTE NORDESTE DE PSICOLOGIA Obrigada! gardenia.abbad@gmail.com Salvador-Ba, 2015