UMA ALTERNATIVA AO PROBLEMA DA AUSÊNCIA DE PRÉ-TESTE – EVIDÊNCIAS DE VALIDADE DE UM INSTRUMENTO COM DUAS ESCALAS SIMULTÂNEAS AUTORES: RAFAEL DE MELO BALANIUK,

Apresentação em tema: "UMA ALTERNATIVA AO PROBLEMA DA AUSÊNCIA DE PRÉ-TESTE – EVIDÊNCIAS DE VALIDADE DE UM INSTRUMENTO COM DUAS ESCALAS SIMULTÂNEAS AUTORES: RAFAEL DE MELO BALANIUK,"— Transcrição da apresentação:

1 UMA ALTERNATIVA AO PROBLEMA DA AUSÊNCIA DE PRÉ-TESTE – EVIDÊNCIAS DE VALIDADE DE UM INSTRUMENTO COM DUAS ESCALAS SIMULTÂNEAS AUTORES: RAFAEL DE MELO BALANIUK, LUANA CRISTINA RODRIGUES DE ARAÚJO, GARDÊNIA DA SILVA ABBAD E MARCELA RIBEIRO. Rio de Janeiro, 2012

2 Introdução “Houve crescente demanda por avaliação de treinamento, desenvolvimento e educação (TD&E) nas organizações que tradicionalmente fizeram altos investimentos nessas atividades, bem como naquelas organizações que descobriram os valores estratégicos do conhecimento e do esforço na contínua qualificação do seu pessoal (Borges-Andrade, Abbad & Mourão, 2006). O crescente investimento na área de treinamento trouxe como consequência o aumento da demanda pela demonstração dos resultados práticos gerados pelos treinamentos. Avaliação da eficácia do treinamento no nível de aprendizagem: pré-teste e pós-teste.

3 Introdução Referencial teórico:
Impacto: “podendo ser entendido como o efeito do treinamento no desempenho do indivíduo ao retornar para o trabalho.” (Zerbini & cols, 2012) Impacto em profundidade: “mede os efeitos específicos e diretos do treinamento, que estão relacionados aos conteúdos ensinados nos programas de treinamentos.” (Zerbini & Abbad, 2005) Objetivo: Desenvolver um instrumento que seja um substituto viável ao pré-teste; Buscar evidências de validade do instrumento.

4 Introdução Justificativa:
A avaliação de treinamentos atualmente, em muitos casos, é feita após a realização do treinamento. Sendo assim, com a avaliação não sendo planejada previamente, muitas vezes o pré-teste não é realizado. Isso gera um problema ao se avaliar o impacto do treinamento, pois não é possível identificar se a expressão das competências no ambiente de trabalho se deve ao treinamento ou se elas já eram expressadas anteriormente. O presente trabalho pretende sanar esse problema propondo uma alternativa viável ao pré-teste.

5 Método Participantes:
742 egressos de um curso oferecido em âmbito nacional por instituição bancária de grande porte no ano de 2011. Região Geográfica Sul Sudeste Centro-Oeste Norte Nordeste 22,8% 46,4% 12,4% 4,2% 14,3% Gênero Tempo de Banco Masculino Feminino 0 a 5 anos 6 a 11 anos 12 anos ou mais 62,7% 37,3% 50,5% 28,0% 17,5%

6 Método Instrumento: Foi feita uma análise documental para o levantamento das competências do curso. Foram levantadas 19 competências a partir de: Objetivos instrucionais; Material do curso. Duas escalas de 10 pontos cada, ancoradas nos extremos: Contribuição: contribuição do treinamento para a aprendizagem. 1= “Nenhuma contribuição do treinamento” 10= “Muita contribuição do treinamento” Expressão: expressão da competência no trabalho. 1= “Não expressa competência” 10= “Expresso plenamente a competência” As competências estavam localizadas no centro, com uma escala de cada lado.

7 Método Contribuição do curso para aquisição da competência
Competências Ao realizar uma operação de financiamento de veículos eu... Grau com que expresso a competência no trabalho B-1. Identifico a necessidade do cliente em relação ao veículo, visando orientá-lo sobre consórcio ou financiamento/leasing. B-2. Identifico os veículos passíveis de financiamento ou leasing, conforme requisitos de categorias (leve, pesado, ônibus, moto), de características (tipos de modelo, transporte de cargas ou pessoas, peso), e de tempo de fabricação. B-3. Identifico os procedimentos para reconsideração de limites no aplicativo CDC.

8 Método Procedimentos de coleta de dados:
O instrumento foi aplicado em indivíduos que haviam realizado o curso há mais de 90 dias pela intranet; Procedimentos de análise de dados: Todas as respostas do indivíduo foram analisadas conjuntamente, a análise foi feita com todos os 38 itens. Principais componentes (fatorabilidade da matriz); PAF com 2 fatores; Rotação promax; Tratamento listwise.

9 Fatorabilidade da Matriz
Resultados Fatorabilidade da Matriz KMO 0,93 Chi-quadrado 23918,445 df 703 Significância 0,0001 Comunalidades de 0,57 a 0,82 h2 de 0,47 a 0,72 Casos válidos 544 Número de fatores 2 % Variância explicada 59% Fator - Contribuição Número de Itens 19 Alfa de Cronbach 0,97 Cargas fatoriais de 0,64 a 0,90 Fator Contribuição Expressão 1 - 0,679 Fator - Expressão Número de itens 19 Alfa de Cronbach 0,96 Cargas Fatoriais de 0,59 a 0,82

10 Discussão As análises realizadas com esse instrumento indicam que ele possui evidências de validade e que cada uma das escalas mede um constructo diferente. Baseado na teoria e no próprio instrumento, pode-se concluir que uma escala mede a percepção de impacto pelo indivíduo (expressão) e que a outra mede a percepção da contribuição que o treinamento teve para a sua aprendizagem (contribuição). Sendo assim, esse instrumento é uma alternativa interessante ao pré-teste, uma vez que permite comparar o impacto do treinamento e a contribuição que o curso teve para a aprendizagem do indivíduo.

11 Considerações Finais A escala de “contribuição” está em um nível diferente do pré-teste. A primeira está no nível de resultado final ou impacto e a segunda está no nível de características da clientela. A diferença entre o pré-teste e o pós-teste indica o quanto o evento instrucional pode ter afetado a aprendizagem do indivíduo, no entanto, a escala de “contribuição” se refere à contribuição do curso para a expressão das competências. Outra diferença entre as duas medidas é que uma é avaliativa (pré-teste) e a outra é perceptiva (“contribuição”). Como estudos posteriores sugerimos que esse instrumento seja aplicado em egressos de um treinamento que tenha um pré-teste e um pós-teste, para que assim a percepção de contribuição do curso medida possa ser comparada com a diferença entre o pré-teste e o pós-teste de cada indivíduo.

12 Referências ABBAD, G.; PILATI, R. BORGES-ANDRADE, J.E.; SALLORENZO, L.H. (2012). Impacto do treinamento no trabalho – medida em amplitude Em: Abbad e cols. Medidas de Avaliação em Treinamento, Desenvolvimento e Educação: Fundamentos para Gestão de Pessoas. Porto Alegre: Artmed. ZERBINI, T. COELHO JR, F.; ABBAD, G.; MOURÃO, L. ALVIM, S.; LOIOLA, E. (2012). Transferência de treinamento e impacto do treinamento no trabalho em profundidade Em: Abbad e cols. Medidas de Avaliação em Treinamento, Desenvolvimento e Educação: Fundamentos para Gestão de Pessoas. Porto Alegre: Artmed. PEREIRA, S. C. M. Avaliação de efeitos de uma ação de TD&E no desempenho de egressos e da organização. Dissertação (Mestrado em Psicologia), Instituto de Psicologia. Universidade de Brasília, Brasília, 2009. SOARES, F. S. O. Avaliação da efetividade de um curso de desenvolvimento de competências gerenciais. Dissertação (Mestrado em Psicologia), Instituto de Psicologia, Universidade de Brasília, Brasília, 2009.

13 Obrigado! RAFAEL DE MELO BALANIUK; LUANA CRISTINA RODRIGUES DE ARAÚJO;
RAFAEL DE MELO BALANIUK; LUANA CRISTINA RODRIGUES DE ARAÚJO; GARDÊNIA DA SILVA ABBAD E MARCELA RIBEIRO.