Programa de pós graduação

Apresentação em tema: "Programa de pós graduação"— Transcrição da apresentação:

1 Programa de pós graduação
Informações Gerais Referência do artigo Abbad,G.,Gama,A.L.G.,Borges-Andrade,J.E. (2000).Treinamento:Análise do Relacionamento da Avaliação nos Níveis de Reação, Aprendizagem e Impacto no Trabalho. Revista de Administração Contemporânea, 4,3,p Aluno - Fernanda Vieira Zabeu Docente responsável – Thais Zerbini Programa de pós graduação Treinamento, Desenvolvimento e Educação de Pessoas Instituição de Ensino Universidade de São Paulo - USP Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto

2 Objetivo do Artigo Relatar a validação de escala de avaliação de reações ao treinamento,bem como resultados da análise do relacionamento entre os três mais tradicionais níveis : reação,aprendizagem e impacto do treinamento no trabalho.

3 Revisão de Literatura Reação – nível de satisfação dos participantes com a programação,o apoio ao desenvolvimento do curso e a aplicabilidade; Aprendizagem – grau de assimilação dos conteúdos ensinados no treinamento; Impacto do Treinamento no Trabalho – Auto – avaliação feita pelo próprio participante acerca dos efeitos produzidos pelo treinamento.

4 Revisão de Literatura Um participante,apesar de demonstrar satisfação com o treinamento e de obter bons escores na avaliação de aprendizagem, não transfere para o trabalho. Proposta original de Kirpatrick (1976) os quatro níveis estão articulados entre si em uma mesma seqüência hierárquica de produção de informações sobre a eficácia de um treinamento. sendo essas variáveis : reações, aprendizagem,desempenho no cargo e resultados.

5 Revisão de Literatura Sob o ponto de vista lógico , seria um equívoco, por exemplo,inferir causalidade entre reações de aprendizagem, quando muitas vezes, ambas as medidas são tomadas ao mesmo tempo. Na literatura examinada por Alliger e Janak (1989), foram encontrados poucos estudos sobre o relacionamento entre os quatro níveis, que , para os autores pode significar que os pesquisadores simplesmente assumem como verdadeiras as afirmações de Kirpatrick (1976),deixando de investigar tais relacionamentos.

6 Revisão de Literatura Resultados de pesquisas apresentadas por Tannenbaum e Yukl (1992), também não confirmam o relacionamento significativo entre as medidas. As fracas relações entre reação,aprendizagem e impacto não são conclusivas, havendo, ainda poucas tentativas de identificação das variáveis preditoras de cada um desses níveis de avaliação.

7 Método de Pesquisa O trabalho foi desenvolvido no período de março de 1997 a junho de no Instituto Serzedello Corrêa, Órgão do Tribunal de Contas da União. Os conceitos que fundamentaram a construção das escalas de avaliação de reação inserem-se principalmente no modelo de avaliação somativa de sistemas instrucionais (MAIS),proposto por Borges-Andrade (1982).

8 Construção e Validação Semântica das Escalas
Método de Pesquisa Construção e Validação Semântica das Escalas Reação O questionário de avaliação de reação,desenvolvido com base no IMPACT,contém 39 itens associados a uma escala de seis alternativas de respostas . Ótimo 5 Muito bom 4 Bom 3 Regular 2 Ruim 1

9 Método de Pesquisa Os 39 itens encontram-se distribuídos em duas partes : A primeira contém 24 itens e refere-se a avaliação dos aspectos concernentes ao curso 1- Programação 7 itens 2-Apoio ao Desenvolvimento do curso 2 itens 3-Aplicabilidade e Utilidade do treinamento 3 itens 4-Resultados do Treinamento 5- Suporte Organizacional

10 Método de Pesquisa A segunda contém 15 itens de avaliação da satisfação dos treinados com o desempenho do instrutor 1- Desempenho didático 11 itens 2- Domínio do conteúdo 2 itens 3- Entrosamento com os treinados 3 itens

11 Conteúdo Técnico /Administrativo
Método de Pesquisa Amostra do Curso Avaliação feitas por participantes de 229 cursos oferecidos pelo ISC; Conteúdo Técnico /Administrativo 25 cursos de auditoria; 20 de estudos jurídicos; 10 de administração; 6 de atividades administrativas; 3 de estudos internacionais; 2 de administração de empresarial; 2 para chefes de unidades administrativas;

12 Conteúdo de natureza instrumental
Método de Pesquisa Amostra do Curso Conteúdo de natureza instrumental 80 de informática; 66 de gerenciamento organizacional; 15 de redação e gramática;

13 Amostra de Participantes
Método de Pesquisa O questionário de avaliação de reação foi aplicado em todos os servidores que concluíram os cursos. O arquivo de dados contém 4051 casos de participantes. Amostra de Participantes 71,6% tinham nível superior completo; 72,3% faixa etária de 31 a 50 anos; 55,5% gênero sexo masculino; 53,2% possuíam cargo de chefia;

14 Método de Pesquisa Procedimentos
A aplicação do instrumento de avaliação de reação, era realizada no final de cada curso.Antes da aplicação do teste de aprendizagem, pós teste de conhecimento. O teste era aplicado na sala de aula,por alunos do curso de graduação em psicologia, com o objetivo de obter melhor orientação. Esses participantes já haviam participados de outros dois questionários sendo eles: Avaliação de suporte organizacional ao treinamento Pré-testes de conhecimentos relacionados aos conteúdos do curso

15 Método de Pesquisa Análise de Dados
Os dados obtidos por intermédio dos questionários foram submetidos as seguintes análises : Análise estatística descritiva e de cunho exploratório Análise dos principais componentes e á análise fatorial (PAF,rotação obliqua-direct oblimin) Análise de consistência interna (alfa de Cronbach)

16 Método de Pesquisa As análises foram realizadas por intermédio das ferramentas a seguir : Pacote estatístico SPSS; Tabelas e gráficos com o apoio de programas EXCEL, versão 97 e WORD, versão 7.0; Indexação de arquivos e migração de dados cadastrais através do ACCESS, versão 97;

17 Resultados e Discussões
As 3670 respostas válidas da escala de reação foram submetidas ao processo de validação estatística e de confiabilidade; Inspeção scree plot mostraram apenas dois fatores precisos, por esse motivo os dados foram reanalisados por meio dos eixos principais (PAF); Segunda análise – correlação entre dois dados (0,63) denominados – reação aos resultados e expectativas de suporte e reações á programação e ao apoio ao desenvolvimento do curso. Nas tabelas 1 e 2, ambas obtiveram ótimos índices de confiabilidade.

18

19 Resultados

20

21 Resultados e Discussões
As 3670 respostas válidas dos itens concernentes á avaliação de desempenho do instrutor foram submetidas á analise dos componentes principais. A inspeção da forma de scree plot, sugeriram uma estrutura unifatorial predominante, por esse motivo os dados foram submetidos a análise fatorial , forçando a solução em um único fator que explicava 61,64 % da variância total das respostas.Fator denominado reação ao desempenho do instrutor. Segunda etapa – forçando-se a solução da análise (PAF) em dois fatores como sugerido (Figura 2) – dois fatores explicavam 67,95% da variância total, com forte correlacionamento (r=0,74)

22

23 Resultados e Discussões
Tabela 1 – Tabela 2 - ( alfa = 0,95) (alfa = 0,92) 10 itens (1,2,3,4,5,6,7,9,15 e 14) 5 itens (8,10,11,12 e 13)

24

25

26 Resultados e Discussões
Variáveis Definição Aprendizagem Escores de 3082 participantes no pós teste de assimilação de conteúdos. Impacto no Treinamento Média das avaliações feitas pelos próprios participantes acerca de efeitos produzidos pelo treinamento em níveis de desempenho,motivação, entre outros. Impacto A Medido duas semanas após o treinamento (1270 respostas) Impacto B Medido três meses após o treinamento ( 600 respostas)

27 Resultados e Discussões
Reapro Reação á programação e ao apoio Reares Reação aos resultados,aplicabilidade e expectativa de suporte Reains Reação ao desempenho do instrutor Retenção A (recordação dos conteúdos) Duas semanas do término do treinamento (1270 respostas) Retenção B (recordação dos conteúdos) Três meses após o treinamento (600 respostas)

28 Considerações Finais Aprendizagem, não tem relacionamento significativo com o impacto.Os níveis reações e impacto, estes sim,estão correlacionados forte e significativamente entre si. Os dados da literatura a respeito dos relacionamentos entre os níveis de avaliação são contraditórios e inconclusivos. Em parte, a força do relacionamento entre essas variáveis de reação com os demais níveis ficou fortalecida, pois obtiveram alfa Cronbach próximo ou superior a 0,90. Esses itens construídos com base no modelo MAIS de Borges – Andrade,propiciam uma base mais abrangente,segura e objetiva para avaliação do curso.

29 Considerações Finais Essa pesquisa mostrou que o nível de avaliação de reação não é essencialmente unidimensional,podendo ser composto por dois fatores correlacionados entre si que medem aspectos diferentes e igualmente relevantes dos cursos. A variável de reação ao entrosamento não parecem influenciar os resultados do treinamento,provavelmente porque se referem as características pessoais do instrutor sobre as quais os treinados não se sentem á vontade para emitir juízos mais precisos.

30 Considerações Finais Cada elo da corrente de eventos reação aprendizagem Impacto no trabalho parece depender de conjuntos diferentes de variáveis. Mais pesquisas sobre avaliação de treinamento deveriam ser realizadas em outros ambientes organizacionais, com diferentes treinamentos e amostras de participantes, de modo a ampliar a generalidade dos resultados,bem como testar modelos de avaliação abrangentes.

31 Considerações Finais Quais estratégias poderiam ser utilizadas para uma maior confiabilidade em relação ao desempenho do instrutor na avaliação dos treinados ? Podemos considerar a ferramenta ROI, uma proposta considerável de pesquisa para a avaliação dos investimentos destinados a treinamentos ?