UNIVERSIDADE DE. UNIVERSIDADE CORPORATIVA BRASÍLIA – UnB UNIVERSIDADE DE UNIVERSIDADE CORPORATIVA BRASÍLIA – UnB BANCO DO BRASIL - UniBB Avaliação, com base em modelo lógico, de efeitos de um treinamento estratégico no desempenho de egressos e da organização Dissertação de Mestrado Stella Cristina Moraes Pereira Orientadora: Profa. Dra. Gardênia Abbad

Objetivo geral da pesquisa Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Objetivo Geral Objetivo geral da pesquisa Avaliar o impacto de um treinamento estratégico no desempenho individual (transferência de treinamento), identificando variáveis preditoras e a relação com resultados organizacionais.

Modelos teóricos de avaliação de TD&E Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Modelos teóricos de avaliação de TD&E Referencial Teórico Propõem níveis de avaliação (reação, aprendizado, comportamento no cargo, mudança organizacional e valor final) Modelos Tradicionais Hamblin (1978) Incluem categorias de variáveis (insumo, processo e ambiente) que influenciam a efetividade de ações TD&E e possibilitam realizar ajustes no programa ou no contexto. Modelos Integrados MAIS (1982) IMPACT (1999)

Modelo teórico de avaliação de programas Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Modelo teórico de avaliação de programas Referencial Teórico Ferramenta metodológica que pode auxiliar a: identificar resultados esperados em longo prazo estabelecer supostas relações entre eles identificar variáveis contextuais capazes de afetá-los Modelo Lógico Ferramenta da área de Avaliação de Programas Sociais que explicita a “teoria” de um programa, a partir da descrição de recursos, atividades e resultados esperados (McLaughlin & Jordan, 2004)

Análise da relação entre variáveis Etapas da pesquisa Pesquisa com técnicas diversificadas de coleta de dados primários e secundários, com abordagem qualitativa e quantitativa. Estudo 1 Revisão do modelo lógico Estudo 2 Elaboração de medidas Estudo 3 Análise da relação entre variáveis

Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 1 - Método Treinamento Avaliado: Curso presencial “Estratégia Negocial de Desenvolvimento Regional Sustentável” desenvolvido pelo Banco do Brasil. Objetivo específico: Revisar o modelo lógico do treinamento DRS elaborado por Meneses (2007) Amostra:10 gestores de agências 01 gerente da área estratégia 01 gerente regional Procedimentos: -Análise documental (material didático, relatórios, normativos e informativos) -Entrevistas individuais e grupos focais -Análise de conteúdo Estudo 1

Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 1 - Método Sensibilização e capacitação Estratégia Negocial de Desenvolvimento Regional Sustentável (DRS) - Visa impulsionar o desenvolvimento das regiões brasileiras de forma sustentável, por meio do apoio a atividades produtivas Escolha de atividade produtiva Estudo 1 Formação de equipe DRS C O N E R T A Ç Ã Elaboração de diagnóstico Confecção de plano de negócio Análise Implementação Monitoramento e avaliação

Estudo 1 – Resultados Estudo 1 Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 1 – Resultados Estudo 1

Variáveis Interferentes Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 1 – Resultados Seta Variáveis Interferentes A Transferência de treinamento para o trabalho Interesse e engajamento dos gestores Experiência adquirida antes do curso Pessoas treinadas que efetivamente ajudam Disponibilidade de tempo, quadro de pessoal, atividades e metas concorrentes Orientação técnica de Órgãos de Apoio internos Troca de experiências com outros gestores Disponibilidade de equipamentos e materiais Apoio de parceiros Incentivo de superiores Fatores externos B Quantidade de planos de negócios DRS e em suas estimativas de beneficiários e crédito Características das agências bancárias Características demográficas dos municípios (e.g. área rural, população) Tempo transcorrido após o treinamento Outras metas de trabalho concorrentes e prioritárias Recursos financeiros Estudo 1

Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 1 – Discussão A utilização de diferentes stakeholders possibilitou ajustes: seqüência de resultados semelhante, com novos indicadores de resultados e variáveis interferentes O modelo lógico atualizado embasou a elaboração de medidas e a definição de modelos empíricos para investigar relacionamentos entre variáveis Estudo 1

Motivação para transferir Transferência do treinamento Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 2 - Método Objetivo específico: Elaborar e validar medidas de avaliação Escala Conceito Nr. itens Motivação para transferir grau de interesse do gestor em aplicar, no trabalho, os conteúdos aprendidos no treinamento (Lacerda, 2002) 5 Transferência do treinamento aplicação, no trabalho, dos CHAs aprendidos no curso pelo participante (Freitas, Borges-Andrade, Abbad & Pilati, 2006) 12 Suporte percepção sobre práticas organizacionais de gestão de desempenho (Abbad, 1999) percepção sobre nível de apoio fornecido pelo ambiente pós-treinamento para aplicação de novos CHAs (suporte à transferência de treinamento) 37 Estudo 2

Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 2 - Método Amostra: Retorno de 2213 respondentes (63,8%) de 3466 gestores de agência capacitados entre agosto/2004 e fevereiro/2008. Instrumento: Questionário impresso com três escalas Estudo 2 Procedimentos de coleta e análise: - Questionário encaminhado via malote em maio de 2008 - Validação estatística das escalas: Análise de componentes principais (PC) Análises de eixos principais (PAF) Análise de confiabilidade (Alfa de Cronbach)

Estudo 2 - Resultados Escala KMO % vari-ância Fatores Nr. itens Alfa Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 2 - Resultados Escala KMO % vari-ância Fatores Nr. itens Alfa Cargas Motivação para transferir 0,90 83,35 Fator geral 5 0,95 0,94 a 0,79 Suporte à transferência e Suporte Organizacional 0,96 58,94 Suporte social e técnico 14 0,94 0,95 a 0,43 Suporte externo 9 0,98 a 0,42 Gestão desem-penho 8 0,88 0,98 a 0,32 Suporte material 0,83 0,85 a 0,39 Transferência de treinamento 70,19 Fator Geral 12 0,88 a 0,69 Estudo 2

Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 2 - Discussão Escalas consideradas válidas e confiáveis, pois apresentaram bons índices psicométricos e respaldo teórico Dimensões de suporte à transferência: (a) social e técnico; (b) externo e (c) material. - coerência com as dimensões da literatura - novas dimensões: suporte externo à organização e apoio técnico prestado por colegas e outros intervenientes Estudo 2

Estudo 2 - Discussão Escala de transferência de treinamento: Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 2 - Discussão Escala de transferência de treinamento: itens bastante específicos que descrevem comportamentos que envolvem a aplicação de CHAs aprendidos no curso coerência teórica entre os indicadores contidos na escala e a descrição de competências profissionais aplicação de CHAs mensurada em termos de manifestação de competências Estudo 2

Transferência de treinamento para o trabalho Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 3 – Modelo A Objetivo específico: Avaliar a relação de “motivação para transferir” e “suporte” com “transferência de treinamento para o trabalho” Características do indivíduo -Motivação para transferir Tempo de Banco Experiência na função de gestor Características do contexto Suporte social e técnico Suporte externo Suporte material Gestão de desempenho Nr. de funcionários capacitados Variável critério Transferência de treinamento para o trabalho Estudo 3

Estudo 3 – Modelo B Objetivo específico: Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 3 – Modelo B Objetivo específico: Investigar o relacionamento entre transferência de treinamento e mudança organizacional, após a eliminação do efeito de outras variáveis antecedentes. Características do contexto -Nível da agência Região Geográfica Tempo de habilitação da agência -Percentual de população urbana Variável critério - Elaboração de planos de negócios DRS Resultado individual do treinamento -Transferência de treinamento para o trabalho Estudo 3

Estudo 3 - Método Amostra Modelo A: amostra do Estudo 2 Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 3 - Método Amostra Modelo A: amostra do Estudo 2 Modelo B: sub-amostra com gestores lotados na atual agência há mais de 18 meses Procedimentos de coleta de dados: 1) Maio de 2008 2) 6 meses depois Dados primários: questio-nário do estudo 2 Dados secundários: base de dados da Empresa (características dos gestores e da agência) Dados secundários: base de dados da Empresa e do IPEA (desempenho das agências e variáveis de contexto) Estudo 3 Procedimentos de análise de dados: Modelo A: Regressão múltipla padrão Modelo B: Regressão múltipla hierárquica

Variáveis Explicativas Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 3 – Resultados Modelo A Variável critério Variáveis Explicativas  Sr R2 Transferência de treinamento para o trabalho Motivação para transferir 0,316 0,380 0,62 Suporte social e técnico 0,166 0,148 Suporte externo 0,403 0,409 Gestão de desempenho 0,049 0,057 Estudo 3

Estudo 3 – Discussão Modelo A Hipó-tese Descrição Interpretação H1 Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 3 – Discussão Modelo A Hipó-tese Descrição Interpretação H1 Tempo de Banco e experiência como gestor contribui para explicar a transferência do treinamento para o trabalho Resultados similares na literatura A pouca variabilidade pode ter contribuído para esse resultado H2 A motivação do indivíduo para transferir está positivamente relacionada com a transferência do treinamento Gestores que se sentiram mais motivados para aplicar os novos CHAs foram os que mais relataram expressar as competências na situação real de trabalho Refutada Corroborada Estudo 3

Estudo 3 – Discussão Hipó-tese Descrição Interpretação H3 Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 3 – Discussão Hipó-tese Descrição Interpretação H3 Percepção de suporte à transferência explica a variabilidade da transferência do treinamento - Dimensões relevantes: suporte externo e suporte social e técnico - Reforça a importância do suporte social e aponta novas dimensões - Suporte material não contribuiu para explicar o resultado. H4 Percepção de suporte organizacional explica a transferência do treinamento - Prática de gestão de desempenho mostrou-se relevante, embora com menor poder preditivo. - Corrobora resultado de Abbad(1999), mas difere de outros autores. Parcialmente Corroborada Estudo 3 Corroborada

Variáveis Explicativas Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 3 – Resultados Modelo B Variável critério Variáveis Explicativas  Sr R2 Quantidade de planos de negócios DRS Tempo de habilitação 0,213 0,146 Modelo 1: 0,27 Modelo 2: 0,28 Região geográfica -0,345 -0,238 Transferência de treinamento 0,090 0,102 Estudo 3

Estudo 3 – Discussão Modelo B Hipó-tese Descrição Interpretação H1 Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Estudo 3 – Discussão Modelo B Hipó-tese Descrição Interpretação H1 Características internas e externas às agências contribuem para explicar o número de planos de negócios elaborados por unidade organizacional Agências com mais tempo de habilitação e localizadas na região Norte e Nordeste possuem mais PN DRS implementados. Nível da agência e percentual de população urbana não foram relevantes. H2 Transferência de treinamento contribui para explicar o número de PN DRS implementados, após desconsiderada a influência de variáveis externas ao treinamento A transferência do treinamento contribuiu para predizer o número de PN DRS, apesar de ser pequena a contribuição. A aplicação do treinamento é necessária, mas não suficiente para produzir resultados mais abrangentes. Parcialmente Corroborada Estudo 3 Corroborada

Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Limitações Dados obtidos por meio de auto-relato, que constituem indicadores subjetivos, que podem conter imprecisões Não adoção de hetero-avaliação de transferência de treinamento Estudo correlacional, ao invés de desenho experimental ou quase-experimental Considerações Finais

Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Contribuições Utilização de modelos lógicos para direcionar o processo de avaliação de treinamento Validação estatística de uma escala de impacto de treinamento em profundidade Estabelecimento do caráter preditivo exercido pela variável motivação para transferir sobre indicador de efetividade de treinamento no nível individual (i.e. transferência de treinamento) Detecção de outras dimensões de suporte à transferência Incremento na explicação da transferência de treinamento com a utilização de medidas de suporte específicas ao contexto pesquisado Teste do poder preditivo entre transferência de treinamento e um indicador de efetividade de treinamento referente ao nível de mudança organizacional Considerações Finais

Contribuições práticas Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Contribuições práticas Sobre o tema DRS Variáveis do contexto que mais influenciam os resultados. Recomenda-se promover ações que favoreçam: - concertação externa - aproximação entre agências e órgãos de apoio e tático que ofereçam apoio técnico. disponibilidade de tempo dos gestores para conduzir a implementação da Estratégia em suas agências Importância da motivação pessoal. Sugere-se novas ações que estimulem o envolvimento dos gestores com o tema DRS. Correlação entre regiões geográficas e resultados. Recomenda-se aprofundar investigação sobre essa relação. Considerações Finais

Contribuições práticas Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Contribuições práticas Sobre o tema avaliação em Gestão de Pessoas Incorporação de ferramenta de avaliação de programas com a utilização de modelos lógicos para investigar efeitos de TD&E Recomenda-se: Adotar ML para direcionar a elaboração e a avaliação de projetos em Gestão de Pessoas Validação estatística da escala de transferência de treinamento Sugere-se utilizar competências profissionais descritas na escala em outros subsistemas de gestão de pessoas (GDP) Considerações Finais

Considerações Estudo Estudo Estudo Referencial Objetivo Finais 3 2 1 Teórico Geral Recomendações Aprofundar investigação sobre motivação para transferir e identificar variáveis individuais e contextuais que interferem na relação entre a variável e o resultado do treinamento Aprimorar conceito e medida de suporte à transferência Adotar modelos lógicos para investigar efeitos de TD&E na organização Propor modelos empíricos com delineamento experimental ou quase-experimental Testar efeitos mediadores e moderadores entre variáveis Testar novamente o relacionamento entre resultados individuais e efeitos em níveis mais abrangentes Utilizar modelo lógico revisado para dar continuidade à avaliação do treinamento DRS Considerações Finais

UNIVERSIDADE DE. UNIVERSIDADE CORPORATIVA BRASÍLIA – UnB UNIVERSIDADE DE UNIVERSIDADE CORPORATIVA BRASÍLIA – UnB BANCO DO BRASIL - UniBB Obrigada! Contato: Stella Cristina Moraes Pereira e-mail: stellacristina@bb.com.br Tel.: (61) 3310-9492