MEDIDAS DE AVALIAÇÃO DE PROCEDIMENTOS, PROCESSOS E APOIO INSTRUCIONAIS EM TD&E Denise Furlanetto 2011

Alguns conceitos APOIO: É parte do conceito de ambiente; Abrange fatores do contexto interno e externo que podem afetar todas as atividade de um sistema de TD&E; condições ou restrições impostas à realização do evento instrucional enquanto ele ocorre; Exemplos: equipamentos; instalações; facilidade de acesso a material de apoio; transporte; alimentação

Alguns conceitos PROCEDIMENTOS INSTRUCIONAIS: Refere-se, no Modelo MAIS, à ação de TD&E propriamente dita; refere-se a operações, ocorrências e estratégias instrucionais utilizadas durante o treinamento, com a finalidade de levar o participante a alcançar os objetivos instrucionais. são as características do desenho instrucional postas em prática. Exemplos: apresentação de objetivos do curso; tempo destinado a atividade teóricas e práticas, seqüência de conteúdos, etc

Alguns conceitos PROCESSOS: referem-se aos resultados parciais ou intermediários ocorridos durante a implementação do evento e observados principalmente no comportamento do participante. Exemplos: erros e acertos em provas, absenteísmo, desistências, interações (participante-participante/participante-instrutor.

Por que avaliar procedimentos, processos e apoio? São a essência do treinamento; Possibilitam descrição detalhada do sistema instrucional; Permitem verificar quais operações instrucionais são + eficazes e eficientes para diferentes clientelas. Podem subsidiar predições sobre ações de TD&E de médio e longo prazos; Permitem saber o que funcionou ou não e aprimorar (caráter somativo).

Por que avaliar procedimentos, processos e apoio? Pesquisas empíricas mostram que tal variável é fundamental na predição de impacto do treinamento no trabalho. Os fatores de apoio à execução do treinamento vêm se mostrando, na prática, importantes variáveis que indicam as razões para abandono, absenteísmo e falta de motivação para o treinamento.

Ao planejar uma avaliação de um programa instrucional devemos perguntar: 1- O que medir? Remete à necessidade de definir constructos envolvidos na avaliação. Ex: apoio, procedimentos, processos. Medidas são geralmente extraídas das definições de cada constructo;

INDICADORES DE AVALIAÇÃO Em cursos presenciais Constructo Indicadores Apoio Salas de aulas: ventilação, tamanho, mobiliário, layout, acústica Hospedagem: proximidade do local, hóspedes por quarto, alimentação Coordenação: facilidade de acesso, presteza no atendimento Instalações: banheiros, salas para estudo, consultas a materiais didáticos Serviços e recursos de apoio: equipamentos, materiais Procedimentos Planejamento ou desenho instrucional: objetivos instrucionais, seqüência de conteúdos, estratégias instrucionais Execução: Desempenho do instrutor, interações requeridas pelos exercícios

INDICADORES DE AVALIAÇÃO Em cursos presenciais Constructo Indicadores Processos Resultados de testes ou exercícios práticos Motivação desenvolvida durante o curso Quantidade de tempo dedicado ao estudo individual Interações participante-participante, participante-instrutor Reações dos participantes às atividades propostas durante o curso Nível de absenteísmo não justificado Quantidade de pessoas que abandonam o curso

INDICADORES DE AVALIAÇÃO Cursos à distância Constructo Indicadores Apoio Interface gráfica Serviço de apoio técnico Sistema de tutoria: passiva ou ativa, quantidade de alunos por tutor Ambiente de estudo: adequação do curso ao computador, aos locais, preferências e hábitos de estudos dos participantes, apoio ao participante na administração do tempo para conclusão das unidades do curso Procedimentos Interação com o tutor: natureza e freqüência Interação com outros participantes: natureza e freqüência Interatividade: tipo de participação exigida pelas atividades (ativa ou passiva) Qualidade das avaliações de aprendizagem

INDICADORES DE AVALIAÇÃO Cursos à distância Constructo Indicadores Processos Resultados de testes, exercícios, provas Participação em chats, fóruns, listas de discussão Tempo para conclusão de cada unidade Interações participante-participante, participante-instrutor (natureza, freqüência e qualidade) Mensagens de satisfação ou insatisfação com curso e componentes do curso Tempo dedicado à realização de exercícios e estudo individual Atrasos na entrega de trabalhos Nível de absenteísmo não justificado a momentos de atividade síncrona Quantidade de abandonos

Ao planejar uma avaliação de um programa instrucional devemos perguntar: 2- Com o que medir? Leva à escolha ou construção e validação de um instrumentos capazes de gerar informações válidas e precisas sobre o que se quer avaliar; Os instrumentos mais utilizados são: Questionários de avaliação de reação dos participantes Observação com roteiros para registro Análise documental do curso Testes e/ou provas (na avaliação de variáveis de processos)

INSTRUMENTOS DE MEDIDA – PONTOS CRÍTICOS A escolha dos instrumentos deve levar em conta: Características do evento: presencial ou à distância Características da clientela Contexto em que o treinamento está inserido Encontram-se disponíveis instrumentos de avaliação de reações à procedimentos, processos e apoio, construídos e validados de acordo com recomendações técnicas oriundas da psicometria.

EXEMPLOS DE INSTRUMENTOS Reação ou satisfação com a programação Pontuação 1-Clareza na definição dos objetivos do curso 2-Compatibilidade dos objetivos com suas necessidades de treinamento 3-Carga horária programada para as atividades teóricas 4-Ordenação dos conteúdos 5-Carga horária programada para as atividades práticas 6-Carga horária diária 7-Adequação do conteúdo aos objetivos 8-Qualidade das instalações 9-Qualidade e organização do material didático 10- Quantidade do material didático Escala: (5)ótimo, (4)Muito bom, (3)bom, (2)regular, (1)ruim Fonte: Abbad (1999); Abbad, Borges-Andrade, Sallorenzo, Gama e Morandini (2001)

EXEMPLOS DE INSTRUMENTOS Desempenho do Instrutor (cursos presenciais) Pontuação 1-Transmissão dos objetivos do treinamento 2-Nível de profundidade com que os temas e assuntos foram abordados, tendo em vista os objetivos do curso 3-Ritmo de apresentação dos tópicos 4-Uso de estratégias instrucionais (estudos de caso, exposições orais, discussão em grupo) em relação à apreensão dos conteúdos 5-Qualidade das avaliações de aprendizagem 6-Conhecimento dos temas abordados 7-Segurança na transmissão do conteúdo 8-Disposição para esclarecer dúvidas Escala: (5)ótimo, (4)Muito bom, (3)bom, (2)regular, (1)ruim Fonte: Abbad (1999); Abbad, Borges-Andrade, Sallorenzo, Gama e Morandini (2001)

EXEMPLOS DE INSTRUMENTOS Nota Reações à Interface Gráfica do curso ( ) Relação entre os nomes e as siglas dos comandos e suas funções Relação entre o ícone e sua função Manutenção da função de um mesmo comando em todas as telas Quantidade de passos para chegar na função que preciso Quantidade de conteúdo por tela Adequação do ambiente eletrônico do curso à minha experiência com o uso da Internet Letras (cor, tipo, tamanho) usadas nos textos Qualidade das mensagens que recebo do ambiente eletrônico quando cometo erros de navegação Escala de 11 pontos, em que 0 corresponde a péssimo, e 10, a excelente Fonte: Carvalho (2003)

Ao planejar uma avaliação de um programa instrucional devemos perguntar: 3- Como medir? Leva à definição e seleção de estratégias de coleta e análise de dados. 4- Como emitir julgamentos de valor a partir da mensuração? Requer a escolha do tipo mais adequado de avaliação: baseada em critério o u norma (dependente da situação)

ETAPAS DE PROCEDIMENTOS DE AVALIAÇÃO 1-Definir os constructos 2-Listar indicadores 4-Escolher ou construir e validar instrumentos 3-Identificar instrumentos 5-Escolher fontes e meios 6-Definir avaliadores 8-Definir procedimentos de análise de dados 7-Definir procedimentos de coleta de dados 9-Definir relatório e devolução dos resultados

FONTES, MEIOS E AVALIADORES Fontes: Primárias ou Secundárias (arquivos e materiais preexistentes) Meios: Material impresso, meio eletrônico Avaliadores: Participantes, instrutores, desenhistas instrucionais, especialistas em conteúdo, profissionais de TD&E A escolha das fontes, meios e avaliadores deve levar em conta: Características dos eventos (presenciais ou à distância) Características da clientela Contexto em que a ação de TD&E está inserida Custos

PARA DEFINIR PROCEDIMENTOS DE AVALIAÇÃO É PRECISO: Estudar o caso (características dos eventos, da clientela e do contexto); Escolher um modelo de avaliação que defina claramente seus componentes; Seguir as etapas 1 a 8 (descritas anteriormente)

DISCUSSÕES FINAIS Sobre procedimentos: apesar da importância, há pouca pesquisa, por ex, sobre operações instrucionais; Há evidências de que objetivos instrucionais claros afetam a aprendizagem e que a realização de atividades práticas aumenta o impacto do treinamento no trabalho.

DISCUSSÕES FINAIS Estudos estrangeiros afirmam que reações favoráveis não garantem necessariamente a aprendizagem ou a mudança no comportamento do participante no trabalho. Estudos brasileiros já mostram correlações favoráveis entre reação e impacto do treinamento no trabalho. Abbad, Gama e Borges-Andrade (2000) concluíram que: Aprendizagem depende das características do treinamento, somadas às características pessoais e de suporte à transferência.

DISCUSSÕES FINAIS Abbad, Gama e Borges-Andrade (2000) concluíram, ainda, que: Reações dependem de combinações diferentes dos mesmos conjuntos de variáveis preditoras de aprendizagem. Impacto do treinamento depende fortemente do suporte à transferência e de variáveis de reações aos resultados dos treinamentos. Há avanços na área, mas a multiplicidade de medidas com definições e estruturas empíricas diferentes, dificulta a comparação e a análise da generalidade dos resultados de pesquisas que tentem correlacionar reação com aprendizagem e mudanças de comportamento no trabalho

REFERÊNCIA Abbad, Borges-Andrade, Mourão. Treinamento, desenvolvimento e educação em organizações e trabalho: fundamentos para a gestão de pessoas. Artmed: Porto Alegre, 2006 p.443-468