principalmente da tutoria,

Apresentação em tema: "principalmente da tutoria,"— Transcrição da apresentação:

1 principalmente da tutoria,
Objetivo Avaliar a qualidade percebida dos cursos a distância do programa FGV Online, principalmente da tutoria, por meio da análise quantitativa das avaliações dos cursos pelos alunos.

2 Distribuição dos alunos segundo status final de curso
Metodologia População alunos dos cursos de extensão (30h e 45h) inscritos no período 2002 – 2003 Distribuição dos alunos segundo status final de curso Status final N % Aprovados 1278 54,5 Reprovados 524 22,3 Trancados / cancelados 328 14 Nota final pendente (prova pendente) 215 9,2 TOTAL 2345 100 Total inscritos = ,0% Amostra Reprovados + evadidos = ,3% % Aprovados = ,5% % Prova pendente = ,2% % Dos reprovados, 8,7% não chegaram a iniciar o curso e foram reprovados com 0 (zero), e a maioria dos 13,3% restantes reprovou por abandono do curso, e não por baixo desempenho nas tarefas.

3 Metodologia População Perfil dos alunos % Gênero Masculino 74 Feminino
26 Idade 29-35 anos 32 36-45 anos 31 24-28 anos 22 Acima de 45 11 18-23 anos 4 Região Sudeste 52 Centro-Oeste 16 Nordeste 14 Sul Norte 7 % Formação Administração 27 Ciência da Computação 17 Engenharia 14 Direito 7 Economia 6 Ciências contábeis 5 Comunicação Outros 19 Cargo / posição Técnico / operacional 69 Gerência média 20 Alta gerência 11 Total inscritos = ,0% Amostra Reprovados + evadidos = ,3% % Aprovados = ,5% % Prova pendente = ,2% % Dos reprovados, 8,7% não chegaram a iniciar o curso e foram reprovados com 0 (zero), e a maioria dos 13,3% restantes reprovou por abandono do curso, e não por baixo desempenho nas tarefas.

4 Distribuição dos alunos pelos cursos
Metodologia População Distribuição dos alunos pelos cursos Curso % Gestão da Tecnologia da Informação 27 Negociação 11 Gestão Estratégica de Recursos Humanos 10 Marketing de Serviços Finanças Empresariais 9 Gestão de Pessoas 7 Estratégia de Empresas Contabilidade Financeira 5 Outros 14 TOTAL 100% Total inscritos = ,0% Amostra Reprovados + evadidos = ,3% % Aprovados = ,5% % Prova pendente = ,2% % Dos reprovados, 8,7% não chegaram a iniciar o curso e foram reprovados com 0 (zero), e a maioria dos 13,3% restantes reprovou por abandono do curso, e não por baixo desempenho nas tarefas.

5 Grupo 1: 733 alunos que concluíram o curso (49%)
Metodologia Amostra Grupo 1: 733 alunos que concluíram o curso (49%) Grupo 2: 350 reprovados e trancados / cancelados (41%) Instrumento de coleta de dados Grupo 1: questionários de avaliação ao final do curso Grupo 2: questionário de avaliação simplificado (via ) Total inscritos = ,0% Amostra Reprovados + evadidos = ,3% % (76 = 9% do universo de reprovados / trancados) Aprovados = ,5% % (aprovados e prova pendente) Prova pendente = ,2% % Amostra do grupo 1: alunos que preencheram o formulário de avaliação ao final do curso (57% dos A) (não-probabilista - intencional) Amostra do grupo 2: alunos com dados completos de inscrição (41% dos R&E) (não-probabilista - intencional). A maioria dos reprovados não responde ao questionário, uma vez que quase a metade deles nem chega a iniciar o curso, e uma parte significativa do restante o abandona antes de terminar. Os trancados / cancelados, uma vez que também interrompem o curso antes do seu término, não o preenchem. Assim, foi necessário adotar um outro procedimento a fim de coletar as avaliações desses alunos. Ao final de 2003, enviamos por um questionário simplificado para os 350 alunos que compõem esses dois grupos. Obtivemos 76 (22%) questionários devidamente respondidos.

6 Questionários - grupos 1 e 2
Metodologia Questionários - grupos 1 e 2 Macro-item 1. Estrutura e conteúdo 2. Atividades 3. Design e formatação 4. Navegação e usabilidade 5. Tutoria 6. Atendimento e suporte Itens Adequação do conteúdo aos objetivos Variedade das atividades Design das telas Facilidade de acesso Rapidez de resposta Adequação do conteúdo ao tempo do curso Relevância das atividades Volume de informação por tela Navegação no ambiente Cooperação Prontidão no atendimento Atualidade dos temas apresentados Clareza das orientações Adequação da multimídia aos temas Relevância dos links Integração à turma Solução dos problemas Clareza da linguagem Grau de dificuldade Qualidade dos documentos do CD Apoio às atividades Pontuação atribuída na avaliação Clareza das informações da apostila Coerência na avaliação Os alunos avaliam cada variável por meio de uma escala de 7 pontos: 1 = Péssimo; 2 = Muito ruim; 3 = Ruim; 4 = Mais ou menos; 5 = Bom; 6 = Muito bom; 7 = Excelente; (0) para os que não sabem / não têm como avaliar. O questionário simplificado pedia apenas para avaliar os macro-itens. Escala: 1 = Péssimo = Muito ruim = Ruim = Mais ou menos = Bom = Muito bom = Excelente

7 Metodologia Questionário - grupo 2
Motivos do trancamento, cancelamento ou abandono 1 Insatisfação com o conteúdo e as atividades do curso 2 Insatisfação com a tutoria 3 Insatisfação com a turma 4 Insatisfação com o helpdesk e a secretaria / administração do curso 5 Insatisfação com o ambiente de aprendizagem (LearningSpace) 6 Falta de tempo e/ou disponibilidade para o curso 7 Falta de conhecimentos pré-requisitos para o curso 8 Motivos pessoais, de saúde e/ou familiares 9 Motivos profissionais 10 Motivos financeiros 11 Problemas técnicos, de equipamento, acesso, conexão etc. 12 Outros Os alunos avaliam cada variável por meio de uma escala de 7 pontos: 1 = Péssimo; 2 = Muito ruim; 3 = Ruim; 4 = Mais ou menos; 5 = Bom; 6 = Muito bom; 7 = Excelente; (0) para os que não sabem / não têm como avaliar. O questionário simplificado pedia apenas para avaliar os macro-itens.

8 Grupo 1 – alunos que concluíram o curso
Metodologia Grupo 1 – alunos que concluíram o curso Análise fatorial visando agrupar variáveis em um número mais reduzido de dimensões Análise de clusters e de discriminante visando identificar respondentes com padrões de resposta semelhantes Grupo 2 – reprovados, trancados e cancelados Análise descritiva visando identificar a distribuição de respostas

9 Grupo 1 – alunos que concluíram o curso
Resultados Grupo 1 – alunos que concluíram o curso Análise fatorial Conteúdo e atividades Design e navegação Tutoria Atendimento e suporte (helpdesk) Análise de clusters e de discriminante Revelou 3 agrupamentos distintos: Alunos satisfeitos com todos os fatores (63% da amostra) Alunos menos satisfeitos com os fatores 1 e 2 (29,8% da amostra) Alunos menos satisfeitos com o fator 3 (7,2% da amostra) Dentro da escala: = Péssimo = Muito ruim = Ruim = Mais ou menos = Bom = Muito bom = Excelente Os agrupamentos ficaram assim: As médias nos fatores variam entre 5,9 e 6,8 As médias nos fatores variam entre 4,8 e 6,7 (maior dispersão – grupo mais crítico, discriminativo) As médias nos fatores variam entre 3,7 e 5,7

10 Grupo 2 – reprovados, trancados e cancelados
Resultados Grupo 2 – reprovados, trancados e cancelados Resultados do questionário simplificado 76 respondentes (9% do universo) Item Média Mediana Desvio Padrão Design e formatação 4,6 5,0 2,0 Estrutura e conteúdo 4,4 2,1 Tutoria 4,3 2,4 Atendimento e suporte (helpdesk) 4,0 2,5 Navegação e usabilidade 1,9 Atividades 3,7 4,5 2,2 Entre os grupos de alunos reprovados e trancados / cancelados que responderam ao questionário simplificado via , não foram verificadas diferenças significativas nos padrões de resposta. Daí a apresentação dos dados em conjunto. Isso acontece principalmente pelo fato de a maioria das reprovações ocorrerem, não por insuficiência de desempenho, mas por abandono de curso pelos alunos que perderam o período de trancamento. Da amostra de 350 alunos, 76 responderam o questionário (22% de taxa de resposta), que corresponde a 9% do total de reprovados, trancados e cancelados. A natureza da amostragem (não probabilista – intencional) e pelo tamanho, não permite inferências e generalizações precisas. Estas deverão ser cautelosas. Escala: 1 = Péssimo = Muito ruim = Ruim = Mais ou menos = Bom = Muito bom = Excelente

11 Motivo de não conclusão
Resultados Grupo 2 – reprovados, trancados e cancelados Motivo de não conclusão % Falta de tempo e/ou disponibilidade para o curso 21 Insatisfação com o ambiente de aprendizagem 12 Insatisfação com o conteúdo e as atividades do curso 10 Problemas técnicos, de equipamento, acesso, conexão etc. Motivos profissionais Motivos pessoais, de saúde e/ou familiares 9 Insatisfação com a tutoria 8 Insatisfação com o helpdesk, secretaria e administração 7 Insatisfação com a turma 4 Falta de conhecimentos pré-requisitos para o curso 2 Motivos financeiros Outros 5 100% 44% motivos pessoais 22% navegação e usabilidade 10% conteúdo e atividades 8% tutoria 7% suporte técnico e administrativo

12 Conclusões e desdobramentos
Alta satisfação: 90% dos alunos que concluíram os cursos (tutoria) Satisfação moderada mesmo entre trancados, cancelados e reprovados Evasão - considerada alta (entre 15 e 25%): “Falta de tempo” – trabalhar as expectativas sobre a carga de estudos Melhoria das ferramentas / estratégias para lidar com evadidos Insatisfações: navegação e usabilidade – migração LS3  LS5 conteúdo e atividades – revisão e aprimoramento dos cursos tutoria – investimento na capacitação, mentoria e interação via SVP

13 Conclusões e desdobramentos
Análise quantitativa oferecer visão global, por “atacado” identificar padrões perceptivos mais gerais identificar pontos críticos (cursos, tutores etc.) embasar tomada de decisão aprimorar o instrumento de coleta de dados gerar hipóteses para teste ex.: até que ponto a percepção sobre a tutoria influencia as demais? nortear análises qualitativas posteriores ex.: comparar cases de sucesso e insucesso