A AVALIAÇÃO COMO INSTRUMENTO DE GESTÃO: a experiência do Programa de EAD da UNAMA Larissa Sato Dias Universidade da Amazônia larissa@unama.br Milton Cordeiro Farias Filho miltonfarias@unama.br

Objetivos Geral Avaliar o programa de EAD da Unama, de fevereiro/2004 a janeiro/2005, a fim de que sejam criados instrumentos que sirvam de base para a gestão da educação superior em programas de EAD. Específico Discutir a avaliação como um dos instrumentos centrais na gestão da educação superior

Características Cursos superiores de formação específica Gestão de Órgãos Públicos Gestão em Turismo Gestão Empresarial Desenvolvimento de Sistemas e de Software Sistema semipresencial de ensino 60% EAD 40% Presencial 350 alunos – 50 por turma

Municípios Abaetetuba População: 125.058 hab. Distância de Belém: 150 km Acesso: via terrestre e/ou fluvial Barcarena População: 68.604 hab. Distância de Belém: 120 km Parauapebas População: 81.427 hab. Distância de Belém: 800 km Acesso: via terrestre e aérea Fonte: IBGE, 2003

Infra-Estrutura Salas de aula - momentos presenciais Laboratório de informática com Internet - aulas práticas presenciais e EAD SEAD - procedimentos administrativos Sala de videoconferência – 2º semestre 2004

Metodologia Regime modular Guia de Estudos Livro-texto Professor-tutor Monitor Avaliação Atividades à distância Provas presenciais Coordenador de curso

Procedimentos Metodológicos Metodologia Quantitativa Universo da pesquisa: totalidade de alunos matriculados Período da coleta: março a maio/04 Questionário fechado 6 (seis) categorias ou partes 51 questões fechadas Um questionário por aluno para cada disciplina Total: 549 questionários

Questionário – Parte I Avaliação Pedagógica – Presencial Avaliar a qualidade do momento presencial e detectar os fatores que possam estar interferindo positiva e negativamente no processo ensino-aprendizagem deste momento Planejamento Trabalho em sala de aula Atitudes professor Avaliação processo ensino-aprendizagem Uso do laboratório de informática

Questionário – Parte II Avaliação Pedagógica – EAD Avaliar se estes elementos estão auxiliando no processo ensino-aprendizagem que acontece quando o professor está fisicamente longe do aluno Guia de Estudos Livro texto Atividades e exercícios Tutoria Perfil dos alunos: pessoas que não tiveram contato ou experiência anterior com EAD

Questionário – Parte III Coordenação de Curso Avaliar o desempenho do gestor do curso e seu relacionamento com a turma. Auxiliar os coordenadores no direcionamento de sua gestão acadêmica Atendimento a necessidades / informações Relacionamento / contato

Questionário – Parte IV Infra-Estrutura e Serviços Avaliar se a infra-estrutura oferecida pela instituição e o setor de apoio presencial, implantado em cada município, atendem às necessidades do aluno, contribuindo para sua satisfação no curso Laboratório de informática Recursos didáticos disponíveis Atendimento SEADs

Questionário – Parte V Auto-Avaliação Levar o aluno a refletir sobre seu papel enquanto sujeito ativo em seu processo de aprendizagem Motivação Satisfação Nível de aproveitamento Importância: aluno - pensar sobre seu papel no curso, expectativas e ansiedades, instituição - acompanhar e verificar se o rendimento está relacionado a fator motivacional

Questionário – Parte VI Monitoria Avaliar a ação do monitor no processo de aprendizagem do aluno Atendimento às dúvidas / solicitações Relacionamento

Resultados e Discussão Questões Caráter afirmativo Respostas com escala de 1 a 5 pontos Resultados expressos em % Satisfação do Aluno – SA Aceitação do programa, metodologia e forma de execução Proposta de avaliação direta c/ alunos Âmbito + abrangente – entrevista e observação participante

Resultados e Discussão Tabela 1 – % SA Abaetetuba-PA. Cursos % de satisfação dos alunos I II III IV V VI G. Turismo 80,05 78,02 89,86 29,17 80,07 * G. Empres. 80,73 74,28 47,55 39,88 77,47 2,85 Fonte: pesquisa de campo * Monitoria não implantada

Resultados e Discussão Tabela 2 – % SA Barcarena-PA. Cursos % de satisfação dos alunos I II III IV V VI G. Órg. Púb. 76,85 69,20 56,78 49,22 68,14 * G. Empres. 95,02 90,23 69,03 66,91 92,22 Des. Sist. Soft. 66,09 60,45 63,72 63,80 59,46 51,63 Fonte: pesquisa de campo * Monitoria não implantada

Resultados e Discussão Tabela 3 – % SA Parauapebas-PA. Cursos % de satisfação dos alunos I II III IV V VI G. Empres. 80,70 75,49 59,70 69,41 78,68 53,18 Des. Sist. Soft. 74,42 60,26 20,25 50,48 61,43 12,72 Fonte: pesquisa de campo * Monitoria não implantada

Resultados e Discussão Avaliação Pedagógica Presencial (I) e EAD (II) SA bem elevada (60,26% a 95,02%) - experiência pioneira ↑ aula presencial, ↓ EAD

Resultados e Discussão Gestão Acadêmica (III) e Administrativa (IV) Foco central de análise SA baixa (20,25% e 69,03%) - exceto GT

Resultados e Discussão Gestão Administrativa Grande desafio do programa SA entre 29,17% e 69,41% Seleção de pessoal feita na sede do próprio município Abaetetuba - SA muito baixa (29,17% a 39,88%) Fator de grande preocupação - revisão do sistema e/ou critérios de seleção e condução do processo de treinamento

Resultados e Discussão Auto-avaliação (V) Cruzando I e II (60,26% a 95,02%) com V (59,46% a 92,22%) - não há disparidades → indicativo gestão acadêmica e administrativa: grande desafio para melhoria da SA

Resultados e Discussão Monitoria (VI) Monitoria não implantada em todos os municípios/cursos

Resultados e Discussão Monitoria - motivos da baixa SA: 02 meses para implantação Alunos desconheciam figura e papel do monitor Dificuldades de comunicação alunos-monitores Alunos sem experiência com e-mail Deixaram questões em branco Atribuíram notas muito baixas

Notas Conclusivas e Sugestões Apenas um instrumento - índice de satisfação parcialmente construído Incorporação de novas técnicas e procedimentos de coleta e análise dos dados Necessidade e importância de instrumentos de avaliação contínuos e abrangentes → melhor direcionar ações pioneiras → problemas enfrentados mais rapidamente → intervenção de gestão mais envolvida.

Notas Conclusivas e Sugestões SA diretamente ligada à eficiência e eficácia da gestão do programa de EAD Aceitação da avaliação como instrumento eficiente de acompanhamento e planejamento de ações Qualidade dos programas relacionada à capacidade de intervir em tempo real e com instrumentos variados Implantação: levar em conta ≠ locais, não se tornar prisioneiro de sistema específico que possa excluir clientes potenciais (Rumble, 2003)

Notas Conclusivas e Sugestões Ampliação dos instrumentos de avaliação Qualidade da educação Satisfação do aluno Satisfação dos professores, técnicos, funcionários, comunidade local Objeto de futuros estudos - medir grau de satisfação Fazer da avaliação importante instrumento de gestão na educação, mas não o único.

Programa de Educação a Distância Universidade da Amazônia Larissa Sato Dias larissa@unama.br Milton Cordeiro Farias Filho miltonfarias@unama.br

Cálculo (Total de pontos máximos - total de pontos mínimos) para compensar a não existência da nota zero. Zero foi considerado para efeito de somatória dos pontos; neste caso, representado pela nota 1. Para efeito real, a escala variou de 0 a 4, transportada da mesma forma para a escala de percentual de 0 a 100%.