Profa. Dra. Marion Creutzberg

Apresentação em tema: "Profa. Dra. Marion Creutzberg"— Transcrição da apresentação:

1 Avaliação institucional e de curso no contexto do SINAES: o papel do professor
Profa. Dra. Marion Creutzberg Assessora de Avaliação E REGULAÇÃO DE CURSOS (PROACAD/PUCRS) Coordenadora da Comissão Própria de Avaliação (CPA/PUCRS)

2 Tópicos Professor x Avaliação: por quê? Avaliação na Educação Superior
SINAES Indicadores de Qualidade Resultados de Avaliação de IES e cursos da Rede Sinodal O que pode fazer o professor?

3 Professor x Avaliação: por quê?

4 Resultados de avaliação
“queremos transmitir para os estudantes a importância do reconhecimento da qualidade de ensino e da aprendizagem para o seu futuro profissional” Estudante IES / Curso “precisamos entender os processos avaliativos como formativos para toda a comunidade acadêmica, nos conscientizando e criando uma cultura de avaliação no sentido de qualificarmos cada vez mais a instituição da qual fazemos parte e levamos o nome” Professor Fonte:

5 Professor: a referência que permanece
O que / quem o estudante considera como agente de motivação para a participação na avaliação? Professor e parceria da instituição Recompensa 2010 2011 2012 2013 2014 Professor Professor, reconhecimento e cumplicidade Recompensa e Professor Santos R, Teitelbaum I, 2015.

6 - Avaliação na Educação Superior - SINAES - Indicadores de Qualidade

7 Avaliação na Educação Superior
PUCRS Avaliação na Educação Superior Panorama mundial - avaliações sistemáticas e com abrangência nacional, são relativamente recentes. Tendência internacional regulação e controle das instituições responsabilização com a qualidade orientação para escolhas dos estudantes equivalência de títulos / diplomas (Verhine, 2010; Freitas, 2012; Morosini 2014) Asplam

8 Avaliação na Educação Superior
PUCRS Avaliação na Educação Superior Panorama brasileiro década de 70: pós-graduação – CAPES; 80: primeiras propostas / vinculadas à regulação; 90: Programa de Avaliação Institucional das Universidades Brasileiras / experiências e propostas de avaliação formativa LDB/96: Exame Nacional de Cursos, Avaliação das Condições de Ensino, Avaliação de Centros Universitários 2004: SINAES Lei nº 10861 Asplam

9 SINAES AVALIAÇÃO INSTITUCIONAL AVALIAÇÃO EXTERNA ENADE
AVALIAÇÃO CURSOS DE GRADUAÇÃO AVALIAÇÃO EXTERNA ENADE Exame Nacional de Desempenho de Estudantes AVALIAÇÃO INTERNA AUTOAVALIAÇÃO INSTITUCIONAL INDICADORES DE QUALIDADE DA EDUCAÇÃO SUPERIOR

10 Indicadores de Qualidade da Educação Superior
Impactos: - na trajetória dos estudantes, - no curso e na IES Indicadores de Qualidade da Educação Superior Candidatura do curso / IES a editais Manutenção de processo seletivo e vagas no Curso e na IES Reconhecimento social da área / curso / IES Selos de recomendação de conselhos e associações Acesso a financiamento estudantil (FIES, ProUni) Mundo do trabalho (estágio e inserção profissional) Programas de mobilidade em universidades no exterior Seleção em programas de Pós-Graduação Reconhecimento de diploma no exterior ... ????

11

12

13 AVALIAÇÃO INSTITUCIONAL
Avaliação in loco Índice Geral de Cursos IGC Credenciamento de IES Recredenciamento de IES Índice calculado anualmente, com base nos resultados da avaliação dos Cursos de Graduação (CPC) e de Pós-Graduação (Capes) Presencial Presencial EAD EAD Instrumento de Avaliação organizado em 5 Eixos que contemplam as 10 dimensões do SINAES (Portaria 92, 31/janeiro/2014) Conceito da Instituição CI

14 Eixo 2 – Desenvolvimento institucional
Eixos e dimensões de avaliação institucional Eixo 2 – Desenvolvimento institucional Eixo 1 – Planejamento e avaliação institucional 3 Responsabilidade Social 1 Missão e PDI 8 Planejamento e avaliação Eixo 3 – Políticas acadêmicas 2 Ensino Pesquisa Extensão Eixo 5 – Infraestrutura física 9 Atendimento aos discentes 4 Comunicação 7 Infraestrutura Eixo 4 – Políticas de gestão 5 Políticas de pessoal 6 Organização e gestão 10 Sustentabilidade financeira

15 Índice Geral de Cursos - IGC
G=média dos CPCs ponderada pelas matrículas nos cursos de graduação avaliados. PG=peso da graduação M=média dos conceitos CAPES ponderada pelas matrículas nos cursos de Mestrado. Limitada a 5. PM=peso do Mestrado D=média dos conceitos CAPES ponderada pelas matrículas nos cursos de Doutorado subtraída de “2”. PM=peso do Doutorado

16 Avaliação in loco AVALIAÇÃO [+Regulação, Supervisão]
CURSOS DE GRADUAÇÃO Renovação de Reconhecimento [ciclos definidos] Cursos que não fazem ENADE Cursos com ENADE Avaliação in loco + insumos CPC inferior a 3 Conceito Preliminar de Curso Autorização Reconhecimento Sem conceito Instrumento de Avaliação de Cursos de Graduação presencial e a distância - Junho/2015 Avaliação periódica Portaria Conceito do Curso CC Índice Geral de Cursos (IGC) da IES + conceitos CAPES (IES com PG)

17 Dimensões avaliadas - Instrumento de avaliação
Avaliação in loco Autorização Reconhecimento Renovação de Reconhecimento Dimensões avaliadas - Instrumento de avaliação Organização didático-pedagógica 27 indicadores Corpo docente Infraestrutura 20 indicadores 21 indicadores

18 Conceito do Curso CC

19 Conceito Preliminar de Curso
Decomposição do CPC  Componente Pesos antigos Pesos atuais Desempenho dos alunos Enade Concluintes 20,0% 55,0% 35,0% IDD Opinião dos alunos  Infraestrutura 7,5% 15,0% 5,0% Org. Pedagógica Oportunidades de ampliação 0,0% 2,5% Corpo docente Mestrado 30,0% Doutorado Regime de TP ou TI

20 ENADE Avaliação trienal
SAÚDE, SERVIÇO SOCIAL E AGRÁRIAS LICENCIATURAS, ENGENHARIAS, ARQUITETURA, INFORMÁTICA DIREITO, ADMINISTRAÇÃO, CIÊNCIAS CONTÁBEIS, CIÊNCIAS ECONÔMICAS, PSICOLOGIA E COMUNICAÇÃO SOCIAL

21 Prova ENADE Questionário do estudante
Formação Geral 10 questões 8 objetivas/2 discursivas Diretrizes Curriculares do Curso X Diretrizes da Prova Questões / itens elaborados por professores de cursos Prova 40 questões Componente Específico da Área 30 questões 27 objetivas/3 discursivas 68 questões + 13 (lic) Preenchimento obrigatório e on-line 9 questões Respondido ao final da prova, pelo aluno Questionário de percepção sobre a prova Questionário do estudante Perfil socioeconômico Motivações para a escolha da IES e do Curso Projeto Pedagógico do Curso Dinâmica dos processos de ensino-aprendizagem Infraestrutura e Serviços de Apoio ao Estudante Oportunidades de ampliação de formação acadêmica e profissional Respondido on-line após a prova Questionário do Coordenador O ENADE É COMPONENTE CURRICULAR OBRIGATÓRIO

22 IDD Resultante da diferença entre o desempenho obtido pelos estudantes concluintes da IES no ENADE e o desempenho esperado no momento do ingresso. Razão entre o nº de concluintes / ingressantes % de pais dos ingressantes com ensino superior média das notas dos ingressantes no ENEM Fonte: Notas técnicas, INEP, 2014 média ponderada das notas dos concluintes no ENADE

23 - Resultados de Avaliação de IES e cursos da Rede Sinodal

24 Por que analisar resultados?
A análise e uso de resultados da avaliação externa é um dos indicadores da avaliação externa de cursos.

25 Por que analisar resultados?
Os resultados do ENADE (a prova, a percepção sobre a prova, o questionário do estudante e o questionário do coordenador) permitem movimentos de autoavaliação dos cursos: a prova é orientada pelas Diretrizes dos cursos o questionário do estudante permite ampliar conhecimento sobre o perfil do aluno as concepções pedagógicas que orientaram a formulação dos questionário do estudante e do coordenador estão relacionadas às Diretrizes, aos critérios de qualidade da ES A discussão e as ações permanentes contribuem para o desenvolvimento da cultura de avaliação como instrumento de gestão.

26 Resultados são públicos!
Desempenho na prova Percepções sobre a prova Questionário do estudante Resultados de todos os índices das IES: IGC, CPC, ENADE de forma geral em planilhas Resultados de avaliações in loco (CC e CI) Disponibilização de microdados Disponíveis em:

27 Conceito contínuo / Faixa
Conceitos dos índices Conceito (1-5) Conceito contínuo / Faixa (0-500) 1 0,00 a 0,94 2 0,95 a 1,94 3 1,95 a 2,94 4 2,95 a 3,94 5 3,95 a 5,00

28 Histórico do IGC – Rede Sinodal

29 Variação do IGC – 2010 > 2013

30 Resultados dos cursos 2011-2012-2013
IES Enade contínuo ENADE faixa Org. Did-Ped Infra Oport. Enem IDD IDD Faixa Mestres Doutores Regime de trabalho CPC Contínuo CPC Faixa CC AGRONOMIA SETREM 3,37 4 4,09 4,30 3,29 51,76 3,93 3,02 0,54 0,98 3,04 ENFERMAGEM 50,28 3,00 0,39 3 IELUSC 49,64 2,09 0,50 NUTRIÇÃO 2,31 3,63 3,83 3,47 53,29 2,19 1,96 0,38 3,46 2,24 EDUCAÇÃO FÍSICA (B) 50,83 3,94 0,91 2,50 FONOAUDIOLOGIA MUSICOTERAPIA EST 5 LATICÍNIOS

31 Resultados dos cursos 2011-2012-2013
IES Enade contínuo ENADE faixa Org. Did-Ped Infra Oport. Enem IDD IDD Faixa Mestres Doutores Regime de trabalho CPC Contínuo CPC Faixa CC ADMINISTRAÇÃO IENH 4,44 5 4,58 5,00 53,08 4,42 4,14 0,97 1,90 3,75 4 SETREM 2,45 3 3,84 4,64 50,80 2,71 3,85 0,00 3,08 2,59 CIÊNCIAS ECONÔMICAS FAHOR 1,94 2 4,55 52,51 2,56 2,17 0,67 2,67 2,43 JORNALISMO IELUSC 3,65 4,10 4,28 51,84 3,96 0,93 2,50 3,48 PSICOLOGIA 52,74 4,52 1,84 2,60 4,71 4,74 53,33 3,35 4,00 0,26 3,00 PUBLICIDADE E PROPAGANDA 2,79 3,80 3,83 52,93 2,88 2,05 0,40 1,45 2,46 DESIGN DE MODA TEOLOGIA EST

32 Resultados dos cursos 2011-2012-2013
IES Enade contínuo ENADE faixa Org. Did-Ped Infra Oport. Enem IDD IDD Faixa Mestres Doutores Regime de trabalho CPC Contínuo CPC Faixa CC PEDAGOGIA (L) ISEI 4,01 5 4,37 5,00 52,13 3,91 4 4,47 1,86 1,32 3,58 ENGENHARIA DE PRODUÇÃO FAHOR 2,45 3 4,00 53,70 3,67 2,78 0,58 2,88 2,96 TECNOLOGIA EM REDES DE COMPUTADORES SETREM 3,05 3,33 4,48 51,87 3,70 2,63 0,00 2,11 2,85 2,17 4,17 54,27 3,30 3,07 2,33 2,68 2,50 51,10 2,43 2,22 2,58 ENGENHARIA MECÂNICA 1,65 2 3,35 2,94 56,95 2,60 2,74 0,54 2,18 COMPUTAÇÃO (B) 1,41 4,38 3,75 54,33 1,85 2,59 2,01 EDUCAÇÃO FÍSICA (L) IELUSC 2,31 1,29 4,55 0,29 1,14 MÚSICA – L EST HISTÓRIA – L REDES DE COMPUTADORES IENH

33 Desempenho na prova: Administração (IENH 2012 – ENADE 4,44 / 5)

34 Desempenho na prova: Ciências Econômicas (FAHOR 2012 – ENADE 1,93 / 2)

35 Desempenho na prova: Agronomia (SETREM 2013 – ENADE 3,37 / 4)

36 Desempenho na prova: Pedagogia (ISEI 2011 – ENADE 4,01 / 5)

37 PNE Meta 13: elevar a qualidade da educação superior e ampliar a proporção de mestres e doutores do corpo docente em efetivo exercício no conjunto do sistema de educação superior para 75%, sendo, do total, no mínimo, 35% doutores. Estratégia 13.8) elevar gradualmente a taxa de conclusão média dos cursos de graduação presenciais nas universidades públicas, de modo a atingir 90% e, nas instituições privadas, 75%, em 2020, e fomentar a melhoria dos resultados de aprendizagem, de modo que, em cinco anos, pelo menos 60% dos estudantes apresentem desempenho positivo igual ou superior a 60% no Exame Nacional de Desempenho de Estudantes - ENADE e, no último ano de vigência, pelo menos 75% dos estudantes obtenham desempenho positivo igual ou superior a 75% nesse exame, em cada área de formação profissional;

38 Desempenho na prova: FAHOR 2011

39 Desempenho na prova: FAHOR 2011

40 Desempenho na prova: Pedagogia (ISEI 2011 – ENADE 4,01 / 5)

41 Percepção dos alunos sobre a prova: Publicidade e Propaganda (IELUSC 2012 – ENADE 2,79 / 3)

42 Perfil socioeconômico Motivações para a escolha da IES e do Curso
Respostas ao questionário do estudante: mudança implantada em 2013 Perfil socioeconômico Motivações para a escolha da IES e do Curso Projeto Pedagógico do Curso Dinâmica dos processos de ensino-aprendizagem Infraestrutura e Serviços de Apoio ao Estudante Oportunidades de ampliação de formação acadêmica e profissional

43 Respostas ao questionário do estudante: mudança implantada em 2013 Nutrição (IELUSC) + Agronomia (SETREM) IELUSC SETREM IELUSC SETREM

44 Respostas ao questionário do estudante: mudança implantada em 2013 Nutrição (IELUSC) + Agronomia (SETREM)

45 Respostas ao questionário do estudante: mudança implantada em 2013 Nutrição (IELUSC) + Agronomia (SETREM)

46 ORGANIZAÇÃO DIDÁTICO-PEDAGÓGICA
Respostas ao questionário do estudante ORGANIZAÇÃO DIDÁTICO-PEDAGÓGICA 1 ⃝ Discordo Totalmente 2 ⃝ 3 ⃝ 4 ⃝ 5 ⃝ 6 ⃝ Concordo Totalmente As disciplinas cursadas contribuíram para sua formação integral, como cidadão e profissional. 1 ⃝ 6 ⃝ ( ) Não sei responder ( ) Não se aplica Os conteúdos abordados nas disciplinas do curso favoreceram sua atuação em estágios ou em atividades de iniciação profissional. As metodologias de ensino utilizadas no curso desafiaram você a aprofundar conhecimentos e desenvolver competências reflexivas e críticas. O curso propiciou experiências de aprendizagem inovadoras. O curso contribuiu para o desenvolvimento da sua consciência ética para o exercício profissional. No curso você teve oportunidade de aprender a trabalhar em equipe. O curso possibilitou aumentar sua capacidade de reflexão e argumentação. O curso promoveu o desenvolvimento da sua capacidade de pensar criticamente, analisar e refletir sobre soluções para problemas da sociedade. O curso contribuiu para você ampliar sua capacidade de comunicação nas formas oral e escrita. O curso contribuiu para o desenvolvimento da sua capacidade de aprender e atualizar-se permanentemente. As relações professor-aluno ao longo do curso estimularam você a estudar e aprender. Os planos de ensino apresentados pelos professores contribuíram para o desenvolvimento das atividades acadêmicas e para seus estudos.

47 O curso exigiu de você organização e dedicação frequente aos estudos.
Foram oferecidas oportunidades para os estudantes superarem dificuldades relacionadas ao processo de formação. 1 ⃝ 2 ⃝ 3 ⃝ 4 ⃝ 5 ⃝ 6 ⃝ ( ) Não sei responder ( ) Não se aplica A coordenação do curso esteve disponível para orientação acadêmica dos estudantes. O curso exigiu de você organização e dedicação frequente aos estudos. Foram oferecidas oportunidades para os estudantes participarem de programas, projetos ou atividades de extensão universitária. Foram oferecidas oportunidades para os estudantes participarem de projetos de iniciação científica e de atividades que estimularam a investigação acadêmica. O curso ofereceu condições para os estudantes participarem de eventos internos e/ou externos à instituição. A instituição ofereceu oportunidades para os estudantes atuarem como representantes em órgãos colegiados. O curso favoreceu a articulação do conhecimento teórico com atividades práticas. As atividades práticas foram suficientes para relacionar os conteúdos do curso com a prática, contribuindo para sua formação profissional. O curso propiciou conhecimentos atualizados e/ou contemporâneos em sua área de formação. O estágio supervisionado proporcionou experiências diversificadas para a sua formação. As atividades realizadas durante seu trabalho de conclusão de curso contribuíram para qualificar sua formação profissional

48 As condições de infraestrutura das salas de aula foram adequadas.
Foram oferecidas oportunidades para os estudantes realizarem intercâmbios e/ou estágios no país. 1 ⃝ 2 ⃝ 3 ⃝ 4 ⃝ 5 ⃝ 6 ⃝ ( ) Não sei responder ( ) Não se aplica Foram oferecidas oportunidades para os estudantes realizarem intercâmbios e/ou estágios fora do país. Os estudantes participaram de avaliações periódicas do curso (disciplinas, atuação dos professores, infraestrutura). 1 ⃝ 2 ⃝ 3 ⃝ 4 ⃝ 5 ⃝ 6 ⃝ ( ) Não sei responder ( ) Não se aplica As avaliações da aprendizagem realizadas durante o curso foram compatíveis com os conteúdos ou temas trabalhados pelos professores. Os professores apresentaram disponibilidade para atender os estudantes fora do horário das aulas. Os professores demonstraram domínio dos conteúdos abordados nas disciplinas. Os professores utilizaram tecnologias de informação e comunicação (TICs) como estratégia de ensino (projetor multimídia, laboratório de informática, ambiente virtual de aprendizagem). A instituição dispôs de quantidade suficiente de funcionários para o apoio administrativo e acadêmico. O curso disponibilizou monitores ou tutores para auxiliar os estudantes. As condições de infraestrutura das salas de aula foram adequadas. Os equipamentos e materiais disponíveis para as aulas práticas foram adequados para a quantidade de estudantes. Os ambientes e equipamentos destinados às aulas práticas foram adequados ao curso. A biblioteca dispôs das referências bibliográficas que os estudantes necessitaram. A instituição contou com biblioteca virtual ou conferiu acesso a obras disponíveis em acervos virtuais.

49 Impacto do ENEM no conceito IDD e CPC: Jornalismo, 2012
IELUSC IELUSC PUCRS Nota ENADE concluintes: 3,65 (4) Nota bruta ENADE: 54,20 Nota dos ingressantes no Enem: 51,33 Nota padronizada do IDD: 4,28 (5) CPC: 3,48 (4) Nota ENADE concluintes: 3,46 (4) Nota bruta ENADE: 52,58 Nota dos ingressantes no Enem: 58,39 Nota padronizada do IDD: 3,68 (4) CPC: 3,66 (4)

50 - Papel dos docentes

51 Conhecimento do processo
Conhecer os documentos institucionais e de curso Plano de Desenvolvimento Institucional (PDI) Projeto Pedagógico Institucional (PPI) Projeto Pedagógico de Curso (PPC) Relatório de Autoavaliação Institucional Formulário Eletrônico

52 Conhecimento dos resultados da IES / do Curso / da Área
Disponíveis em:

53 análise da prova do ENADE e demais instrumentos
participação das discussões de reorientação de projeto pedagógico / estratégias de ensino com base nos resultados revisão das disciplinas de sua responsabilidade

54 participação das atividades relativas à avaliação na IES e no curso
Participar das avaliações e ações conduzidas pela CPA inclusão da discussão sobre avaliação – externa e interna na sala de aula estímulo e o apoio aos estudantes para a participação nas avaliações internas e externas realização de uma boa prova, promovendo trocas e diálogos dentro e fora da sala de aula – ressaltando a importância dessa avaliação e os benefícios agregados auxílio no preenchimento do questionário do estudante

55 “precisamos entender os processos avaliativos como formativos para toda a comunidade acadêmica, nos conscientizando e criando uma cultura de avaliação no sentido de qualificarmos cada vez mais a instituição da qual fazemos parte e levamos o nome”

56 Obrigada!