Avaliação institucional e de curso no contexto do SINAES: o papel do professor Profa. Dra. Marion Creutzberg Assessora de Avaliação E REGULAÇÃO DE CURSOS (PROACAD/PUCRS) Coordenadora da Comissão Própria de Avaliação (CPA/PUCRS)

Tópicos Professor x Avaliação: por quê? Avaliação na Educação Superior SINAES Indicadores de Qualidade Resultados de Avaliação de IES e cursos da Rede Sinodal O que pode fazer o professor?

Professor x Avaliação: por quê?

Resultados de avaliação “queremos transmitir para os estudantes a importância do reconhecimento da qualidade de ensino e da aprendizagem para o seu futuro profissional” Estudante IES / Curso “precisamos entender os processos avaliativos como formativos para toda a comunidade acadêmica, nos conscientizando e criando uma cultura de avaliação no sentido de qualificarmos cada vez mais a instituição da qual fazemos parte e levamos o nome” Professor Fonte: http://portal.eusoufamecos.net/por-que-e-importante-fazer-o-enade/

Professor: a referência que permanece O que / quem o estudante considera como agente de motivação para a participação na avaliação? Professor e parceria da instituição Recompensa 2010 2011 2012 2013 2014 Professor Professor, reconhecimento e cumplicidade Recompensa e Professor Santos R, Teitelbaum I, 2015.

- Avaliação na Educação Superior - SINAES - Indicadores de Qualidade

Avaliação na Educação Superior PUCRS Avaliação na Educação Superior Panorama mundial - avaliações sistemáticas e com abrangência nacional, são relativamente recentes. Tendência internacional regulação e controle das instituições responsabilização com a qualidade orientação para escolhas dos estudantes equivalência de títulos / diplomas (Verhine, 2010; Freitas, 2012; Morosini 2014) Asplam

Avaliação na Educação Superior PUCRS Avaliação na Educação Superior Panorama brasileiro década de 70: pós-graduação – CAPES; 80: primeiras propostas / vinculadas à regulação; 90: Programa de Avaliação Institucional das Universidades Brasileiras / experiências e propostas de avaliação formativa LDB/96: Exame Nacional de Cursos, Avaliação das Condições de Ensino, Avaliação de Centros Universitários 2004: SINAES Lei nº 10861 Asplam

SINAES AVALIAÇÃO INSTITUCIONAL AVALIAÇÃO EXTERNA ENADE AVALIAÇÃO CURSOS DE GRADUAÇÃO AVALIAÇÃO EXTERNA ENADE Exame Nacional de Desempenho de Estudantes AVALIAÇÃO INTERNA AUTOAVALIAÇÃO INSTITUCIONAL INDICADORES DE QUALIDADE DA EDUCAÇÃO SUPERIOR

Indicadores de Qualidade da Educação Superior Impactos: - na trajetória dos estudantes, - no curso e na IES Indicadores de Qualidade da Educação Superior Candidatura do curso / IES a editais Manutenção de processo seletivo e vagas no Curso e na IES Reconhecimento social da área / curso / IES Selos de recomendação de conselhos e associações Acesso a financiamento estudantil (FIES, ProUni) Mundo do trabalho (estágio e inserção profissional) Programas de mobilidade em universidades no exterior Seleção em programas de Pós-Graduação Reconhecimento de diploma no exterior ... ????

http://enadeies.inep.gov.br/enadeIes/boletimDesempenho

AVALIAÇÃO INSTITUCIONAL Avaliação in loco Índice Geral de Cursos IGC Credenciamento de IES Recredenciamento de IES Índice calculado anualmente, com base nos resultados da avaliação dos Cursos de Graduação (CPC) e de Pós-Graduação (Capes) Presencial Presencial EAD EAD Instrumento de Avaliação organizado em 5 Eixos que contemplam as 10 dimensões do SINAES (Portaria 92, 31/janeiro/2014) Conceito da Instituição CI

Eixo 2 – Desenvolvimento institucional Eixos e dimensões de avaliação institucional Eixo 2 – Desenvolvimento institucional Eixo 1 – Planejamento e avaliação institucional 3 Responsabilidade Social 1 Missão e PDI 8 Planejamento e avaliação Eixo 3 – Políticas acadêmicas 2 Ensino Pesquisa Extensão Eixo 5 – Infraestrutura física 9 Atendimento aos discentes 4 Comunicação 7 Infraestrutura Eixo 4 – Políticas de gestão 5 Políticas de pessoal 6 Organização e gestão 10 Sustentabilidade financeira

Índice Geral de Cursos - IGC G=média dos CPCs ponderada pelas matrículas nos cursos de graduação avaliados. PG=peso da graduação M=média dos conceitos CAPES ponderada pelas matrículas nos cursos de Mestrado. Limitada a 5. PM=peso do Mestrado D=média dos conceitos CAPES ponderada pelas matrículas nos cursos de Doutorado subtraída de “2”. PM=peso do Doutorado

Avaliação in loco AVALIAÇÃO [+Regulação, Supervisão] CURSOS DE GRADUAÇÃO Renovação de Reconhecimento [ciclos definidos] Cursos que não fazem ENADE Cursos com ENADE Avaliação in loco + insumos CPC inferior a 3 Conceito Preliminar de Curso Autorização Reconhecimento Sem conceito Instrumento de Avaliação de Cursos de Graduação presencial e a distância - Junho/2015 Avaliação periódica Portaria Conceito do Curso CC Índice Geral de Cursos (IGC) da IES + conceitos CAPES (IES com PG)

Dimensões avaliadas - Instrumento de avaliação Avaliação in loco Autorização Reconhecimento Renovação de Reconhecimento Dimensões avaliadas - Instrumento de avaliação Organização didático-pedagógica 27 indicadores Corpo docente Infraestrutura 20 indicadores 21 indicadores

Conceito do Curso CC

Conceito Preliminar de Curso Decomposição do CPC  Componente Pesos antigos Pesos atuais Desempenho dos alunos   Enade Concluintes 20,0% 55,0% 35,0% IDD Opinião dos alunos  Infraestrutura 7,5% 15,0% 5,0% Org. Pedagógica Oportunidades de ampliação 0,0% 2,5% Corpo docente Mestrado 30,0% Doutorado Regime de TP ou TI

ENADE Avaliação trienal 2004-2007-2010-2013 SAÚDE, SERVIÇO SOCIAL E AGRÁRIAS 2005-2008-2011-2014 LICENCIATURAS, ENGENHARIAS, ARQUITETURA, INFORMÁTICA 2006-2009-2012-2015 DIREITO, ADMINISTRAÇÃO, CIÊNCIAS CONTÁBEIS, CIÊNCIAS ECONÔMICAS, PSICOLOGIA E COMUNICAÇÃO SOCIAL

Prova ENADE Questionário do estudante Formação Geral 10 questões 8 objetivas/2 discursivas Diretrizes Curriculares do Curso X Diretrizes da Prova Questões / itens elaborados por professores de cursos Prova 40 questões Componente Específico da Área 30 questões 27 objetivas/3 discursivas 68 questões + 13 (lic) Preenchimento obrigatório e on-line 9 questões Respondido ao final da prova, pelo aluno Questionário de percepção sobre a prova Questionário do estudante Perfil socioeconômico Motivações para a escolha da IES e do Curso Projeto Pedagógico do Curso Dinâmica dos processos de ensino-aprendizagem Infraestrutura e Serviços de Apoio ao Estudante Oportunidades de ampliação de formação acadêmica e profissional Respondido on-line após a prova Questionário do Coordenador O ENADE É COMPONENTE CURRICULAR OBRIGATÓRIO

IDD Resultante da diferença entre o desempenho obtido pelos estudantes concluintes da IES no ENADE e o desempenho esperado no momento do ingresso. Razão entre o nº de concluintes / ingressantes % de pais dos ingressantes com ensino superior média das notas dos ingressantes no ENEM Fonte: Notas técnicas, INEP, 2014 média ponderada das notas dos concluintes no ENADE

- Resultados de Avaliação de IES e cursos da Rede Sinodal

Por que analisar resultados? A análise e uso de resultados da avaliação externa é um dos indicadores da avaliação externa de cursos.

Por que analisar resultados? Os resultados do ENADE (a prova, a percepção sobre a prova, o questionário do estudante e o questionário do coordenador) permitem movimentos de autoavaliação dos cursos: a prova é orientada pelas Diretrizes dos cursos o questionário do estudante permite ampliar conhecimento sobre o perfil do aluno as concepções pedagógicas que orientaram a formulação dos questionário do estudante e do coordenador estão relacionadas às Diretrizes, aos critérios de qualidade da ES A discussão e as ações permanentes contribuem para o desenvolvimento da cultura de avaliação como instrumento de gestão.

Resultados são públicos! Desempenho na prova Percepções sobre a prova Questionário do estudante Resultados de todos os índices das IES: IGC, CPC, ENADE de forma geral em planilhas Resultados de avaliações in loco (CC e CI) Disponibilização de microdados Disponíveis em: http://portal.inep.gov.br/enade

Conceito contínuo / Faixa Conceitos dos índices Conceito (1-5) Conceito contínuo / Faixa (0-500) 1 0,00 a 0,94 2 0,95 a 1,94 3 1,95 a 2,94 4 2,95 a 3,94 5 3,95 a 5,00

Histórico do IGC – Rede Sinodal

Variação do IGC – 2010 > 2013

Resultados dos cursos 2011-2012-2013 IES Enade contínuo ENADE faixa Org. Did-Ped Infra Oport. Enem IDD IDD Faixa Mestres Doutores Regime de trabalho CPC Contínuo CPC Faixa CC AGRONOMIA SETREM 3,37 4 4,09 4,30 3,29 51,76 3,93 3,02 0,54 0,98 3,04 ENFERMAGEM 50,28 3,00 0,39 3 IELUSC 49,64 2,09 0,50 NUTRIÇÃO 2,31 3,63 3,83 3,47 53,29 2,19 1,96 0,38 3,46 2,24 EDUCAÇÃO FÍSICA (B) 50,83 3,94 0,91 2,50 FONOAUDIOLOGIA MUSICOTERAPIA EST 5 LATICÍNIOS

Resultados dos cursos 2011-2012-2013 IES Enade contínuo ENADE faixa Org. Did-Ped Infra Oport. Enem IDD IDD Faixa Mestres Doutores Regime de trabalho CPC Contínuo CPC Faixa CC ADMINISTRAÇÃO IENH 4,44 5 4,58 5,00 53,08 4,42 4,14 0,97 1,90 3,75 4 SETREM 2,45 3 3,84 4,64 50,80 2,71 3,85 0,00 3,08 2,59 CIÊNCIAS ECONÔMICAS FAHOR 1,94 2 4,55 52,51 2,56 2,17 0,67 2,67 2,43 JORNALISMO IELUSC 3,65 4,10 4,28 51,84 3,96 0,93 2,50 3,48 PSICOLOGIA 52,74 4,52 1,84 2,60 4,71 4,74 53,33 3,35 4,00 0,26 3,00 PUBLICIDADE E PROPAGANDA 2,79 3,80 3,83 52,93 2,88 2,05 0,40 1,45 2,46 DESIGN DE MODA TEOLOGIA EST

Resultados dos cursos 2011-2012-2013 IES Enade contínuo ENADE faixa Org. Did-Ped Infra Oport. Enem IDD IDD Faixa Mestres Doutores Regime de trabalho CPC Contínuo CPC Faixa CC PEDAGOGIA (L) ISEI 4,01 5 4,37 5,00 52,13 3,91 4 4,47 1,86 1,32 3,58 ENGENHARIA DE PRODUÇÃO FAHOR 2,45 3 4,00 53,70 3,67 2,78 0,58 2,88 2,96 TECNOLOGIA EM REDES DE COMPUTADORES SETREM 3,05 3,33 4,48 51,87 3,70 2,63 0,00 2,11 2,85 2,17 4,17 54,27 3,30 3,07 2,33 2,68 2,50 51,10 2,43 2,22 2,58 ENGENHARIA MECÂNICA 1,65 2 3,35 2,94 56,95 2,60 2,74 0,54 2,18 COMPUTAÇÃO (B) 1,41 4,38 3,75 54,33 1,85 2,59 2,01 EDUCAÇÃO FÍSICA (L) IELUSC 2,31 1,29 4,55 0,29 1,14 MÚSICA – L EST HISTÓRIA – L REDES DE COMPUTADORES IENH

Desempenho na prova: Administração (IENH 2012 – ENADE 4,44 / 5)

Desempenho na prova: Ciências Econômicas (FAHOR 2012 – ENADE 1,93 / 2)

Desempenho na prova: Agronomia (SETREM 2013 – ENADE 3,37 / 4)

Desempenho na prova: Pedagogia (ISEI 2011 – ENADE 4,01 / 5)

PNE 2014 - 2024 Meta 13: elevar a qualidade da educação superior e ampliar a proporção de mestres e doutores do corpo docente em efetivo exercício no conjunto do sistema de educação superior para 75%, sendo, do total, no mínimo, 35% doutores. Estratégia 13.8) elevar gradualmente a taxa de conclusão média dos cursos de graduação presenciais nas universidades públicas, de modo a atingir 90% e, nas instituições privadas, 75%, em 2020, e fomentar a melhoria dos resultados de aprendizagem, de modo que, em cinco anos, pelo menos 60% dos estudantes apresentem desempenho positivo igual ou superior a 60% no Exame Nacional de Desempenho de Estudantes - ENADE e, no último ano de vigência, pelo menos 75% dos estudantes obtenham desempenho positivo igual ou superior a 75% nesse exame, em cada área de formação profissional;

Desempenho na prova: FAHOR 2011

Desempenho na prova: FAHOR 2011

Desempenho na prova: Pedagogia (ISEI 2011 – ENADE 4,01 / 5)

Percepção dos alunos sobre a prova: Publicidade e Propaganda (IELUSC 2012 – ENADE 2,79 / 3)

Perfil socioeconômico Motivações para a escolha da IES e do Curso Respostas ao questionário do estudante: mudança implantada em 2013 Perfil socioeconômico Motivações para a escolha da IES e do Curso Projeto Pedagógico do Curso Dinâmica dos processos de ensino-aprendizagem Infraestrutura e Serviços de Apoio ao Estudante Oportunidades de ampliação de formação acadêmica e profissional

Respostas ao questionário do estudante: mudança implantada em 2013 Nutrição (IELUSC) + Agronomia (SETREM) IELUSC SETREM IELUSC SETREM

Respostas ao questionário do estudante: mudança implantada em 2013 Nutrição (IELUSC) + Agronomia (SETREM)

Respostas ao questionário do estudante: mudança implantada em 2013 Nutrição (IELUSC) + Agronomia (SETREM)

ORGANIZAÇÃO DIDÁTICO-PEDAGÓGICA Respostas ao questionário do estudante ORGANIZAÇÃO DIDÁTICO-PEDAGÓGICA 1 ⃝ Discordo Totalmente 2 ⃝ 3 ⃝ 4 ⃝ 5 ⃝ 6 ⃝ Concordo Totalmente As disciplinas cursadas contribuíram para sua formação integral, como cidadão e profissional. 1 ⃝ 6 ⃝ ( ) Não sei responder ( ) Não se aplica Os conteúdos abordados nas disciplinas do curso favoreceram sua atuação em estágios ou em atividades de iniciação profissional. As metodologias de ensino utilizadas no curso desafiaram você a aprofundar conhecimentos e desenvolver competências reflexivas e críticas. O curso propiciou experiências de aprendizagem inovadoras. O curso contribuiu para o desenvolvimento da sua consciência ética para o exercício profissional. No curso você teve oportunidade de aprender a trabalhar em equipe. O curso possibilitou aumentar sua capacidade de reflexão e argumentação. O curso promoveu o desenvolvimento da sua capacidade de pensar criticamente, analisar e refletir sobre soluções para problemas da sociedade. O curso contribuiu para você ampliar sua capacidade de comunicação nas formas oral e escrita. O curso contribuiu para o desenvolvimento da sua capacidade de aprender e atualizar-se permanentemente. As relações professor-aluno ao longo do curso estimularam você a estudar e aprender. Os planos de ensino apresentados pelos professores contribuíram para o desenvolvimento das atividades acadêmicas e para seus estudos.

O curso exigiu de você organização e dedicação frequente aos estudos. Foram oferecidas oportunidades para os estudantes superarem dificuldades relacionadas ao processo de formação. 1 ⃝ 2 ⃝ 3 ⃝ 4 ⃝ 5 ⃝ 6 ⃝ ( ) Não sei responder ( ) Não se aplica A coordenação do curso esteve disponível para orientação acadêmica dos estudantes. O curso exigiu de você organização e dedicação frequente aos estudos. Foram oferecidas oportunidades para os estudantes participarem de programas, projetos ou atividades de extensão universitária. Foram oferecidas oportunidades para os estudantes participarem de projetos de iniciação científica e de atividades que estimularam a investigação acadêmica. O curso ofereceu condições para os estudantes participarem de eventos internos e/ou externos à instituição. A instituição ofereceu oportunidades para os estudantes atuarem como representantes em órgãos colegiados. O curso favoreceu a articulação do conhecimento teórico com atividades práticas. As atividades práticas foram suficientes para relacionar os conteúdos do curso com a prática, contribuindo para sua formação profissional. O curso propiciou conhecimentos atualizados e/ou contemporâneos em sua área de formação. O estágio supervisionado proporcionou experiências diversificadas para a sua formação. As atividades realizadas durante seu trabalho de conclusão de curso contribuíram para qualificar sua formação profissional

As condições de infraestrutura das salas de aula foram adequadas. Foram oferecidas oportunidades para os estudantes realizarem intercâmbios e/ou estágios no país. 1 ⃝ 2 ⃝ 3 ⃝ 4 ⃝ 5 ⃝ 6 ⃝ ( ) Não sei responder ( ) Não se aplica Foram oferecidas oportunidades para os estudantes realizarem intercâmbios e/ou estágios fora do país. Os estudantes participaram de avaliações periódicas do curso (disciplinas, atuação dos professores, infraestrutura). 1 ⃝ 2 ⃝ 3 ⃝ 4 ⃝ 5 ⃝ 6 ⃝ ( ) Não sei responder ( ) Não se aplica As avaliações da aprendizagem realizadas durante o curso foram compatíveis com os conteúdos ou temas trabalhados pelos professores. Os professores apresentaram disponibilidade para atender os estudantes fora do horário das aulas. Os professores demonstraram domínio dos conteúdos abordados nas disciplinas. Os professores utilizaram tecnologias de informação e comunicação (TICs) como estratégia de ensino (projetor multimídia, laboratório de informática, ambiente virtual de aprendizagem). A instituição dispôs de quantidade suficiente de funcionários para o apoio administrativo e acadêmico. O curso disponibilizou monitores ou tutores para auxiliar os estudantes. As condições de infraestrutura das salas de aula foram adequadas. Os equipamentos e materiais disponíveis para as aulas práticas foram adequados para a quantidade de estudantes. Os ambientes e equipamentos destinados às aulas práticas foram adequados ao curso. A biblioteca dispôs das referências bibliográficas que os estudantes necessitaram. A instituição contou com biblioteca virtual ou conferiu acesso a obras disponíveis em acervos virtuais.

Impacto do ENEM no conceito IDD e CPC: Jornalismo, 2012 IELUSC IELUSC PUCRS Nota ENADE concluintes: 3,65 (4) Nota bruta ENADE: 54,20 Nota dos ingressantes no Enem: 51,33 Nota padronizada do IDD: 4,28 (5) CPC: 3,48 (4) Nota ENADE concluintes: 3,46 (4) Nota bruta ENADE: 52,58 Nota dos ingressantes no Enem: 58,39 Nota padronizada do IDD: 3,68 (4) CPC: 3,66 (4)

- Papel dos docentes

Conhecimento do processo Conhecer os documentos institucionais e de curso Plano de Desenvolvimento Institucional (PDI) Projeto Pedagógico Institucional (PPI) Projeto Pedagógico de Curso (PPC) Relatório de Autoavaliação Institucional Formulário Eletrônico

Conhecimento dos resultados da IES / do Curso / da Área Disponíveis em: http://portal.inep.gov.br/enade

análise da prova do ENADE e demais instrumentos participação das discussões de reorientação de projeto pedagógico / estratégias de ensino com base nos resultados revisão das disciplinas de sua responsabilidade www.pucrs.br/edipucrs

participação das atividades relativas à avaliação na IES e no curso Participar das avaliações e ações conduzidas pela CPA inclusão da discussão sobre avaliação – externa e interna na sala de aula estímulo e o apoio aos estudantes para a participação nas avaliações internas e externas realização de uma boa prova, promovendo trocas e diálogos dentro e fora da sala de aula – ressaltando a importância dessa avaliação e os benefícios agregados auxílio no preenchimento do questionário do estudante

“precisamos entender os processos avaliativos como formativos para toda a comunidade acadêmica, nos conscientizando e criando uma cultura de avaliação no sentido de qualificarmos cada vez mais a instituição da qual fazemos parte e levamos o nome”

Obrigada! marionc@pucrs.br