RELAÇÕES ENTRE O ENADE E A AUTO-AVALIAÇÃO DOS CURSOS DE GRADUAÇÃO Amir Limana Márcia Regina F. de Brito DEAES/INEP/MEC

Exame NAcional do Desempenho dos Estudantes

OBJETIVO ESPECÍFICO DO SINAES Avaliar instituições, cursos e o desempenho dos estudantes. ENADE

PRINCIPAIS INSTRUMENTOS DO SINAES AUTO-AVALIAÇÃO ORIENTADA AVALIAÇÃO DA INSTITUIÇÃO AVALIAÇÃO DOS CURSOS DE GRADUAÇÃO ENADE

O ENADE E O SINAES 1. O FORMATO DO ENADE É MAIS ADEQUADO À NOVA FILOSOFIA; 2. ENADE É UM COMPONENTE DO SINAES E CORRESPONDE A 20% DO TOTAL.

ENADE – EXAME NACIONAL DO DESEMPENHO DOS ESTUDANTES Verifica: COMPETÊNCIAS E HABILIDADES BÁSICAS DAS ÁREAS; CONHECIMENTO SOBRE CONTEÚDOS BÁSICOS E PROFISSIONALIZANTES QUESTÕES TRANSDISCIPLINARES

PROCEDIMENTOS DO ENADE APLICAÇÃO TRIENAL POR GRUPOS DE ÁREAS; APLICAÇÃO POR AMOSTRAGEM; APLICAÇÃO NO FINAL DO PRIMEIRO E DO ÚLTIMO ANO DO CURSO; PROVA QUE PERMITA COMPARABILIDADE; CONCEITOS EM CINCO NÍVEIS COM PADRÃO MÍNIMO.

O que se busca aferir através do ENADE? Parte I (10 questões) Conhecimento tácito – Base “oculta” que subsidia a ação inteligente (Polanyi, 1967; Schön, 1983). Habilidade prática – Desenvolvimento do conhecimento que é útil para se atingir objetivos valorizados pelo sujeito ou pela cultura, mas cuja transmissão geralmente não é mantida pelo meio-ambiente. É o conhecimento que o indivíduo necessita para ser bem sucedido, mas que não é ensinado e, freqüentemente, não é sequer verbalizado (Sternberg, 1998).

O que se busca aferir através do ENADE? Parte II (30 questões) As questões tratam dos conteúdos específicos. Busca verificar o domínio da área, aferindo o potencial de aprendizagem dos ingressantes e as competências que os concluintes desenvolveram ao longo da trajetória na IES.

Instrumentos relativos ao ENADE 1. Questionário do estudante 2. Questionário dos coordenadores 3. Prova 4. Questões de avaliação de percepção da prova.

Amostra Instituição envia a listagem dos ingressantes e dos concluintes. Ingressantes: Estudantes que tiverem cumprido, até a data inicial do período de inscrição, 7 a 22% (inclusive) da carga didática mínima do currículo do curso da IES. Concluintes:Estudantes que tiverem cumprido, até a data inicial do período de inscrição pelo menos 80% da carga mínima do currículo do curso da IES.

SELEÇÃO DA AMOSTRA Amostragem probabilística (ou aleatória) onde todos os elementos da população têm probabilidade conhecida e não nula de pertencer à amostra. Quando um curso tem um número baixo de estudantes todos são incluídos.

Vantagem da amostragem Permite que em um prazo menor de tempo um número maior de cursos seja submetido ao exame. No final de 2006 todas as áreas terão sido submetidas ao exame, compreendendo a quase totalidade de cursos.

Construção da prova - I 1. Entidades indicam os especialistas da área. 2. São formadas as Comissões Assessoras de Avaliação para cada uma das áreas avaliadas (de acordo com critérios acadêmicos, região, organização acadêmica) com a tarefa de: a) Definir os objetivos da prova da área tendo como referência o perfil do profissional; b) Definir as diretrizes da prova de acordo com as habilidades e competências constantes das Diretrizes Curriculares Nacionais; c) Definir os conteúdos disciplinares da área que devem ser contemplados na prova; d) Definir o perfil da comissão que elaborará a prova e o perfil do coordenador.

Construção da prova - II 3. Definir o formato da prova: número total de questões, distribuição de peso, composição das questões, número de questões por nível de dificuldade. 4. Os resultados de cada Comissão são enviados para a agência vencedora da licitação, para o preparo da prova, cujas questões são elaboradas por especialistas da área contratados por esta agência, com base nas diretrizes definidas pelas Comissões Assessoras do DEAES/INEP. 5. Dado o sigilo, apenas o presidente da banca que faz a prova tem contato com a Comissão Assessora de área. Este mostra modelos de questões que constarão do exame para aprovação da Comissão Assessora.

MODELO EXAME NACIONAL DO DESEMPENHO DOS ESTUDANTES

Desempenho do estudante. FOCO DO ENADE Desempenho do estudante.

COMPETÊNCIA A constatação da competência na academia pressupõe um conjunto de critérios referenciados no perfil do aluno que se quer formar, descrito no projeto pedagógico do estabelecimento de ensino. Esses critérios formam a base para o julgamento das competências dos alunos, analisadas em função de seu desempenho acadêmico.

INTENÇÃO Aumentar o entendimento a respeito do estudante inserido em um contexto educacional específico. Verificar se ocorrem mudanças que possam ser atribuídas à trajetória do estudante na IES (valor agregado).

MODELOS DO ENADE EXAME Modelo de avaliação dinâmica ESTATÍSTICO Modelo estatístico de análise de mudança

AVALIAÇÃO DINÂMICA DO POTENCIAL DE DOMÍNIO DA ÁREA Projeto Político Pedagógico PDI Comunidade Local ENEM Vestibular Grade Curricular Gestores Missão da IES 2º ENADE 1º ENADE Professores Estudantes Inserção Social Corpo Técnico-Administrativo Competências adquiridas a partir do potencial inicial (expert – profissional) (domínio do conjunto de conceitos e procedimentos considerados centrais para o domínio da área) Crenças, atitudes e valores Potencial de Aprendizagem (ingressante) (conjunto de conceitos e procedimentos considerados essenciais para o domínio da área Conjunto de avaliações e atividades desenvolvidas ao longo do curso

ANÁLISE DE MUDANÇA A passagem do estudante pela instituição produz mudança e esta mudança não é apenas na quantidade de conhecimento mas também no domínio das tarefas específicas da área, na maneira como ele usa as diferentes competências que desenvolve e a capacidade para estender esta competência a novos domínios, sendo capaz de transferir significativamente os conteúdos, mostrando-se apto a atuar em diferentes contextos.

Mudança na abordagem da avaliação Avaliação estática Avaliação dinâmica

DIFICULDADE NO USO DA AVALIAÇÃO DINÂMICA 1. Não existe muita evidência empírica apresentada em artigos; 2. O detalhamento dos procedimentos utilizados em estudos deste tipo é insuficiente, dificultando a réplica dos mesmos; e, 3. o aspecto “novidade” pesa muito; sendo um construto não familiar, não se adapta aos modelos existentes e precisa buscar colher evidências de sua validade.

Vantagem do modelo de avaliação dinâmica Diagnóstico. Permite correção e superação das dificuldades.

FORMATO DO ENADE Análise de mudança Situação de teste – intervenção – reteste Avalia o processo e não o produto. O estado vai prover dois exames oficiais e as IES podem complementar com avaliações intermediárias nos mesmos moldes do ENADE.

O QUE É AVALIADO? O antigo modelo enfatizava a avaliação em “o que” e “quanto” o aluno aprendeu, enquanto o ENADE busca o entendimento sobre “como” o aluno trabalha o conteúdo aprendido. As questões do exame são elaboradas de forma a evidenciar o que o aluno é capaz de fazer com o conteúdo aprendido.

Implicação do modelo Como o modelo antigo era aplicado uma única vez ao final do curso, não permitia correção e superação das dificuldades do aluno avaliado Através dos resultados obtidos pelos concluintes, pelos ingressantes, do questionário dos alunos e dos coordenadores é possível fazer correção e superação das dificuldades particulares do aluno e do curso.

MODELO ESTATÍSTICO DE ANÁLISE Será usado o modelo multidimensional para aprendizagem e mudança. O antigo sistema (ENC) usava o o modelo baseado na Teoria clássica das medidas e o uso de procedimentos canônicos.

RELATÓRIOS Relatório do estudante Resumo técnico Relatório da instituição Relatório do curso Relatório do coordenador Relatório técnico-científico.

EXEMPLO

SIGNIFICADO DO ENADE É um componente do SINAES, sem valor quando visto isoladamente. A análise efetiva da mudança só ocorrerá quando os estudantes que realizaram o ENADE2004 como ingressantes, forem selecionados novamente e realizarem a prova como concluintes.

Teorias de apoio ao modelo de avaliação dinâmica Teoria da modificação cognitiva (Feuerstein e outros). Avaliação do potencial de aprendizagem (Budoff e outros). Avaliação dinâmica do efeito acadêmico (Sternberg e Grigorenko) (teoria triádica de inteligência) (inteligência para o sucesso). Abordagem estrutural do domínio específico do conhecimento. Análise de mudança (Embretson). Modelo multidimensional de Rasch para análise de aprendizagem e mudança.

O que pode ser melhorado? As IES podem aplicar dois ou três exames adicionais seguindo o mesmo padrão do ENADE, formulando questões a partir dos temas considerados essenciais pelos especialistas. Assim, poderá observar em intervalos mais curtos, as mudanças que ocorrem no curso e com cada estudante em particular. A cada resultado, visto em conjunto com o desempenho em cada disciplina, será possível medir a mudança.

Estudos longitudinais Ao longo do tempo poderão ser comparados os progressos individuais e coletivos, agrupando estudantes de uma mesma IES, do estado, da região e o total de alunos, ou ainda de acordo com outras variáveis que se queira estudar.

Conjunto das IES O SINAES possibilita que diferentes momentos sejam focalizados. Podemos imaginar uma câmera cujo zoom vai se fechando até completar a análise e depois vai se ampliando e incluindo todos os componentes do sistema. Instituição Curso Aluno

".........o mais importante é a forma que a sociedade vai adquirindo lentamente, silenciosamente, anonimamente, nos hábitos, no modo de pensar e de fazer, na escala de valores (Palomar)(Ítalo Calvino, 1923-1985).

MÀRCIA REGINA F. DE BRITO OBRIGADA! MÀRCIA REGINA F. DE BRITO mbrito@inep.gov.br marcia.dias@inep.gov.br