Instrumentos de Avaliação Externa Prof. Dr. Guilherme Marback Neto

Apresentação em tema: "Instrumentos de Avaliação Externa Prof. Dr. Guilherme Marback Neto"— Transcrição da apresentação:

1 Instrumentos de Avaliação Externa Prof. Dr. Guilherme Marback Neto
27/09/07 Instrumentos de Avaliação Externa Prof. Dr. Guilherme Marback Neto UNIFACS/CTAA Salvador Bahia

2 AVALIAÇÃO INSTITUCIONAL EXTERNA

3 LEGISLAÇÃO Lei No 10.861 de 14 de abril de 2004
Institui o Sistema Nacional de Avaliação da Educação Superior – SINAES – e dá outras providências Portaria No 2.051, de 9 de julho de 2004 Regulamenta os procedimentos de avaliação do Sistema Nacional de Avaliação da Educação Superior (SINAES), instituído na Lei No , de 14 de abril de 2004

4 Os 3 olhares do SINAES Instituição Avaliação integrada Curso Estudante
Art.3º Avaliação integrada Curso Art.4º Estudante Art.5º

5 DIFERENCIAL Avaliação Externa de IES e de Cursos
A auto-avaliação como uma das etapas do processo avaliativo Avaliação Externa de IES e de Cursos Auto-avaliação da IES

6 Construção do Instrumento de Avaliação Externa de IES no Contexto do SINAES

7 AVALIAÇÃO DAS INSTITUIÇÕES DE EDUCAÇÃO SUPERIOR: etapas
a) Auto-avaliação: coordenada pela Comissão Própria de Avaliação (CPA) de cada IES – orientada pelas diretrizes e pelo roteiro de auto-avaliação institucional da CONAES; b) Avaliação externa: formativa e de regulação, ambas realizadas por comissões designadas pelo Inep, tendo como referência os padrões de qualidade expressos nos instrumentos de avaliação e nos relatórios das auto-avaliações.

8 ETAPAS DA CONSTRUÇÃO DO INSTRUMENTO
Reuniões de trabalho - Comissão Técnica de Avaliação; Análise do formulário eletrônico existente; Análise de Instrumentos de avaliação nacionais e internacionais; Construção da matriz como elemento nuclear; Diretrizes da CONAES para a elaboração do instrumento; Reuniões com a CONAES: análise, contribuições e aprovação final.

9 CONSTRUÇÃO DA MATRIZ ORIENTADORA E DO INSTRUMENTO DE AVALIAÇÃO EXTERNA
Subsídios e contribuição de atores sociais relevantes Conhecimento produzido sobre a temática Utilização dos instrumentos informatizados existentes Definição de metodologia baseada na literatura

10 Instrumento de Avaliação Institucional Externa

11 Estrutura do Documento
1. Introdução (apresentação das dez dimensões de AI); 2. Concepções e princípios; (princípios, abordagens, PPI, PDI, PPC, Currículo); 3. A Matriz orientadora do Instrumento Estrutura da Matriz (pp. 15,16,17), Estrutura do Processo (documentos a serem analisados), Orientações às IES, Orientações aos avaliadores; 4. Anexo I (20 quadros); 5. Anexo II (Cálculo dos conceitos); 6. Anexo III (Formulário eletrônico).

12 Princípio Básico Matriz única para a Avaliação Institucional Externa - para diferentes tipos de IES.

13 MATRIZ ORIENTADORA AVALIAÇÃO EXTERNA DE INSTITUIÇÕES Instrumento
DIMENSÃO 1 DIMENSÃO 2 DIMENSÃO 3 Grupo de Indicadores: Indicadores Grupo de Indicadores: Indicadores Grupo de Indicadores: Indicadores Instrumento Universidades Centros Universitários Centros Federais de Educação Tecnológica Faculdades de Tecnologia, Faculdades Integradas Faculdades, Institutos ou Escolas Superiores

14 Componentes do Instrumento
(versão 7) DIMENSÕES GRUPOS DE INDICADORES INDICADORES CRITÉRIOS

15 DEFINIÇÕES Dimensões são agrupamentos dos grandes traços ou características referentes aos aspectos institucionais sobre os quais se emite juízo de valor e que, em seu conjunto, expressam a totalidade da instituição. Indicadores são aspectos (quantitativos ou qualitativos) que possibilitam obter-se evidências concretas que, de forma simples ou complexa, caracterizam a realidade dos múltiplos aspectos institucionais que retratam. Grupo de Indicadores é o conjunto de indicadores que caracterizam componentes ou características das dimensões. Indicadores imprescindíveis representam condições obrigatórias para o acesso e a permanência no sistema de educação superior. Estes indicadores, definidos pela legislação em vigor, exigem o conceito 3, no mínimo, para aprovação.

16 DEFINIÇÕES Indicadores aos quais é atribuída a condição NSA (não se aplica) são aqueles cujo atendimento é opcional ao Centro Universitário ou à Faculdade, como forma de assegurar o respeito às suas identidades e diversidades. Quando a IES possuir este diferencial, será atribuído o respectivo conceito ao indicador; caso contrário, os pesos correspondentes serão redistribuídos proporcionalmente entre os demais. Ao escolher um indicador com a condição NSA, a Comissão deverá justificar sua escolha, no campo próprio do formulário eletrônico. A justificativa deverá ser baseada nos principais documentos da Instituição: PDI, PPI e PPC. Critérios são os atributos ou a qualidade dos indicadores de uma categoria que permite a sua avaliação.

17 DIMENSÕES DA AI Matriz Avaliativa é composta pelas dez dimensões preconizadas na Lei /2004, desdobradas em grupos de indicadores que, de forma integrada, retratam a realidade e a dinâmica institucionais.

18 Dimensão e Indicadores na Matriz Orientadora (ex. 1)
Dimensões Grupo de Indicadores Articulação entre o PDI e o PPI nas Políticas de Ensino Articulação entre o PDI e o PPI nas Políticas de Pesquisa (Indicador NSA) 1. A missão e o Plano de Desenvolvi-mento Institucional 1.1. A articulação entre o PDI e o PPI Articulação entre o PDI e o PPI nas Políticas de Extensão Articulação entre o PDI e o PPI nas Políticas de Gestão Acadêmica Coerência das propostas do PDI com a realidade institucional e cumprimento do cronograma 1.2. Aderência do PDI com a realidade institucional Utilização do PDI como referência para programas e projetos Articulação entre o PDI e a Auto-avaliação 1.3. Articulação entre o PDI e a Avaliação Institucional Articulação entre o PDI e as Avaliações Externas

19 Dimensão e Indicadores na Matriz Orientadora (ex. 2)
Dimensões Grupo de Indicadores Titulação (indicador imprescindível) 5.1. Perfil docente Publicações e produções 5. As políticas de pessoal, de carreiras do corpo docente e corpo técnico-administrativo, seu aperfei-çoamento, desenvolvimento profissional e suas condições de trabalho Regime de Trabalho (Indicador Imprescindível) 5.2. Condições institucionais para os docentes Plano de Carreira (Indicador Imprescindível) Políticas de Capacitação e de acompanhamento do trabalho docente e formas de sua operacionalização Perfil técnico-administrativo (formação e experiência) 5.3. Corpo técnico-administrativo e as condições institucionais Plano de carreira e capacitação do corpo técnico-administrativo

20 O INDICADOR E OS CRITÉRIOS
3.1.1 Compromisso da IES com os programas de inclusão social, ação afirmativa e inclusão digital 1 - Quando não existem na IES políticas implementadas que estabeleçam seu compromisso com a responsabilidade social no desenvolvimento das suas atividades, ou quando existem e são totalmente incoerentes com as políticas constantes dos documentos oficiais da IES (PDI, PPI, etc.). 2 - Quando as políticas implementadas que estabeleçam o compromisso da IES com a responsabilidade social no desenvolvimento das suas atividades são pouco coerentes com as políticas constantes dos documentos oficiais da IES (PDI, PPI, etc.); quando há coerência, esta é pouco freqüente, eventual e inconstante. 3 - Quando algumas das políticas implementadas que estabeleçam o compromisso da IES com a responsabilidade social no desenvolvimento das suas atividades são coerentes com as políticas constantes dos documentos oficiais da IES (PDI, PPI, etc.); quando há coerência, esta resulta e/ou expressa, ainda que de forma incipiente, uma diretriz de ação; é de conhecimento da comunidade interna; algumas das políticas para a responsabilidade social estão em processo de implantação.

21 4 - Quando a maioria das políticas implementadas que estabeleçam o compromisso da IES com a responsabilidade social no desenvolvimento das suas atividades é coerente com as políticas constantes dos documentos oficiais da IES (PDI, PPI, etc.); essa coerência resulta e/ou expressa uma diretriz de ação, acessível ao conhecimento da comunidade interna; a maioria das políticas para a responsabilidade social está implantada. 5 - Quando todas as políticas implementadas que estabeleçam o compromisso da IES com a responsabilidade social no desenvolvimento das suas atividades são coerentes com as políticas constantes dos documentos oficiais da IES (PDI, PPI, etc.); essa coerência resulta e/ou expressa uma diretriz de ação, acessível ao conhecimento da comunidade interna e externa; todas as políticas para a responsabilidade social estão implantadas, o que pode ser constatado por meio de: organização e desenvolvimento de projetos voltados para portadores de necessidades especiais; organização e desenvolvimento de projetos voltados para promover a inclusão digital; responsabilidade quanto à qualidade da formação dos seus alunos e dos serviços prestados; promoção de valores éticos; estabelecimento de parcerias com ONGs e instituições públicas.

22 CONCEITOS Lei estabelece que todas as dimensões e o conjunto das dimensões devem ser avaliados com nota de 1 a 5; Portaria define “3” como o mínimo aceitável para o processo regulatório; Portaria define que 1 e 2 identificam preponderância de pontos fracos; Portaria define que 4 e 5 identificam preponderância de pontos fortes.

23 CONCEITOS A atribuição de pontuação, segundo padrões de referência (ou critérios) relativos aos conceitos de 1 a 5 previstos na Lei, é feita de modo direto, em três estágios: atribuição de conceito a cada um dos indicadores, próprios às dez dimensões; atribuição de conceito a cada uma das dimensões; atribuição de conceito final da avaliação externa da instituição.

24 Média aritmética dos indicadores da dimensão (MAI)
CONCEITOS Quadro 1 – Matriz de Associação para atribuição de conceitos às dimensões do SINAES Média aritmética dos indicadores da dimensão (MAI) Conceito da dimensão 1,0 ≤ MAI < 1,4 1,4 ≤ MAI ≤ 1,7 1,7 < MAI < 2,4 2,4 ≤ MAI ≤ 2,7 2,7 < MAI < 3,4 3,4 ≤ MAI ≤ 3,7 3,7 < MAI < 4,4 4,4 ≤ MAI ≤ 4,7 4,7 < MAI ≤ 5,0 1 1 ou 2, a critério dos avaliadores 2 ou 3, a critério dos avaliadores 3 ou 4, a critério dos avaliadores 4 ou 5, a critério dos avaliadores 2 3 4 5

25 Dimensões de Avaliação
Pesos das Dimensões Dimensões de Avaliação Pesos 1. A missão e o Plano de Desenvolvimento Institucional 05 2. A política para o ensino, a pesquisa, a pós-graduação, a extensão e as respectivas normas de operacionalização, incluídos os procedimentos para estímulo à produção acadêmica, as bolsas de pesquisa, de monitoria e demais modalidades 30 3. A responsabilidade social da instituição, considerada especialmente no que se refere à sua contribuição em relação à inclusão social, ao desenvolvimento econômico e social, à defesa do meio ambiente, da memória cultural, da produção artística e do patrimônio cultural 10 4. A comunicação com a sociedade 05 5. As políticas de pessoal, de carreiras do corpo docente e corpo técnico-administrativo, seu aperfeiçoamento, desenvolvimento profissional e suas condições de trabalho 20 6. Organização e gestão da instituição, especialmente o funcionamento e representatividade dos colegiados, sua independência e autonomia na relação com a mantenedora, e a participação dos segmentos da comunidade universitária nos processos decisórios 05 7. Infra-estrutura física, especialmente a de ensino e de pesquisa, biblioteca, recursos de informação e comunicação 10 8. Planejamento e avaliação, especialmente em relação aos processos, resultados e eficácia da auto-avaliação institucional 05 9. Políticas de atendimento aos estudantes 05 10. Sustentabilidade financeira, tendo em vista o significado social da continuidade dos compromissos na oferta da educação superior 05

26 Além dos Conceitos - 1 Comissões deverão, para cada dimensão, com conceitos 1 e 2: descrever os pontos fracos identificados e que justificam o conceito daquela dimensão; descrever as potencialidades e forças, que a despeito da preponderância de fragilidades, possam eventualmente existir; fazer recomendações para tratar das deficiências encontradas.

27 Além dos Conceitos - 2 Comissões deverão, para cada dimensão, com conceitos 4 e 5: identificar os pontos fortes da IES que justificam o conceito atribuído; descrever as fragilidades, que a despeito da preponderância de forças, possam eventualmente existir; fazer recomendações sobre possíveis aproveitamentos das potencialidades existentes.

28 Além dos Conceitos - 3 Comissões deverão, para cada dimensão, com conceito 3: a) trabalhar com uma mescla das situações anteriores, conforme cada caso.

29 Forças / Potencialidades: Fragilidades / Pontos que requerem melhoria:
Descrições e Recomendações Forças / Potencialidades: Fragilidades / Pontos que requerem melhoria: Recomendações:

30 Além dos Conceitos - 4 Após atribuição dos conceitos, identificação de pontos fortes e fracos e apresentação de recomendações para cada uma das dimensões avaliadas, a Comissão deverá emitir parecer geral, conclusivo, nos mesmos termos, sobre a IES como um todo.

31 Orientações à IES - 1 Descrever/Especificar refere-se ao preenchimento do campo do Formulário Eletrônico destinado ao registro de informações sobre o indicador correspondente, permitindo ao avaliador emitir seu juízo de valor. Disponibilizar refere-se aos documentos que deverão ser colocados à disposição da Comissão, na forma impressa, no momento da avaliação in loco. Anexar refere-se a arquivos que deverão ser anexados ao Formulário Eletrônico. Preencher/Anexar refere-se aos quadros do Anexo I do presente documento que deverão ser preenchidos e anexados ao Formulário Eletrônico. Além de atender ao que está relacionado neste roteiro a IES poderá, se achar necessário, anexar outros documentos específicos de cada indicador, bem como utilizar o campo apropriado do FE para fornecer informações que considerar importantes.

32 Orientações à IES - 2 Indicador:
Políticas institucionais para a Graduação, Graduação Tecnológica (quando for o caso) e formas de sua operacionalização. Orientações: Preencher e anexar o QUADRO 01 – Resultados das avaliações dos cursos de graduação, seqüenciais (se for o caso), de graduação tecnológica (se for o caso), realizadas pelo MEC, nos últimos três anos – ver Anexo I. Preencher e anexar o QUADRO 02 – Relação dos cursos de graduação oferecidos no ano da avaliação in loco – ver Anexo I. Preencher e anexar o QUADRO 03 – Situação legal dos cursos de graduação – ver Anexo I. Preencher e anexar o QUADRO 04 – Relação dos cursos seqüenciais oferecidos no ano da avaliação in loco (quando for o caso) – ver Anexo I

33 Orientações à IES - 3 Preencher e anexar o QUADRO 05 – Situação legal dos cursos sequenciais (quando for o caso) – ver Anexo I. Preencher e anexar o QUADRO 06 – Relação dos cursos superiores de tecnologia oferecidos no ano da avaliação in loco (quando for o caso)– ver Anexo I. Preencher e anexar o QUADRO 07 – Situação legal dos cursos superiores de tecnologia (quando for o caso) – ver Anexo I. Disponibilizar o PDI. Disponibilizar manuais de alunos e de professores. Disponibilizar projetos pedagógicos dos cursos de graduação e de graduação tecnológica, quando for o caso.

34 Orientações à Instituição
Preenchimento do formulário – data de fechamento Avaliação in loco; Observar sugestões do relatório; Concordar ou não; Observações sobre aspectos a considerar sobre cada uma das dimensões.

35 Antes da avaliação - orientações
Antes da avaliação in loco, a Instituição/Equipe deverá: Ter cuidado em preencher e anexar todos os documentos Formulário Eletrônico; Fazer simulação do possível resultado – sempre mais exigente estabelecendo as articulações e coerências entre as informações; Fazer com que todos conheçam o PPI (PDI) e sua relação com os objetivos traçados e os resultados das avaliações Verificar o Programa de Auto-Avaliação Institucional e os relatórios parciais e finais da auto-avaliação e disponibilizá-los;

36 Momentos da avaliação in loco
Acompanhar a Comissão e estar disponível o tempo necessário. Providenciar boa acolhida. Disponibilizar sala com equipamentos e pessoal necessário aos trabalhos da Comissão Disponibilizar pastas dos docentes Procurar saber do cronograma de trabalho: seleção dos professores a serem entrevistados; visita às instalações; apresentação dos projetos mais expressivos da instituição; reunião final com gestores e assessores.

37 Informações: Grupos 1,2 e 3 – Site do Inep
Autorização e recredenciamento Até 9 cursos – 3 Av R$10.440,00 10 a 19 cursos – 4 Av R$13.920,00 20 a 29 cursos – 5 Av R$17.400,00 30 a 49 cursos – 6 Av R$20.880,00 50 a 99 cursos – 7 Av R$24.370,00 Acima 100 cursos-8 Av R$27.840,00