1 Diretoria de Avaliação Melhorias Implantadas e Novos Desafios Fevereiro/2008

2 SISTEMA DE AVALIAÇÃO Desafios Permanentes Melhorias no Período Desafios para o Triênio

3 Desafios Permanentes: crescimento  ritmo de crescimento da PG no Brasil; indução da PG  necessidade de a Avaliação contribuir para a indução da PG : –áreas e subáreas prioritárias; –áreas e microrregiões emergentes; –mestrados profissionais. complexidade crescente  complexidade crescente do sistema de PG - novos modelos de PG;

4 exigência de ajuste e aprimoramento contínuos  exigência de ajuste e aprimoramento contínuos de métodos, processos e ferramentas utilizados, considerados; maior transparência  exigência de maior transparência (normas, indicadores, critérios, parâmetros) e das bases de informações e ferramentas utilizadas.

5 Plano de Melhorias Estratégias:  Fixação de metas anuais e para o triênio;  Fixação de metas anuais e para o triênio;  Utilização, no limite, da capacidade/competência das equipes da DAV e da CGIN;  Utilização, no limite, da capacidade/competência das equipes da DAV e da CGIN;  Integração do trabalho das equipes;  Integração do trabalho das equipes;  Acompanhamento, apoio e testes contínuos dos resultados pelos Diretores e Presidente da Capes e pelos Coordenadores de Área.  Acompanhamento, apoio e testes contínuos dos resultados pelos Diretores e Presidente da Capes e pelos Coordenadores de Área.

6 Focos Principais do Plano :  Explicitação da filosofia e dos fundamentos do processo de Avaliação;  Regulamentação do processo de Avaliação;  Criação e/ou aprimoramento de ferramentas, instrumentos e aplicativos essenciais para a realização da Avaliação.

7 Execução do Plano Regulamentação do processo de Avaliação Objetivos  garantir: –unicidade do processo (normas e procedimentos próximos para todas as Áreas); –maior segurança dos avaliadores na execução do processo; –melhor compreensão do processo pelas IES e demais interessados.

8 2. Regulamentos elaborados : a) Caracterização do Corpo Docente dos programas – Portaria 68/2004; b) Regulamento da Avaliação das Propostas de Cursos – Portaria 88/2006; c) Padronização do conteúdo e formato dos documentos e relatórios sobre a Avaliação;

9 d) Regulamento da Avaliação dos Programas Acadêmicos; e) Regulamento da Avaliação dos Mestrados Profissionais.

10 3. Inovações introduzidas na organização da Avaliação: I - Separação da avaliação dos Programas Acadêmicos dos Mestrados Profissionais. II - Instituição da figura de Relatores junto ao CTC (análise prévia): -Relator de Área; -Comissão Relatora de Programas com proposta de 6 e 7; -Comissão Relatora de Programas com proposta de 1 e 2.

11 4. Inovações no apoio técnico para a realização da Avaliação Trienal pelo CTC: I - Relatórios Gerenciais sobre os resultados propostos pelas Comissões de Área: I - Relatórios Gerenciais sobre os resultados propostos pelas Comissões de Área:  proporções atípicas  proporções atípicas de conceitos muito altos ou muito baixos: muito bons e excelentes - proporções de cursos muito bons e excelentes ; deficientes, fracos e r egulares ; - proporções de cursos deficientes, fracos e r egulares ;  comparação Trienal-2004 Trienal 2007  comparação conceitos Trienal-2004 X conceitos propostos Trienal 2007  variações atípicas: mesmo conceito  cursos com mesmo conceito nas duas avaliações; conceito majorado  muitos cursos com conceito majorado ; conceito rebaixado  muitos cursos com conceito rebaixado.

12 II – Relatório de Indicadores Selecionados sobre a situação/desempenho dos programas Dados principais – por programa:  Conceito:  Conceito: em vigência, recomendado pela CA, atribuído pelo CTC; quesitos e itens  médias ponderadas de atributos consignados a quesitos e itens da Ficha de Avaliação;  total de docentes  total de docentes nos períodos ; e ;  teses e dissertações:  teses e dissertações: número e relação teses/dissertações nos períodos ; e ;

13 continuação: Bolsa Pq/CNPq  Nº e % de docentes permanentes com Bolsa Pq/CNPq; egressos do mestrado  Indicadores sobre egressos do mestrado: (total de titulados; egressos do curso e titulados em Do; número esperado e escore de titulados em Do) egressos do doutorado  Indicadores sobre egressos do doutorado: (total de titulados; egressos que são docentes na PG; número esperado e escore de titulados que são docentes na PG; egressos que são docentes da PG em outra IES)

14 5. Novos Aplicativos I – Concepção e Implantação do APCN Melhorias Introduzidas:  coleta apenas das informações fundamentais para a avaliação;  apresentação da proposta de curso de forma clara, sintética e eficiente – fácil leitura pelas comissões e por qualquer interessado;  preenchimento dos dados pelas IES mais simples e fácil;  possibilidade de análise objetiva da proposta e de comparação das características qualitativas das propostas (da área e entre áreas).

15 II - WEB QUALIS – Melhorias introduzidas:  Limpeza da base de dados : milhares de ISSN's errados foram corrigidos;  Possibilidade de trabalho a distância  pelos consultores (propostas de classificação);  pelos Coordenadores de Área (acompanhamento, verificação da tendência dominante, homologação da classificação)

16 Filtros do WEB QUALIS (permitem identificar):  em quais das 17 bases os periódicos estão indexados;  nº de artigos vinculados aos periódicos (no triênio);  classificação sugerida pelos consultores da área para cada periódico;  nº de áreas que avaliam o periódico e quais os conceitos a ele atribuídos;  nº de artigos publicados no periódico em cada área.

17 Estatísticas sobre o trabalho das comissões automaticamente atualizadas:Estatísticas sobre o trabalho das comissões automaticamente atualizadas:  periódicos classificados;  percentagem de trabalhos;  periódicos retipificados e divulgados... Resultado: Resultado:  Maior agilidade, eficiência e qualidade do sistema;  Uma base limpa, confiável, que não só gera notas  mas que serve de indicador para os pesquisadores escolherem onde publicar.

18 III – Concepção de Novas Fichas de Avaliação: Avaliação de Programas/Cursos Acadêmicos ;Avaliação de Programas/Cursos Acadêmicos ; Avaliação de Mestrados Profissionais.Avaliação de Mestrados Profissionais.Melhorias: fichas mais próximas da realidade, aproveitando a experiência (antes só oral) das comissões e do CTC;fichas mais próximas da realidade, aproveitando a experiência (antes só oral) das comissões e do CTC; ênfase nos resultados, com maior liberdade nos processos ;ênfase nos resultados, com maior liberdade nos processos ; novos indicadores, como inserção social, solidariedade, capacidade de nucleação...novos indicadores, como inserção social, solidariedade, capacidade de nucleação...

19 IV - Novo Aplicativo para as Fichas de Avaliação: Melhorias: Maior facilidade de operação  inclusive para acesso e preenchimento a distância e por múltiplos avaliadores;Maior facilidade de operação  inclusive para acesso e preenchimento a distância e por múltiplos avaliadores; Maior completude  distingue todas as etapas do processo – Comissões, CTC, fase inicial e de análise dos recursos;Maior completude  distingue todas as etapas do processo – Comissões, CTC, fase inicial e de análise dos recursos; maior segurança (inviolabilidade dos registros das Comissões e CTC referentes a todas as etapas do processo).maior segurança (inviolabilidade dos registros das Comissões e CTC referentes a todas as etapas do processo).

20 V – Sistema de Indicadores de Resultados – SIR Por quê?  Dispêndio excessivo do tempo do comitê com tarefas corriqueiras;  Possibilidade de agilizar processos mediante aplicativo inteligente.

21 Características:  Atende exigências da nova Ficha de ênfase em resultados ;  Efetua cálculos de resultados conforme os critérios de cada área. Vantagens:  Economiza tempo da comissão, que pode dedicar-se mais à análise qualitativa. Importante:  Os critérios da área são respeitados, desde que aprovados pelo CTC.  Os critérios da área são respeitados, desde que aprovados pelo CTC.

22 Indicadores de Resultado (IR)  IR1 Formação de Recursos Humanos: –IR1.1 Formação de Mestres e Doutores –IR1.2 Qualidade –IR1.3 Distribuição  IR2 Produção de conhecimento: –IR2.1 Produção intelectual –IR2.2 Distribuição

23 Grandes Desafios para o Triênio

24 Novos Desafios: Principais Temas 1. Contribuição para a indução do desenvolvimento da Pós-graduação:  áreas e subáreas estratégicas;  regiões e microrregiões emergentes.

25 Novos Desafios: Principais Temas 2. Consolidação dos Mestrados Profissionais:  concepção, foco e especificidades;  expansão e consolidação;  acompanhamento e avaliação.

26 Novos Desafios: Principais Temas 3. Programas Associados:  tipologias;  requisitos/condições/responsabilidades;  mudanças na configuração da associação;  coleta, registro e tratamento das informações;  especificidades dos processos de acompanhamento e de avaliação.

27 Novos Desafios: Principais Temas 4. Internacionalização da pós-graduação:  títulos estrangeiros de baixa qualidade;  doutorados a distância;  iniciativas da Capes: colégios doutorais;colégios doutorais; regulamenta ç ão dos programas associados internacionais.regulamenta ç ão dos programas associados internacionais.

28 Novos Desafios: Principais Temas 5. Fusão e desmembramento de programas:  requisitos/condições/responsabilidades;  coleta, tratamento e registro de informações;  especificidades dos processos de acompanhamento e de avaliação.

29 Novos Desafios: Principais Temas 6. WebQualis: 6.1. Qualis de Periódicos :  manutenção constante (ISSN, novos periódicos, avaliação de todos);  inclusão e manutenção da relação atualizada no Coleta;  inclusão e manutenção da relação atualizada no Lattes.

Qualis de Eventos :  converter o exame singular de Anais pelo de cada Evento;  converter singularidades em séries.

Qualis de Produção Artística :  finalizar construção;  implantar o aplicativo;  incorporar relação ao Coleta Capes e ao Lattes.

Qualis de Livros :  Importância: quase metade das áreas dão relevo à publicação em livros.  Dificuldade: um livro não é uma série (como periódicos e anais).

33 Experimentos de Qualis de Livros em 2007 : I – Qualis de editoras (Educação)

34 II – Qualis de qualidade de livros (Geografia): a)análise de cada livro por três consultores diferentes; b) adoção de uma planilha com dez quesitos, para notas de 0 a 10, com intervalos de 0,5 ponto; c) utilização da síntese para a composição do Qualis; Obs: Produto adicional possível: ver nas ementas dos cursos de PG (e graduação?).

35 III – Qualis de aspectos do livro (Psicologia e outras): a) natureza do livro gera de 0 a 2 pontos; b) colaboração entre PPG’s aumenta pontuação (0,1); c) natureza da editora; d) etc.

36 Novos Desafios: Principais Temas 7. SIR:  avaliação da experiência de 2007;  inclusão de novos indicadores: Formação de Recursos Humanos:  nucleação/inserção (destino do egresso);  eficiência (relativo ao investimento e ao tempo); Produção de conhecimento:   Outras produções: -Artística; -Técnica;  aperfeiçoamento do aplicativo (indicação dos trabalhos glosados e dos motivos da glosa);  planilhas/cadernos de indicadores  mesma relação de produções aceitas no SIR.

37 Novos Desafios: Principais Temas 8. Redefinição do Acompanhamento Anual  metodologia e orientações;  ferramentas;  implantação do novo modelo.

38 Novos Desafios: Principais Temas 9. Maior participação dos alunos na Avaliação

39 Novos Desafios: Principais Temas 10. Redefinição dos focos do processo de Avaliação  revisão das ponderações de quesitos e itens da Ficha de Avaliação.

40 Novos Desafios: Principais Temas 11. Cadernos e planilhas de indicadores utilizados na Avaliação:  redefinição e simplificação;  totalização dos dados por triênio móvel;  acesso por consultores, programas e outros interessados.

41 Novos Desafios: Principais Temas 12. Plataforma “Sistema de Estatísticas e Indicadores da Pós-Graduação”  concepção, desenvolvimento e implantação de uma plataforma que harmonize e integre o conjunto de informações e estatísticas sobre a pós-graduação, hoje disponibilizados pela Capes em diferentes links e endereços.

42 Novos Desafios: Principais Temas 13. Correção, aprimoramento e integração dos aplicativos em uso na Avaliação  APCN;  Coleta Java;  WebQualis;  Ficha de Avaliação;  SIR.

43 Novos Desafios: Principais Temas 14. Criação de aplicativos e outras ferramentas:  histórico dos programas e cursos junto à Capes;  ficha de avaliação de cursos novos;  apresentação, avaliação e acompanhamento de Minter e Dinter;  cadastro de consultores e registro de atividades de consultorias.