A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

O monitoramento da Pós-Graduação: questões, desafios, perspectivas Oswaldo H. Yamamoto UFRN/CAPES IV Congresso Norte-Nordeste de Psicologia Salvador, maio.

Apresentações semelhantes


Apresentação em tema: "O monitoramento da Pós-Graduação: questões, desafios, perspectivas Oswaldo H. Yamamoto UFRN/CAPES IV Congresso Norte-Nordeste de Psicologia Salvador, maio."— Transcrição da apresentação:

1 O monitoramento da Pós-Graduação: questões, desafios, perspectivas Oswaldo H. Yamamoto UFRN/CAPES IV Congresso Norte-Nordeste de Psicologia Salvador, maio de 2005

2 2 Roteiro A CAPES e a avaliação da pós-graduação Avaliação da pós-graduação: comparando áreas Questões acerca da avaliação da pós-graduação

3 A CAPES e a avaliação da pós-graduação

4 4 CAPES Coordenação de Aperfeiçoamento de Pessoal de Nível Superior: criada como campanha em 11 de julho de : CAPES classifica os 38 cursos existentes (27 de mestrado; 11 de doutorado) 1976: início do processo de avaliação sistemática da PG Primeiras tentativas: desenvolvimento de sistemas de indicadores objetivos quantificáveis que gerassem uma classificação Sistema atual: avaliação trienal (desde 1998), com acompanhamento anual, por comissões por área de conhecimento

5 5 Avaliação da pós-graduação: objetivos A avaliação da PG deve permitir tomar decisões com relação ao fomento e ao planejamento do sistema de C&T (incluindo atendimento das necessidades nacionais e regionais) estabelecer padrões de qualidade visando a certificação dos programas que compõem o sistema aprimorar dos próprios programas, pela identificação de fragilidades registrar a memória do sistema

6 6 Representação e Comissões de Área Representação: – consulta à comunidade, construção de lista tríplice (CS), indicação da Direção Comissão de Área: – indicação conjunta representação/direção – 2005: Comissão ad hoc e núcleo duro Critérios para composição da Comissão: – diversificação regional – representação de sub-áreas – reconhecimento da comunidade* * CAPES: Pesquisadores CNPq (1)/Programas acima de 4 – Não são (necessariamente) especialistas em avaliação

7 7 Comissões de Área: Avaliação 2004 Grandes Áreas: 8 (44 áreas) – Ciências Humanas: 8 áreas – Ciências Sociais Aplicadas: 7 áreas – Ciências Agrárias: 4 áreas – Saúde: 8 áreas – Ciências Biológicas: 4 áreas – Engenharias: 4 áreas – Ciências Exatas e da Terra: 5 áreas – Letras, Lingüística e Artes: 2 áreas Multidisciplinar e Ensino: 2 áreas Consultores: – Consultores: 547

8 Avaliação da pós-graduação: comparando áreas

9 9 Áreas comparadas Grande Área C. Humanas C. Sociais Aplicadas C. Biológicas Saúde Engenharias C. Exatas e da Terra Área Psicologia Educação Sociologia Direito C. Biológicas II Medicina II Engenharias II Química

10 10 Comparando áreas: conceitos na Avaliação 2004

11 11 Avaliação: etapas Fase preparatória: definição de critérios e de procedimentos elaboração de documentos elaboração/atualização do Qualis da área Fase de execução da Avaliação: avaliação dos Programas pelas Comissões de Área análise dos resultados pelas Grandes Áreas (2004) deliberação sobre os resultados pelo CTC comunicação dos resultados avaliação de recursos pelas Comissões de Área deliberação final sobre os recursos pelo CTC Fase de homologação dos resultados (CNE)

12 12 Sete quesitos (ponderados): Proposta do Programa Corpo Docente Atividade de Pesquisa Atividade de Formação Corpo Discente Teses e Dissertações Produção Intelectual Subdivisão de cada quesito em itens (4-6) Possibilidade de inclusão de itens e de ponderação pelas áreas Critérios: a Ficha de Avaliação

13 13 Comparando áreas: pesos dos quesitos PsiEduSocDir* CBio II Med II Eng II Quim PropostaQual C. Docente A. Pesquisa A. Formação C. Discente Teses/Dissertações P. Intelectual

14 14 Psicologia Procedimentos Atualização do Qualis periódicos* Reunião para definir critérios** Distribuição dos Programas pelos avaliadores (2 Programas para cada dupla) Elaboração de análise preliminar Preparação de análise de produção intelectual Reunião: dia 1- ajuste de critérios Trabalho em duplas (variáveis) Discussão grupo todo (busca de consenso) Revisão das Fichas (grupo menor) Critérios Documento de Critérios: descrição das características que correspondem às avaliações (ex.) Atividades de formação: Quando todos os docentes atuam lecionando disciplinas (ainda que isso não ocorra em todos os anos do triênio), quando todos orientam, quando não há dependência de docentes colaboradores, quando os alunos estão bem distribuídos entre os orientadores, quando a maior parte dos docentes atua também na graduação, além de orientar alunos em iniciação científica, e quando as ementas e a bibliografia das disciplinas mostram-se pertinentes e atualizadas, o quesito é avaliado como muito bom.

15 15 Psicologia % de artigos em relação ao total de itens de produção % de artigos com autoria exclusivamente discente % de artigos publicados em periódicos estrangeiros % de artigos concentrados em um mesmo periódico % de docentes sem artigos publicados no triênio total de itens de produção (artigos + capítulos + livros + trabalhos completos) por docente, por ano total de artigos por docente, por ano total de artigos por docente, por ano, considerando a qualificação dos periódicos total de itens de produção por docente, por ano, considerando a qualificação dos periódicos no caso dos artigos

16 16 Educação Procedimentos Elaboração do Qualis (eventos, periódicos, livros) Reunião para afinar critérios Definição de critérios para Programas 6 e 7 Distribuição dos Programas pelos avaliadores (2 a 5 Programas) Elaboração de pareceres preliminares (individualmente/correio eletrônico) Reunião: dia 1- ajuste de critérios Discussão das fichas Indicação para Programas 6 e 7 Revisão das Fichas (grupo menor) Critérios Definidos critérios quantitativos para cada quesito e item (ex.:) Corpo docente: Abrangência e especialização do NRD6 Tabela 4: MB=+75; B=65-74; R=55- 64; F=45-54; D=-45 IndicadoresPesoCritério % doc com doutorado D ou pesos abaixo Abaixo de 100%= D Doutor em Ed. NRD6/NRD6 40Tabela 4 Vinculação titulados Ed. em áreas e linhas 30Quali Vinculação não- titulados Ed. 30Quali

17 17 Sociologia Procedimentos Visita a todos os Programas Busca de homogeneidade: tomada de decisões por consenso 4 reuniões com coordenadores no triênio Entrega dos CDs Reunião prévia de 5 membros para qualificar livros e coletâneas (+200 livros em 2 dias...) Produção de síntese dos indicadores de cada Programa Primeiro dia: consenso sobre padrões de qualidade Trabalho em duplas (pelo menos 1 dos visitantes) Leitura em voz alta das avaliações Critérios Descrição dos critérios por quesito/item (Ex.) Teses e dissertações: Tempo médio de titulação - O tempo médio de titulação para a menção Muito Bom deve observar dois critérios: 1) o tempo ideal proposto pela Capes, e 2) a série histórica do programa. Tempo elevado em instituições consolidadas há bastante tempo, mas que têm se esforçado para a redução do TMT, com resultados visíveis, é aceitável. Produção intelectual: Qualidade dos veículos - Muito bom implica publicar boa parte dos resultados de pesquisa em periódicos nacionais e internacionais de níveis A e B classificados no Qualis da Sociologia....

18 18 Direito Procedimentos Distribuição dos Relatórios na reunião preliminar Divisão da Comissão em subgrupos para relato Análise coletiva, a partir dos relatos dos subgrupos Avaliadores relataram Programas diferentes dos da Avaliação Continuada Discussão ampla antes de definir conceito final Discussão do Programa do avaliador sem a sua presença Avaliação predominantemente qualitativa Critérios Produção intelectual Adequação (25): MB (Entre 80 e 100% da produção de publicações originárias de autores-docentes e autores-discentes, com adequação à proposta do Programa e vinculada às Áreas de Concentração, Linhas e Projetos de Pesquisa)... Qualidade (25): MB (70% e 100% de sua produção intelectual veiculada em publicações distribuídas de acordo com o perfil das respectivas áreas de concentração e publicadas por editoras de reconhecida expressão nacional ou internacional para a área do Direito)...

19 19 Ciências Biológicas II Procedimentos Elaboração de tabela-síntese com 51 indicadores (total de docentes, pesquisadores com bolsa, publicações cf. Qualis, publicações por orientador, somatório do índice de impacto por orientador, etc.) Avaliação pelo conjunto dos itens contemplados Ex.: Conceito 5: Produção de pelo menos 3 artigos completos publicados em revistas classificadas como categoria "A" do Qualis da área por 50% dos orientadores do programa no triênio. Regularidade da produção científica individual, indicando adequada contribuição coletiva dos orientadores para o desempenho do programa. Somatório do índice de impacto das revistas. Relação índice de impacto por orientador. Número de publicações categoria "A" do Qualis da área por discentes. Total de dissertações e teses defendidas. Relação entre as publicações categoria "A" do Qualis da área com discente sobre número de dissertações e teses defendidas. Baixa dependência de orientadores externos. Tempo médio de titulação dos mestres e doutores. Baixo índice de evasão.

20 20 Engenharia II Procedimentos Atualização do Qualis Distribuição do CD (avaliação por pares) Reunião para uniformização de critérios Análise detalhada dos casos limites Análise por subáreas (Química, Materiais, Metalúrgica, Minas e Nuclear) Definição de procedimentos/planilhas por Grande Área Critérios Produção intelectual: M=fração computada por item IA, IB, CLI, LI, PI Qualidade dos produtos do NRD6 (15%): M=M 1 /NRD6 onde M 1 =IA+0,5 IB+ xCLI + yLI + zPI (MB=1 M; B=0,75 M 1...) Qualidade dos produtos no Programa (10%): M=M 2 /n docentes M 2 = IA+0,5 IB+ xCLI + yLI + zPI...

21 21 Medicina II* Procedimentos Seguiu critérios definidos pela Grande Área Publicações: Qualis (definido em reunião anterior da Comissão) Critérios Quantificação de todos os quesitos/itens. Ex.: Corpo Discente: Dimensão do corpo discente com relação ao NRD6: MB=até 5 alunos; B=5-6; R=6-7; F=7-8; D=+8 Teses e dissertações: Tempo médio de titulação (M): MB=24 meses; B=25-30; R=31-36; F=37-42; D=+42 Produção bibliográfica: Adequação dos veículos: MB=80% NDR6 3 Qualis Nac A + 1 In A ou B/doc no triênio; B= 80% NDR6 3 Qualis Nac B + 1 In C/doc no triênio; R= 80% NDR6 3 Qualis Nac C + 0,5 In C/doc no triênio Produção científica: Qualis In A: fator de impacto (fi) 1 In B: 1 fi 0 In C: sem fi, mas no Medline Nac A: Scielo Nac B: Lilacs Nac C: demais

22 22 Química Procedimentos Análise prévia dos Programas (duplas) Preenchimento de planilha com indicadores definidos na reunião de preparação Reunião: construção de planilha única Revisão dos dados (falhas detectadas nos documentos) Critérios Produção intelectual: JCR: 0,007-0,499 (IC) JCR: 0,5-0,999 (IB) JCR: 1 (IA) Equiparação de tipos de produção (livros=artigos; capítulos i/n=art. nacional...)

23 Questões acerca da avaliação da pós-graduação

24 24 Questões e perspectivas O que é avaliado: o relatório ou o Programa? Modelo comum às 44 áreas Caráter declaratório Visitas como alternativa Mudanças no Coleta e na Ficha de Avaliação A produção científica é adequadamente avaliada? Qualis Periódicos: classificação da Comissão CAPES-ANPEPP Classificação das demais áreas aceita Livros e capítulos de livros: Qualis? Qualis livros e indicação de melhor produção

25 25 Questões O processo de avaliação é cuidadoso? A questão do tempo destinado à preparação e à avaliação propriamente dita A análise do CTC (diante do volume de processos) O material é adequado? Meta-avaliação (Spagnolo e Souza, 2005) A avaliação é objetiva? Subjetividade da Comissão (escolha de membros; definição de critérios e pesos; seleção, análise e interpretação dos dados; compromissos e tendenciosidade) A base de dados

26 26 Questões Como articular (a) padrões gerais do SNPG, (b) quadro evolutivo da área e (c) proposta do Programa? O significado do padrão médio da área Avaliar processo ou estabilidade? Avaliação como indutor (de qualidade ou de padrão comum?) Padronizar ou inovar? Flexibilização do tempo de titulação + Portaria 68 Ênfase na produção científica Pressuposto: uma formação adequada só pode ser assegurada por um corpo docente qualificado Formação de recursos humanos como missão da CAPES A questão do egresso


Carregar ppt "O monitoramento da Pós-Graduação: questões, desafios, perspectivas Oswaldo H. Yamamoto UFRN/CAPES IV Congresso Norte-Nordeste de Psicologia Salvador, maio."

Apresentações semelhantes


Anúncios Google