A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

CRITÉRIOS DE AVALIAÇÃO DA PÓS-GRADUAÇÃO STRICTU SENSU EM SAÚDE COLETIVA Guilherme L Werneck.

Apresentações semelhantes


Apresentação em tema: "CRITÉRIOS DE AVALIAÇÃO DA PÓS-GRADUAÇÃO STRICTU SENSU EM SAÚDE COLETIVA Guilherme L Werneck."— Transcrição da apresentação:

1 CRITÉRIOS DE AVALIAÇÃO DA PÓS-GRADUAÇÃO STRICTU SENSU EM SAÚDE COLETIVA
Guilherme L Werneck

2 A FICHA DE AVALIAÇÃO (SAÚDE COLETIVA)
QUESITO PESO NÚMERO DE ITENS Proposta do Programa 0% 3 Corpo Docente 15% 5 Corpo Discente, Teses e Dissertações 35% 4 Produção Intelectual Inserção Social ESCALA PARA ATRIBUIÇÃO DOS CONCEITOS Muito Bom, Bom, Regular, Fraco, Deficiente ( pontos) CONDIÇÕES PARA RECOMENDAÇÃO DE NOTAS NOTA 5: Conceito “Muito Bom” em pelo menos 4 dos 5 quesitos, incluindo “Corpo Discente” e “Produção Intelectual” NOTAS 6 e 7: Cursos com Doutorado e que alcançaram conceito “Muito Bom” em todos os 5 quesitos

3 COMO A AVALIAÇÃO DA PRODUÇÃO CIENTÍFICA FOI FEITA PARA O TRIÊNIO 2010-2012

4 UMA NOTA SOBRE A CLASSIFICAÇAO DA PRODUÇÃO CIENTÍFICA (QUALIS)
QUALIS é uma ferramenta para a avaliação da produção bibliográfica dos programas de pós­‐graduação Versões para artigos em periódicos e para livros/capítulos de livros QUALIS periódicos (http://qualis.capes.gov.br/webqualis/): Base: todos os artigos publicados por docentes da área de Saúde Coletiva no triênio Identifica-se em que periódico cada artigo foi publicado Estes periódicos são estratificados de acordo com critérios de indexação e citação (A1, A2, B1, B2, B3, B4, B5, C) Atribui-se um valor correspondente a cada periódico dependendo do estrato em que ele está alocado (100, 85, 70, 50, 30, 15, 5, 0) Artigos recebem a pontuação atribuída ao periódico onde foi publicado Procedimento feito separadamente para revistas “da área” e “fora da área”

5 QUALIS SAÚDE COLETIVA: CRITÉRIOS
P Estrato H (Scopus) FI (JCR) ou cites/doc NMCA (Scielo)§ Pontos Geral S. Coletiva 95.0 A1 ≥79 ≥69 ≥4,00 ≥3,41 ≥6,55 100 90.0 A2 2,90-3,99 2,78-3,40 4,95-6,54 85 75.0 B1 30 -49 1,50-2,89 1,72-2,77 2,72-4,94 70 45.0 B2 0,47-1,49 0,72-1,71 1,10-2,71 50 <45.0 B3 0 - 9 0,00-0,46 0,00-0,71 0,00-1,09 30 B4* LILACS, Pepsic, Latindex, Medline, Pubmed e outras 15 B5* Não indexadas, disponíveis online para acesso gratuito a texto completo 5 * Máximo de 3 por docente §Só no Scielo: A1 e A2  B1; B1  B2; B2 = B2; B3 = B3 H (Scopus) – Número h de artigos da revista que receberam h citações FI (JCR) – Número de citações no ano X de artigos publicados na revista nos dois anos anteriores / total de artigos publicados nos 2 anos anteriores Cites/doc - Número de citações da revista no ano X dividido pelo no de artigos publicados nos 3 anos prévios NMCA (Scielo): Numero médio de citações por artigo descontadas a autocitação Travas (CAPES): A1<A2; A1+A2 = 25%; A1+A2+B1 = 50%

6

7 QUALIS PERIODICOS: SAÚDE COLETIVA
ESTRATO PERIODICOS (N) ARTIGOS A1 313 938 A2 350 2287 B1 561 2749 B2 449 1878 B3 278 754 B4 587 1446 B5 116 141 TOTAL 2654 10193

8 CAPÍTULO / ORGANIZAÇÃO DE COLETÂNEA
QUALIS LIVROS QUALIS livros: Definição de livro: produto impresso ou eletrônico que possua ISBN ou ISSN (para obras seriadas) contendo no mínimo 50 páginas, publicado por editora pública ou privada, associação científica e/ou cultural, instituição de pesquisa ou órgão oficial. Só é pontuada obra científica (excluidas obras didáticas e técnicas) Critérios: Editora, Conselho Editorial, avaliação por pares, língua, financiamento, prêmios etc Cada livro é avaliado individualmente ESTRATO PONTUAÇÃO LIVRO CAPÍTULO / ORGANIZAÇÃO DE COLETÂNEA L4 240 90 L3 180 60 L2 120 40 L1 15

9 QUESITO 4: PRODUÇÃO INTELECTUAL (35%)
ITEM 4.1 PUBLICAÇÕES QUALIFICADAS POR DP (40%) PRODUÇÃO PER CAPITA: Soma da produção em artigos, livros e capítulos (sem duplicatas) / DP (MB = ≥600 pontos) ITEM 4.2 DISTRIBUIÇÃO DA PRODUCÃO QUALIFICADA (40%) PRODUCÃO ACIMA DA MEDIANA (205 pontos/DP/ano) MB = ≥60% PRODUCÃO ACIMA DO PERCENTIL 80 (427 pontos/DP/ano) MB = ≥15% MEDIANA de distribuição dos artigos como critério qualitativo (≥B1) ITEM 4.3 PRODUCÃO TÉCNICA (20%)

10 PROBLEMAS

11 PRODUÇÃO DE ARTIGOS, LIVROS E CAPÍTULOS DE LIVROS
Créditos: Rita Barata, 2013

12 DESEQUILÍBRIO ENTRE PROGRAMAS
SUB-ÁREA DP - N (37 PPG) MEDIANA PRODUÇÃO P80 (%) EPIDEMIOLOGIA 351 765 30 CIENCIAS SOCIAIS E HUMANAS EM SAÚDE 116 489 11 POLÍTICA, PLANEJAMENTO E GESTÃO EM SAÚDE 141 495 5 OUTRAS 106 549 15 TOTAL 714 600 20 Créditos: Jorge Iriart, 2014

13 MUITAS LIMITAÇÕES... Ênfase na quantificação da produção científica leva a distorções éticas: autoria concedida, salamização da produção, plágio. Índices utilizados para avaliar a produção científica carecem de credibilidade Não se avalia diretamente a qualidade da produção científica Critérios utilizados valorizam mais certos modelo de produção científica Os critérios não se adequam ao caráter multidisciplinar e aplicado da área de Saúde Coletiva

14 CONSENSO “A comissão avalia que o atual modelo de avaliação está esgotado...” “A avaliação deve ser predominantemente realizada em bases qualitativas ainda que indicadores quantitativos possam ser utilizados...” “Os cursos devem ser analisados em sua integridade e não como a resultante de um conjunto fragmentado de aspectos.” Fonte: Relatório da Avaliação Trienal

15 MUDAR NÃO É SIMPLES “Cláusulas pétreas” da avaliação:
o processo não se restringe a uma avaliação “intra-área”; não deve se verificar a perda progressiva da capacidade discriminatória da escala Qualquer proposta precisa ser apresentada e aprovada no plenário do CTC-ES, onde as 48 áreas opinam, mas apenas 18 tem direito a voto (nós não). Predominam os critérios quantitativos baseados em índices bibliométricos entre as 48 áreas de avaliação.

16 O QUE AS OUTRAS ÁREAS FAZEM?

17 ÁREAS DE AVALIAÇÃO

18 USO DE INDICADORES BIBLIOMÉTRICOS
Majoritariamente (pelo menos A1, A2, B1): 27 áreas (56%) Só para estrato A1/A2: 4 áreas (8%) Obrigatoriedade de indexação no JCR/Scopus para A1/A2: 4 áreas (8%) Segundo grande área: Ciências agrárias: 4 (100%) Ciências biológicas: 4 (100%) Ciências da saúde: 9 (100%) Ciências exatas e da terra: 5 (100%) Engenharias: 4 (100%) Multidisciplinar: 1 (60%) Ciências humanas: 3 (38%) Ciências sociais aplicadas: 3 (43%) Linguistica, letras e artes: 0 (0%)

19 SITUAÇÕES ESPECIAIS 12 áreas fazem exceções para revistas especificas (25%) 6 restritas ao estrato B1-B5 (biológicas, saúde, sociais aplicadas) 6 irrestritas (ciências sociais aplicadas, exatas e agrárias) 8 áreas utilizam a idéia de reconhecimento / identidade com a área no processo de classificação Arquitetura, Ciencias Sociais, Economia, Planejamento Urbano, Ciências ambientais, Educ. Fisica, Enfermagem, Nutrição 6 áreas usam critérios diferentes para revistas “da área” e “fora da área” Engenharias I, II e IV; Astronomia, Matemática, Saúde Coletiva 4 áreas usam diferentes pontos de corte dos indicadores para as sub-áreas Ciências da computação, Matemática, Química e Biodiversidade

20 O QUE FAZER?

21 MODIFICAÇÕES NO SISTEMA DE CLASSIFICAÇÃO
Classificação por sub-áreas (indicadores padronizados): Epidemiology: h = 67, cites/doc = 3,15 Health Policy: h = 27, cites/doc = 1,75 Public Health, Environ. & Occup. Health: h = 38, cites/doc = 1,78 Health (social science): h = 25, cites/doc = 1,29 Melhorar o critério do que seria uma revista “da área” ou “fora da área” Hoje baseado no aparecimento de algum termo do tipo “public health”, “epidemiology”, “healthcare systems”, “health policy”, “medical anthropology” na missão da revista Para ambos: pareceres de pesquisadores brasileiros e estrangeiros

22 OUTRAS POSSIBILIDADES PONTUAIS
Qualis único: Um único sistema de classificação com pontos de corte e requisitos diferentes para cada área Qual sistema usar? O sistema dominante é baseado em indicadoes bibliométricos... Usar a “maior pontuação” da revista observando os Qualis das diferentes áreas Impossível manter as regras de A1<A2; A1+A2=25%; A1+A2+B1=50% Poderia ser interessante identificar algumas revistas bem qualificadas em outras áreas e que seriam relevantes para a área de saúde coletiva

23 OUTRAS POSSIBILIDADES PONTUAIS
Bibliometria: Usar citações dos artigos (incluindo os do triênio anterior) Índice H dos DP ou do Programa Métricas ponderadas Métricas alternativas (p.ex., web based) Upgrade de revistas Cada vez menos comum e visto com certa má vontade Que revista(s) seria(m) esta(s)? Estabelecer limites de exigência de quantidade de produção com base em parâmetros de excelência internacional

24 CRITÉRIOS QUALITATIVOS
Principais produções: Vantagem: já é algo solicitado ao Programa Dificuldades: Quantos produtos? Como avaliar impacto/relevância? Como equacionar a relação número de produtos vs tamanho do Programa? Quem avalia? Valorizar produções específicas Parceria internacional Co-autoria discente Fruto de Teses/Dissertações Premiações Aperfeiçoar Qualis livros Inclusão de aspectos qualitativos (relevância, originalidade, rigor conceitual, aderência à área) como já fazem Direito, Letras, Antropologia, Educação, Filosofia, Interdisciplinar, Ciências sociais, Nutrição etc...

25 CONCLUINDO Mudanças pontuais são mais factíveis de serem realizadas, mas não promovem as transformações necessárias para alcançarmos um novo modelo de avaliação O uso de critérios qualitativos deve ser estimulado, falta um consenso sobre quais critérios a serem utilizados e como operacionalizá-los A avaliação da produção científica, com todos os seus problemas, foi muito mais aperfeiçoado e discutido do que a avaliação dos aspectos relativos a formação discente, seus produtos finais e suas produções científicas, apesar de terem o mesmo peso na avaliação

26 OBRIGADO!


Carregar ppt "CRITÉRIOS DE AVALIAÇÃO DA PÓS-GRADUAÇÃO STRICTU SENSU EM SAÚDE COLETIVA Guilherme L Werneck."

Apresentações semelhantes


Anúncios Google