A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

CRITÉRIOS DE AVALIAÇÃO DA PÓS- GRADUAÇÃO STRICTU SENSU EM SAÚDE COLETIVA Guilherme L Werneck.

Apresentações semelhantes


Apresentação em tema: "CRITÉRIOS DE AVALIAÇÃO DA PÓS- GRADUAÇÃO STRICTU SENSU EM SAÚDE COLETIVA Guilherme L Werneck."— Transcrição da apresentação:

1 CRITÉRIOS DE AVALIAÇÃO DA PÓS- GRADUAÇÃO STRICTU SENSU EM SAÚDE COLETIVA Guilherme L Werneck

2 A FICHA DE AVALIAÇÃO (SAÚDE COLETIVA) QUESITOPESONÚMERO DE ITENS Proposta do Programa 0%3 Corpo Docente 15%5 Corpo Discente, Teses e Dissertações 35%4 Produção Intelectual 35%3 Inserção Social 15%3 ESCALA PARA ATRIBUIÇÃO DOS CONCEITOS Muito Bom, Bom, Regular, Fraco, Deficiente (5 1 pontos) CONDIÇÕES PARA RECOMENDAÇÃO DE NOTAS NOTA 5: Conceito “Muito Bom” em pelo menos 4 dos 5 quesitos, incluindo “Corpo Discente” e “Produção Intelectual” NOTAS 6 e 7: Cursos com Doutorado e que alcançaram conceito “Muito Bom” em todos os 5 quesitos

3 COMO A AVALIAÇÃO DA PRODUÇÃO CIENTÍFICA FOI FEITA PARA O TRIÊNIO

4 UMA NOTA SOBRE A CLASSIFICAÇAO DA PRODUÇÃO CIENTÍFICA (QUALIS) QUALIS é uma ferramenta para a avaliação da produção bibliográfica dos programas de pós­‐graduação Versões para artigos em periódicos e para livros/capítulos de livros QUALIS periódicos (http://qualis.capes.gov.br/webqualis/): –Base: todos os artigos publicados por docentes da área de Saúde Coletiva no triênio –Identifica-se em que periódico cada artigo foi publicado –Estes periódicos são estratificados de acordo com critérios de indexação e citação (A1, A2, B1, B2, B3, B4, B5, C) –Atribui-se um valor correspondente a cada periódico dependendo do estrato em que ele está alocado (100, 85, 70, 50, 30, 15, 5, 0) –Artigos recebem a pontuação atribuída ao periódico onde foi publicado –Procedimento feito separadamente para revistas “da área” e “fora da área”

5 QUALIS SAÚDE COLETIVA: CRITÉRIOS PEstratoH (Scopus)FI (JCR) ou cites/docNMCA (Scielo) § Pontos GeralS. ColetivaGeralS. Coletiva 95.0A1≥79≥69≥4,00≥3,41≥6, A ,90-3,992,78-3,404,95-6, B ,50-2,891,72-2,772,72-4, B ,47-1,490,72-1,711,10-2,7150 <45.0B ,00-0,460,00-0,710,00-1,0930 ―B4* LILACS, Pepsic, Latindex, Medline, Pubmed e outras 15 ―B5* Não indexadas, disponíveis online para acesso gratuito a texto completo 5 * Máximo de 3 por docente § Só no Scielo: A1 e A2  B1; B1  B2; B2 = B2; B3 = B3 H (Scopus) – Número h de artigos da revista que receberam h citações FI (JCR) – Número de citações no ano X de artigos publicados na revista nos dois anos anteriores / total de artigos publicados nos 2 anos anteriores Cites/doc - Número de citações da revista no ano X dividido pelo n o de artigos publicados nos 3 anos prévios NMCA (Scielo): Numero médio de citações por artigo descontadas a autocitação Travas (CAPES): A1

6

7 QUALIS PERIODICOS: SAÚDE COLETIVA ESTRATO PERIODICOS (N) ARTIGOS (N) A A B B B B B TOTAL

8 ESTRATOPONTUAÇÃO LIVRO PONTUAÇÃO CAPÍTULO / ORGANIZAÇÃO DE COLETÂNEA L L L L16015 QUALIS livros: Definição de livro: produto impresso ou eletrônico que possua ISBN ou ISSN (para obras seriadas) contendo no mínimo 50 páginas, publicado por editora pública ou privada, associação científica e/ou cultural, instituição de pesquisa ou órgão oficial. Só é pontuada obra científica (excluidas obras didáticas e técnicas) Critérios: Editora, Conselho Editorial, avaliação por pares, língua, financiamento, prêmios etc Cada livro é avaliado individualmente QUALIS LIVROS

9 QUESITO 4: PRODUÇÃO INTELECTUAL (35%) ITEM 4.1 PUBLICAÇÕES QUALIFICADAS POR DP (40%) PRODUÇÃO PER CAPITA: Soma da produção em artigos, livros e capítulos (sem duplicatas) / DP (MB = ≥600 pontos) ITEM 4.2 DISTRIBUIÇÃO DA PRODUCÃO QUALIFICADA (40%) PRODUCÃO ACIMA DA MEDIANA (205 pontos/DP/ano) MB = ≥60% PRODUCÃO ACIMA DO PERCENTIL 80 (427 pontos/DP/ano) MB = ≥15% MEDIANA de distribuição dos artigos como critério qualitativo (≥B1) ITEM 4.3 PRODUCÃO TÉCNICA (20%)

10 PROBLEMAS

11 Créditos: Rita Barata, 2013 PRODUÇÃO DE ARTIGOS, LIVROS E CAPÍTULOS DE LIVROS

12 DESEQUILÍBRIO ENTRE PROGRAMAS SUB-ÁREADP - N (37 PPG) MEDIANA PRODUÇÃO P80 (%) EPIDEMIOLOGIA CIENCIAS SOCIAIS E HUMANAS EM SAÚDE POLÍTICA, PLANEJAMENTO E GESTÃO EM SAÚDE OUTRAS TOTAL Créditos: Jorge Iriart, 2014

13 MUITAS LIMITAÇÕES... Ênfase na quantificação da produção científica leva a distorções éticas: autoria concedida, salamização da produção, plágio. Índices utilizados para avaliar a produção científica carecem de credibilidade Não se avalia diretamente a qualidade da produção científica Critérios utilizados valorizam mais certos modelo de produção científica Os critérios não se adequam ao caráter multidisciplinar e aplicado da área de Saúde Coletiva

14 CONSENSO “A comissão avalia que o atual modelo de avaliação está esgotado...” “A avaliação deve ser predominantemente realizada em bases qualitativas ainda que indicadores quantitativos possam ser utilizados...” “Os cursos devem ser analisados em sua integridade e não como a resultante de um conjunto fragmentado de aspectos.” Fonte: Relatório da Avaliação Trienal

15 MUDAR NÃO É SIMPLES “Cláusulas pétreas” da avaliação: I.o processo não se restringe a uma avaliação “intra-área”; II.não deve se verificar a perda progressiva da capacidade discriminatória da escala Qualquer proposta precisa ser apresentada e aprovada no plenário do CTC-ES, onde as 48 áreas opinam, mas apenas 18 tem direito a voto (nós não). Predominam os critérios quantitativos baseados em índices bibliométricos entre as 48 áreas de avaliação.

16 O QUE AS OUTRAS ÁREAS FAZEM?

17 ÁREAS DE AVALIAÇÃO

18 USO DE INDICADORES BIBLIOMÉTRICOS Majoritariamente (pelo menos A1, A2, B1): 27 áreas (56%) Só para estrato A1/A2: 4 áreas (8%) Obrigatoriedade de indexação no JCR/Scopus para A1/A2: 4 áreas (8%) Segundo grande área: Ciências agrárias: 4 (100%) Ciências biológicas: 4 (100%) Ciências da saúde: 9 (100%) Ciências exatas e da terra: 5 (100%) Engenharias: 4 (100%) Multidisciplinar: 1 (60%) Ciências humanas: 3 (38%) Ciências sociais aplicadas: 3 (43%) Linguistica, letras e artes: 0 (0%)

19 SITUAÇÕES ESPECIAIS 12 áreas fazem exceções para revistas especificas (25%) 6 restritas ao estrato B1-B5 (biológicas, saúde, sociais aplicadas) 6 irrestritas (ciências sociais aplicadas, exatas e agrárias) 8 áreas utilizam a idéia de reconhecimento / identidade com a área no processo de classificação Arquitetura, Ciencias Sociais, Economia, Planejamento Urbano, Ciências ambientais, Educ. Fisica, Enfermagem, Nutrição 6 áreas usam critérios diferentes para revistas “da área” e “fora da área” Engenharias I, II e IV; Astronomia, Matemática, Saúde Coletiva 4 áreas usam diferentes pontos de corte dos indicadores para as sub-áreas Ciências da computação, Matemática, Química e Biodiversidade

20 O QUE FAZER?

21 MODIFICAÇÕES NO SISTEMA DE CLASSIFICAÇÃO Classificação por sub-áreas (indicadores padronizados): Epidemiology: h = 67, cites/doc = 3,15 Health Policy: h = 27, cites/doc = 1,75 Public Health, Environ. & Occup. Health: h = 38, cites/doc = 1,78 Health (social science): h = 25, cites/doc = 1,29 Melhorar o critério do que seria uma revista “da área” ou “fora da área” Hoje baseado no aparecimento de algum termo do tipo “public health”, “epidemiology”, “healthcare systems”, “health policy”, “medical anthropology” na missão da revista Para ambos: pareceres de pesquisadores brasileiros e estrangeiros

22 OUTRAS POSSIBILIDADES PONTUAIS Qualis único: Um único sistema de classificação com pontos de corte e requisitos diferentes para cada área Qual sistema usar? O sistema dominante é baseado em indicadoes bibliométricos... Usar a “maior pontuação” da revista observando os Qualis das diferentes áreas Impossível manter as regras de A1

23 OUTRAS POSSIBILIDADES PONTUAIS Bibliometria: Usar citações dos artigos (incluindo os do triênio anterior) Índice H dos DP ou do Programa Métricas ponderadas Métricas alternativas (p.ex., web based) Upgrade de revistas Cada vez menos comum e visto com certa má vontade Que revista(s) seria(m) esta(s)? Estabelecer limites de exigência de quantidade de produção com base em parâmetros de excelência internacional

24 CRITÉRIOS QUALITATIVOS Principais produções: Vantagem: já é algo solicitado ao Programa Dificuldades: Quantos produtos? Como avaliar impacto/relevância? Como equacionar a relação número de produtos vs tamanho do Programa? Quem avalia? Valorizar produções específicas Parceria internacional Co-autoria discente Fruto de Teses/Dissertações Premiações Aperfeiçoar Qualis livros Inclusão de aspectos qualitativos (relevância, originalidade, rigor conceitual, aderência à área) como já fazem Direito, Letras, Antropologia, Educação, Filosofia, Interdisciplinar, Ciências sociais, Nutrição etc...

25 CONCLUINDO Mudanças pontuais são mais factíveis de serem realizadas, mas não promovem as transformações necessárias para alcançarmos um novo modelo de avaliação O uso de critérios qualitativos deve ser estimulado, falta um consenso sobre quais critérios a serem utilizados e como operacionalizá-los A avaliação da produção científica, com todos os seus problemas, foi muito mais aperfeiçoado e discutido do que a avaliação dos aspectos relativos a formação discente, seus produtos finais e suas produções científicas, apesar de terem o mesmo peso na avaliação

26 OBRIGADO!


Carregar ppt "CRITÉRIOS DE AVALIAÇÃO DA PÓS- GRADUAÇÃO STRICTU SENSU EM SAÚDE COLETIVA Guilherme L Werneck."

Apresentações semelhantes


Anúncios Google