A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

ANPTUR 2015 Coordenação da Área de Administração Pública e de Empresas, Ciências Contábeis e Turismo Quadriênio 2013-2016 Eliane P. Zamith Brito Márcia.

Apresentações semelhantes


Apresentação em tema: "ANPTUR 2015 Coordenação da Área de Administração Pública e de Empresas, Ciências Contábeis e Turismo Quadriênio 2013-2016 Eliane P. Zamith Brito Márcia."— Transcrição da apresentação:

1 ANPTUR 2015 Coordenação da Área de Administração Pública e de Empresas, Ciências Contábeis e Turismo Quadriênio Eliane P. Zamith Brito Márcia M. M. De Luca Aridelmo J. C. Teixeira

2 Avaliação de Programas pela CAPES
Se adapta à medida que a comunidade de pesquisa avança Leiden Manifesto – princípios para orientar a avaliação de pesquisa no mundo – Nature abril/2015 Elaborado por um conjunto de cientometristas, cientistas sociais e os administradores de pesquisa São críticos do uso de métricas isoladas para avaliação de programas e pesquisadores, p.e.: Rankings das publicações, p.e., Financial Times Fator H para avaliar os pesquisadores Número de artigos em periódicos selecionados

3 1º A avaliação quantitativa deve dar suporte à avaliação qualitativa especializada
Os indicadores quantitativos podem corrigir tendências enviesadas da avaliação por pares e facilitar a deliberação Fortalecer a revisão por pares tendo como base informações relevantes Os indicadores não devem substituir o juízo informado Todos são responsáveis pelas avaliações Os avaliados que fornecem os dados Os que calculam os indicadores Consultores que usam os indicadores

4 2º Medir o desempenho de acordo com a missão do PPG
O PPG deve ser avaliado considerando seus objetivos Os indicadores devem levar em conta o contexto socioeconômico e cultural mais amplo Os cientistas podem ter diversas missões de pesquisa Que avança as fronteiras do conhecimento acadêmico – PPG Acadêmicos Focada em soluções para os problemas da sociedade - MP A avaliação pode ser baseada em méritos relevantes Políticas públicas Para a indústria Para os cidadãos em geral Noções de excelência acadêmica Proposta do programa

5 3º Proteger a excelência da pesquisa localmente relevante
Uso só do fator de impacto de bases no idioma inglês pode ser problemático - Spell e Scielo Inclusão de periódicos nacionais nos estratos superiores da classificação por deliberação da área, porque eles têm impacto para a comunidade nacional Cerca de 60% da produção nos estratos superiores é em periódicos nacionais - 2/3 da produção do estrato A2 e 50% do B1 Periódicos promovidos pela área representam mais de 12% do total da produção da área Particularmente importante para as temáticas orientadas para a pesquisa de temas regionais e nacionais Livros

6 4º Manter a coleta de dados e os processos analíticos abertos, transparentes e simples
Plataforma Sucupira Inclusão continuada de dados com chancela anual Acesso aos dados por qualquer pessoa - SNPG - Sucupira Indicadores principais para análise comparativa dos PPG Discussão no CTC sobre simplificação da avaliação Página da Área Nossa área - Manual de avaliação disponibilizado aos coordenadores de PPG Seminário de acompanhamento - exercício de avaliar Avaliação por pares - 1 em cada 3 PPG participa do processo

7 5º Permitir que os avaliados verifiquem os dados e as análises
Todas as avaliações e os dados usados nas avaliações anteriores estão disponíveis para acesso por qualquer pessoa - SNPG Plataforma Sucupira Inclusão continuada de dados com chancela anual Acesso aos dados em planilhas permitindo reproduzir as avaliações quantitativas por qualquer pessoa Indicadores principais para análise comparativa dos PPG serão disponibilizados

8 6º Considerar as diferenças entre áreas nas práticas de publicação e citação
Selecionar um conjunto de possíveis indicadores e permitir que as distintas áreas escolham aqueles que lhes são mais adequados Historiadores e cientistas sociais – livros publicados no idioma nacional X cientistas da computação trabalhos apresentados em eventos é mais importante Os critérios de classificação de periódicos, livros, eventos e produção tecnológica tem que ser distintos por área Nossa área é muito diversa – critérios mistos Livros Fator de impacto Critérios de conformidade/qualidade Produção Tecnológica

9 7º Basear a avaliação de pesquisadores individuais no juízo qualitativo da sua carreira
Quando se compara um grande número de pesquisadores, uma abordagem que considere informações diversas sobre o conhecimento, experiência, atividades e influência Capes não avalia pesquisadores individuais, mas o conjunto deles na forma de programa de formação Avaliamos as experiências e o alinhamento destas com a proposta de formação discentes do PPG

10 8º Evite solidez mal colocada e falsa precisão
Indicadores de ciência e tecnologia são propensos à ambiguidade conceitual e à incerteza, e demandam fortes suposições que não são universalmente aceitas A melhor prática de avaliação utiliza indicadores múltiplos para fornecer uma imagem mais robusta e plural Os produtores de indicadores deveriam, pelo menos, evitar a falsa precisão, p.e., o fator de impacto de revistas é publicado com três casas decimais. No entanto, dada a ambiguidade conceitual e a variabilidade aleatória das contagens de citações, não faz sentido distinguir as revistas com base em diferenças mínimas do FI Evite a falsa precisão: apenas uma casa decimal se justifica

11 9º Reconhecer os efeitos sistêmicos da avaliação e dos indicadores
Os indicadores mudam o sistema da pesquisa por meio dos incentivos que estabelecem Estes efeitos devem ser previstos. Isto significa que um conjunto de indicadores é sempre preferível – um único indicador convida a burlas ou a desvios do objetivo, em que a medida se torna um fim em si Total de pontos para avaliar os programas na nossa área

12 10º Examinar e atualizar os indicadores regularmente
A missão da pesquisa e os objetivos da avaliação mudam e o sistema de pesquisa evolui junto Medidas que anteriormente eram úteis se tornam inadequadas e surgem novos indicadores Os sistemas de indicadores têm de ser revistos e talvez modificados

13 A avaliação da pesquisa pode desempenhar um papel importante no desenvolvimento da ciência e de suas interações com a sociedade As métricas da pesquisa podem fornecer informações cruciais que seriam difíceis de reunir ou entender por especialistas individuais. Mas não se deve permitir que essa informação quantitativa se transforme de instrumento em um fim em si. As melhores decisões são tomadas pela combinação de estatísticas robustas com sensibilidade para a finalidade e a natureza da pesquisa que é avaliada Tanto a evidência quantitativa quanto a qualitativa são necessárias. A tomada de decisão na ciência deve ser baseada em processos de alta qualidade informados por dados da mais alta qualidade

14 Produção anual dos docentes permanentes PPG acadêmicos da área – Triênio 2010-2012

15 Produção Bibliográfica Quadriênio 2013-2016
Quantidade X Qualidade da produção Melhores produtos de cada docente Coordenadores dos PPG pediram que considerasse ainda o volume para manter o incentivo à produção 20% total da produção 80% melhores produtos dos docentes (Livros/artigos de periódico) Alinhamento da produção à proposta de formação discente

16 4.1. Métrica 1 - Pontos médios de produção bibliográfica total do PPG
Média 207 Mediana 202 Desvio padrão 98 Mínimo 55 Máximo 500 A proposta é ter uma trava em 200 pontos para o programa ser avaliado como muito bom

17 Item 4.1. Métrica 2 - Pontos médios de produção bibliográfica qualificada do PPG
Média 108 Mediana 110 Desvio padrão 27 Mínimo 35 Máximo 156

18 4.2. Distribuição de publicações qualificadas em relação ao corpo docente permanente do PPG
Avalia-se a proporção dos docentes permanentes do PPG considerados produtivos, isto é, que alcançaram a mediana da produção qualificada da área, considerando as duas melhores produções bibliográficas do docente. MB > ou = a 80 B > ou = a 70, mas < que 80 R > ou = a 50, mas < que 70 F > ou = a 20, mas < que 50 D < que 20 Para os docentes que atuarem no programa em apenas parte do quadriênio, os pontos serão proporcionais ao período de atuação neste.

19 Princípios da classificação de periódicos para todas as áreas
Classificação considera apenas os periódicos com produção da área no período Considera apenas os periódicos informados pelos PPG da área no sistema da CAPES Usado apenas para avaliar os programas da área na CAPES no quadriênio Estabelece limites para a ocupação dos estratos considerados de elevado impacto – A1, A2 e B1 Classificação de 2017 valerá para todo o quadriênio

20 Processo de classificação 2015
Agradecer a ajuda enorme de colegas da área Parâmetros Itens de conformidade não seriam mais usados Usaríamos menos indicadores, mas que com maior poder de diferenciar (em especial os predatórios) Ajustar os critérios dos estratos considerando os % definidos pela CAPES para os estratos de alto impacto A1< A2 A1+A2 no máximo 25% dos periódicos na base da área A1 + A2 + B1 no máximo 50% dos periódicos na base da área Critérios que pudessem perdurar para outros quadriênios

21 Critérios para a classificação
B5 ISSN Ter no mínimo 2 edições/ano No máximo um ano de atraso B4 Índice de atraso no máximo igual a 0,5 2 ou mais anos de existência B3 3 ou mais anos de existência Ter no mínimo um indexador (definidos no documento da área)

22 Critérios para a classificação
B2 ISSN Ter no mínimo 2 edições/ano Estar no Redalyc ou ser editado por Editoras definidas (doc da área) Ou Scielo com FI < 0,01 ou Scielo com FI alto, mas de outra área pelo critério da base B1 Scielo com FI > 0,01 e ser da área pelo critério da base, ou 0<JCR<=0,7 ou (33%) 0<H-Scopus<=9 (mediana da área)

23 Critérios para a classificação
ISSN Ter no mínimo 2 edições/ano 0,7<JCR<=1,4 ou (67%) 9<H-Scopus<=24 (75%) A1 1,4<JCR 24<H-Scopus Revistas relevantes para a área que serão promovidas um estrato

24 Periódicos prioritários

25 Revisão em 2017 Valorizar DOI Pontualidade ou antecipação Indexadores
Spell Rever os limites da área para abranger subgrupos Pedaladas editoriais Tempo de processamento dos artigos Índice de concentração de autores do mesmo PPG Buraco nas edições B2

26 Posição da área na base Scopus
Docs Cites/doc 1996 32a 50a 1998 30a 56a 2000 36a 2002 27a 59a 2004 55a 2006 25a 89a 2008 21a 75a 2010 20a 70a 2012 17a 81a 2014 14a


Carregar ppt "ANPTUR 2015 Coordenação da Área de Administração Pública e de Empresas, Ciências Contábeis e Turismo Quadriênio 2013-2016 Eliane P. Zamith Brito Márcia."

Apresentações semelhantes


Anúncios Google