Fórum de Coordenadores QUALIS LIVROS Saúde Coletiva Jorge Iriart Fórum de Coordenadores dezembro 2013

Comissão de avaliação Jorge Alberto Bernstein Iriart (ISC/UFBA) Kenneth Rochel de Camargo (UERJ), Cláudia Roberta de Castro Moreno (USP), Ricardo Ventura Santos (ENSP-FIOCRUZ), Maria Lucia Magalhães Bosi (UFC), Suely Ferreira Deslandes (IFF), Rita de Cássia Franco Rego (MSAT/UFBA) Sérgio Rego (ENSP/FIOCRUZ), Daniela Riva Knauth (UFRGS), Thereza Christina Bahia Coelho (UEFS). 2

5

Qualis livros Definição de livro: produto impresso ou eletrônico que possua ISBN ou ISSN (para obras seriadas) contendo no mínimo 50 paginas, publicado por editora pública ou privada, associação científica e/ou cultural, instituição de pesquisa ou órgão oficial. 8

Tipos de obras Científicas: produção intelectual de caráter científico, dirigida para a comunidade acadêmica, que apresenta resultados de pesquisa empírica, desenvolvimento de metodologias, reflexão conceitual e teórica, revisão e discussão de literatura, análises quanto à formulação, gestão, implementação, financiamento e avaliação de políticas públicas e/ou sociais e outros temas de relevância social e técnico-científica para a área. Didáticas: produção intelectual de caráter pedagógico, dirigida para a formação de profissionais ou alunos de graduação ou de pós-graduação. Técnicas: produção intelectual de caráter técnico, dirigida aos profissionais, abrangendo idéias, reflexões e teorias para a solução de problemas práticos ou para a realização dos processos de trabalho. 9

Tipos de obras: Apenas as obras científicas serão avaliadas no qualis livros O livro didático não pode ser incluído na avaliação da produção científica, segundo as diretrizes já estabelecidas pelo CTC-CAPES. Para a classificação da obra, prevalecerá o caráter da maioria dos capítulos e, principalmente, a sua finalidade. Desenvolvimento de aplicativo para a avaliação dos livros

Qualis livros Monografias Organização ou Capítulos: L4 = 240 ptos L4: 90 ptos L3 = 180 L3: 60 L2 = 120 L2: 40 L1 = 60 L1: 25 (modificação) Travas: um mesmo autor não pode contabilizar mais de 2 capítulos em uma coletânea Organizador da coletânea: apenas um capítulo será contabilizado + organização Triênio 2007-2009: 300 obras científicas avaliadas (260 coletâneas e 40 monografias) Triênio 2010 – 2012: 1203 fichas no aplicativo, sendo 1023 referentes a coletâneas e 180 a monografias.

Crítérios e ficha de avaliação

EDITORIA COLETANEA Ed com catálogo de publicações na área item retirado Ed brasileira universitária – filiada à ABEU/ 8 Ed brasileira universitária – não filiada à ABEU/LEU 6 Editora comercial sem tradição/ editoras institucionais Ed comercial nacional com tradição (tempo de fundação 20 anos) Ed universitária estrangeira Ed universitária estrangeira com distribuição internacional e tradição 10 Ed comercial estrangeira Ed comercial estrangeira com distribuição internacional e tradição outras ( gráficas) sem pontuação Ed FILIADA AO SCIELO LIVROS 1 Conselho editorial Conselho editorial com diversidade institucional Parecer de caráter anônimo

Editoras filiadas ao Scielo Livros Editora Fiocruz Edufba Editora Unesp Eduepb Eduel Edufscar Fap-Unifesp

CARACTERÍSTICAS ADICIONAIS COLETANEAS Publicação em idioma estrangeiro 5 Premios nacionais, estrangeiros ou internacionais Financiamento da edição por agencia de fomento (editais) 2 presença de capítulo analítico introdutório a coletânea 8 diversidade institucional no corpo de autores presença de diversidade regional no corpo de autores presença de autores com vínculo institucional no exterior VÍNCULO Area de conhecimento, área de concentração e linha de pesquisa Area de conhecimento apenas 3 Fora da área de conhecimento COLETANEAS

EDITORIA MONOGRAFIAS Ed com catálogo de publicações na área item retirado Ed brasileira universitária – filiada à ABEU/ LEU 8 Ed brasileira universitária – não filiada à ABEU/LEU 6 Editora comercial sem tradição/ editoras institucionais Ed comercial nacional com tradição (tempo de fundação 20 anos) Ed universitária estrangeira Ed universitária estrangeira com distribuição internacional e tradição 10 Ed comercial estrangeira Ed comercial estrangeira com distribuição internacional e tradição outras (gráficas) sem pontuação Ed FILIADA AO SCIELO LIVROS 1 Conselho editorial Conselho editorial com diversidade institucional Parecer de caráter anônimo

MONOGRAFIAS CARACTERÍSTICAS ADICIONAIS Publicação em idioma estrangeiro 5 Prêmios nacionais, estrangeiros ou internacionais Financiamento da edição por agencia de fomento (editais para publicação de livros) 2 VÍNCULO Área de conhecimento, área de concentração e linha de pesquisa Área de conhecimento apenas 3 Fora da área de conhecimento

Avaliação qualitativa: Avaliação qualitativa do conteúdo para os candidatos a L4 (monografias e coletâneas) Relevância: contribuição para o desenvolvimento científico e tecnológico da área de conhecimento; atualidade da temática; densidade teórica; bibliografia que denote amplo domínio de conhecimentos. Inovação: originalidade na formulação do problema de investigação; caráter inovador da abordagem ou dos métodos adotados, contribuição inovadora para o campo do conhecimento. Potencialidade do impacto: circulação e distribuição prevista; lingua; possíveis usos no âmbito acadêmico e fora dele.

O processo de Avaliação: Três reuniões da comissão de avaliação em Salvador ( Agosto, 2012, abril 2013, junho 2013) Após a conclusão da inserção das fichas no aplicativo pelos Programas, foi criada uma lista com todas as editoras em que houve publicação em 2010 e 2011. Previamente a segunda reunião de avaliação, os membros da comissão buscaram informação nas páginas web visando subsídios para classificar as editoras e avaliar a editoria (tipo de editora, tradição, parecer anônimo e conselho editorial).

Lista de Editoras Editora Informação relevante no site (tempo de fundação, conselho editorial, parecer anônimo, etc) Classificação e Pontuação da Editora Conselho editorial no site ou na obra ? Pontuação conselho editorial Editora Martinari Ltda Fundada em 2003. A Editora Martinari mantém desde 2010 um Conselho Editorial de caráter internacional para avaliar e revisar suas produções editoriais.Este Conselho é composto por um seleto grupo de Doutores de áreas Multidisciplinares da pesquisas em diversas Instituições de Ensino do Brasil, Uruguai e Portugal.No intuito de manter sua política editorial transparente, abaixo listamos os nossos conselheiros assim como o Currículo Lattes de alguns deles. Editora comercial sem tradição 6 Sim 10

Editoras A avaliação tem um papel indutor e pode contribuir para que as editoras adotem processos de seleção de obras para publicação mais transparentes expondo em seus sites a composição do conselho editorial e a existência ou não de pareceristas ad hoc.

Sugestões de encaminhamento para o fórum de coordenadores: Inclusão de item no formulário para que os coordenadores indiquem na web onde se pode encontrar informação sobre o processo de aprovação da obra para publicação (link). A informação poderá também ser retirada do site e incluída na ficha. Caso a informação não esteja disponível na web, os autores deverão solicitá-las para as editoras. Os autores poderiam solicitar para a editora, antes da avaliação, declaração da existência de parecer anônimo e conselho editorial

PROCESSO DE AVALIAÇÃO Cada avaliador ficou responsável por avaliar as obras de um determinado número de programas. Desta forma, uma mesma obra, cuja ficha foi preenchida por diferentes programas foi avaliada por mais de um membro da comissão. Nos casos de discrepância para cima ou para baixo entre a pontuação obtida pela obra e a avaliação subjetiva do avaliador a partir dos critérios qualitativos (relevância temática, estrutura e coerência e potencial de impacto) a obra era separada para discussão posterior com o grupo.

PROCESSO DE AVALIAÇÃO Finalizado o processo de avaliação de todas as fichas, foi elaborada uma lista com o resultado da avaliação das obras em ordem alfabética. Foram analisadas todas as discrepâncias encontradas no resultado da avaliação da mesma obra por diferentes avaliadores, mantendo-se a diferença quando era pertinente ou chegando-se a um consenso entre os avaliadores. Por fim, analisou-se os resultados da avaliação a partir dos estratos em que as obras foram classificadas procedendo-se ao ajuste dos pontos de corte.

PROCESSO DE AVALIAÇÃO Validação da situação do docente autor no programa comparando os dados do aplicativo com os dados do relatório CAPES (permanente, colaborador) Eliminação da duplicidade de obras na pontuação total dos programas Cálculo da pontuação dos programas e de cada autor Elaboração de planilhas excell com pontuação por docente e pontuação total do programa sem repetição de obras

Dificuldades na Avaliação Fichas incompletas: falta da informação sobre filiação dos autores, diversidade institucional, parecer anônimo, etc. Material incompleto: falta de capítulo introdutório, sumário, páginas com informação sobre filiação dos autores, capítulos integrais

MONOGRAFIAS L 4 necessária avaliação qualitativa Ponderação dos pontos de corte para avaliação para monografias: 40 pontos ou mais 240 L4 autor ganha 240 pontos 33 - 39 180 L3 autor ganha 180 pontos 21 - 32 120 L2 autor ganha 120 pontos 10 - 20 60 L1 autor ganha 60 pontos < 10 não pontua

COLETÂNEAS L 4 com avaliação qualitativa Pontos de corte 57 pontos ou mais 90 L4 autor ganha 90 pontos 48 - 56 60 L3 autor ganha 60 pontos 35 - 47 40 L2 autor ganha 40 pontos 18 – 34 15 L1 autor ganha 15 pontos < 18 não pontua

Considerações sobre os resultados da avaliação Percentual da produção em livros da área acompanhou o crescimento da produção geral da área (percentual da produção feita pelos programas em livros manteve-se semelhante ao do triênio anterior) Mais de 50% das obras enviadas foram classificadas como técnicas, didáticas ou de divulgação científica Necessidade de se pensar a avaliação destas obras com critérios específicos no próximo triênio