Nova proposta de Qualis Impacto no Processo de Avaliação Dr. João Pereira Leite Universidade de São Paulo Campus Ribeirão Preto

Projeto de aperfeiçoamento do 2ª etapa do Projeto de aperfeiçoamento do Qualis periódicos

Parte I A idéia original2 do Qualis

Indicador da produção bibliográfica antes da implantação do Qualis:

Área: X Artigos publicados em periódicos – 1993-95

Necessidade identificada: Incorporar informação sobre a qualidade ao indicador. Alternativa encontrada (QUALIS): qualificar os periódicos nos quais os trabalhos foram publicados; ponderar a quantidade de trabalhos pelo grau de qualidade atribuído ao periódico em que o trabalho foi publicado.

Estratificação adotada: 3 níveis de Circulação: Internacional; Nacional; Local 3 níveis de Qualidade: A B C Níveis (3x 3)  9 estratos

Indicador da produção bibliográfica depois da implantação do Qualis:

%

Artigos em equivalente (em equivalente artigo nível I) Artigos/docente/ano (em equivalente artigo nível I)

Sem Qualis 1,20 1,50 1,00 0,60 1,20 %

Parte II A 1ª etapa do projeto de aperfeiçoamento do Qualis

Exemplo: 1 único ISSN  29 registros em 24 áreas de avaliação : Dados Triênio 2001-03 Trabalho iniciado em 2004

Principais deficiências identificadas no processo (2004): a) Baixa qualidade da informação coletada, determinada por: inexistência de uma tabela de títulos de periódicos, comum a todas as 45 áreas de avaliação, para ser utilizada nos aplicativos Coleta (entrada de dados) e Qualis (padronização e qualificação dos periódicos)  Tabela Coleta (5 mil  21 mil tit.); inexistência de um mecanismo, no Coleta, que reduza a entrada de dados inconsistentes  Controle antipático na coleta; b) Aplicativo Qualis defasado do ponto de vista tecnológico  WebQ. Conseqüências: trabalho de padronização DUPLICADO [*/] e ESTAFANTE pelas Comissões e de ALTO CUSTO. ._________________________________________________________. [*/] Mesmo periódico padronizado em paralelo por “n” comissões.

Parte III Estágio atual do Qualis periódicos

I) Dados brutos (por área de avaliação; 45 áreas): Dados utilizados I) Dados brutos (por área de avaliação; 45 áreas): a) Planilha com mais de 30 mil registros (CGINF/DAD); b) 197 mil artigos completos; c) Periódicos com pelo menos 1 artigo completo publicado no Triênio 2004-06; d) Dados: código da área; issn; título do periódico; estrato Qualis (Categoria/Nível); total de artigos publicados no Triênio 2004-06. II) Limpeza dos dados: Base referencial: Tabela Coleta com mais de 21 mil títulos; Dados adicionais: Fator de impacto 2006 (JCR/ISI); Índice h (SCImago/Elsevier); Pesos utilizados pelas áreas (SIR ou “Cadernos”) Não foram considerados os registros com: a) ISSN em branco; b) Título não integrante da Tabela Coleta; c) ISSN pertencente à Tabela Coleta mas título de outro periódico; d) Título pertencente à Tabela Coleta mas cessado; e) Registro sem informação sobre C/N ou parcial. II) Planilha final (~32 mil linhas): ~ 10.800 periódicos; ~ 190 mil artigos completos; + Dados adicionais referidos acima + Indicadores apresentados adiante.

50% ou + 35 a 49% 25 a 34% 15 a 24% 7 a 14%

50% ou + 35 a 49% 25 a 34% 15 a 24% 7 a 14%

Rank: q Anexo: demais áreas.

4 indicadores: P :índice de concentração do periódico/área; q :rank atual com base na Circulação/Nível e Q ; j :fator de impacto (JCR), j* e J*; h :índice h (SCImago), h* e H*

Índice P

P é um índice de concentração. Índice P P é um índice de concentração. Baseia-se na QUANTIDADE de artigos completos publicados pelos programas de uma determinada área de avaliação. Base de cálculo: total [1/] do triênio anterior, 2004-06; Permite identificar em quais periódicos se concentra a parcela mais significativa de artigos publicados pelos programas de uma área. P: representa o % acumulado da quantidade de artigos publicados em um determinado subconjunto de periódicos, classificando-os segundo a quantidade de artigos (ordem decrescente).

P serviu de base para identificar os poucos periódicos que, em Exemplo: P=18% Se o índice P de um determinado periódico for igual a 18, significa que aquele periódico está entre aqueles poucos que, em conjunto, concentram 18% do total de artigos publicados pela área. Quanto menor P  maior a importância relativa do periódico para a área de avaliação, do ponto de vista QUANTITATIVO. P serviu de base para identificar os poucos periódicos que, em conjunto, abrigam significativa parcela dos artigos publicados por uma determinada área de avaliação.

(15 ou mais artigos/periódico) 13,8% dos Periódicos (125/903) concentram 81,3% dos Artigos (11.014/13.546); (15 ou mais artigos/periódico) Artigos: 13.546 Princípio de Pareto Periódicos: 903 Exemplo: Área de avaliação 42 - Ciências Agrárias I

O índice P foi levado em conta para estratificar os periódicos em 3 estratos (“Princípio de Pareto”): P1 (P até 79%); P2 (P entre 79 a 90%); P3 (P maior do que 90%). Os dois limites, 79% e 90% foram fixados de forma empírica. Arbitrariamente. Pareto

P1 P2 Área: Ciências Agrárias I NP1 =104 NP2 =127 N =903 Pareto P1 NP1 =104 P2 NP2 =127 N =903 (periódicos) Artigos (Total):13.546 continua ...

... continuação. Pareto P3 NP3 =672 Artigos (Total):13.546

Detalhamento por área de avaliação: continua ...

... continuação.

Indicadores q e Q

V = Vida = Saúde + Biológicas + Agrárias; E = Exatas & Engªs; Ramos da ciência: H = Humanidades = Humanas + Sociais Aplicadas + Lingüística, Letras e Artes; V = Vida = Saúde + Biológicas + Agrárias; E = Exatas & Engªs; M = Multidisciplinar e Ensino de Ciências e Matemática.

Rank: q Anexo: demais áreas.

C/N atual: Ia = 2; Ia = 2; Na = 5; Nb =2; Lc = 2 q: #9=1; #8,5=1; #8=1; #7,5=2; #7=4; #6=1; #5=1; #3,5=1; #1=1

Apenas P1 Q = média aritmética ponderada de “q”

“Área-madrinha”: Critério: 1º) o maior nº de artigos (absoluto); 2º) o menor P, quando os nºs de artigos forem iguais. QHumanidades = (15x9 + 8x8,5 + 25x7,0)/(15+8+25) = 7,88

j (fator de impacto) h (índice h)

Base: fator de impacto JCR/ISI. Indicadores j (fator de impacto); j* e J* Base: fator de impacto JCR/ISI.

Área: Ecologia - 124 periódicos P1 Ver J*

Área: Biológicas II Ver J*

J* = média aritmética ponderada de “j*”. “Área-madrinha”

h (índice h); h* e H* Indicadores Análogos a j, j* e J*: Base: SCImago/Elsevier. H* = média aritmética ponderada de “h*”.

Medianas do fator de impacto e do índice h, por área de avaliação. Universo: periódicos classificados como P1.

Inserção no JCR/ISI e SJR/Elsevier, por área de avaliação: continua ...

... continuação.

Periódicos classificados em P1 (sem dupla contagem): 4.328 (4.328/10.803 = 40%); 2.010 indexados JCR ou SCImago; 2.318 não indexados. % b/a continua ...

... continuação.

Planilha de trabalho

2 planilhas para cada área de avaliação Ordem: total artigos; decrescente. 1.1) apenas periódicos P1; 1.2) P2 + P3. Parte I continua ...

... continuação. Parte II continua ...

Parte III

0: “área madrinha” do periódico pertence à mesma Grande área Parentesco (classificação tosca; apenas um ponto de partida; se possível deveria ser alterada em comum acordo com as áreas): 0: “área madrinha” do periódico pertence à mesma Grande área (agr bio csa eng ext hum lla m&e sau) do periódico avaliado  “área irmã”; 1: “área madrinha” do periódico pertence ao mesmo Ramo da ciência (V=Vida; H=Humanidades E=Exatas&Engªs; M=Multi) periódico avaliado  “área prima”; 2: “área madrinha” do periódico não pertence ao mesmo Ramo da ciência do periódico avaliado  “área cunhada”

1 planilha geral, com todas os registros (todas as áreas) Ordem: ISSN; Ramo da ciência; P (crescente); Artigos (decrescente). Parte I continua ...

... continuação. Parte II

Anexo Rank das áreas (q)

[1/] Ponderações chanceladas pela área no SIR ou Documento de área.

[1/] Ponderações chanceladas pela área no SIR ou Documento de área.

[1/] Ponderações chanceladas pela área no SIR ou Documento de área.

[1/] Ponderações chanceladas pela área no SIR ou Documento de área.