Alexandre Souto Martinez É possível comparar pesquisadores com interesses científicos diferentes? Osame Kinouchi Pablo Diniz Batista Mônica Campiteli Alexandre Souto Martinez DFM-FFCLRP-USP Fórum: Pesquisa Interdisciplinar e avaliação: tendência no debate contemporâneo UNICAMP – 8 de maio de 2008

É possível...? Resposta curta: Outras respostas: “Não” Outras respostas: “De forma justa, não” “Um pouco mais justa, sim” “Talvez, em princípio, difícil na prática” Busca de índices de comparação não tendenciosos Mesmo para comparação entre áreas de pesquisa? 1 2 3

É possível comparar...? Comparar = usar índices (qualitativos ou quantitativos) Índices não-bibliométricos Índices bibliométricos

É possível comparar pesquisadores de diferentes áreas? Se as distribuições de probabilidade para o índice x tem forma funcional diferente para cada área, não é possível fazer comparações.

Índice h de Hirsch Um pesquisador com índice h têm Paper Times Cited 1 2 3 4 8 7 h = 3 Um pesquisador com índice h têm h artigos com pelo menos h citações PNAS 102: 16569 (2005) Este artigo teve 119 citações até abril de 2008 !

Web of Science (ISI) e Scopus Alguns índices fornecidos Número total de publicações: N Número total de citações: C (com ou sem auto-citações) Número médio de citações: C/N Citações da i-ésima publicação por ano: Ci Índice h de Hirsch

Publish or Perish Publish or Perish é um software que usa o Google Scholar para obter citações acadêmicas. N C Índice h de Hirsch e parâmetros relacionados Índice g de Egghe Índice h contemporâneo Taxa de citação ponderada por idade Duas variações do índice h individual Análise do número de autores por paper http://www.harzing.com/resources.htm#/pop.htm

Índice h depende da área de pesquisa 120 A. Ulrich 76 J. N. Bacall 128 R. M. Evans 79 P. G. de Gennes * 134 T. Kishimoto 87 M. Cardona 138 C. A. Dinarello 88 M. E. Fisher * 144 S. Moncada S. Weinberg * 152 B. Vogelstein 92 A. C. Gossard 153 P. Chambon 98 P. W. Anderson * 154 R. C. Gallo 104 M. L. Cohen 160 D. Baltimore 107 7 A. J. Heeger 192 S. H. Snyder 110 E. Witten h Biológos/Biomédicos Físicos

Estatísticas no Brasil Dados coletados do Thompson ISI Web of Science 188.909 referências até junho de 2005 com endereço BRAZIL ou BRASIL de artigos de 1975 a 2004 150.323 artigos 24.163 resumos de conferências 5.541 notas (brief reports ou rapid communications) 3.3577 cartas (letters) 2.333 reviews

Figura 1. Número de pesquisadores com índice h no Brasil.

Figura 3. Número de pesquisadores com índice h na Alemanha.

Número de autores depende de área de pesquisa Figura 2. Número de publicações com k autores por artigo in quatro áreas de pesquisa no Brasil: Física (círculos), Química (quadrados), Biologia/Biomedica (quadrados abertos) e Matemática (triângulos). Inset: Número N(NC) de publicações citadas NC vezes em quatro áreas de pesquisa no Brasil de 1975 a 2004 (dados coletatos em junho de 2005).

Observações sobre índice h Índice robusto, difícil de inflar, pouco sensível ao número total de publicações e citações. Mede impacto acumulado, não produção atual. Dependente da área de pesquisa. Não leva em conta co-autoria. Para vantagens e desvantagens, ver: Bornmann L. and Daniel H-D, What do we know about the h index J. Am. Soc. Inf. Sci. Tech. 58:1381-1385 (2007)

Descontando co-autoria Índice h individual Is it possible to compare researchers with different scientific interests? Batista PD el at. Scientometrics Vol 68 (2006) 179

Comparando h com hI no Brasil Figura 4. Os índices h e hI em função do ranque para áreas brasileiras de pesquisa. As curvas hI , diferentemente das curvas de h, aparentam ter a mesma forma funcional . Exponencial Extendida

Comparando h com hI na Alemanha Figura 5. Os índices h e hI em função do ranque para áreas alemãs de pesquisa. As curvas hI, diferentemente das curvas de h, aparentam ter a mesma forma funcional . Exponencial Extendida

Índices relativos (Brasil) Figura: Os índices h e hI escalados pela média em função do ranque escalado para o Brasil. Uma única curva universal foi obtida para o índice hI . Exponencial Extendida

Índices relativos (Alemanha) Figura: Os índices h e hI escalados pela média em função do ranque escalado para a Alemanha. Uma única curva universal foi obtida para o índice hI .

Resultado novo *

Conclusões I A avaliação de pesquisadores dentro de uma mesma área já é um problema difícil. A avaliação em áreas interdisciplinares coloca problemas adicionais. Índices ideais deveriam ser normalizados de modo a (suas distribuições de probabilidade) serem insensíveis à área de pesquisa.

Conclusões II O índice h tem desvantagens, entre elas a curva N(h) e o correspondente gráfico de ranque depende da área de pesquisa. O índice hI relativo é menos dependente do campo de pesquisa. Entretanto, parece ser possível normalizar esses índices em uma curva universal independente de área, pelo menos para 99,9% dos pesquisadores. Essa nova geração de índices ainda precisa ser melhor validada. Lembrar porém que a avaliação deve ser sempre multidimensional.

Questão Poderia o índice h (e seus derivados), mesmo com suas limitações, ajudar em uma avaliação mais justa das áreas interdisciplinares? Exemplo: colega em área interdisciplinar com N = 9 e h = 6.

Interdisciplinariedade: Um caminho para uma avaliação mais abrangente? Mesa Redonda Interdisciplinariedade: Um caminho para uma avaliação mais abrangente?

Índices de avaliação: uma abordagem interdisciplinar Osame Kinouchi DFM-FFCLRP-USP Fórum: Pesquisa Interdisciplinar e avaliação: tendência no debate contemporâneo UNICAMP – 8 de maio de 2008

Avaliação e ranqueamento: um problema genérico O problema de avaliar a importância e relevância de items ocorre em inúmeras áreas além da área de cientometria Exemplos: Máquinas de busca na WWW: ranqueamento de páginas (Google, Yahoo Search etc). Medidas de centralidade em redes sociais, biológicas, tecnológicas. Teoria de redes complexas.

Redes complexas I Rede genética

Redes complexas II Rede de transdução de sinais biológicos

Redes Complexas III Blogosfera política americana: Conservadores (vermelho), liberais (azul)

Medidas de centralidade Na área de redes complexas, várias medidas de centralidade (importância) já foram definidas e estudadas: Degree centrality Betweenness centrality Closeness centrality Eigenvector centrality Etc... É provável que idéias provindas dessa área sejam adaptadas para problemas cientométricos.

Redes de citações

Exemplo Finding scientific gems with Google’s PageRank algorithm P. Chen, H. Xie, S. Maslovand S. Redner Journal of Informetrics Volume 1, Issue 1, January 2007, Pages 8-15 Abstract We apply the Google PageRank algorithm to assess the relative importance of all publications in the Physical Review family of journals from 1893 to 2003. While the Google number and the number of citations for each publication are positively correlated, outliers from this linear relation identify some exceptional papers or “gems” that are universally familiar to physicists.

Conclusão A avaliação de áreas de pesquisa interdisciplinares constitui um problema difícil e desafiante. O problema de avaliação e ranqueamento possui contatos com uma área de pesquisa mais geral: medidas de centralidade na teoria de redes complexas. Algumas dessas idéias já tem sido aplicadas em cientometria. Talvez, no futuro, idéias dessa área venham contribuir para a questão da avaliação interdisciplinar (e vice-versa!)