Alexandre Souto Martinez

Apresentação em tema: "Alexandre Souto Martinez"— Transcrição da apresentação:

1 Alexandre Souto Martinez
É possível comparar pesquisadores com interesses científicos diferentes? Osame Kinouchi Pablo Diniz Batista Mônica Campiteli Alexandre Souto Martinez DFM-FFCLRP-USP Fórum: Pesquisa Interdisciplinar e avaliação: tendência no debate contemporâneo UNICAMP – 8 de maio de 2008

2 É possível...? Resposta curta: Outras respostas:
“Não” Outras respostas: “De forma justa, não” “Um pouco mais justa, sim” “Talvez, em princípio, difícil na prática” Busca de índices de comparação não tendenciosos Mesmo para comparação entre áreas de pesquisa? 1 2 3

3 É possível comparar...? Comparar = usar índices (qualitativos ou quantitativos) Índices não-bibliométricos Índices bibliométricos

4 É possível comparar pesquisadores de diferentes áreas?
Se as distribuições de probabilidade para o índice x tem forma funcional diferente para cada área, não é possível fazer comparações.

5 Índice h de Hirsch Um pesquisador com índice h têm
Paper Times Cited 1 2 3 4 8 7 h = 3 Um pesquisador com índice h têm h artigos com pelo menos h citações PNAS 102: (2005) Este artigo teve 119 citações até abril de 2008 !

6 Web of Science (ISI) e Scopus
Alguns índices fornecidos Número total de publicações: N Número total de citações: C (com ou sem auto-citações) Número médio de citações: C/N Citações da i-ésima publicação por ano: Ci Índice h de Hirsch

7 Publish or Perish Publish or Perish é um software que usa o Google Scholar para obter citações acadêmicas. N C Índice h de Hirsch e parâmetros relacionados Índice g de Egghe Índice h contemporâneo Taxa de citação ponderada por idade Duas variações do índice h individual Análise do número de autores por paper

8 Índice h depende da área de pesquisa
120 A. Ulrich 76 J. N. Bacall 128 R. M. Evans 79 P. G. de Gennes * 134 T. Kishimoto 87 M. Cardona 138 C. A. Dinarello 88 M. E. Fisher * 144 S. Moncada S. Weinberg * 152 B. Vogelstein 92 A. C. Gossard 153 P. Chambon 98 P. W. Anderson * 154 R. C. Gallo 104 M. L. Cohen 160 D. Baltimore 107 7 A. J. Heeger 192 S. H. Snyder 110 E. Witten h Biológos/Biomédicos Físicos

9 Estatísticas no Brasil
Dados coletados do Thompson ISI Web of Science referências até junho de 2005 com endereço BRAZIL ou BRASIL de artigos de 1975 a 2004 artigos resumos de conferências 5.541 notas (brief reports ou rapid communications) cartas (letters) 2.333 reviews

10 Figura 1. Número de pesquisadores com índice h no Brasil.

11 Figura 3. Número de pesquisadores com índice h na Alemanha.

12 Número de autores depende de área de pesquisa
Figura 2. Número de publicações com k autores por artigo in quatro áreas de pesquisa no Brasil: Física (círculos), Química (quadrados), Biologia/Biomedica (quadrados abertos) e Matemática (triângulos). Inset: Número N(NC) de publicações citadas NC vezes em quatro áreas de pesquisa no Brasil de 1975 a 2004 (dados coletatos em junho de 2005).

13 Observações sobre índice h
Índice robusto, difícil de inflar, pouco sensível ao número total de publicações e citações. Mede impacto acumulado, não produção atual. Dependente da área de pesquisa. Não leva em conta co-autoria. Para vantagens e desvantagens, ver: Bornmann L. and Daniel H-D, What do we know about the h index J. Am. Soc. Inf. Sci. Tech. 58: (2007)

14 Descontando co-autoria
Índice h individual Is it possible to compare researchers with different scientific interests? Batista PD el at. Scientometrics Vol 68 (2006) 179

15 Comparando h com hI no Brasil
Figura 4. Os índices h e hI em função do ranque para áreas brasileiras de pesquisa. As curvas hI , diferentemente das curvas de h, aparentam ter a mesma forma funcional . Exponencial Extendida

16 Comparando h com hI na Alemanha
Figura 5. Os índices h e hI em função do ranque para áreas alemãs de pesquisa. As curvas hI, diferentemente das curvas de h, aparentam ter a mesma forma funcional . Exponencial Extendida

17 Índices relativos (Brasil)
Figura: Os índices h e hI escalados pela média em função do ranque escalado para o Brasil. Uma única curva universal foi obtida para o índice hI . Exponencial Extendida

18 Índices relativos (Alemanha)
Figura: Os índices h e hI escalados pela média em função do ranque escalado para a Alemanha. Uma única curva universal foi obtida para o índice hI .

19 Resultado novo *

20 Conclusões I A avaliação de pesquisadores dentro de uma mesma área já é um problema difícil. A avaliação em áreas interdisciplinares coloca problemas adicionais. Índices ideais deveriam ser normalizados de modo a (suas distribuições de probabilidade) serem insensíveis à área de pesquisa.

21 Conclusões II O índice h tem desvantagens, entre elas a curva N(h) e o correspondente gráfico de ranque depende da área de pesquisa. O índice hI relativo é menos dependente do campo de pesquisa. Entretanto, parece ser possível normalizar esses índices em uma curva universal independente de área, pelo menos para 99,9% dos pesquisadores. Essa nova geração de índices ainda precisa ser melhor validada. Lembrar porém que a avaliação deve ser sempre multidimensional.

22 Questão Poderia o índice h (e seus derivados), mesmo com suas limitações, ajudar em uma avaliação mais justa das áreas interdisciplinares? Exemplo: colega em área interdisciplinar com N = 9 e h = 6.

23 Interdisciplinariedade: Um caminho para uma avaliação mais abrangente?
Mesa Redonda Interdisciplinariedade: Um caminho para uma avaliação mais abrangente?

24 Índices de avaliação: uma abordagem interdisciplinar
Osame Kinouchi DFM-FFCLRP-USP Fórum: Pesquisa Interdisciplinar e avaliação: tendência no debate contemporâneo UNICAMP – 8 de maio de 2008

25 Avaliação e ranqueamento: um problema genérico
O problema de avaliar a importância e relevância de items ocorre em inúmeras áreas além da área de cientometria Exemplos: Máquinas de busca na WWW: ranqueamento de páginas (Google, Yahoo Search etc). Medidas de centralidade em redes sociais, biológicas, tecnológicas. Teoria de redes complexas.

26 Redes complexas I Rede genética

27 Redes complexas II Rede de transdução de sinais biológicos

28 Redes Complexas III Blogosfera política americana:
Conservadores (vermelho), liberais (azul)

29 Medidas de centralidade
Na área de redes complexas, várias medidas de centralidade (importância) já foram definidas e estudadas: Degree centrality Betweenness centrality Closeness centrality Eigenvector centrality Etc... É provável que idéias provindas dessa área sejam adaptadas para problemas cientométricos.

30 Redes de citações

31 Exemplo Finding scientific gems with Google’s PageRank algorithm
P. Chen, H. Xie, S. Maslovand S. Redner Journal of Informetrics Volume 1, Issue 1, January 2007, Pages 8-15 Abstract We apply the Google PageRank algorithm to assess the relative importance of all publications in the Physical Review family of journals from 1893 to While the Google number and the number of citations for each publication are positively correlated, outliers from this linear relation identify some exceptional papers or “gems” that are universally familiar to physicists.

32 Conclusão A avaliação de áreas de pesquisa interdisciplinares constitui um problema difícil e desafiante. O problema de avaliação e ranqueamento possui contatos com uma área de pesquisa mais geral: medidas de centralidade na teoria de redes complexas. Algumas dessas idéias já tem sido aplicadas em cientometria. Talvez, no futuro, idéias dessa área venham contribuir para a questão da avaliação interdisciplinar (e vice-versa!)