A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

É possível comparar pesquisadores com interesses científicos diferentes? Osame Kinouchi Pablo Diniz Batista Mônica Campiteli Alexandre Souto Martinez DFM-FFCLRP-USP.

Apresentações semelhantes


Apresentação em tema: "É possível comparar pesquisadores com interesses científicos diferentes? Osame Kinouchi Pablo Diniz Batista Mônica Campiteli Alexandre Souto Martinez DFM-FFCLRP-USP."— Transcrição da apresentação:

1 É possível comparar pesquisadores com interesses científicos diferentes? Osame Kinouchi Pablo Diniz Batista Mônica Campiteli Alexandre Souto Martinez DFM-FFCLRP-USP Fórum: Pesquisa Interdisciplinar e avaliação: tendência no debate contemporâneo UNICAMP – 8 de maio de 2008

2 É possível...? Resposta curta: Não Outras respostas: De forma justa, não Um pouco mais justa, sim Talvez, em princípio, difícil na prática Busca de índices de comparação não tendenciosos Mesmo para comparação entre áreas de pesquisa? 1 2 3

3 É possível comparar...? Comparar = usar índices (qualitativos ou quantitativos) Índices não-bibliométricos Índices bibliométricos

4 É possível comparar pesquisadores de diferentes áreas? Se as distribuições de probabilidade para o índice x tem forma funcional diferente para cada área, não é possível fazer comparações.

5 Índice h de Hirsch Paper Times Cited h = 3 Um pesquisador com índice h têm h artigos com pelo menos h citações PNAS 102: (2005) Este artigo teve 119 citações até abril de 2008 !

6 Web of Science (ISI) e Scopus Alguns índices fornecidos Número total de publicações: N Número total de citações: C (com ou sem auto- citações) Número médio de citações: C/N Citações da i-ésima publicação por ano: C i Índice h de Hirsch

7 Publish or Perish Publish or Perish é um software que usa o Google Scholar para obter citações acadêmicas.Google Scholar N C Índice h de Hirsch e parâmetros relacionados Índice g de Egghe Índice h contemporâneo Taxa de citação ponderada por idade Duas variações do índice h individual Análise do número de autores por paper

8 Índice h depende da área de pesquisa 120A. Ulrich76J. N. Bacall 128R. M. Evans79P. G. de Gennes * 134T. Kishimoto87M. Cardona 138C. A. Dinarello88M. E. Fisher * 144S. Moncada88S. Weinberg * 152B. Vogelstein92A. C. Gossard 153P. Chambon98P. W. Anderson * 154R. C. Gallo104M. L. Cohen 160D. Baltimore107 7 A. J. Heeger 192S. H. Snyder110E. Witten hBiológos/BiomédicoshFísicos

9 Estatísticas no Brasil Dados coletados do Thompson ISI Web of Science referências até junho de 2005 com endereço BRAZIL ou BRASIL de artigos de 1975 a artigos resumos de conferências notas (brief reports ou rapid communications) cartas (letters) reviews

10 Índice h no Brasil Figura 1. Número de pesquisadores com índice h no Brasil.

11 Índice h na Alemanha Figura 3. Número de pesquisadores com índice h na Alemanha.

12 Número de autores depende de área de pesquisa Figura 2. Número de publicações com k autores por artigo in quatro áreas de pesquisa no Brasil: Física (círculos), Química (quadrados), Biologia/Biomedica (quadrados abertos) e Matemática (triângulos). Inset: Número N(N C ) de publicações citadas N C vezes em quatro áreas de pesquisa no Brasil de 1975 a 2004 (dados coletatos em junho de 2005).

13 Observações sobre índice h Índice robusto, difícil de inflar, pouco sensível ao número total de publicações e citações. Mede impacto acumulado, não produção atual. Dependente da área de pesquisa. Não leva em conta co-autoria. Para vantagens e desvantagens, ver: Bornmann L. and Daniel H-D, What do we know about the h index J. Am. Soc. Inf. Sci. Tech. 58: (2007)

14 Descontando co-autoria Índice h individual Is it possible to compare researchers with different scientific interests? Batista PD el at. Scientometrics Vol 68 (2006) 179

15 Comparando h com h I no Brasil Figura 4. Os índices h e h I em função do ranque para áreas brasileiras de pesquisa. As curvas h I, diferentemente das curvas de h, aparentam ter a mesma forma funcional. Exponencial Extendida

16 Comparando h com h I na Alemanha Figura 5. Os índices h e h I em função do ranque para áreas alemãs de pesquisa. As curvas h I, diferentemente das curvas de h, aparentam ter a mesma forma funcional. Exponencial Extendida

17 Índices relativos (Brasil) Figura: Os índices h e h I escalados pela média em função do ranque escalado para o Brasil. Uma única curva universal foi obtida para o índice h I. Exponencial Extendida

18 Índices relativos (Alemanha) Figura: Os índices h e h I escalados pela média em função do ranque escalado para a Alemanha. Uma única curva universal foi obtida para o índice h I.

19 Resultado novo *

20 Conclusões I A avaliação de pesquisadores dentro de uma mesma área já é um problema difícil. A avaliação em áreas interdisciplinares coloca problemas adicionais. Índices ideais deveriam ser normalizados de modo a (suas distribuições de probabilidade) serem insensíveis à área de pesquisa.

21 Conclusões II O índice h tem desvantagens, entre elas a curva N(h) e o correspondente gráfico de ranque depende da área de pesquisa. O índice h I relativo é menos dependente do campo de pesquisa. Entretanto, parece ser possível normalizar esses índices em uma curva universal independente de área, pelo menos para 99,9% dos pesquisadores. Essa nova geração de índices ainda precisa ser melhor validada. Lembrar porém que a avaliação deve ser sempre multidimensional.

22 Questão Poderia o índice h (e seus derivados), mesmo com suas limitações, ajudar em uma avaliação mais justa das áreas interdisciplinares? Exemplo: colega em área interdisciplinar com N = 9 e h = 6.

23 Mesa Redonda Interdisciplinariedade: Um caminho para uma avaliação mais abrangente?

24 Índices de avaliação: uma abordagem interdisciplinar Osame Kinouchi DFM-FFCLRP-USP Fórum: Pesquisa Interdisciplinar e avaliação: tendência no debate contemporâneo UNICAMP – 8 de maio de 2008

25 Avaliação e ranqueamento: um problema genérico O problema de avaliar a importância e relevância de items ocorre em inúmeras áreas além da área de cientometria Exemplos: Máquinas de busca na WWW: ranqueamento de páginas (Google, Yahoo Search etc). Medidas de centralidade em redes sociais, biológicas, tecnológicas. Teoria de redes complexas.

26 Redes complexas I Rede genética

27 Redes complexas II Rede de transdução de sinais biológicos

28 Redes Complexas III Blogosfera política americana: Conservadores (vermelho), liberais (azul)

29 Medidas de centralidade Na área de redes complexas, várias medidas de centralidade (importância) já foram definidas e estudadas: Degree centrality Betweenness centrality Closeness centrality Eigenvector centrality Etc... É provável que idéias provindas dessa área sejam adaptadas para problemas cientométricos.

30 Redes de citações

31 Exemplo Finding scientific gems with Googles PageRank algorithm P. Chen, H. Xie, S. Maslovand S. Redner Journal of Informetrics Volume 1, Issue 1Volume 1, Issue 1, January 2007, Pages 8-15 Abstract We apply the Google PageRank algorithm to assess the relative importance of all publications in the Physical Review family of journals from 1893 to While the Google number and the number of citations for each publication are positively correlated, outliers from this linear relation identify some exceptional papers or gems that are universally familiar to physicists.

32 Conclusão A avaliação de áreas de pesquisa interdisciplinares constitui um problema difícil e desafiante. O problema de avaliação e ranqueamento possui contatos com uma área de pesquisa mais geral: medidas de centralidade na teoria de redes complexas. Algumas dessas idéias já tem sido aplicadas em cientometria. Talvez, no futuro, idéias dessa área venham contribuir para a questão da avaliação interdisciplinar (e vice-versa!)


Carregar ppt "É possível comparar pesquisadores com interesses científicos diferentes? Osame Kinouchi Pablo Diniz Batista Mônica Campiteli Alexandre Souto Martinez DFM-FFCLRP-USP."

Apresentações semelhantes


Anúncios Google