Avaliação da produção científica brasileira:

Apresentação em tema: "Avaliação da produção científica brasileira:"— Transcrição da apresentação:

1 Avaliação da produção científica brasileira:
contextualização e indicadores Rogério Mugnaini Workshop Fiocruz, 16 de nov. de 2010

2 Workshop Fiocruz, 16 de nov. de 2010
Sumário Contexto Fluxo da Comunicação Científica divulgação > publicação > avaliação Caminhos... (indicadores são suficientes?) Artigo científico prioridade > evolução do processo de avaliação Periódico científico funções > categorias > níveis > avaliação Bases de dados critérios > características > usos > repercussões Indicadores limitações (bases de dados, periódicos, audiência) > diversidade das áreas Workshop Fiocruz, 16 de nov. de 2010

3 Fluxo da Comunicação Científica: divulgação
Novo conhecimento Divulgação Aceitação pela comunidade científica Aceitação (Noronha, 2010)

4 Fluxo da Comunicação Científica: publicação
‘ OUTPUT INPUT seleção de fontes (prim. sec.) base de dados refer./textuais localização/obtenção doc. apontamentos correspondências contatos pessoais colégio invisível reuniões comun. em congressos grupo de discussão chat teleconferência open archives BUSCA REDAÇÃO NOVO CONHECIMENTO “BRAINSTORM” Para quem? O quê? Como? livros periódicos anais de congressos relatórios técnicos revisões de literatura bibliografias teses e dissertaçãoes COMUNICAÇÃO INFORMAL e FORMAL Bibliotecas ESCOLHA/ DELIMITAÇÃO TEMA adequado/capacitado tempo/recurso material disponível assuntos não esgotados Impressa eletrônica documentos (artigos, livros, teses etc.) eletrônicos-textos integrais na Internet INDEXAÇÃO RECUPERAÇÃO DIVULGAÇÃO Sistemas de Informações CONHECIMENTO INTERESSE PESQUISADOR bases de dados (referenciais, bibliográficas, texto completo... open access bibliotecas virtuais (Noronha, 2010)

5 Fluxo da Comunicação Científica : avaliação
PCT Base de dados Periódicos Progs. Pós-Grad Periódicos Artigos Workshop Fiocruz, 16 de nov. de 2010

6 Caminhos....? O fluxo da comunicação científica está conformado pela PCT! O sistema de avaliação top-down precisa de uma reação botton-up!!! Os indicadores precisam ser contextualizados, ou até mesmo substituídos!!! Workshop Fiocruz, 16 de nov. de 2010

7 Fluxo da Comunicação Científica : avaliação
Periódicos Bases de dados Pol. Cient. e Técn. Progs. Pós-Grad Periódicos Artigos Workshop Fiocruz, 16 de nov. de 2010

8 Workshop Fiocruz, 16 de nov. de 2010
Caminhos....? Se a PCT precisa de orientação, estamos falando de orientar pessoas! Pessoas que compõem as comissões de área. As revistas têm história, são instituições estabelecidas do sistema de C&T. Mas, e os indicadores? São sensíveis às especificidades das áreas e à história das revistas? De que maneira as bases de dados contribuem com os periódicos? Workshop Fiocruz, 16 de nov. de 2010

9 Artigo científico: prioridade
A adoção do artigo como principal veículo para comunicação científica se apóia na certificação dos pares, que acompanhou as primeiras publicações desde sua instituição. Os árbitros por pertencerem à mesma área de conhecimento são tidos como hábeis no julgamento, conforme critérios estabelecidos pela própria comunidade. Spagnolo (apud DAVYT; VELHO, 2000) afirma que esse processo se adequou perfeitamente à estrutura de autoridades científicas por ter sido formado por ela mesma, mas que realiza a difícil tarefa de ligar a descoberta científica ao programa de recompensa e recursos (CHUBIN; HACKETT apud DAVYT; VELHO, 2000). Workshop Fiocruz, 16 de nov. de 2010

10 Artigo científico: evolução do processo de avaliação
Análise por pares Desde 1945 Micro análises Custo elevado Informação dispendiosa Subjetividade (influência pessoal) Análise quantitativa Década de 70 Macro análises Bases de dados Informação disponível Redução (perda de informação) (Martin, 1996; Holbrook, 1992; Bordons e Zulueta, 1999; Davyt e Velho, 2000) Workshop Fiocruz, 16 de nov. de 2010

11 Periódico científico: funções
Funções do periódico científico (MULLER, 1999): estabelecimento da ciência "certificada"; canal de comunicação entre os cientistas e de divulgação mais ampla da ciência; arquivo ou memória científica, e; registro da autoria da descoberta científica. “El desempeño de estas funciones permiten la construcción, difusión y depuración del conocimiento científico, con lo cual las publicaciones periódicas se convierten en el ejemplo más representativo de que la "ciencia se nutre de la ciencia" (Ríos, 2000 apud LÓPEZ ORNELAS; CORDERO ARROYO, 2005) Workshop Fiocruz, 16 de nov. de 2010

12 Periódico científico: categorias
Limitação geográfica e suas categorias (BARBALHO, 2005): Internacionais: publicações que disseminam resultados de pesquisas de interesse da comunidade científica internacional; Nacionais: títulos que divulgam resultados de pesquisa de interesse nacional e regional; Locais: publicações que atendem e divulgam resultados de pesquisas de determinadas instituições ou comunidades científicas, objetivando assegurar a memória institucional. Workshop Fiocruz, 16 de nov. de 2010

13 Periódico científico: níveis
Day (1998) divide os periódicos em três níveis: (apud LÓPEZ ORNELAS; CORDERO ARROYO, 2005) Publicações sob responsabilidade de associações científicas reconhecidas pela comunidade internacional. Estas publicações normalmente contam com cotas de seus sócios, deste modo os seus custos são menores (inclusive para assinaturas) e as mesmas têm maior presença; Publicações editadas e comercializas por grandes editores internacionais. Este respaldo eleva seus custos, inclusive para submissão de textos, mas apresentam como principal vantagem a grande circulação, e conseqüentemente impacto; Publicações sob responsabilidade de instituições públicas, e o maior exemplo deste caso são as publicações vinculadas as universidades. Estas, devido a sua dependência lógica a estrutura administrativa das instituições a que pertencem são as que apresentam os maiores problemas, como dependência e restrições a verbas, trocas de funcionários, problemas de divulgação e distribuição, entre outros que afetam principalmente a periodicidade destes periódicos. Workshop Fiocruz, 16 de nov. de 2010

14 Periódico científico: avaliação
O modo pelo qual a natureza gradual da classificação de periódicos foi substituída por um discurso baseado em uma divisão faz parte da transformação da natureza do poder científico. Devido à distinção entre nacional e internacional, a estrutura hierárquica dos periódicos científicos é uma hierarquia de dois níveis. No topo impera um único conjunto de periódicos; abaixo da divisão estão conjuntos de periódicos que desfrutam de diversos graus de visibilidade ou, devo dizer, invisibilidade (GUÉDON, 2010, p.5) Workshop Fiocruz, 16 de nov. de 2010

15 Bases de dados: critérios
A constituição de uma base de dados de revistas, considerando o crescimento contínuo do número de revistas científicas, implica, por sua vez, não apenas a reunião, mas seleção de um determinado grupo de revistas. Tal seleção deverá considerar características de: Qualidade científica, Qualidade editorial, Periodicidade, Normalização. Estes e outros critérios são considerados para definição de uma coleção, que traz em si mesma um objetivo específico. Workshop Fiocruz, 16 de nov. de 2010

16 Bases de dados: características
Concepção Bases bibliográficas - recuperação da informação Seleção Temáticas - multidisciplinares - internacionais / locais Avaliação Ingresso - permanência Cobertura Workshop Fiocruz, 16 de nov. de 2010

17 Indicadores: limitações das bases de dados
Posição no ranking de títulos corrigidos Título padronizado Nº de citações 1 MEMORIAS DO INSTITUTO OSWALDO CRUZ 4.654 Posição no ranking sem correção Título citado 6 MEM INST OSWALDO CRUZ 2.712 37 1.127 122 MEM. INST. OSWALDO CRUZ 581 6.074 MEM. INST. OSWALDO CRUZ. 12 6.479 MEMS INST. OSWALDO CRUZ 11 6.709 MEM INST OSWALDO CRUZ 94 (SUPPL. 10 7.408 MEMORIAS INSTITUTO OSWALDO CRUZ 9 7.494 MEMORIAS DO INSTITUTO OSWALDO 7.512 MEMORIAS DO INSTITUTO OSVALDO CRUZ 9.309 MEMORIAS DO INSTITUTO OSWALDO CRUZ, 7 9.697 MEM.INST. OSWALDO CRUZ 10.687 MEM. I. OSWALDO CRUZ 10.951 MEM INS OSWALDO CRUZ 11.087 MEM INST OSWALDO CRUZ 93 (SUPPL. 5 11.452 MEMORIAS DO INSTITUTO OSWALDO CRUZ, RIO DE JANEIRO 11.930 MEMORIAS DO INSTITUTO OSWALDO CRUZ 94 (SUPL 13.101 MEM INST OSWALDO CRUZ 91 4 13.601 MEM INSTITUTO OSWALDO CRUZ 13.677 MEM INST OSW CRUZ 13.779 13.844 INST OSWALDO CRUZ 14.390 MEM. DO INST. OSWALDO CRUZ 14.988 MEM INST. OSWALDO CRUZ 15.275 MEM INST OSWALDO – 19.803 6 variações com freqüência 3 18 – 30.140 16 variações com freqüência 2 32 – 84.790 52 variações com freqüência 1 52 Total Posições das formas citadas referentes ao título da revista Memórias do Instituto Oswaldo Cruz no ranking da base SciELO Brasil, considerando todos os anos Mugnaini (2006)

18 Indicadores: limitações dos periódicos
Núcleo de Bradford no tema “epidemiologia” na base Medline. Total de artigos Autores AL&C 1a zona 73 81 115 8 14 Total 3,822 3,955 4,362 303 439 777 # of journals (Mugnaini et al., 2009) Workshop Fiocruz, 16 de nov. de 2010

19 Indicadores: limitações dos periódicos
País de afiliação e país de publicação no tema “epidemiologia” na base Medline (Mundo, AL&C e 10 países mais produtivos AL&C). (Mugnaini et al., 2009) Workshop Fiocruz, 16 de nov. de 2010

20 Indicadores: história dos periódicos
Consumo de informação, pela Revista de Saúdo Pública – período de (Mugnaini & Población; 2007) (Mugnaini et al., 2009) Workshop Fiocruz, 16 de nov. de 2010

21 ? Tamanho da audiência potencial Indicadores: limitações da audiência
MacRoberts; MacRoberts, 1996 SciELO Brasil: Coleção com 100% de revistas Brasileiras (150) ? 6 mil

22 Indicadores: limitações da audiência
Mugnaini (2006)

23 Indicadores: limitações da audiência
Citações internacionais a revistas SciELO, segundo país de afiliação dos autores citantes e tipo de colaboração do artigo citado Mugnaini (2006)

24 Indicadores: diversidade das áreas
Citações internacionais a revistas SciELO, segundo país de afiliação dos autores citantes e tipo de colaboração do artigo citado (Mugnaini, Meneghini & Packer, 2007)

25 Indicadores: diversidade das áreas
Distribuição dos pesquisadores brasileiros, segundo tendência de publicação nacional/internacional (fonte: Plataforma Lattes) (Leite, Mugnaini & Leta; 2009)

26 Indicadores: diversidade das áreas
Comparação do índice h dos pesquisadores das academias de ciência do Brasil e EUA, segundo área (Mugnaini, R.; Packer, A.L.; Meneghini, R., 2008)

27 Workshop Fiocruz, 16 de nov. de 2010
Caminhos....!!! Se a PCT precisa de orientação, estamos falando de orientar pessoas! Pessoas que compõem as comissões de área. As revistas têm história, são instituições estabelecidas do sistema de C&T. Mas, e os indicadores? São sensíveis às especificidades das áreas e à história das revistas? De que maneira as bases de dados contribuem com os periódicos? Workshop Fiocruz, 16 de nov. de 2010

28 Obrigado !!! Rogério Mugnaini