Faculdade de Medicina da Universidade do Porto Introdução à Medicina Introdução à Medicina Regente da disciplina: Prof. Dr. Altamiro da Costa Pereira Orientador: Dr. Ricardo Correia AVALIAÇÃO DA UTILIZAÇÃO DOS SISTEMAS ELECTRÓNICOS DE RECOLHA DE INFORMAÇÃO POR PARTE DOS MÉDICOS 2004/2005 Afonso, M.; Fernandes, M.; Ferreira, M.; Ferreira, M. F.; Morais, M.; Neto, M.; Pintalhão, M.; Sousa, M.; Torres, M.

Na primeira apresentação... Objectivo: - Revisão sistemática sobre o uso clínico dos sistemas de recolha de informação por parte dos médicos (artigos entre 1998 e 2004) Introdução: - utilização crescente dos sistemas de recolha de informação por parte dos médicos e/ou estudantes de medicina - necessidade da avaliação destes sistemas - breve esclarecimento do tema

Na primeira apresentação... Métodos: - combinação de termos MeSH - definição dos critérios de inclusão dos artigos:. Avaliação de sistemas de recolha de informação. Resultados do uso destes por médicos. Aplicação destes na resolução de situações clínicas - selecção dos artigos pelo título (de acordo com os critérios supracitados) 48 artigos seleccionados

O Que Fizemos Até Agora... Revisão da selecção dos artigos Procura do full-text dos artigos seleccionados Leitura e análise dos artigos por 2 revisores Apresentação e discussão dos resultados Redacção do rascunho do artigo Elaboração da página na Internet Elaboração do artigo final

Revisão da selecção dos artigos 3 revisores alheios à primeira selecção Nova selecção pelo título Em caso de dúvida foi feita a leitura do abstract Comparação dos resultados da pesquisa formal com os resultados da revisão da selecção dos artigos: Pesquisa utilizada Pesquisa dos revisores Número de artigos seleccionados 3029 Precisão8,2 %7,9 % Relative recall81,1 %78,4 % Tabela 1 – Resultados da revisão da selecção dos artigos

Revisão da selecção dos artigos Pretendeu-se determinar a reprodutibilidade do método Permitiu elaborar uma tabela de concordância (disponível na página da Web) As medidas calculadas são semelhantes nos dois casos

Exemplos De Títulos De Artigos Seleccionados TÍTULODECISÃO «Medical Research. Finding The Best Information.» SELECCIONADO «Tagging Gene and Protein Names in Biomedical text» NÃO SELECCIONADO NÃO SELECCIONADO Tabela 2- Selecção pelo título (exemplos)

Procura do full-text dos artigos seleccionados MEDLINE (através da rede informática da Universidade do Porto) Revistas disponíveis na biblioteca da FMUP e bibliotecas vizinhas Contacto dos autores dos artigos por correio electrónico Os 16 artigos não encontrados desta forma foram excluídos

Leitura E Análise Dos Artigos Seleccionados Por 2 Revisores Executado por 2 elementos Análise dos 32 artigos com base nos critérios: 1) Frequência de utilização dos sistemas electrónicos de informação (por parte dos médicos ou estudantes de medicina); 2) Propósito da sua utilização; 3) Satisfação do utilizador;

Leitura e análise dos artigos seleccionados por 2 revisores - Consideraram-se os artigos com pelo menos um destes critérios - 23 obedeciam a este requisito e foram sujeitos a análise 4) Efectividade dos sistemas na pesquisa (dada por - precisão e recall; - factores inerentes ao utilizador; - comparação entre pesquisa manual e electrónica; - comparação entre diferentes bases de dados. 5) Razões do insucesso na pesquisa; 6) Aplicação/Impacto da evidência na prática clínica.

RESULTADOSEDISCUSSÃO

Análise dos artigos Tabela de análise Tabela de análise Tabela SPSS Tabela SPSS

Gráfico 1- País de origem dos artigos (%) Gráfico 2- Ano de publicação dos artigos (%) Características dos Artigos

Gráfico 3- Tipo de estudo (%)

Gráfico 4 – O objectivo do artigo é semelhante ao nosso? (%) Gráfico 5 – O artigo cumpre o seu objectivo? (%) Características dos Artigos

1) Frequência De Utilização Dos Sistemas Electrónicos De Informação Assunto pouco abordado nos artigos (3) Participantes/ Recursos WebMEDLINEFontes literárias 45 estudantes de medicina (10) Média de 11,0 vezes por mês Média de 2,4 vezes por mês Média de 7,1 vezes por mês 31 profissionais de saúde (15) Média de vezes: 6,7 no ano anterior 1,3 no mês anterior 0,3 na semana antecedente 142 instituições de saúde (19) 42 (30 %) 99 das que não usavam passariam a usar no futuro 17 (40 %) 59 % das que usavam recursos da NLM pesquisavam raramente Tabela 3- frequência de utilização dos sistemas electrónicos de informação

Não se podem tirar conclusões definitivas Uso reduzido destes sistemas Preferência da Web à MEDLINE e à literatura 1) Frequência De Utilização Dos Sistemas Electrónicos De Informação

Propósito futuro de utilização mais frequente deste sistemas Frequência do uso é maior quando conhecidas as vantagens dos sistemas A pesquisa por meios electrónicos é mais frequente do que por meios manuais

2) Propósito Da Sua Utilização Artigo Actualização do conhecimento Condução de investigação científica Resposta a questões clínicas Outros Erickson et al (15) XXX JAMA (2) XX Shen et al (17) X Langham et al (13) XXX Tabela 4 – Propósito do uso dos sistemas de recolha de informação

3) Satisfação Do Utilizador Nº artigos incluídos : 3 (10) (30) (15) Método mais utilizado: Questionnaire for User Interface Satisfaction (QUIS) mede a satisfação do utilizador perante um sistema computorizado - escala de zero (fraco) a nove (excelente)

3) Satisfação Do Utilizador ArtigoNObjectivoMétodoResultado Outras conclusões Hersh et al (10) 45 estudantes de medicina + 21 de enfermagem Comparar os 2 grupos de estudantes em relação a várias variáveis QUIS6,8 Hersh et al (30) 20 estudantes de medicina + 9 de enfermagem QUIS6,3 inexistência de relação entre o melhoramento da pesquisa e satisfação do utilizador S Erickson & E R Warner (15) 31 internos de ginecologia e obstetrícia Efeito de uma sessão de 1 hora de treino em vários factores Escala de 1 (muito insatisfeito) a 5 (muito satisfeito) 3,9 inexistência de diferenças estatisticamente significativas na taxa de satisfação entre os grupos com e sem treino Tabela 5 – Análise dos artigos incluídos no critério da satisfação do utilizador

3) Satisfação Do Utilizador Média da taxa de satisfação = 7.5 (escala de 1-10) Sistemas de recolha de informação electrónicos trazem satisfação a quem os utiliza

Utilidade da Pesquisa Acerca dos sistemas de recolha de informação electrónicos é necessário compreender até que ponto eles de facto são úteis. 4) Efectividade Dos Sistemas Na Pesquisa

Caracterização da eficiência das pesquisas por métodos quantitativos e resposta a questões clínicas: Princípio de que se parte o número de artigos relevantes encontrados numa pesquisa, bem como o tempo gasto na mesma, estão relacionados com o sucesso na resposta a questões clínicas (14) recall e a precisão poderiam ser bons avaliadores da apetência destes sistemas. (relação de proporcionalidade inversa entre as duas medidas citadas) (9, 10) 4) Efectividade Dos Sistemas Na Pesquisa

Outras estratégias no uso da MEDLINE no sentido de refinar e adequar a pesquisa aos objectivos pretendidos (4) - termos MeSH; - busca por text words; - busca por text words; - função explode; - função truncation; - função truncation; - os operadores Booleanos; - os operadores Booleanos; - os limites; - os filtros metodológicos (função Clinical Queries) (rejeitam artigos que não usem um dado método de investigação aplicando uma combinação de termos MeSH e text words relacionados com o desenho de estudo e metodologia). 4) Efectividade Dos Sistemas Na Pesquisa

O recall obtido é baixo, considerando que praticamente todos os valores são inferiores a 50%, sistemas electrónicos não estarão ainda preparados para pôr ao dispor do utilizador a informação que têm disponível O recall aumenta quando mais que uma estratégia de pesquisa é utilizada (3) é desejável a combinação de mais que uma estratégia (9) 4) Efectividade Dos Sistemas Na Pesquisa

Importância dos sistemas de recolha de informação electrónicos na resposta a questões clínicas: (10, 30) - melhoram a taxa de respostas correctas - aumentam a capacidade do profissional de saúde de resposta a questões clínicas para além do seu conhecimento base 4) Efectividade Dos Sistemas Na Pesquisa

Nova abordagem para a qualificação da eficiência das pesquisas (22) relevância dos artigos + avaliação da qualidade dos resultados obtidos avaliação da qualidade dos resultados obtidos 4) Efectividade Dos Sistemas Na Pesquisa - prestígio da revista em que foi publicado - desenho de estudo - tipo de publicação)

Factores Inerentes ao utilizador (6 artigos) Treino e formação (+) Pesquisas em cooperação (+) Outros factores: Demográficos (ex. Tipo de estudante) (+) Factores cognitivos (-) Factores de personalidade (-) Experiência com computadores (-) Riqueza em vocabulário do utilizador (+) 4) Efectividade Dos Sistemas Na Pesquisa

Pesquisa Manual / Pesquisa Electrónica 3 artigos: 25, 8, 29 3 artigos: 25, 8, 29

Figura 2- Artigo de Hopewell et all (25) Figura 1- Artigo de Hopewell et all (25) 4) Efectividade Dos Sistemas Na Pesquisa

Figura 3- Artigo de Suarez-Almazor et al (8) 4) Efectividade Dos Sistemas Na Pesquisa

Diferenças entre o número de ensaios clínicos randomizados identificados através da pesquisa manual ou através da MEDLINE Diferenças entre a sensibilidade obtida por cada um dos métodos; Melhores resultados quando utilizada a pesquisa manual; A pesquisa manual não deve ser o único método de pesquisa; 4) Efectividade Dos Sistemas Na Pesquisa

Conjugação dos dois métodos para uma pesquisa mais completa e mais válida; Não deixar de parte a pesquisa manual, pois apesar de trabalhosa e dispendiosa existem ainda muitos artigos que não estão indexados na MEDLINE ou noutro tipo de bases de dados. 4) Efectividade Dos Sistemas Na Pesquisa

Comparação entre diferentes bases de dados 4) Efectividade Dos Sistemas Na Pesquisa Artigos citados: (26) (3) (19) (27) Diferenças entre as bases de dados: - número de revistas e referências citadas - sistema de indexação A utilidade da pesquisa depende da eficiência da base de dados escolhida A utilidade da pesquisa depende da eficiência da base de dados escolhida

Estudo (base(s) de dados) Resultados das pesquisas (recall) Tema(s) da pesquisa N.º total de documentos conhecidos Gehanno et al (10) Medline Niosh-tic Embase e Medline ou Toxline Medline e Niosh-tic Medline, Embase e Biosis Medline, Toxline e Nioshtic Medline, Embase, Toxline e Biosis Medline, Toxline, Biosis e Nioshtic 63% (A) 11% (B) 86% (A) 42% (B) 96% (A) 72% (B) 99% (B) 83% (A) Mesotelioma e abestos (A) Alergia ao látex (B) N = 315 N = 462 Derry et al (19) Medline Embase Medline e Embase Em nenhuma delas 49% 40% 52% 48% Efeitos adversos de medicamentos N = 107 Suarez-Almazor et al (26) Medline Embase Medline e Embase 77% 90% 99% Dores lombares, osteoporose e artrite reumatóide N = 243 4) Efectividade Dos Sistemas Na Pesquisa Tabela 6 - comparação entre bases de dados

Strain et al (27) compara sistemas on-line e em CD-rom: Sistemas on-line: Sistemas on-line: - MEDLINE pesquisas são morosas; 1/3 dos artigos publicados não têm registo - MEDLINE pesquisas são morosas; 1/3 dos artigos publicados não têm registo - Micromedex mais fácil de usar e com mais informação do que a MEDLINE; informação delineada, sumariada e referenciada; baixa precisão Sistemas em CD-rom: - Reactions regista 7500 revistas, mas é lento - AHFs - não apresenta referências - PDR pesquisa incompleta 4) Efectividade Dos Sistemas Na Pesquisa

Resultados da pesquisa na mesma base de dados discrepantes Eficiência da base de dados relacionada com o tema da pesquisa Devem escolher-se bases de dados adaptadas ao assunto em estudo 4) Efectividade Dos Sistemas Na Pesquisa

5) Razões Do Insucesso Na Pesquisa Tabela 7 - Causas do insucesso na pesquisa Artigos Causas Má elaboração da questão clínica Ausência de abstracts/ abstracts estruturados Base de dados inapropriada Problemas de indexação/ Mesh Falta de treino do utilizador Desequilíbrio entre recall e precisão Inadequação de limites Allison et al (9) XXXX Hersh et al (12) XXX Shen et al (17) XX Derry et al (19) X Shaw et al (20) XXXX Strain et al (27) X Robinson et al (28) XX Murphy et al (29) XX

5) Razões Do Insucesso Na Pesquisa Problemas na construção de uma questão clínica bem elaborada; Treino inadequado do utilizador; Base de dados inapropriada Informação limitada nas bases de dados (ex.: 1/3 dos artigos não está disponível na Medline); Problemas nas práticas de indexação (não indexação de alguns artigos com termos adequados) Problemas no uso dos termos MeSH;

Problema na capacidade de equilibrar recall e precisão; Problemas na adequação dos limites à pesquisa; Ausência de abstract/abstracts estruturados. 5) Razões Do Insucesso Na Pesquisa

6) Aplicação/Impacto Da Evidência Na Prática Clínica

LIMITAÇÕES

a) Inerentes aos resultados b) Inerentes à pesquisa Ilustração provável da qualidade de utilização de sistemas electrónicos de recolha de informação.

CONCLUSÕES

Baixa frequência de uso É preferida a pesquisa na Web, em detrimento de bases de dados, como a MEDLINE, ou pesquisa manual Principal objectivo das pesquisas electrónicas – procura de respostas a questões clínicas Satisfação do utilizador elevada Estratégias para a optimização das pesquisas: - escolha de base de dados adaptada ao tema - combinação de mais de uma base de dados - combinação de estratégias de pesquisa (termos MeSH, lógica Booleana…) - apoio de pesquisa manual - cooperação com bibliotecários

Treino e formação de profissionais melhoria do desempenho na utilização dos sistemas de informação maior capacidade de resposta a questões clínicas Causas do insucesso das pesquisas: - Falta de MeSH específicos - Estrutura de indexação incoerente - Desequilíbrios entre recall e precisão - Falta de informação no abstract

ELABORAÇÃO DA PÁGINA NA INTERNET