1 Regente: Orientadora: Autores: TURMA 7/ 1ºANO Regente: Professor Doutor Altamiro Pereira Orientadora: Dr.ª Filipa Almeida Autores: TURMA 7/ 1ºANO Fátima.

Apresentação em tema: "1 Regente: Orientadora: Autores: TURMA 7/ 1ºANO Regente: Professor Doutor Altamiro Pereira Orientadora: Dr.ª Filipa Almeida Autores: TURMA 7/ 1ºANO Fátima."— Transcrição da apresentação:

1 1 Regente: Orientadora: Autores: TURMA 7/ 1ºANO Regente: Professor Doutor Altamiro Pereira Orientadora: Dr.ª Filipa Almeida Autores: TURMA 7/ 1ºANO Fátima Seabra; Fernando Leite; Filipa Godinho; Filipa Fernandes; Filipa Moreira; Filipa Bianchi de Aguiar; Filipe Pacheco; Filipe Santos; Filipe Martins; Filipe Soares; Francisca Santos; Carlos Aguiar Faculdade de Medicina da Universidade do Porto Faculdade de Medicina da Universidade do Porto Serviço de Bioestatística e Informática Médica Introdução à Medicina 2004/2005 Qualidade dos dados nos Registos Clínicos Electrónicos (RCE) 3ª apresentação

2 2 Abstract Introdução: A crescente utilização dos Registos Clínicos Electrónicos (RCE) no quotidiano médico torna importante o estudo da qualidade dos dados nos RCE actuais. Objectivos: Analisar os resultados de publicações sobre a qualidade dos dados nos RCE; avaliar a qualidade metodológica das publicações. Métodos: Foi realizada uma Revisão Sistemática de estudos publicados sobre o tema entre 1997 e 2005 indexados na MEDLINE. Cada artigo foi revisto por três autores, de acordo com critérios de inclusão e exclusão predefinidos. Efectuou-se a avaliação da qualidade metodológica de cada estudo de acordo com uma classificação de 0 a 18, e a posterior recolha de informação relativa aos RCE e aos métodos seguidos. Resultados: Classificação média dos 7 artigos finais: 11,9 pontos. Média da Correctness: 90,9% e Completeness: 87,8%. A classificação final da qualidade metodológica foi homogénea, apresentando contudo parâmetros metodológicos relevantes díspares. Os RCE diferiam igualmente em factores cruciais. Discussão: A metanálise não foi executada pelas razões apontadas. Duvidou-se da sobrevalorização das medições de Correctness e Completeness. Passou-se à análise individual dos artigos. Conclusão: Sugeriu-se a consideração de um bom gold standard, ocultamento e oficialização do registo, a optimização do método de introdução de dados e outros, para a credibilidade de estudos futuros.

3 3  Definição RCE  Evolução e importância dos RCE  Objectivos Introdução

4 4 Definição de RCE   Base de dados institucional de ficheiros criados por profissionais de saúde, contendo dados pertinentes de carácter clínico e administrativo; 1   Dados informatizados, permitindo acesso instantâneo e constante através de um terminal; 1   Permite o armazenamento, consulta e partilha de informação clínica; 2 _____________________________________________________________________________________ 1 http://im.med.up.pt_RCEhttp://im.med.up.pt_RCE 2 The computer-based patient record. (1997)

5 5  De 1991/1997 houve um boom tecnológico 2 ;  Suporte na prestação de cuidados de saúde e na decisão clínica;  Avaliação da qualidade dos cuidados prestados;  Gestão e planeamento dos recursos de saúde;  Auxílio na investigação e apoio na educação médica. 1,2 Evolução e importância _____________________________________________________________________________________ 2 The computer-based patient record. (1997) 6 Hogan, WR, Wagner, MM. (1997) 7 Brennan, Stead. (2000)

6 6 é essencial a observação periódica da qualidade dos dados: correctness e completeness 6,7  Correctness: proporção de observações contidas nos RCEs que traduzem o verdadeiro estado do paciente, é portanto uma avaliação da veracidade dos dados – valor preditivo positivo;  Completeness: proporção de observações acerca do paciente que estão realmente registadas no RCE – sensibilidade;

7 7 Objectivo primário Objectivo primário - Analisar os resultados encontrados em publicações sobre a qualidade dos dados nos RCE; Objectivo secundário - Objectivo secundário - Avaliar a qualidade metodológica das publicações seleccionadas. Objectivos

8 8 Métodos 1.Identificação dos estudos 2.Selecção dos estudos 3.Avaliação dos estudos 4.Recolha de dados 5.Análise

9 9 Identificação dos estudos 1. Identificação dos estudos Publicações entre 1997 e 2005, indexadas na MEDLINE, de artigos que relacionem a qualidade dos dados com sistemas electrónicos de informação clínica.Publicações entre 1997 e 2005, indexadas na MEDLINE, de artigos que relacionem a qualidade dos dados com sistemas electrónicos de informação clínica. Limites: Limites: entre 1997 e 2005 "Medical Records Systems, Computerized“ [MeSH] AND (accuracy OR reliability OR completeness OR error OR quality) NOT ("Internet"[MeSH] OR "Letter"[Publication Type] OR "Meta- Analysis"[Publication Type] OR "Editorial"[Publication Type] OR "Review"[Publication Type])

10 10 2. Selecção dos Estudos 1ª selecção: aplicação dos critérios de exclusão  Leitura de cada abstract por três revisores;  Exclusão dos artigos que cumpriam pelo menos um dos critérios de exclusão: 6 A: O Objecto de estudo não é um RCE 2 ; B: Não está bem determinado o gold standard; C: Não é abordada a Qualidade dos Dados; 8  Para a exclusão foi exigida a concordância de dois revisores;  Em caso de dúvida o artigo não é excluído; _____________________________________________________________________________________ 2. The Computer-based Patient Record. (1997) 6. Hogan, WR, Wagner, MM. (1997) 8. Thiru K, Hassey A, Sullivan F (2003)

11 11 2. Selecção dos Estudos 2ª selecção: aplicação dos critérios de inclusão  Leitura de cada artigo por três revisores;  Inclusão dos artigos que obedecem integralmente aos seguintes critérios de inclusão 8,9 : 1) O tipo de dados em estudo é alfanumérico; 2) O RCE em estudo deve tratar mais do que uma variável; 3) A qualidade dos dados é definida pelos conceitos de correctness e completeness, ou sinónimos; 4) O gold standard utilizado não pode ser questionários nem estatísticas; _____________________________________________________________________________________ 8 Thiru K, Hassey A, Sullivan F (2003) 9 Stauberg et al. (2003)

12 12 3. Avaliação dos Estudos  Uma vez seleccionados os artigos, é necessário avaliá-los quanto à sua qualidade metodológica;  Dois avaliadores classificam cada artigo segundo uma escala de 0 a 18 6 considerando vários parâmetros: Descrição do RCE: métodos de recolha de dados (1); abrangência (1); conteúdo geral dos dados (1); acessibilidade (1); registo oficial (1); Metodologia; técnicas de amostragem não enviesadas (2); ocultamento (4); gold standard próximo do verdadeiro estado do paciente (4); gold standards eram outros registos (2); ambos os conceitos de qualidade eram medidos claramente (2); Objectivos do estudo; (1) Protocolo 1 _________________________________ 6 Hogan, WR, Wagner, MM. (1997)

13 13  É recolhida a informação de cada artigo, com o preenchimento de um protocolo de estudo, no que respeita ao: Artigo (objectivo de estudo, tipo de estudo, gold standard utilizado, tempo de duração do estudo, alcance, amostra, etc.) Artigo (objectivo de estudo, tipo de estudo, gold standard utilizado, tempo de duração do estudo, alcance, amostra, etc.) RCE em estudo (nome, programação, registo oficial, forma de introdução de dados e seu conteúdo, acessibilidade, completeness, correctness, etc.) RCE em estudo (nome, programação, registo oficial, forma de introdução de dados e seu conteúdo, acessibilidade, completeness, correctness, etc.)  Os dados foram armazenados numa base de dados SPSS 12.0 4. Recolha de dados Protocolo 2

14 14 5. Análise  Avaliados os artigos e recolhidos os seus dados mais relevantes, têm-se em conta as divergências metodológicas e passa-se ao tratamento de dados: Análise Análise da reprodutibilidade da primeira fase da selecção;da reprodutibilidade da primeira fase da selecção; da qualidade dos artigos (avaliação):da qualidade dos artigos (avaliação): é introduzida e analisada na base de dados SPSS é introduzida e analisada na base de dados SPSS da recolha de informação:da recolha de informação: sobre os artigos sobre os artigos sobre os RCE sobre os RCE NOTA: A análise estatística (metanálise) da qualidade metodológica dos artigos e dos dados nos RCE: Só pode ser executada se o método utilizado, a qualidade metodológica e as conclusões (correctness e completeness) forem homogéneas.

15 15 Dos 108 artigos resultantes da 1ª fase de selecção: aplicação de critérios de exclusão, apenas foram recolhidos 42 e como tal, só estes foram submetidos à 2ª fase de selecção. 108  Progressão do trabalho Resultados Gráfico 1 – progressão do trabalho

16 16 Resultados  Reprodutibilidade inter-revisor: 1ª selecção de exclusão % de artigos incluídos Incluídos com unanimidade Incluídos com 2 revisores favoráveis Incluídos com dúvida 0,00 20,00 40,00 60,00 80,00 100,00 34,25 50,93 14,82 825 108 Gráfico 2 –reprodutibilidade inter-revisor

17 17 Resultados  Avaliação da qualidade metodológica dos artigos voltar Gráfico 3 – avaliação [0,4] – Medíocre [5, 8] – Não Satisfaz [9, 12] – Satisfaz [13, 15] - Bom [16, 17] – Muito Bom [18] - Excelente

18 18 Resultados  Avaliação da qualidade metodológica dos artigos Estatística Classificação FinalMédia 11,86 Desvio Padrão2,12 Mínimo9 Máximo14 Tabela 1 – avaliação voltar

19 19 Resultados  Tabela da recolha de informação relativa aos artigos. Autores do estudo Data de publicação do artigo Objectivo primário do estudo Ano do início do estudo Tempo de estudo a nbnb Desenho de estudo Tipo de amostragem Gold-Standard Paul C. Tang et al. 10 1999 199611  Transversal AleatóriaRegisto clínico em papel Charles R. Woods 11 2001  199430317AleatóriaRegisto clínico em papel Alan Hassey et al. 12 2001 199472  Registo clínico em papel Dominik Aronsky et al. 13 2000 199517241Não aleatória Examinação/ observação directa do paciente Entrevista Jürgen Stausberg et al. 9 2003  20014254AleatóriaRegisto clínico em papel David B. Preen et al. 14 2004  413AleatóriaRegisto clínico em papel Charlton Wilson et al. 15 2001  465AleatóriaRegisto clínico em papel A Número de registos que foram revistos b Duração do estudo efectuado acerca dos RCE  Objectivo primário do estudo não é o RCE Objectivo primário do estudo é o RCE Tabela 2 – Artigos voltar

20 20 Resultados Paul C. Tang et al. 10 Charles R. Woods 11 Alan Hassey et al. 12 Dominik Aronsky et al. 13 Jürgen Stausberg et al. 14 David B. Preen et al. 15 Charlton Wilson et al. 16 Nome RCE   Help (Health Evaluation through Logical Processing) system  Hospital Morbidity Data System Record RPMS (Resource and Patient Management System) Registo Oficial - - - -- Alcance do RCE  Departamento de Pediatria do Reywol Health Center of Forsyth Country, North Caroline North Caroline. Fisher Medical Center Departamento de Emergência do Hospital de Salt Lake City Departamento Geral de Trauma e Cirurgia Vascular Hospitais ligados à Western Australian Data Linkage System Phoenix Indian Medical Center Programa de Base de dados SPSS versão 7.0 Microssoft Access  PAL (PTXT application) e TAL (Tanden Application Language) Microssoft Acess 2000 Hospital Morbidity Data System/Western Australian Data linkage system  Forma de introdução de dados Int.D  DitadoInt.D RCP/RCRCP/RCE Acessibilidade   24 terminais de emergência, a maioria presente nos quartos dos pacientes Registo no próprio departamento   Tabela da recolha de informação relativa aos RCE Int.D.- Introdução directa pelo profissional de saúdeRCP/RCE- Introdução em RCP e transferência para RCE Ditado- O profissional de saúde ditava a quem introduzia

21 21 Paul C. Tang et al. Charles R. Woods 11 Alan Hassey et al. 12 Dominik Aronsky et al. 13 Jürgen Stausberg et al. 14 David B. Preen et al. 15 Charlton Wilson et al. 16 Correctness/ completeness do RCE 72,6/91,8% 89,5/ 72,6%96,0 / 87,0%88,9/87,3 %Elevada completeness Baixa completeness e correctness 92,0 / 60,3 % Conteúdo de dados Medicação História clínica Diagnóstico História clínica [factores de risco], exames complementares de diagnóstico, diagnóstico, medicação. Diagnósticos História clínica Demográficos [Idade,sexo] ; Medicação; História clínica; Exames físicos : [heart rate, respiratory rate, pressão sanguínea sistólica; Temperatura], Exames complementares diagnóstico: [ saturação sanguínea, estado mental, concentração de ureia no sangue,sódio, glicose, hemato crit, pH arterial] Diagnóstico : [derrame pleural] Demográficos, análises clínicas exames complementares de diagnóstico, diagnósticos, relatórios médicos. Administrativos [Registo de nascimento,Óbitos, eleitorais] História clínica [comorbilidade] História clínica [relatórios médicos, resultados laboratoriais, relatóriosradiológic os, exames físicos] Medicação Dados avaliados Medicação(a) História clínica(b) Diagnóstico(c ) Só avaliam completeness Diagnóstico Medicação(e); História clínica(f); Exames físicos : [heart rate (g), respiratory rate (g), pressão sanguínea sistólica (i), Temperatura (j)], Exames complementares diagnóstico : [ saturação sanguínea (k), estado mental (l), concentração de ureia no sangue (m),sódio (n),glicose (o), hemato crit (p),pH arterial (q)] Diagnóstico : [derrame pleural (r)] DiagnósticoHistória ClínicaMedicação(s) Diagnóstico (hiperglicemia)(t) Correctness/com pleteness de cada categoria de dados (a)87.5% (b) 98.5% (c ) 72.6/ 89.5% 89.5% / 72.6 %96,0 / 87 %(e) (97.3%), (f) (99.8%),(g) (98.7%), (h) (99.6%),(i) (98.2.%), (j)(98.7%),(k) (89.8%), (l) (83.6%),(m) (93.8%), (n) (96.5%)(o) (93.8%), (p) (96.0%)(q) (62.8%), (r ) (13.7%) Elevado completeness Baixa completeness e correctness. (s) 95%/59% (t) 89%/26% Tabela 3- RCE

22 22 Ignorando os dois artigos que classificavam qualitativamente Ignorando os dois artigos que classificavam qualitativamente Correctness: 90, 9%; Completeness: 87,8 % Resultados Tabela 4: Categorias de dados avaliadas e respectivas classificações de qualidade Categoria de Dados artigos que avaliaram qualitativa ou quantitativamente a categoria n(%) avaliação quantitativa da qualidade dos dados correctnesscompleteness nmédian História clínica3 (42,9%) 0-299,2% Exames físicos (heart rate 13, respiratory rate 13, pressão sanguínea sistólica 13, temperatura 13 ) 1 (14,3%) 0-198,8% Diagnóstico (hiperglicemia 16, derrame pleura 13, etc) 6 (85,7%) 486,8%563,0% Exames complementares (saturação sanguínea 13 ; estado mental 13, concentração de ureia no sangue 13, sódio 13, glicose 13, hemato crit 13, pH arterial 13 ) 1 (14,3%) 0-188,0% Medicação /Tratamento3 (42,9%) 195,0%384,4%

23 23 Discussão Artigos (Objectivo Secundário) Avaliação da qualidade metodológica: homogénea? homogeneidade na classificação homogeneidade na classificação classificação final com um desvio padrão reduzido (2,1 p.);classificação final com um desvio padrão reduzido (2,1 p.); valor médio positivo - classificação qualitativa global de Satisfaz (11,86 p.)valor médio positivo - classificação qualitativa global de Satisfaz (11,86 p.) apenas dois parâmetros estão em todos os artigos apenas dois parâmetros estão em todos os artigos método de recolha de dados,método de recolha de dados, descrição do conteúdo dos dados do RCE,descrição do conteúdo dos dados do RCE, parâmetros falham com muita insistência parâmetros falham com muita insistência gold standard que mais se aproxime do verdadeiro estado do paciente (n=1);gold standard que mais se aproxime do verdadeiro estado do paciente (n=1); ocultamento (n=4);ocultamento (n=4); acessibilidade (n=2);acessibilidade (n=2); registo oficial (n=2).registo oficial (n=2). ver

24 24 Discussão Artigos (Objectivo Secundário) Recolha de informação: heterogeneidade de métodos  características metodológicas semelhantes: desenho de estudo – transversal; desenho de estudo – transversal; tipo de amostragem – aleatória (excepto num); tipo de amostragem – aleatória (excepto num); tamanho da amostra – entre 241 e 465 registos clínicos individuais tamanho da amostra – entre 241 e 465 registos clínicos individuais  características díspares: tempo de estudo – entre 4 a 72 meses; tempo de estudo – entre 4 a 72 meses; gold standard gold standard mais próximo do verdadeiro estado do paciente (n=1);mais próximo do verdadeiro estado do paciente (n=1); RCP na maioria dos casos (n=6)RCP na maioria dos casos (n=6) objectivo primário nem sempre era a avaliação da qualidade (n=5) objectivo primário nem sempre era a avaliação da qualidade (n=5) A metanálise não foi realizada ver.

25 25 Discussão Qualidade dos dados nos RCE (Objectivo Primário) Recolha de informação: heterogeneidade de RCEs  2 artigos tinham RCE oficiais  forma de introdução dos dados era diversa: introdução directa (n=3), introdução directa (n=3), registo primeiramente em papel e posteriormente transferidos (n=2) registo primeiramente em papel e posteriormente transferidos (n=2) ditados a outro profissional de saúde que os introduzia (n=1) ditados a outro profissional de saúde que os introduzia (n=1)  Categorias dos dados avaliados: exames físicos, exames complementares de diagnóstico, medicação, história clínica e diagnóstico 1 estudo abordou todas as categorias, 1 estudo abordou todas as categorias, 4 artigos avaliam apenas uma categoria. 4 artigos avaliam apenas uma categoria. diagnóstico não constava num artigo diagnóstico não constava num artigo  Os valores de Correctness e Completeness nem sempre eram ambos calculados para as categorias em análise ver

26 26 Análise individual dos artigos  gold standard todos RCP 9, 10,11,12,15,16 diferem substancialmente na estrutura da informação contida; diferem substancialmente na estrutura da informação contida; nos estudos não foi dada importância à sua descrição e avaliação; nos estudos não foi dada importância à sua descrição e avaliação;  grande dependência do RCE relativamente ao RCP transferência de dados a partir do RCP; 11,12,15 transferência de dados a partir do RCP; 11,12,15 eram construídos com vista à substituição dos RCP ; eram construídos com vista à substituição dos RCP ;  objectividade na avaliação existência de parâmetros de comparação mesmo no texto livre; 9,10 existência de parâmetros de comparação mesmo no texto livre; 9,10 codificação dos dados. 9,11,12,15 codificação dos dados. 9,11,12,15 Discussão

27 27  A metodologia dos estudos é satisfatória embora exista alguma divergência: tempo de estudo, gold standard adoptado, objectivo de estudo, quantidade de dados avaliada. Este facto impossibilitou a realização de uma metanálise.  Nos RCE há heterogeneidade: métodos de introdução dos dados, acessibilidade ao sistema, conteúdo dos dados e ao facto do registo ser ou não oficial.  Assim, pela disparidade de métodos constatada pode duvidar-se da sobrevalorização da qualidade dos dados (Correctness: 90,9%; Completeness: 87,8%).  Sugestões – em estudos futuros, para assegurar a validade dos resultados é aconselhável: atribuir maior importância ao gold standard, para que o mesmo se aproxime cada vez mais do verdadeiro estado do paciente; atribuir maior importância ao gold standard, para que o mesmo se aproxime cada vez mais do verdadeiro estado do paciente; que o registo seja oficial; que o registo seja oficial; que exista ocultamento; que exista ocultamento; ter em consideração a acessibilidade, o método de introdução de dados e o conteúdo destes ter em consideração a acessibilidade, o método de introdução de dados e o conteúdo destes Conclusões

28 28 Distribuição de tarefas PARTE DO TRABALHO RESPONSÁVEIS Introdução Francisca Santos, Filipa Godinho, Filipe Martins Métodos/representante Filipa Aguiar Pesquisa na Internet; Filipa Moreira, Filipa Fernandes, Filipa Aguiar Procura dos artigos integrais Filipa Moreira, Filipa Fernandes 1ª selecção / 2ª selecção Grupo 1: Filipa Moreira, Filipa Fernandes, Filipa Aguiar Grupo2: Fernando Leite, Filipe Santos, Filipe Soares Grupo 3: Carlos Aguiar, Fátima Seabra, Filipe Pacheco Grupo 4: Filipe Martins, Francisca Santos, Filipa Godinho Avaliação dos estudos /Recolha de dados Carlos Aguiar/Filipe Soares, Francisca Santos/Filipa Godinho, Filipa Aguiar/Filipe Martins, Filipe Santos/Fernando, Filipe Pacheco/Fátima Seabra, Filipa Fernandes/ Filipa Moreira reprodutibilidade da 1ªselecção Filipe Pacheco SPSS Fátima Seabra, Filipa Fernandes, Filipe Soares Discussão/Conclusões Filipa Godinho, Filipe Martins, Francisca Santos, Filipa Moreira Primeira apresentação Filipe Santos, Filipa Aguiar Segunda apresentação Fátima Seabra, Filipa Aguiar Terceira apresentação Fátima Seabra, Filipa Aguiar Tabelas e Questionários para preenchimento em cada fase Filipe Santos, Filipa Aguiar, Fátima Seabra, Filipa Godinho Página Web Filipe Pacheco, Carlos Aguiar

29 29 Bibliografia  (1) Curso de Informática Médica: Registos Clínicos Electrónicos. [página na Internet] SBIM (2002). Acesso em http://im.med.up.pt_RCE http://im.med.up.pt_RCE  (2) The computer-based patient record: An essencial technology for health care. Committee on improving the patient record, Institute of Medicine. National Academic Press. Washington; 1997.  (3) Leape LL, Bates DW, Cullen DJ, et al. Systems analysis of adverse drug events. ADE Prevention Study Group. JAMIA 1995; 274:35-43.  (4) Johnson N, Mant D, Jones L, Randall T. Use of computerised general practice data for population surveillance: comparative study of influenza data. BMJ. 1991: 302:763-5.  (5) Hogan WR, Wagner, MM. Using belief networks to enhance sharing of medical knowledge between sites with variations in data accuracy. Proc. of AMIA Annu Fall Symp. Philadelphia: Hanley & Belfus, 1995, 218-22.  (6) Hogan WR, Wagner, MM. Accuracy of data in computer-based patient records. JAMIA. 1997; 5:342- 355.  (7) Brennan, Stead. Assessing data quality: from concordance, through correctness and completeness, to valid manipulatable representations. JAMIA Editorial Comments. 2000 Jan / Feb. 7(1).  (8) Thiru, K, Hassey A, Sullivan F. Systematic review of scope and quality of electronic patient record data in primary care. BMJ 2003; 326: 1070-1075.

30 30  (9) Stauberg et al. Comparing paper-based with electronic patient records: lessons learned during a study on diagnosis and procedure codes. JAMIA. 2003; 10: 470-477.  (10) Paul C. Tang et al., Use of computer-based records, completeness of documentation, and appropriateness of documented clinical decisions; JAMIA; 1999; 6:245-251  (11) Charles R. Woods ; Impact of different definitions on estimates accuracy of the diagnosis data in a clinical database; Journal of Clinical Epidemiology 54(2001); 782-785  (12) Alan Hassey et al.; A survey of validity and utility of electronic patient records in a general practice; BJM, 2001  (13) Dominik Aronsky et al.; Assessing the Quality of Clinical Data in a Computer-based Record for Calculating the Pneumonia Severity Index; Journal of the American Informatics Association;2000  (14) Jürgen Stausberg et al.; Comparing Paper - Based with electronic patient records: lessons learned during a study on diagnosis and procedure codes, J Am Med Inform Assoc, 2003; 10:470- 477  (15) David B. Preen et al.; Hospital chart review provided more accurate comorbidity informatics than data from a general practitioner survey or an administrative database ; Journal of Clinical Epidemiology 57(2004); 1295-1304  (16) Charlton Wilson et al.; Patients with Diagnosed Diabetes Mellitus Can Be Accurately Identified in an Indian Health Service Patient Registration Database; Public Helth Reports; 2001

31 31 Fátima Leal Seabra Fernando Leite Filipa Godinho Filipa Fernandes Filipa Moreira Filipa Aguiar Filipe André Pacheco Filipe Lima Santos Filipe Martins Filipe Soares Francisca Santos Carlos Aguiar FIM