1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos.

Apresentação em tema: "1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos."— Transcrição da apresentação:

1 1 Verificação de previsões probabilísticas com o Brier Score e diagrama de confiabilidae Caio A. S. Coelho Centro de Previsão de Tempo e Estudos Climáticos (CPTEC) Instituto Nacional de Pesquisas Espaciais (INPE) caio@cptec.inpe.br INMET-IRI Climate information course, Brasília, 19 – 23 Novembro 2007 Estrutura da apresentação 1. Introdução 2. Propriedades e atributos 3. Brier score e sua decomposição 4. Diagrama de confiabilidade 5. Exemplos 6. Resumo

2 2 Introdução O futuro é incerto Previsões podem ajudar a reduzir possíveis incertezas sobre o futuro Verificação de previsões: avaliação da qualidade das previsões produzidas por um sistema de previsões, inferida por pares de amostras de previsões e observações passadas. –Essencial para o julgamento da qualidade das previsões produzidas por sistemas de previsão de tempo e clima –Área de pesquisa ativa desde ~1884 –Assunto inter-disciplinar

3 3 O que é uma boa previsão? Boa previsão tem: QUALIDADE VALOR/UTILIDAE CONSISTÊNCIA A. H. Murphy 1993 What is a good forecast ? An essay on the nature of goodness in weather forecasting Weather and Forecasting, 8, 281-293. Atributos de Qualidade: Confiabilidade Resolução Acurácia … Necessidade de várias métricas para resumir o desempenho de um conjunto de previsões

4 4 1. Introduction (I Jolliffe and D Stephenson). 2. Basic Concepts (J Potts). 3. Binary Events (I Mason). 4. Categorical Events (R. Livezey). 5. Continuous Variables (M. Déqué). 6. Verification of Spatial Fields (W. Drosdowsky and H. Zhang). 7. Probability and Ensemble Forecasts (Z. Toth, O. Talagrand, G. Candille, Y. Zhu). 8. Economic Value and Skill (D. Richardson). 9. Forecast Verification: Past, Present and Future (D. Stephenson and I. Jolliffe). Glossary (D. Stephenson) References. Author Index. Subject Index. Ian Jolliffe and David Stephenson (Editors) Wiley. ISBN: 0-471-49759-2 254 Pages April 2003 http://www.secam.ex.ac.uk/index.php?nav=693

5 5 Tipos de previsão Pares de dados: (F=valor previsto, O=valor observado) Tipos de valor observado O: Discreto (ex. binário úmido/seco, > 2 categorias) 0/1, 0/0/1,0/1/0, 1/0/0 Contínuo (ex. temperatura) 25 o C Complexo (ex. campo espacial) Tipos de valor previsto F: Previsão determinística (ponto): F é um único valor de O Previsão probabilística: –F é um conj. de probabilidades para os valores discretos de O –F é um intervalo probabilístico para os valores de O (previsão por intervalo) –F é a de distribuição de probabilidade de O

6 6 Exemplos de previsões probabilísticas T=25 o C F é um conj. de probabilidades para os valores discretos de O F: 0.4, 0.3, 0.5, 0.1, 0.6, 0.2 O: 1, 1, 0, 1, 0, 0 T=15 o CT=30 o C F é um intervalo probabilístico para os valores de O (previsão por intervalo) F: 0.7, 0.6, 0.5, 0.8, 0.7, 0.5 O: 0, 1, 0, 1, 1, 0 F é a de distribuição de prob. de O

7 7 Índices probabilísticos Imaginem os seguinte conjuntos de observações e previsões probabilísticas para a série k=1,2,…,n=6 de eventos binários: k 1 2 3 4 5 6 o 0 1 1 0 0 0 p0.7 0.6 0.2 0.8 0.9 0.3 O desempenho da previsão pode ser medido usando índices de destreza (scores) tais como: Nota: valores pequenos indicam previsões de boa qualidade! Para a previsão perfeita p=o e o índice tem valor zero.

8 8 Previsões de tornado: John Finley (1884) Fotografia mais antiga de um tornado 28 Agosto 1884 sudoeste de Howard (22 milhas), S. Dakota 2803275251 2703268023F=N 1007228F=S O=N O=S Porcentagem de acerto=96.6%!! Gilbert (1884) F=0 98.2%!! História da NOAA: Coleção do NWS http://www.photolib.noaa.gov/htmls/wea00206.htm

9 9 Skill Scores Os índices de destreza (scores) são geralmente apresentados na forma de skill scores aplicando-se a transformação linear: onde S ref é o valor do índice de uma previsão de referência tal como: Previsão de probabilidade constante (ex. usar sempre a frequência climatológica) Previsão de probabilidade aleatória Nota: as previsões de referência acima podem ser entendidas como amostras de uma distribuição de probabilidade (probabilidade constante é um caso especial de distribuição com espessura (dispersão) tendendo a zero) Skill scores tem fácil interpretação: 0 baixo desempenho (no skill) 1 previsão perfeita

10 10 Decomposição do Brier Score incerteza confiabilidade resolução O Brier score pode ser melhorado (reduzido): prevendo evento com pequena var(o)=o(1-o) (menor incerteza) aumentando a resolução (ex. combinando previsões) melhorando a confiabilidade (ex. calibrando previsões) Nota: Costuma-se decompor o Brier score em confiabilidade e resolução para examinar qual componente pode ser melhorada

11 11 Diagrama de confiabilidade (p i ) (o i ) o

12 12 Exemplo de construção: diagrama de confiabilidade 700 (10%) 0 ( 0%) 7000 0% 800 (15%) 550 ( 10%) 5500 10% …. 3000 (66%) 3600 ( 80%) 4500 80% 4000 (80%) 4500 ( 90%) 5000 90% 7200 (90%) 8000 (100%) 8000100% prev. real OBS-Freq( o i ) prev. perfeita OBS-Freq.( o i ) # Prev. N i Prev. Prob.(p i ) 0 0 0 Amostra de previsões probabilísticas: 22 anos x 3000 pontos de grade = 66000 previsões Quantas vezes o evento (T ano >0) foi previsto com probabilidade p i ?

13 13 700 (10%) 0 ( 0%) 7000 0% 800 (15%) 550 ( 10%) 5500 10% …. 3000 (66%) 3600 ( 80%) 4500 80% 4000 (80%) 4500 ( 90%) 5000 90% 7200 (90%) 8000 (100%) 8000100% prev. real OBS-Freq( o i ) prev. perfeita OBS-Freq.( o i ) # Prev. N i Prev. Prob.(p i ) FC-Prob.(pi) OBS-Freq.(oi) 0 0 100 100 Exemplo de construção: diagrama de confiabilidade Amostra de previsões probabilísticas: 22 anos x 3000 pontos de grade = 66000 previsões Quantas vezes o evento (T ano >0) foi previsto com probabilidade p i ?

14 14 Diagrama de confiabilidade Previsões over-confidentPrevisões perfeitas

15 15 Previsões under-confident Diagrama de confiabilidade Previsões perfeitas

16 16 Exemplos Temperatura: região tropical TSM Pacífico equatorial Precipitação: América do Sul Conclusions

17 17 Exemplo 1: Diagr. de confiabilidade: T>0 DEMETER: 7 modelos acoplados Produzida Maio, Válida Junho (defasagem 1 mês), 1980 - 2001

18 18 Exemplo 2: TSM Pacífico Equatorial 310.17Integrada 240.19Conjunto 00.25Climatol p=0.5 BSS (%) Brier Score (BS) Previsão Anomalias TSM: Y (°C) Previsões de probabilidade: p DEMETER: 7 modelos acoplados; defasagem de 6 meses BSS = [1- BS/BS(clim.)]*100% ConjuntoIntegradaObs

19 19 Brier Score em função da longitude Assimilação de previsões reduziu (melhorou) o Brier score no Pacífico equatorial leste e oeste CON - - - INT

20 20 Assimilação de previsões melhorou confiabilidade no Pacífico oeste resolução no Pacífico leste Confiabilidade e resolução em função da long.

21 21 Diagrama de confiabilidade (conjunto) (p i ) (o i ) o

22 22 o (p i ) (o i ) Diagrama de confiabilidade (INT)

23 23 Exemplo 3: Brier Skill Score precipitação sobre América do Sul Assimilação de previsões melhorou o Brier Skill Score (BSS) nos trópicos CONINT DEMETER: 3 modelos acoplados CON (ECMWF, CNRM, UKMO) Defasagem (1 mês) Início: Nov DJF Previsões retrospectivas: 1959-2001

24 24

25 25 Componente de confiabilidade do BSS Assimilação de previsões melhorou a confiabilidade em várias regiões CON INT

26 26 Componente de resolução do BSS Assimilação de previsões melhorou a resolução nos trópicos CON INT

27 27 EMP CON INT Mapas de correlação de anomalias de precip. Comparável nível determinísticos de desempenho Melhor qualidade nos trópicos e sudeste da América do Sul

28 28 Brier Skill Score para precipitação EMP ENS INTCON Assimilação de previsões melhorou o Brier Skill Score (BSS) nos trópicos

29 29 Componente de confiabilidade do BSS Assimilação de previsões melhorou a confiabilidade em várias regiões EMPCONINT

30 30 Componente de resolução do BSS Assimilação de previsões melhorou a resolução nos trópicos EMPCONINT

31 31 Downscaling de anomalias de precip. Conjunto de modelos (CON) 3 modelos acoplados (DEMETER) ECMWF, CNRM, UKMO Defasagem (1 mês) Início: Nov DJF Previsões retrospectivas 1959-2001

32 32 0.170.74INT 0.220.57CON Brier ScoreCorrelaçãoPrevisão Caixa sul: anomalias de precipitação DJF CON INT Assimilação de previsões melhorou substancialmente o desempenho - - - Observação Previsão

33 33 Caixa norte: anomalias de precipitação DJF 0.180.63INT 0.210.62CON Brier ScoreCorrelaçãoPrevisão Assimilação de previsões melhorou marginalmente o desempenho CON INT - - - Observação Previsão

34 34 Resumo 1.Verificação da qualidade das previsões é uma componente básica do processo de previsão 1.Informações sobre a qualidade e incerteza nas previsões são tão importantes quanto as previsões 2.Brier score e sua decomposição permite avaliar diferentes atributos de previsões probabilísticas de eventos binários 1.Brier score pode ser interpretado graficamente com auxílio do diagrama de confiabilidade 1.Confiabilidade das previsões pode ser melhorada através de calibração 1.Resolução das previsões pode ser melhorada através de combinação