Formulação de Indicadores Novembro/2012

O desafio (dos objetivos aos indicadores)... Objetivo Em alguns casos, o enunciado dos objetivos permite a identificação direta dos respectivos indicadores Reduzir a mortalidade infantil Indicador taxa de mortalidade infantil

O desafio (dos objetivos aos indicadores)... Noutros casos, o enunciado dos objetivos não permite a identificação direta dos respectivos indicadores Objetivo Indicador Como fechar o GAP? Aprimorar o relacionamento com o Congresso Nacional...como se mede relacionamento?

Aspectos Objetivo Indicadores O início da solução: identificação de aspectos Quais aspectos? Quantos? Como identificá-los?

Aspecto n Aspecto 3. FORMULAÇÃO DE. INDICADORES. ESTRATÉGICOS. RELEVANTES Aspecto 1 Aspecto 2 Indicador 1 Indicador 2 Indicador 3 Indicador n Objetivo ÍNDICE MESTRE Peso 1 Peso 2 Peso 3 Peso n Visão global da solução: Método FINDER AHP

O passo a passo do Método Passo 1: Análise do objetivo a ser avaliado Passo 2: Identificação de aspectos Passo 3: Depuração dos aspectos identificados Passo 4: Ponderação de aspectos com a técnica AHP Passo 5: Formulação de indicadores Passo 6: Análise de viabilidade dos indicadores Passo 7: Consolidação e agregação de indicadores

Passo 1: Análise do objetivo a ser avaliado A discussão sobre indicadores deve ser realizada, sempre, à luz de cada objetivo aos quais se vinculam Objetivo Risco O indicador é ótimo, mas mede outra coisa

Passo 1: Análise do objetivo a ser avaliado Análise Gramatical: Interpretação ObjetivoAção (Verbo)Alvo (Objeto) Aprimorar o relacionamento com o Congresso Nacional Aprimorar o relacionamento com o Congresso Nacional Indicadores da Base O indicador está alinhado à interpretação do objetivo? O indicador é suficiente para avaliar o objetivo? Quantidade de reuniões formais com o Congresso Nacional Não Tempestividade no atendimento às solicitações do Congresso Nacional Sim, mas de forma parcialNão

Passo 2: Identificação de aspectos Aspecto: cada um dos diversos modos com que um fenômeno, uma coisa, um assunto, etc., pode ser visto, observado ou considerado; lado, face, ângulo (Novo Dicionário Eletrônico Aurélio versão 5.11ª) Objetivo Para indicadores de resultado:. aspecto = evidência de alcance do objetivo propriamente dito Para indicadores de tendência:. aspecto = fator chave de sucesso para o alcance do objetivo

Passo 2: Identificação de aspectos Item de AnáliseIndicadores de ResultadoIndicadores de Tendência Definição de “aspecto” Aspecto = evidência de alcance do objetivo propriamente dito Aspecto = fator chave de sucesso para o alcance do objetivo Palavra-chave associada a “aspecto” evidências (por observações diretas ou indiretas) condições (necessárias e suficientes) O que é investigado para a seleção dos Aspectos. O próprio objeto de mensuração (nas observações diretas) ou. Seus efeitos correlacionados (nas observações indiretas) Práticas ou atributos (nas dimensões interna e externa) - Na dimensão interna é avaliada a situação dos processos de trabalho endereçados ao alcance do objetivo - Na dimensão externa são investigadas as melhores práticas associadas ao alcance do objetivo, mediante benchmarking ou consulta à literatura especializada (referencial teórico)

Passo 2: Identificação de aspectos Item de AnáliseIndicadores de ResultadoIndicadores de Tendência Definição de “aspecto” Aspecto = evidência de alcance do objetivo propriamente dito Aspecto = fator chave de sucesso para o alcance do objetivo Palavra-chave associada a “aspecto” evidências (por observações diretas ou indiretas) condições (necessárias e suficientes) O que é investigado para a seleção dos Aspectos. O próprio objeto de mensuração (nas observações diretas) ou. Seus efeitos correlacionados (nas observações indiretas) Práticas ou atributos (nas dimensões interna e externa) - Na dimensão interna é avaliada a situação dos processos de trabalho endereçados ao alcance do objetivo - Na dimensão externa são investigadas as melhores práticas associadas ao alcance do objetivo, mediante benchmarking ou consulta à literatura especializada (referencial teórico)

Passo 2: Identificação de aspectos Item de AnáliseIndicadores de ResultadoIndicadores de Tendência Questões inspiradoras - Quais são as evidências diretas de que o objetivo foi ou será alcançado? - Quais evidências indiretas indicam que o objetivo foi ou será alcançado? ou - Quais são os efeitos correlacionados ao alcance do objetivo? ou - O que mais pode ser observado quando o objetivo é alcançado? - Quais são as condições (práticas ou atributos) necessárias para o alcance do objetivo? - As condições necessárias são também suficientes? Se não, quais outras condições devem ser satisfeitas? - Quais são as práticas ou os atributos já existentes na organização que concorrem para o alcance do objetivo? - Qual a situação dos processos de trabalho existentes? - O que poderia ser feito de diferente com base na observação do ambiente exterior?

Passo 2: Identificação de aspectos Item de AnáliseIndicadores de ResultadoIndicadores de Tendência Questões inspiradoras - Quais são as evidências diretas de que o objetivo foi ou será alcançado? - Quais evidências indiretas indicam que o objetivo foi ou será alcançado? ou - Quais são os efeitos correlacionados ao alcance do objetivo? ou - O que mais pode ser observado quando o objetivo é alcançado? - Quais são as condições (práticas ou atributos) necessárias para o alcance do objetivo? - As condições necessárias são também suficientes? Se não, quais outras condições devem ser satisfeitas? - Quais são as práticas ou os atributos já existentes na organização que concorrem para o alcance do objetivo? - Qual a situação dos processos de trabalho existentes? - O que poderia ser feito de diferente com base na observação do ambiente exterior?

1.IDENTIFICAÇÃO, ANÁLISE E AVALIAÇÃO de áreas de risco e relevância com base na avaliação sistêmica de programas de governo 2.SELEÇÃO e PLANEJAMENTO de ações de controle com base em critérios que considerem a relevância, os riscos, a materialidade, a oportunidade e a visão sistêmica 3.EXECUÇÃO de ações de controle planejadas com base em critérios que considerem a relevância, os riscos, a materialidade, a oportunidade e a visão sistêmica 4.AVALIAÇÃO DE BENEFÍCIOS ($ e não $) e de resultados de ações de controle executadas em decorrência da análise e avaliação sistêmica de áreas de risco e relevância EXEMPLO PARA O OBJETIVO: “ATUAR DE FORMA SELETIVA E SISTÊMICA EM ÁREAS DE RISCO E RELEVÂNCIA” Passo 2: Identificação de aspectos

Passo 3: Depuração dos aspectos identificados Questão: “os aspectos identificados representam desafios para a organização e por isso merecem ser controlados?” Não é necessário medir tudo, basta medir O QUE REALMENTE IMPORTA Aspecto nAspecto 1Aspecto 2

Passo 4: Ponderação de aspectos com a técnica AHP Para definir os pesos (%) dos aspectos que avaliarão determinado objetivo, o Método FINDER faz uso da técnica multicriterial denominada Analytic Hierarchy Process – AHP, que pode ser traduzida como “Processo Hierárquico de Análise”.

EXEMPLO PARA O OBJETIVO: “ATUAR DE FORMA SELETIVA E SISTÊMICA EM ÁREAS DE RISCO E RELEVÂNCIA”

Passo 5: Formulação de indicadores Questão: “Qual o principal desafio, relacionado ao aspecto em análise, que merece ser controlado e avaliado?” Exemplo: ASPECTOINDICADOR Não é necessário medir tudo, basta medir O QUE REALMENTE IMPORTA Fortalecer cultura orientada a resultados Coeficiente de indicadores estratégicos com metas definidas

Passo 6: Análise de Viabilidade dos Indicadores Critérios Essenciais Representatividade Confiabilidade metodológica Confiabilidade da fonte de dados Critérios Complementares (Qualidade) Simplicidade Clareza e Comunicabilidade Estabilidade Critérios Temporais Disponibilidade dos dados básicos Relação custo-benefício associada à mensuração tempestiva Critérios de Suficiência A ausência de um indicador compromete a suficiência do conjunto restante? - Viabilidade Técnica - Viabilidade Política: Comitê de Gestão da Estratégia e da Governança Corporativa – Cogesg

Passo 7: Consolidação e agregação de indicadores Técnica e politicamente validados, os indicadores selecionados, com os respectivos pesos, podem ser consolidados com vistas à composição de um índice agregado (chamado de Índice Mestre) destinado à avaliação global de determinado objetivo. EXEMPLO: ÍNDICE DE ATUAÇÃO SELETIVA E SISTÊMICA EM ÁREAS DE RISCO E RELEVÂNCIA = 11% * ( coeficiente de identificação, análise e avaliação de áreas de risco e relevância ) + 33% * ( coeficiente de planejamento de ações de controle com base na avaliação de áreas de risco e relevância ) + 45% * ( coeficiente de execução de ações de controle decorrentes da avaliação de áreas de risco e relevância ) + 11% * ( coeficiente de benefícios de ações de controle relacionados à avaliação de áreas de risco e relevância )

ASPECTOS IDENTIFICADOSPESOINDICADORES PROPOSTOSFÓRMULAS DE CÁLCULO IDENTIFICAÇÃO, ANÁLISE e AVALIAÇÃO de áreas de risco e relevância com base na avaliação sistêmica de programas de governo 11% coeficiente de identificação, análise e avaliação de áreas de risco e relevância ∑ de programas de governo com áreas de risco e relevância identificadas, analisadas e avaliadas / ∑ de programas de governo SELEÇÃO e PLANEJAMENTO de ações de controle com base em critérios que considerem a relevância, os riscos, a materialidade, a oportunidade e a visão sistêmica 33% coeficiente de planejamento de ações de controle decorrentes da avaliação de áreas de risco e relevância ∑ de ações de controle planejadas em decorrência da análise e avaliação de áreas de risco e relevância/ ∑ de ações de controle planejadas EXECUÇÃO de ações de controle planejadas com base em critérios que considerem a relevância, os riscos, a materialidade, a oportunidade e a visão sistêmica 44% coeficiente de execução de ações de controle relacionadas a avaliação de áreas de risco e relevância ∑ de ações de controle executadas que decorreram da análise e avaliação de áreas de risco e relevância / ∑ de ações de controle executadas AVALIAÇÃO de benefícios ($ e não $) e de resultados de ações de controle executadas decorrentes da análise e avaliação sistêmica de áreas de risco e relevância 11% coeficiente de benefício de ações de controle relacionados à avaliação de áreas de risco e relevância ∑ de benefícios de ações de controle executadas que decorreram da análise e avaliação de áreas de risco e relevância / ∑ de benefícios de ações de controle executadas Fórmulas de Cálculo

Benefícios e Atributos do Método FINDER. Consistência dos indicadores formulados para cada objetivo. Alinhamento entre objetivos, indicadores, metas e iniciativas. Relevância: foco na medição dos aspectos mais relevantes. Objetividade no processo de definição de indicadores. Simplicidade na operacionalização do passo a passo pré-definido

Obrigado! Secretaria de Planejamento e Gestão (Seplan)