INDICADORES DE DESEMPENHO E EVALUACION DE PROGRAMAS

Apresentação em tema: "INDICADORES DE DESEMPENHO E EVALUACION DE PROGRAMAS"— Transcrição da apresentação:

1 INDICADORES DE DESEMPENHO E EVALUACION DE PROGRAMAS
Curso Políticas Orçamentárias e Gestão Pública por Resultados ILPES/CEPAL Outubro 2006 Marianela Armijo

2 INDICADORES DE DESEMPEÑO
INDICADORES DE DESEMPENHO: CONCEITOS PASSOS BASICOS PARA SEU CONSTRUCCION REQUISITOS E CONDIÇÕES DIFICULDADES

3 INDICADORES DE DESEMPEÑO: CONCEPTOS
INSTRUMENTOS DE MEDICION DAS VARIÁVEIS SÓCIAS ÀS METAS MEDIDAS QUE DESCREVEM COMO UMA INSTITUCION ESTA ATINGINDO SEUS OBJETIVOS E METAS

4 OBJETIVOS USO INDICADORES(*)
Induz melhoras em Informação Fundamenta a discussão de Resultados Possibilita a Avaliação Apóia o processo de Formulação de Políticas Facilita o estabelecimento de Compromissos de Resultado (*) Dirección de Presupuestos. Ministerio Hacienda. Chile.

5 EVALUACION DA GESTION Foco da evaluacion
MEDICION DO DESEMPENHO CONSEGUIDO PELAS INSTITUIÇÕES ELABORACION DE MEDIDAS DE DESEMPENHO PODE ABARCAR TODO O PROCESSO DE PRODUCCION INSUMOS PROCESSOS PRODUTOS RESULTADOS

6 RESULTADO FINAL OU IMPACTO
¿Cómo están cambiando las condiciones que estamos interviniendo? RESULTADO FINAL OU IMPACTO (OUTCOME) ¿Quantas unidades de produtos e serviços estamos gerando ? PRODUTO – (OUTPUT) ¿Com que rapidez o estamos fazendo? Quanto nos custa?    PROCESSO ¿Quantos recursos investimos, quanto pessoal trabalhou no processo ? INSUMO (INPUTS)

7 Processos (Atividades)
gente vê os avisos  as atitudes da gente se vêem afetadas   o comportamento se vê afetado   menor incidência de doenças relacionadas com o tabagismo Resultados Imediatos Intermédios Finais avisos realizando-se na Televisão Produtos desenho e provas dos avisos  -produção dos avisos  -compra do tempo de aviso comercial Processos (Atividades) Insumos (Inputs) Custo da campanha de televisão

8 A medição do desempenho é parte de um longo processo de planejamento
Missão Medidas de Desempenho Objetivos Quem somos ou que fazemos Como sabemos que chegamos Onde queremos ir Cómo podemos chegar Estratégias

9 PASSOS BASICOS PARA A CONSTRUCCION DE INDICADORES
IDENTIFICAR OBJETIVOS E METAS IDENTIFICAR AS AREAS DE MEDICION DE DESEMPENHO CONSTRUIR AS FORMULAS OU ALGORITMOS VALIDAR: APLICAR CRITÉRIOS DE TECNICOS E REQUISITOS RECOPILAR A INFORMACION NECESSÁRIA ESTABELECER RESPONSABILIDADES ORGANIZACIONALES COMUNICAR E INFORMAR

10 Ciclo Básico do Processo de Construção de Indicadores de desempenho
Identificação e/ou revisão de Missão Objetivos Estratégico Metas 2. Estabelecer as medidas de desempenho claves Eficácia, Eficiência, Qualidade, Economia 3. Atribuir as responsabilidades Estabelecer indicadores em cada nível da organizacion 9. Comunicar e informar 8. Analisar e interpretar os resultados 4. Estabelecer os referentes comparativos 5. Construir as fórmulas 6. Coletar os dados e gerar sistemas de informação 7. Validar os indicadores

11 IDENTIFICAR OBJETIVOS E METAS
¿TENHO IDENTIFICADA A MISSÃO, OS PRODUTOS E OS USUÁRIOS? ¿ TENHO CLAROS OS OBJETIVOS QUE DEVO CONSEGUIR? ¿ ESTÃO OS OBJETIVOS ALINHADOS COM As PRIORIDADES ESTRATÉGICAS DA ORGANIZAÇÃO? ¿ OS OBJETIVOS ESTÃO EXPRESSADOS EM METAS MENSURÁVEIS?

12 IDENTIFICAR AS AREAS DE MEDIÇÃO DA DESEMPENHO
¿QUE AREAS DO DESEMPENHO RESULTA CONVENIENTE MEDIR ? EFICIÊNCIA EFICÁCIA QUALIDADE ECONOMIA

13 INDICADORES DA DESEMPEHNO (*)
AMBITOS DE CONTROLE PROCESSO PRODUTO RESULTADO Dimensões EFICÁCIA EFICIÊNCIA ECONOMÍA QUALIDADE (*) Indicadores de Desempeño.

14 MATRIZ DE INDICADORES (*)
Qualidade Eficácia Eficiência Economia Estimação Meta 1998 1999 2000 2001 2002 Produco relevante (bien y/o servicio) al que se vincula Indicador de Desempenhoo Fórmula de cálculo Informação Histórica Meios de Verificacion Programa/ Subtítulo/ ítem/ Atribuição Orçamentária (*) Indicadores de Desempeño.

15 DEFINIR AS FORMULAS OU ALGORITMOS
A) BASES DE COMPARAÇÃO O que se faz O que deve fazer-se Nº de usuários por atender Nº de usuários atendidos Nº de certificados emitidos Nº Certificados solicitados Monto investimento executado Monto atribuído para investimento

16 c) Definição de padrões
FORMULAR ALGORITMOS b) Definição de ratios Custos médios: Custo total consultas/ conferes realizadas Produto medio:Nº inspeções realizadas/Nºinspetores c) Definição de padrões % de recomendações aceitadas % de clientes satisfeitos Nº de erros Tempo média de tramitação

17 RECOPILAR A INFORMACION NECESSÁRIA
Informação contável-orçamentária Estatísticas de produção física, ônus de trabalho do pessoal Enquetes, estudos especiais Benchmarking,etc

18 CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION
EFICÁCIA: Mede o grau de cumprimento dos objetivos e metas estabelecidos, através dos produtos ou resultados obtidos, sem referência ao custo de consecução dos mesmos

19 EFICACIA: PRODUTO RESULTADO INTERMÉDIO RESULTADO FINAL OU IMPACTO
Percentagem de reclusos participando do programa de reinserção /Total população enclausurada potencialmente beneficiária do Programa Taxa anual de variação de reclusos com contrato de trabalho Porcentagem de desempleo da poblacao reclusa aprovada Ateliês de capacitação realizados/Ateliês de capacitação programados Participantes que conseguem certificar-se por concorrência/Total de participantes (Produtividade dos participantes ano t -Productividad participantes ano t-1/Produtividade participantes año t-1)*100

20 EFICÁCIA/Cobertura Area de cultivo inclusa no Programa
Area Total do Programa de Cultivo Direção Geral de Serviços Agrícolas . Uruguay Controles de emissões Ônibus Interurbanos Total de Ônibus Interurbanos Subsecretaria de Transportes Chile Reclusos com atividade industrial Total de reclusos Direção Nacional de Cárceres Uruguay

21 CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION
EFICIÉNCIA Estabelece a relação entre a produção física do bem ou serviço e os insumos utilizados para atingir o nível de produto. Maior quantidade de serviços dado o mesmo nível de recursos Atingir um determinado nível de serviços utilizando a menor quantidade de recursos possível

22 CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION
EFICIÉNCIA Custo médio de produção (Custo por beneficiário, custo por componente) Produtividade média (usuários atendidos por unidade de tempo, fiscalizações por inspetor)

23 EFICIÉNCIA EFICIENCIA-Costo Medio
Gastos administrativos programa bolsa/bolsas entregadas Gasto total programa certificação/Caixas vistoriadas Gasto associado a intervenções quirurjicas/número de intervenções Custo total de unidades moradias contratadas/unidades contratadas

24 EFICIÉNCIA EFICIENCIA-Produto Medio
Número de inspeções/número de inspetores Número de expedientes resolvidos por semestre/dotação de pessoal na tarefa Número de inspeções ao transporte de passageiros/pessoal afetado à tarefa Número de consultas/número de médicos

25 CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION
Qualidade Mede a capacidade da organização por cumprir com os requisitos de satisfação do produto que esperam os usuários, em termos de oportunidade, acessibilidade, precisão, etc.

26 CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION
Qualidade Medições indirectas: Melhorar os atributos e caracteristicas dos Produtos Medições diretas Grau de satisfação dos usuários

27 Qualidade Qualidade-Tempo de resposta Direção Geral de Saúde
Tempo de espera média para atendimento em consulta Direção Geral de Saúde Tempo de tramitação média de solicitações mineiras Direção Geral de geologia e mineração Tempo média para o estudo de cada Plano de Reflorestamento Direção Geral de Recursos Naturais Dia de demora média de trâmites de legalização Direção Geral de Secretaria

28 Qualidade Qualidade- Satisfação do usuário
Percentagem de aprovação Enquete de opinião aos usuários Direção Nacional de Registos Percentagem de reclamos/casos atendidos Direção Nacional de Topografia Número de reclamos/assuntos resolvidos Subsecretaria do Ministério de Educação e Cultura Número de serviços reclamados/número total de serviços Hospital de Montevideo

29 INDICADORES DE QUALIDADE
Oportunidade Accesibilidade Percepcion de usuários Precision Percentagem de respostas aos Parlamentares dentro dos limites lembrados Número de localidades cobertas por atendimentos móveis Percentagem de aprovação excelente dos ateliês de trabalho, pelos participantes Percentagem de contratos findos por erros Percentagem de reportes econômicos entregados em tempo lembrado Nº de horas que a Biblioteca está aberta fora das horas de trabalho Número de falhas reais/ Falhas programadas Percentagem de População com necessidades especiais que são membros ativos da Biblioteca Percentagem de usuários satisfeitos Nº de usuários satisfeitos/ Total usuários interrogados Percentagem de contratos com um ou mais erros encontrados por revisões externas Número de intervenções com atraso/ Número de intervenções totais Nº de usuários Satisfeitos com o trato no atendimento/ Total usuários

30 CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION
Economia Capacidade da instituição por gerar e mobilizar adequadamenteos recursos financeiros de um programa ou instituição. Exemplos: Capacidade de autofinanciamiento Nível de recuperação de empréstimos Capacidade de execução do orçamento

31 ECONOMIA Percentagem de recuperação de créditos de curto prazo
Gasto de atividades de apoio/gastos totaisAporte Aporte de beneficiários a financiamento/Monto total de investimento do programa Gasto de funcionamento/gastos executados totais Recuperação de cobranza/Faturação

32 ESTABELECER RESPONSABILIDADES ORGANIZACIONALES
Os centros de responsabilidade:  Têm produtos estratégicos claramente asignable Têm objetivos concretos a atingir. Tem à cabeça um diretor responsável com pelo cumprimento desses objetivos. Dito diretivo não só conta com a responsabilidade senão que também com a autoridade e as atribuições para tomar as decisões necessárias para o lucro dos objetivos. Tem atribuído recursos humanos, materiais e financeiros.

33 Modelo básico de Unidade de Controle de Gestão

34 APLICAR CRITÉRIOS DE TECNICOS E REQUISITOS
Custo razoável Relevância Pertinência Não é possível nem desejável medí-lo todo Medir o correto Independencia Integracion Eficácia, eficiência, qualidades, economia Medir o controlável Homogeneidade Confiabilidad Medidas equivalentes Dados suficientes e demostrables

35 APLICAR CRITÉRIOS DE TECNICOS E REQUISITOS
RELEVÂNCIA DA MEDICION ASSEGURAR-SE QUE ESTOU MEDINDO OS OBJETIVOS VINCULADOS AO ESTRATEGICO INDICADORES QUE ESTEN VINCULADOS COM O DEFINIDO NO PLANO ESTRATEGICO E NO PLANO OPERATIVO “NÃO É POSSÍVEL, NEM DESEJÁVEL MEDÍ-LO TUDO”

36 CONDIÇÕES QUE DEVEM CUMPRIR OS INDICADORES
MEDIR O CORRETO: CONHECER O PROCESSO DE PRODUCCION QUESE MEDE, ASEGURANDOSE QUE A MEDIDA DE DESEMPENHO REPRESENTA UM PROCESSO FINQUE PARA A OBTENCION DA META.

37 CONDIÇÕES QUE DEVEM CUMPRIR OS INDICADORES
INDEPENDÊNCIA MEDIR O QUE A INSTITUCION SEJA CAPAZ DE CONTROLARCONTAR COM OS DADOS SUFICIENTES E DEMOSTRABLES

38 CONDIÇÕES QUE DEVEM CUMPRIR OS INDICADORES
CUSTOS RAZOÁVEIS NA RECOLECCION DE DADOS HOMOGENEIDADE PARA UM MESMO SERVIÇO MEDIDO A NATUREZA DAS PRESTAÇÕES DEVEM SER EQUIVALENTES

39 CONDIÇÕES QUE DEVEM CUMPRIR OS INDICADORES
OS INDICADORES DE DESEMPENHO NÃO SÃO UM FIM EM SE MESMO SENÃO UM MEIO. “A EVALUACION MAS QUE UMA MEDICION É UMA INTERPRETACION DOS RESULTADOS” DEVEM ESPECIFICAR-SE E TER-SE EM CONTA A INTERRELACION DAS DIFERENTES MEDIDAS DE DESEMPENHOSIMPLICIDADE DA MEDICION

40 COMO INTERPRETAR OS RESULTADOS
BASES DE COMPARACION: DESEMPENHO HISTORICO: METAS DESEMPENHO CONSEGUIDO EM INSTITUIÇÕES SIMILARES, PROCESSOS OU PROGRAMAS.

41 COMO INTERPRETAR OS RESULTADOS
NÃO HÁ UMA MEDIDA UNICA QUE DEMONSTRE POR SE SÓ O DESEMPENHO DA INSTITUCION REQUER-SE UM COMBINACION DE LAS RESULTADOS, IMPACTO, EFICÁCIA, EFICIÊNCIA, QUALIDADE “ CERTOS INDICADORES PODEM SER CONTRADITÓRIOS ENTRE ELES”:

42 EXEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO
GESTION DE ANOS ANTERIORES Percentagem de aumento do parque informático da Unidade Executora e sua conexão em rede Fórmula de cálculo: [(Equipes incorporadas e conectados nos ano t/ equipes conectadas ano t-1) -1] * ,9% 35,2%

43 EXEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO
UM ESTANDAR DE INSTITUIÇÕES SIMILARES Tempo máximo de tramitação de mediações Fórmula de cálculo: Meta Sumatoria de N°de dias de Tramitação /N°de tramitações Realizadas 18dias 30dias 25dias (dias)

44 EXEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO
O PROGRAMADO, COMPARACION RESPECTO DO OBJETIVO DEFINIDO Percentagem de vias navegáveis já habilitadas Fórmula de cálculo Vias navegáveis habilitadas ano t/ Vias navegáveis programadas ano t S/d s/d (120/143)*100 83,9%

45 INTEGRALIDAD DAS METAS
Aumentar a cobertura do programa de rações a um 55% da população escolar. Chegar a um custos média de $5. Atingir 1000 calorias por ração INDICADOR DE EFICIÊNCIA Custo média das rações gasto total programa / número de rações INDICADOR DE EFICÁCIA População escolar em programa / população escolar total INDICADOR DE QUALIDADE Calorias por ração. * Percentagem de aceitação dos escolares (enquete)

46 PROBLEMAS FREQUENTES NA CONSTRUCCION DE INDICADORES
ARMADILHA DA MEDICION: MOSTRA-SE COMO RESULTADOS (E SE FAZ) SÓ O QUE SE PODE MEDIRTENDE-SE A MEDIR DE ACORDO À INFORMACION DISPONÍVEL, DESCUIDANDO A MEDICION DOS ASPECTOS MAS RELEVANTESSUBVALORACION DAS METAS FRENTE A UM AMBIENTE PUNITIVO DA EVALUACION

47 PROBLEMAS FREQUENTES NA CONSTRUCCION DE INDICADORES
TENDÊNCIA A MEDÍ-LO TUDO PARA NÃO SUBREPRESENTAR ESFORÇOS DESENVOLVEM-SE INDICADORES MAS NÃO SE USAM PARA A TOMADA DE DECISÕES.