INDICADORES DE DESEMPENHO E EVALUACION DE PROGRAMAS Curso Políticas Orçamentárias e Gestão Pública por Resultados ILPES/CEPAL Outubro 2006 Marianela Armijo

INDICADORES DE DESEMPEÑO INDICADORES DE DESEMPENHO: CONCEITOS PASSOS BASICOS PARA SEU CONSTRUCCION REQUISITOS E CONDIÇÕES DIFICULDADES

INDICADORES DE DESEMPEÑO: CONCEPTOS INSTRUMENTOS DE MEDICION DAS VARIÁVEIS SÓCIAS ÀS METAS MEDIDAS QUE DESCREVEM COMO UMA INSTITUCION ESTA ATINGINDO SEUS OBJETIVOS E METAS

OBJETIVOS USO INDICADORES(*) Induz melhoras em Informação Fundamenta a discussão de Resultados Possibilita a Avaliação Apóia o processo de Formulação de Políticas Facilita o estabelecimento de Compromissos de Resultado (*) Dirección de Presupuestos. Ministerio Hacienda. Chile.

EVALUACION DA GESTION Foco da evaluacion MEDICION DO DESEMPENHO CONSEGUIDO PELAS INSTITUIÇÕES ELABORACION DE MEDIDAS DE DESEMPENHO PODE ABARCAR TODO O PROCESSO DE PRODUCCION INSUMOS PROCESSOS PRODUTOS RESULTADOS

RESULTADO FINAL OU IMPACTO ¿Cómo están cambiando las condiciones que estamos interviniendo? RESULTADO FINAL OU IMPACTO (OUTCOME)   ¿Quantas unidades de produtos e serviços estamos gerando ? PRODUTO – (OUTPUT) ¿Com que rapidez o estamos fazendo? Quanto nos custa?      PROCESSO ¿Quantos recursos investimos, quanto pessoal trabalhou no processo ?   INSUMO (INPUTS)

Processos (Atividades)   gente vê os avisos  as atitudes da gente se vêem afetadas   o comportamento se vê afetado   menor incidência de doenças relacionadas com o tabagismo Resultados Imediatos Intermédios Finais avisos realizando-se na Televisão Produtos desenho e provas dos avisos  -produção dos avisos  -compra do tempo de aviso comercial Processos (Atividades) Insumos (Inputs) Custo da campanha de televisão

A medição do desempenho é parte de um longo processo de planejamento Missão Medidas de Desempenho Objetivos Quem somos ou que fazemos Como sabemos que chegamos Onde queremos ir Cómo podemos chegar Estratégias

PASSOS BASICOS PARA A CONSTRUCCION DE INDICADORES IDENTIFICAR OBJETIVOS E METAS IDENTIFICAR AS AREAS DE MEDICION DE DESEMPENHO CONSTRUIR AS FORMULAS OU ALGORITMOS VALIDAR: APLICAR CRITÉRIOS DE TECNICOS E REQUISITOS RECOPILAR A INFORMACION NECESSÁRIA ESTABELECER RESPONSABILIDADES ORGANIZACIONALES COMUNICAR E INFORMAR

Ciclo Básico do Processo de Construção de Indicadores de desempenho Identificação e/ou revisão de Missão Objetivos Estratégico Metas 2. Estabelecer as medidas de desempenho claves Eficácia, Eficiência, Qualidade, Economia 3. Atribuir as responsabilidades Estabelecer indicadores em cada nível da organizacion 9. Comunicar e informar 8. Analisar e interpretar os resultados 4. Estabelecer os referentes comparativos 5. Construir as fórmulas 6. Coletar os dados e gerar sistemas de informação 7. Validar os indicadores

IDENTIFICAR OBJETIVOS E METAS ¿TENHO IDENTIFICADA A MISSÃO, OS PRODUTOS E OS USUÁRIOS? ¿ TENHO CLAROS OS OBJETIVOS QUE DEVO CONSEGUIR? ¿ ESTÃO OS OBJETIVOS ALINHADOS COM As PRIORIDADES ESTRATÉGICAS DA ORGANIZAÇÃO? ¿ OS OBJETIVOS ESTÃO EXPRESSADOS EM METAS MENSURÁVEIS?

IDENTIFICAR AS AREAS DE MEDIÇÃO DA DESEMPENHO ¿QUE AREAS DO DESEMPENHO RESULTA CONVENIENTE MEDIR ? EFICIÊNCIA EFICÁCIA QUALIDADE ECONOMIA

INDICADORES DA DESEMPEHNO (*) AMBITOS DE CONTROLE PROCESSO PRODUTO RESULTADO Dimensões EFICÁCIA EFICIÊNCIA ECONOMÍA QUALIDADE (*) Indicadores de Desempeño. www.dipres.cl

MATRIZ DE INDICADORES (*) Qualidade Eficácia Eficiência Economia Estimação Meta 1998 1999 2000 2001 2002 Produco relevante (bien y/o servicio) al que se vincula Indicador de Desempenhoo Fórmula de cálculo Informação Histórica Meios de Verificacion Programa/ Subtítulo/ ítem/ Atribuição Orçamentária (*) Indicadores de Desempeño. www.dipres.cl

DEFINIR AS FORMULAS OU ALGORITMOS A) BASES DE COMPARAÇÃO O que se faz O que deve fazer-se Nº de usuários por atender Nº de usuários atendidos Nº de certificados emitidos Nº Certificados solicitados Monto investimento executado Monto atribuído para investimento

c) Definição de padrões FORMULAR ALGORITMOS b) Definição de ratios Custos médios: Custo total consultas/ conferes realizadas Produto medio:Nº inspeções realizadas/Nºinspetores c) Definição de padrões % de recomendações aceitadas % de clientes satisfeitos Nº de erros Tempo média de tramitação

RECOPILAR A INFORMACION NECESSÁRIA Informação contável-orçamentária Estatísticas de produção física, ônus de trabalho do pessoal Enquetes, estudos especiais Benchmarking,etc

CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION EFICÁCIA: Mede o grau de cumprimento dos objetivos e metas estabelecidos, através dos produtos ou resultados obtidos, sem referência ao custo de consecução dos mesmos

EFICACIA: PRODUTO RESULTADO INTERMÉDIO RESULTADO FINAL OU IMPACTO Percentagem de reclusos participando do programa de reinserção /Total população enclausurada potencialmente beneficiária do Programa Taxa anual de variação de reclusos com contrato de trabalho Porcentagem de desempleo da poblacao reclusa aprovada Ateliês de capacitação realizados/Ateliês de capacitação programados Participantes que conseguem certificar-se por concorrência/Total de participantes (Produtividade dos participantes ano t -Productividad participantes ano t-1/Produtividade participantes año t-1)*100

EFICÁCIA/Cobertura Area de cultivo inclusa no Programa Area Total do Programa de Cultivo Direção Geral de Serviços Agrícolas . Uruguay Controles de emissões Ônibus Interurbanos Total de Ônibus Interurbanos Subsecretaria de Transportes Chile Reclusos com atividade industrial Total de reclusos Direção Nacional de Cárceres Uruguay

CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION EFICIÉNCIA Estabelece a relação entre a produção física do bem ou serviço e os insumos utilizados para atingir o nível de produto. Maior quantidade de serviços dado o mesmo nível de recursos Atingir um determinado nível de serviços utilizando a menor quantidade de recursos possível

CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION EFICIÉNCIA Custo médio de produção (Custo por beneficiário, custo por componente) Produtividade média (usuários atendidos por unidade de tempo, fiscalizações por inspetor)

EFICIÉNCIA EFICIENCIA-Costo Medio Gastos administrativos programa bolsa/bolsas entregadas Gasto total programa certificação/Caixas vistoriadas Gasto associado a intervenções quirurjicas/número de intervenções Custo total de unidades moradias contratadas/unidades contratadas

EFICIÉNCIA EFICIENCIA-Produto Medio Número de inspeções/número de inspetores Número de expedientes resolvidos por semestre/dotação de pessoal na tarefa Número de inspeções ao transporte de passageiros/pessoal afetado à tarefa Número de consultas/número de médicos

CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION Qualidade Mede a capacidade da organização por cumprir com os requisitos de satisfação do produto que esperam os usuários, em termos de oportunidade, acessibilidade, precisão, etc.

CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION Qualidade Medições indirectas: Melhorar os atributos e caracteristicas dos Produtos Medições diretas Grau de satisfação dos usuários

Qualidade Qualidade-Tempo de resposta Direção Geral de Saúde Tempo de espera média para atendimento em consulta Direção Geral de Saúde Tempo de tramitação média de solicitações mineiras Direção Geral de geologia e mineração Tempo média para o estudo de cada Plano de Reflorestamento Direção Geral de Recursos Naturais Dia de demora média de trâmites de legalização Direção Geral de Secretaria

Qualidade Qualidade- Satisfação do usuário Percentagem de aprovação Enquete de opinião aos usuários Direção Nacional de Registos Percentagem de reclamos/casos atendidos Direção Nacional de Topografia Número de reclamos/assuntos resolvidos Subsecretaria do Ministério de Educação e Cultura Número de serviços reclamados/número total de serviços Hospital de Montevideo

INDICADORES DE QUALIDADE Oportunidade Accesibilidade Percepcion de usuários Precision Percentagem de respostas aos Parlamentares dentro dos limites lembrados Número de localidades cobertas por atendimentos móveis Percentagem de aprovação excelente dos ateliês de trabalho, pelos participantes Percentagem de contratos findos por erros Percentagem de reportes econômicos entregados em tempo lembrado Nº de horas que a Biblioteca está aberta fora das horas de trabalho   Número de falhas reais/ Falhas programadas Percentagem de População com necessidades especiais que são membros ativos da Biblioteca Percentagem de usuários satisfeitos Nº de usuários satisfeitos/ Total usuários interrogados Percentagem de contratos com um ou mais erros encontrados por revisões externas Número de intervenções com atraso/ Número de intervenções totais Nº de usuários Satisfeitos com o trato no atendimento/ Total usuários

CONCEITOS E EXEMPLOS DE INDICADORES DE GESTION Economia Capacidade da instituição por gerar e mobilizar adequadamenteos recursos financeiros de um programa ou instituição. Exemplos: Capacidade de autofinanciamiento Nível de recuperação de empréstimos Capacidade de execução do orçamento

ECONOMIA Percentagem de recuperação de créditos de curto prazo Gasto de atividades de apoio/gastos totaisAporte Aporte de beneficiários a financiamento/Monto total de investimento do programa Gasto de funcionamento/gastos executados totais Recuperação de cobranza/Faturação  

ESTABELECER RESPONSABILIDADES ORGANIZACIONALES Os centros de responsabilidade:  Têm produtos estratégicos claramente asignable Têm objetivos concretos a atingir. Tem à cabeça um diretor responsável com pelo cumprimento desses objetivos. Dito diretivo não só conta com a responsabilidade senão que também com a autoridade e as atribuições para tomar as decisões necessárias para o lucro dos objetivos. Tem atribuído recursos humanos, materiais e financeiros.

Modelo básico de Unidade de Controle de Gestão

APLICAR CRITÉRIOS DE TECNICOS E REQUISITOS Custo razoável Relevância Pertinência Não é possível nem desejável medí-lo todo Medir o correto Independencia Integracion Eficácia, eficiência, qualidades, economia Medir o controlável Homogeneidade Confiabilidad Medidas equivalentes Dados suficientes e demostrables

APLICAR CRITÉRIOS DE TECNICOS E REQUISITOS RELEVÂNCIA DA MEDICION ASSEGURAR-SE QUE ESTOU MEDINDO OS OBJETIVOS VINCULADOS AO ESTRATEGICO INDICADORES QUE ESTEN VINCULADOS COM O DEFINIDO NO PLANO ESTRATEGICO E NO PLANO OPERATIVO “NÃO É POSSÍVEL, NEM DESEJÁVEL MEDÍ-LO TUDO”

CONDIÇÕES QUE DEVEM CUMPRIR OS INDICADORES MEDIR O CORRETO: CONHECER O PROCESSO DE PRODUCCION QUESE MEDE, ASEGURANDOSE QUE A MEDIDA DE DESEMPENHO REPRESENTA UM PROCESSO FINQUE PARA A OBTENCION DA META.

CONDIÇÕES QUE DEVEM CUMPRIR OS INDICADORES INDEPENDÊNCIA MEDIR O QUE A INSTITUCION SEJA CAPAZ DE CONTROLARCONTAR COM OS DADOS SUFICIENTES E DEMOSTRABLES

CONDIÇÕES QUE DEVEM CUMPRIR OS INDICADORES CUSTOS RAZOÁVEIS NA RECOLECCION DE DADOS HOMOGENEIDADE PARA UM MESMO SERVIÇO MEDIDO A NATUREZA DAS PRESTAÇÕES DEVEM SER EQUIVALENTES

CONDIÇÕES QUE DEVEM CUMPRIR OS INDICADORES OS INDICADORES DE DESEMPENHO NÃO SÃO UM FIM EM SE MESMO SENÃO UM MEIO. “A EVALUACION MAS QUE UMA MEDICION É UMA INTERPRETACION DOS RESULTADOS” DEVEM ESPECIFICAR-SE E TER-SE EM CONTA A INTERRELACION DAS DIFERENTES MEDIDAS DE DESEMPENHOSIMPLICIDADE DA MEDICION

COMO INTERPRETAR OS RESULTADOS BASES DE COMPARACION: DESEMPENHO HISTORICO: METAS DESEMPENHO CONSEGUIDO EM INSTITUIÇÕES SIMILARES, PROCESSOS OU PROGRAMAS.

COMO INTERPRETAR OS RESULTADOS NÃO HÁ UMA MEDIDA UNICA QUE DEMONSTRE POR SE SÓ O DESEMPENHO DA INSTITUCION REQUER-SE UM COMBINACION DE LAS RESULTADOS, IMPACTO, EFICÁCIA, EFICIÊNCIA, QUALIDADE “ CERTOS INDICADORES PODEM SER CONTRADITÓRIOS ENTRE ELES”:

EXEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO GESTION DE ANOS ANTERIORES Percentagem de aumento do parque informático da Unidade Executora e sua conexão em rede Fórmula de cálculo: 1999 2000 2001 [(Equipes incorporadas e 53 71 96 conectados nos ano t/ equipes conectadas ano t-1) -1] *100 33,9% 35,2%

EXEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO UM ESTANDAR DE INSTITUIÇÕES SIMILARES Tempo máximo de tramitação de mediações Fórmula de cálculo: 1999 2000 Meta Sumatoria de N°de dias de Tramitação /N°de tramitações Realizadas 18dias 30dias 25dias (dias)

EXEMPLOS DE CONSTRUCCION DE INDICADORES: FORMULAS DE CALCULO O PROGRAMADO, COMPARACION RESPECTO DO OBJETIVO DEFINIDO Percentagem de vias navegáveis já habilitadas Fórmula de cálculo 1999 2000 2001 Vias navegáveis habilitadas ano t/ Vias navegáveis programadas ano t S/d s/d (120/143)*100 83,9%

INTEGRALIDAD DAS METAS Aumentar a cobertura do programa de rações a um 55% da população escolar. Chegar a um custos média de $5. Atingir 1000 calorias por ração INDICADOR DE EFICIÊNCIA Custo média das rações gasto total programa / número de rações INDICADOR DE EFICÁCIA População escolar em programa / população escolar total INDICADOR DE QUALIDADE Calorias por ração. * Percentagem de aceitação dos escolares (enquete)

PROBLEMAS FREQUENTES NA CONSTRUCCION DE INDICADORES ARMADILHA DA MEDICION: MOSTRA-SE COMO RESULTADOS (E SE FAZ) SÓ O QUE SE PODE MEDIRTENDE-SE A MEDIR DE ACORDO À INFORMACION DISPONÍVEL, DESCUIDANDO A MEDICION DOS ASPECTOS MAS RELEVANTESSUBVALORACION DAS METAS FRENTE A UM AMBIENTE PUNITIVO DA EVALUACION

PROBLEMAS FREQUENTES NA CONSTRUCCION DE INDICADORES TENDÊNCIA A MEDÍ-LO TUDO PARA NÃO SUBREPRESENTAR ESFORÇOS DESENVOLVEM-SE INDICADORES MAS NÃO SE USAM PARA A TOMADA DE DECISÕES.