Oficina de Implementação Detalhada e Planejamento de Gestão Pretoria, África do Sul 30 de novembro – 3 de dezembro 2009.

Apresentação em tema: "Oficina de Implementação Detalhada e Planejamento de Gestão Pretoria, África do Sul 30 de novembro – 3 de dezembro 2009."— Transcrição da apresentação:

1 Oficina de Implementação Detalhada e Planejamento de Gestão Pretoria, África do Sul 30 de novembro – 3 de dezembro 2009

2 2 OBJETIVOS:  Entender como o Plano de Gestão de Desempenho de Subvenção apóia o Gerenciamento de Desempenho  Praticar utilizando as 6 questões chave para construir a hipótese de desenvolvimento de cada Acordo de Subvenção  Examinar o que forma bons indicadores e aplicá-los aos indicadores de Subvenção  Aplicar uma abordagem prática ao estabelecimento de objetivos, fornecendo o plano de trabalho de objetivos, aos indicadores de Subvenção  Completar seções selecionadas de uma Folha de Indicadores de Desempenho de Referência (PIRS) utilizando as instruções

3 O Que Conecta Atividades a um Objetivo?  Qual é seu Objetivo de Subvenção?  Listar 3-4 atividades que você fará para atingi-lo.  Quando seu Objetivo de Subvenção será atingido? 1 o ano? 2 o ano? 3 o ano?  O que conecta as atividades aos Objetivo de Subvenção?  Se dominós arranjados em pé no final servem como analogia, e empurrões iniciais são atividades, o que faz o último dominó (objetivo) cair?

4 4 Resposta da Agência de Desenvolvimento Internacional dos EUA  Impacto sobre consumidor final ou ambiente do consumidor em 1-20 anos  Não tem sucesso sempre, porém produz aprendizado a partir da experiência  Produz dados sobre a estrada de casualidades percorrida pelos consumidores finais: novos conhecimentos & impacto

5 5 Vamos Chamar Isto de Gerenciamento de Desempenho  Gerenciamento de Desempenho (Def. p 67)  Relatório de Desempenho da Agência de Desenvolvimento Internacional dos EUA (Def. p 68) Indicadores pré-selecionados devem reportar dados diante de objetivos. Os dados são produzidos através da implementação de um Plano de Gestão de Desempenho com base em uma Hipótese de Desenvolvimento expressa por um Quadro de Resultados com indicadores correspondentes.

6 6 O Que é uma Hipótese de Desenvolvimento? (Def/ p.61) HIPÓTESE DE DESENVOLVIMENTO = Uma teoria sobre como um resultado de desenvolvimento específico será atingido. É um modelo proposto de realidade ao redor de um resultado de desenvolvimento desejado. Expressa as ligações causais dentre os problemas contribuintes, que se resolvidos, podem fazer com que o desenvolvimento de resultados seja atingido. Vamos ler a hipótese de desenvolvimento do Caso de Plano de Gestão de Desempenho

7 7 O Que é um Quadro de Resultados?  Representação gráfica de uma estratégia para atingir um objetivo específico (Hipótese de Desenvolvimento) –Inclui o objetivo, resultados intermediários necessários e quaisquer suposições críticas que devem manter –Conduz a hipótese de desenvolvimento implícita (ligações causa-e-efeito) –Utilizada como uma ferramenta de planejamento, comunicações e gerenciamento Obj.: Gestão de recursos de água nas bacias hidrográficas de Santa/Piura Chira melhorada. 1 Número de hectares (HA) classificados como “restaurados” 2 Número de HA classificados como “conservados” 3 Número de investimentos de gestão de recursos de água validados tanto cientificamente e politicamente IR1: Modelos para a restauração/conservação validada 1 Número de modelos replicados 2 Número de réplicas IR2: Tomada de decisão de gestão de água reestruturada 1 Casos de processos de tomada de decisões de alto/baixo nível funcionando 2 Ferramentas de planejamento compartilhado suportando a tomada de decisões 3 Estrada científica revisada IR3: Aumento no investimento em recursos melhorados de gestão de água. 1. valor $ de projetos qualificados

8 8 Características de Lógica de Quadro de Resultados Assistência Objetivo Resultado Intermediário 1 Resultado Intermediário 2 O Que Mais? SE....... ENTÃO Contexto? Suposições? Riscos? Atividade AAtividade BAtividade CAtividade DAtividade E Como? Por quê?

9 O Quadro de Resultados e as Hipóteses de Desenvolvimento  Vejamos novamente o Quadro de Resultados no Caso de Plano de Gestão de Desempenho  Qual é a diferença entre o Quadro de Resultados e as Hipóteses de Desenvolvimento?

10 10 O Que é um Resultado? UM RESULTADO = Um problema resolvido Def. p 69, Resultado Def. p 60, Consumidor

11 11 Características de Boas Declarações de Resultados Expressam claramente o Resultado pretendido Mensurável Uni-dimensional Realista

12 12 Tipos de Resultados: Definições da Agência de Desenvolvimento Internacional dos EUA Objetivo de Assistência (Def. p 59, Objetivo Estratégico – o mesmo) O resultado mais ambicioso que uma Unidade Operacional da Agência de Desenvolvimento Internacional dos EUA, juntamente com seus parceiros, pode afetar materialmente, e pelo que deseja ser responsabilizado. Oficiais de Acordo podem ser designados para uma Unidade Operacional para fornecer suporte analítico, técnico, logístico e outros tipos de suporte aos Oficiais de Acordo de outras Unidade Operacionais (independente se de natureza bilateral, multi-lateral ou global) Resultado Imediato Um resultado importante que é visto como um passo essencial para atingir um Objetivo Estratégico. Resultados Imediatos são resultados mensuráveis que podem capturar vários resultados discretos e mais específicos. Os Resultados Imediatos podem também atingir outros Resultados Imediatos.

13 13 Se um Resultado é um Problema Resolvido: O Que é um Problema?  A discrepância na cabeça de alguém entre uma Percepção (baseada em dados atuais) e um Ideal (baseado em dados ideais) flutuando em uma Emoção suportada por Valores P(cd) / I(id) E V Realidade Dados

14 Tarefa: Transformar o Grande Objetivo em uma Declaração de Resultados  Questão Chave n.º 1: Qual cabeça(s) contém o problema?  Questão Chave n.º 2: Como você declararia seu Grande Objetivo como se o problema já tivesse sido resolvido?  Declare seu Objetivo como se o problema já tivesse sido resolvido.  Escreva em uma caixa no topo de um quadro como o início do Quadro de Resultados.  Deixe espaço para um ou mais indicadores na mesma caixa.

15 O Que é um Indicador? (Def. p 67 Indicador de Desempenho) Um indicador é um fenômeno que observamos que nos diz que há um problema e se ele está sendo resolvido.

16 Tarefa: Criação de Indicadores para o Grande Objetivo  Questão Chave n.º 3: Como você sabe? –Fazer esta pergunta até que você consiga os dados que geraram o problema em sua cabeça.  Questão Chave n.º 4: Qual fenômeno você está observando que gerou os dados? –Faça esta pergunta para definis o indicador(es).  Use estas questões para criar um ou mais indicadores para seu Grande Objetivo e escreva-os na caixa.

17 17 Indicadores de Contexto  A realidade ao redor de um problema em desenvolvimento é normalmente maior do que o interesse gerenciável da Agência de Desenvolvimento Internacional dos EUA.  Exemplo: trabalhos para vítimas de tráfico ou violência doméstica são mais difíceis de encontrar quando o desemprego está crescendo.  Rastrear o desemprego como um indicador de contexto informa a análise dos esforços da Agência de Desenvolvimento Internacional dos EUA para re-inserir as vítimas na sociedade.

18 18 O Que é uma Suposição Crítica?  Uma condição geral sob a qual as hipóteses de desenvolvimento, ou estratégia para atingir o objetivo, serão consistentes. Suposições críticas estão fora do controle ou influência da Agência de Desenvolvimento Internacional dos EUA e seus parceiros.  Podem existir a partir de um nível da cadeia causal de um quadro de resultados para o outro.  Podem se aplicar a toda a estratégia.  Definições o Suficiente!

19 19 Construíndo um Quadro de Resultados 1. Qual cabeça(s) contém o problema? = Foco 2. Como o problema será declarado se resolvido? = Resultado 3. Como você sabe que é um problema? = Dados 4. Qual fenômeno estamos medindo? = Indicador 5.Quais são os problemas contribuintes, que se resolvidos, produzirão o resultado acima? (aplicar as questões 2 – 4 a estes problemas para construir um Quadro de Resultados) 6.Quais são os indicadores de contexto e suposições críticas relevantes?

20 20 Tarefa: Criar um Quadro de Resultados 1.Questão Chave n.º 5: Quais são os problemas contribuintes, que se resolvidos, serão necessários e suficientes para fazer com que o Grande Objetivo seja atingido? Para cada um:  Questão n.º 2: Como você declararia isto como se o problema já tivesse sido resolvido? (Declaração de Resultados)  Questão n.º 3: Como você sabe? (Dados)  Questão n.º 4: Qual fenômeno estamos medindo? (Indicador) 2.Criar caixas de Resultados Intermediários com indicadores. 3.Usar a regra necessária e suficiente em cada nível. Adicionar quaisquer indicadores de contexto e suposições críticas relevantes.

21 21 Seleção de Indicadores de Desempenho OBJETIVOS:  Entender 1.Definição de trabalho 2.Critério para a seleção de indicadores 3.Tipos e níveis de indicador 4.Aplicar entendimento a indicadores de Subvenção

22 22 Descrição de Trabalho e Critério de Indicador  Objetivo  Prático  Útil para Gerenciamento  Direto  Atribuível a esforços da Agência de Desenvolvimento Internacional dos EUA  Pontual  Adequado (ADS 203.3.4.2– p 16-17) Descrição do trabalho : Dizer o máximo de verdade sobre se um resultado está sendo atingido ao menor custo quando você precisa ouvir isto. Características da Agência de Desenvolvimento Internacional dos EUA de bons indicadores de desempenho:

23 23 Objetivo?  Não ambiguidade e precisão operacional sobre –O que está sendo medido –Quais dados estão sendo coletados  Uni-dimensional - mede apenas uma coisa  Consistente através do tempo Resultado: - Desempenho de CSOs ativos em governança local aprimorada Indicador Impreciso: - Número de CSOs construídas democraticamente bem sucedidas Indicador Preciso: - Número de CSOs que atingiram pelo menos 1 objetivo mensurável em transparência governamental aprimorada.

24 24 Prático?  Os dados estão disponíveis quando requerido para a tomada de decisões.  Os dados podem ser obtidos em custo razoável.

25 25 Útil?  O indicador é útil para gerenciamento?  Quais indicadores são mais significativos em um dado ponto no tempo?

26 26 Direto?  O indicador rastreia de perto o resultado que se pretende medir. Resultado: O conhecimento dos cidadãos de seus direitos expandidos Indicador Direto: % dos respondentes da pesquisa aptos a identificar 3 ou mais direitos civis chave

27 27 Indicadores Substitutos  Medições indiretas do resultado pretendido.  Utilizar se dados para indicador direto forem não disponíveis ou inviáveis de coletar. Resultado: - O conhecimento dos cidadãos de seus direitos expandidos Indicador Direto: - % dos respondentes da pesquisa aptos a identificar 3 ou mais direitos civis chave Indicador Substituto: - Número de número de casos de direitos civis levados à corte por organizações comunitárias direcionadas

28 28 Se não houve atividade da Agência de Desenvolvimento Internacional dos EUA, a mudança medida teria sido diferente? Atribuível?  Indicadores selecionados pelo Plano de Gestão de Desempenho devem medir mudanças que são claramente e razoavelmente atribuíveis, pelo menos em parte, ao esforço da Agência de Desenvolvimento Internacional dos EUA.  Atribuição existe quando as ligações entre os resultados da Agência de Desenvolvimento Internacional dos EUA e os resultados sendo medidos são claras e significantes.  Uma forma simples de avaliar atribuição:

29 29 Pontual?  Os indicadores devem estar disponíveis quando eles são necessários para a tomada de decisões. –Os dados estão disponíveis em frequência suficiente? –Os dados são atuais?

30 30 Adequado?  Tomado como um grupo, o indicador e seus indicadores acompanhantes devem ser o mínimo necessário para capturar progresso em direção ao resultado desejado.  Quantos indicadores? –O quanto necessário e de custo efetivo para propósitos gerenciais Muitos indicadores resultam em sobrecarga de informações Poucos indicadores podem ser equivocados Use a regra do “necessário e suficiente” para selecionar o número mínimo por resultado REGRA DE THUMB 2-3 POR RESULTADO

31 31 Indicadores: Quantitativo, Qualitativo ou Ambos? QUALITATIVO  Opinião especialista sobre a compreensividade de uma lei QUANTITATIVO  Valor em dólares de plantas exportadas AMBOS  Classificação do país em “Índice de Percepções de Corrupção”

32 32 Quantificação de Indicadores Qualitativos (ADS 203.3.4.1 p 14)  Escalas de Marcos  Escalas de Classificação  Indexadores  Exemplos?

33 33 Exemplo de Indicadores em Diferentes Níveis  Incidência reduzida de difteria, coqueluche e tétano em crianças pequenas  Nº. de crianças vacinadas contra difteria (D)  Nº. de crianças vacinadas contra coqueluche (P)  Nº. de crianças vacinadas contra tétano (T)  Fornecer vacinas às clínicas  Declinear em taxa de mortalidade abaixo dos cinco Entrada/ Atividade Saída Resultado Impacto

34 34 Desagregação e Gênero  ADS 203.3.4.3 (p 17-18): Os sistemas de gerenciamento de desempenho e avaliações no Oficial de Acordo e projeto ou níveis de atividade devem incluir indicadores sensíveis ao gênero e dados desagregados de sexo quando a análise técnica apoiando o Oficial de Acordo, projeto ou atividade a ser realizado demonstrar que: As atividades ou seus resultados antecipados envolvem ou afetam homens e mulheres diferentemente; e Se assim, esta diferença será um fator importante no gerenciamento do programa de impacto sustentável.

35 35 TAREFA: SELECIONANDO INDICADORES (CRITÉRIO DE REJEIÇÃO “X”) Resultado: Aumento do conhecimento dos cidadãos DiretoObjetivoÚtilPráticoAtrib.Pontu al Adequad o 1. Nº. de pessoas treinadas 2. Taxa de pessoas treinadas/população objetivada 3. % de pessoas treinadas à população objetivada 4. Taxa de Nº. cumulativo de pessoas treinadas à população objetivada 5. Nº. de cursos fornecidos 6. Classificações médias pré- e pós-teste do conhecimento dos cidadãos 7. Classificações pré- e pós-teste de grupo de foco aleatório do conhecimento dos cidadãos 8. Entrevistas informativas chave 9. Nº. 4 e Nº. 7

36 TAREFA: Seleção de Indicadores de Desempenho  Use a tabela para colocar seus indicadores à esquerda com os 7 padrões através do topo.  Seus indicadores atendem todos os critérios?  Preencha as caixas com Sim ou Não.  O exercício fez com que você mudasse alguma coisa?

37 37 Linhas de Base e Metas OBJETIVOS:  Entender a função no Gerenciamento de Desempenho  Revisar informações do Sistema Diretivo de Automático  Entender como fixar linhas de base e metas  Explorar a Matriz abordando cada meta fixada

38 38 Função no Gerenciamento de Desempenho Como você saberá se suas Hipóteses de Desenvolvimento funcionam?

39 39 Linha de Base de Desempenho Valor do indicador de desempenho no início do período planejado.  As linhas de base podem/devem ser: –Fixadas antes da implementação das atividades apoiadas pela Agência de Desenvolvimento Internacional dos EUA que contribuem ao alcance do Resultado relevante –Medidas utilizando o mesmo método de coleta de dados que a ONG usa para avaliar progresso –Alteradas se o método de coleta de dados mudar (documentar!)

40 40 Meta de Desempenho Compromissos feitos pela ONG sobre o nível e pontualidade dos resultados a serem atingidos em um período específico de tempo.  Metas: –Podem ser expressas em quantidade, qualidade ou eficiência –Podem ser determinadas pela fixação da meta final primeiro, então metas intermediárias –Podem precisar ser fixadas depois que as atividades ou locais sejam selecionados –Podem ser ajustadas através do tempo –Devem ser realistas! –Devem estar fora da margem de erro de tendência histórica Se você não sabe o que está fazendo, você terminará em outro lugar - Yogi Berra

41 41 Ao fixar metas, revisar:  Linha de base (condição antes da intervenção)  Tendências históricas  Julgamentos de especialistas  Achados de pesquisa  Realizações de programas similares em outros lugares  Expectativas das partes interessadas  Objetivos e Quadro de Resultados  Orçamentos prospectivos  ATIVIDADES DO PLANO DE TRABALHO: Revisar Matriz de Exemplo de Caso e Tabela de Dados Resumida Como Fixamos Metas?

42 42 TAREFA: A Matriz Indicador/Plano de Trabalho Abordagem às Metas Fixadas  Selecione 2 Resultados Intermediários e liste seus indicadores.  Para aquelas atividades em seu Plano de Trabalho ou Grande Proposta que possuem impacto umas sobre as outras, os indicadores desenham a linha de tempo na qual ocorrem.  Qual meta você fixará para os anos de 2010, 2011, 2012?  Fixe metas para os 3 anos e preencha a Tabela de Dados Resumidos.

43 43 Indicador de Desempenho Folhas de Referência (PIRS) OBJETIVOS:  Revisar a relação entre os requerimentos do Plano de Gestão de Desempenho do Sistema Diretivo Automático e as Folha de Indicadores de Desempenho de Referência  Entender a forma e instruções da Folha de Indicadores de Desempenho de Referência  Completar seções selecionadas de uma Folha de Indicadores de Desempenho de Referência utilizando as instruções

44 44 ADS 203.3.3.1 Conteúdo de um Plano de Gestão de Desempenho Completo (p. 11) –Fixação total de indicadores de desempenho (1 por resultado no Quadro de Resultados) –Linha de base e valores objetivados (Deisagregado por sexo se indicado) –Fonte e método para coleta de dados, cronograma, limitações de dados, procedimentos de Análise Qualitativa de Dados, custo estimado, avaliação –Calendário de Tarefas de Gerenciamento de Desempenho –Quanto do acima está na Folha de Indicadores de Desempenho de Referência? –Procurar nas Folha de Indicadores de Desempenho de Referência e Amostras de Instruções

45 45 Descrição de Trabalho de Indicador  Dizer a verdade sobre o resultado relacionado quando precisamos quando precisamos ouvir isto no menor custo possível.  Vejamos os títulos de um Resumo de Indicador (Folha de Indicadores de Desempenho de Referência) para ver o que é incluído. (Ver Caso de Plano de Gestão de Desempenho exemplo de Folha de Indicadores de Desempenho de Referência.)  Podemos fazer o trabalho?

46 46 Seções de Resumo de Indicador  DESCRIÇÃO (Do que isto é feito?)  PLANO PARA AQUISIÇÃO DE DADOS (Como os dados nascem e quem são as parteiras?)  ASSUNTOS DE QUALIDADE DE DADOS (Possui quaisquer defeitos?)  PLANO PARA ANÁLISE DE DADOS, REVISÃO E RELATÓRIO (O que é seu trabalho na vida? Como fazer isto?)  LINHA DE BASE, METAS & REALIDADES (Desempenho esperado/real sobre o trabalho?)

47 47 TAREFA: Completar Seções de uma Folha de Indicadores de Desempenho de Referência 1.Selecionar dois indicadores de seu Quadro de Resultados de Subvenção 2.Revisar as instruções da Folha de Indicadores de Desempenho de Referência e aplicá-las para completar as seguintes seções em um quadro ou formulário de computador: –Indicador –Definição Precisa –Unidade de Medida –Desagregado por –Justificativa e Utilidade Gerencial –Método de Coleta de Dados 3. Teste: dar a folha a outra ONG e perguntar se eles podem usá-la para coletar bons dados sem mais explicação ou informação.

48 48

49 Juntando Tudo em um Plano de Gestão de Desempenho  Revisar o Caso Plano de Gestão de Desempenho.  Revisar quais seções os Participantes produziram ou não produziram.

50 50 Pensamentos Resumidos  A realidade não tem nenhum problema, nós sim.  A realidade não mente, nós sim.  O Grande Deus [realidade] é muito complicado; mas não evidentemente mau. – Albert Einstein  Nenhum montante de dados pode me provar certo; nenhum montante de dados pode me provar errado. – Albert Einstein  Abençoados são aqueles que sabem o que estão fazendo; por eles deverem saber se eles fizeram isto.