Modulo 3 Indicadores

Modulo 3: Indicadores Tópicos do Modulo: 1. O que é um indicador 2. Importância do marco conceitual na selecção de indicadores 3. Identificar os usos dos indicadores 4. Conhecer estratégias para seleccionar indicadores 5. Identificar fontes de dados 6. Construção de indicadores

Conteúdo: Tópico 1: O que é um indicador O que é um indicador Piramide de fluxo de Indicadores de M&A Formas de Indicadores Designação de Indicadores Modulo 3: Indicadores

Tópico 1: O que é um indicador Modulo 3: Indicadores É uma váriavel que serve para medir a mudança, quer directa ou indirectamente (WHO, 1981) Os indicadores são medições quantitativas geralmente definidas por um numerador e um denominador O indicadores sao tambem medicoes qualitativas Conteúdo: O que é um indicador

Tópico 1: O que é um indicador Modulo 3: Indicadores O Que é um indicador? No âmbito mais geral Um indicador é uma variável que descreve uma dada situação e que se usa para medir a mudança, baseando-se na análise funcional dos serviços prestados, com um enfoque do serviço para o cliente. Os indicadores devem ser definidos e utilizados de acordo com o tipo de informação que se pretende medir. Podem ser utilizados para medir: volume de actividades, execução e cobertura das mesmas, tendências, efectividade, eficiência, eficácia, evolução, custo-efectividade e custo- eficácia. Conteúdo: O que é um indicador

Tópico 1: O que é um indicador Modulo 3: Indicadores O Que é um indicador? Para o caso CNCS Um indicador é uma variável quantitativa ou qualitativa que fornece meios simples e fiáveis para medir as realizações, monitorar o desempenho, ou para reflectir as mudanças associadas a uma intervenção. Conteúdo: O que é um indicador

Tópico 1: O que é um indicador Modulo 3: Indicadores Conteúdo: Pirâmide de fluxo de Indicadores de M&A: Indicadores a Nível de Programa / Projecto (COV, PTV, TB/HIV, Malária, etc.) Indicadores a Nível Nacional (CNCS, MISAU, MMAS, …) Indicadores Multi-nacionais (UNGASS,ODM, PEPFAR) Número de Indicadores Redução Aumento Indicadores a Nível Provincial (Resposta Provincial) Indicadores a Nível Distrital (Resposta ao HIV distrital)

Conteúdo: Formas de Indicadores Um indicador pode ser um: número (contagem) proporção (percentagem) taxa média e mediana razão índice (composição de indicadores) Tópico 1: O que é um indicador Modulo 3: Indicadores

Contagem- Mede o número de eventos sem denominador Proporção - O numerador está contido no denominador Indicador = Nr. de escolas primárias Nr. de escolas primárias No total de escolas Indicador = Conteúdo: Formas de Indicadores Tópico 1: O que é um indicador Modulo 3: Indicadores X 100%

Taxa- Frequência de um evento em um determinado tempo Razão - O numerador nao está incluido no denominador Nr. de crianças nos infantários No crianças < 6 anos no ano xxxx Indicador = Nr. de crianças orfãs na escola Nr. crianças não orfãs na escola Indicador = Conteúdo: Formas de Indicadores Tópico 1: O que é um indicador Modulo 3: Indicadores

Média – É obtida dividindo-se a soma das observações pelo número delas Mediana - é uma medida de tendência central. A mediana de um grupo de dados ordenados separa a metade inferior da amostra da metade superior. Conteúdo: Formas de Indicadores Tópico 1: O que é um indicador Modulo 3: Indicadores

Índice - Uma medida composta por um conjunto de indicadores:  Índice global da saúde  Índice composto da resposta nacional do HIV  Índice da pobreza Conteúdo: Formas de Indicadores Tópico 1: O que é um indicador Modulo 3: Indicadores

Tópicos 2: Importãncia do marco conceitual na selecção de indicadores Designação de Indicadores Conteúdo: Modulo 3: Indicadores

Tópicos 2: Importância do marco conceitual na selecção de indicadores Conteúdo: Designação de Indicadores Modulo 3: Indicadores Este exercício tem como objectivo, de forma conjuta, desenvolver a piramide com os elementos do quadro lógico insumos (input), actividades (process), produtos (output), resultados (outcome) e impacto (impact) desenvolvendo indicadores para cada uma das fases. Exercício1: Em grupo: Com base no tema que o grupo receber, deve desenvolver indicador: insumos (input), actividades (process), produtos (output), resultados (outcome) e impactos (impact), montando do quadro logico.

Tópicos 2: Importãncia do marco conceitual na selecção de indicadores Modulo 3: Indicadores Temas para o exercício 1: 1- O número anual de novas infecçoes por HIV diminuiu globalmente, e a prevalencia do HIV entre jovens tambem diminuiu em muitos países (UNAIDS, 2008). Mundialmente, a cobertura de serviços de prevençao de transmissao vertical do HIV (da mae para o filho) aumentou de 10% em 2004 para 45% em 2008 (Organizaçao Mundial da Saúde, Fundo das Naçoes Unidas para a Infancia, UNAIDS). 2- Sobre a África Sub-sahariana, embora a maioria de novas infecções em muitos países africanos ocorra entre casais heterossexuais mais velhos, são relativamente poucos os programas de prevenção especificamente focalizados em adultos mais velhos. Conteúdo: Designação de Indicadores

Tópicos 2: Importãncia do marco conceitual na selecção de indicadores Modulo 3: Indicadores Indicadores de: Insumos - (Inputs) Actividades – (Process) Productos – (Output) Resultados – (Outcome) Impactos – (Impact) Conteúdo: Designação de Indicadores

Indicadores de Insumos (inputs) Os insumos são todos os Recursos Financeiros e Humanos, Equipamentos, Estrutura Operacional, Equipa de trabalho, Sistemas, Metodólogias, Cronogramas de Actividades, Planos de Trabalho, Planos de M&A que tornam possível a implementaçao das actividades do programa. Tópicos 2: Importãncia do marco conceitual na selecção de indicadores Modulo 3: Indicadores Conteúdo: Designação de Indicadores

Tópicos 2: Importãncia do marco conceitual na selecção de indicadores Modulo 3: Indicadores Indicadores de actividades (Process) Actividades refere-se às actividades múltiplas que se realizam para alcançar os objetivos do programa; Gestão de Sistemas em geral, Treinamentos, Cursos, Visitas de Monitoria e Supervisão, IEC. Conteúdo: Designação de Indicadores

Indicadores de produto (Output) Os produtos são os resultados das actividades a nível do programa; Clientes atendidos, Profissionais Treinados, Produtos Distribuídos,Usuários dos Serviços, Custo por Serviço, Custo por Actividade. Tópicos 2: Importãncia do marco conceitual na selecção de indicadores Modulo 3: Indicadores Conteúdo: Designação de Indicadores

Tópicos 2: Importãncia do marco conceitual na selecção de indicadores Modulo 3: Indicadores Indicadores de resultados (Outcomes) Os resultados referem-se os efeitos do programa a nível da população; Demanda de serviços, Mudanças de atitude, Variação do número de usuários, Melhorias nos sistemas gerenciais, Cobertura, Variações % dos indicadores de Produtos. Conteúdo: Designação de Indicadores

Tópicos 2: Importãncia do marco conceitual na selecção de indicadores Modulo 3: Indicadores O impacto refere-se os efeitos do programa a nivel mais global; Prevalência, Incidência, Fecundidade, Mortalidade Indicadores de impacto (Impact) Conteúdo: Designação de Indicadores

Exemplo de indicador de actividade: Indicador: Número de estudos nacionais realizados sobre COVS nas escolas Objectivo: O indicador acima responde ao objectivo: aumentar o número de estudos nacionais sobre COVS nas escolas Modulo 3: Indicadores Conteúdo: Designação de Indicadores

Tópicos 2: Importãncia do marco conceitual na selecção de indicadores Modulo 3: Indicadores Exercício 2: Em plenário: Solicitar os participantes para fazer um resumo de indicadores de: insumos, actividades, produtos, resultados e impacto. Conteúdo: Designação de Indicadores

QUADRO RESUMO INSUMOS ACTIVIDADES PRODUTOS RESULTADOS IMPACTO Recursos Financeiros e Humanos, Equipamentos, Estrutura Operacional, Sistemas, Metodologias, Cronogramas de Actividades, Planos Trabalho, Planos de M&A. Clientes atendidos, Profissionais Treinados, Produtos Distribuídos, Usuários dos Serviços, Custo por Serviço, Custo por Actividade. Gestão de Sistemas em geral, Treinamentos, Cursos, Visitas de Monitoria e Supervisão, IEC. Prevalência, Incidência, Fecundidade, Mortalidade Demanda de serviços, Mudanças de atitude, Variação do número de usuários, Melhorias nos sistemas gerenciais, Cobertura, Variações % dos indicadores de Produtos. Modulo 3: Indicadores

Os indicadores tem que ser CREAMM: C laro - preciso e não ambiguo R elevante/petenente – aprópriado ao assunto E conomico – Viável a custos reduzidos A dequado – propiciando avaliar o desempenho Mensuravel – Quantificado e medido M onitoravel – acessível à validação independente Tópicos 3: Identificar o uso dos indicadores Modulo 3: Indicadores

4 passos para selecção de um indicador Algumas “falhas” comuns na Selecção de Indicadores Conteúdo: Tópico 4: Conhecer estratégias para seleccionar indicadores Modulo 3: Indicadores

Conteúdo: 4 Passos para Selecção de Indicadores Passo 1 Ter bem definido os Resultados que se pretende alcançar Identificar o que necessita ser medido. Bons indicadores iniciam com boa definição de resultados esperados. Iniciar com objectivo ou meta geral e depois com os demais componentes do programa / projecto. Tópico 4: Conhecer estratégias para seleccionar indicadores Modulo 3: Indicadores

Tópico 4: Conhecer estratégias para seleccionar indicadores Modulo 3: Indicadores Passo 2 Desenvolver uma lista de Possíveis Indicadores Chuva de id é ias de indicadores para cada n í vel de resultado. Use: Id ei as internas Consultar especialistas em M&A Consultar / verificar experiência de programas semelhantes / projectos com outras Organiza ç ões / Institui ç ões Conteúdo: 4 Passos para Selecção de Indicadores

Tópico 4: Conhecer estratégias para seleccionar indicadores Modulo 3: Indicadores Conteúdo: 4 Passos para Selecção de Indicadores Passo 3 Avaliar cada Indicador, em termos de ser: 1.Mensurável (ser quantificado e medido).  Confiável (ser medido repetidamente com precisão por diferentes pessoas).  Relevante (ser atribuído ao seu programa / projecto). 4. Preciso (ser claramente definido e medir somente um evento)  Directo (refletir o resultado que se pretende medir).  Oportuno (ser medido a intervalos de tempo pertinentes e aprópriado em termos de metas e actividades do programa / projecto)  Utilizado no processo de Gestão (ser uma medida oportuna para tomada de decisão).

Tópico 4: Conhecer estratégias para seleccionar indicadores Modulo 3: Indicadores Conteúdo: 4 Passos para Selecção de Indicadores Passo 4 Seleccionar os “Melhores” Indicadores Reduzir a lista final de indicadores limitando ao máximo ao número dos que respondem os objectivos. Os indicadores devem ser aqueles que satisfaçam as necessidades do programa / projecto a um custo aceitável / razoável. Não se esqueça do público alvo do programa / projecto

Revisão dos Passos para Selecção de Indicadores Passo 1: Ter bem definido os Resultados que se pretende alcançar Passo 2: Desenvolver uma lista de Indicadores Passo 3: Avaliar a pertinencia cada Indicador Passo 4: Seleccionar os “Melhores” Indicadores Tópico 4: Conhecer estratégias para seleccionar indicadores Modulo 3: Indicadores Conteúdo: 4 Passos para Selecção de Indicadores

Algumas “falhas” na Selecção de Indicadores Indicadores Não relacionados com as actividades e/ou objectivos do programa / projecto Indicadores impossíveis de colectar Indicadores de actividades (Process) para medir impacto (Impact) e resultados (Outcomes) Indicadores repetitivos Etc… Tópico 4: Conhecer estratégias para seleccionar indicadores Modulo 3: Indicadores

Identificação de fontes de dados Indicadores qualitativos e quantitativos Classificação de indicadores Conteúdo: Tópico 5: Identificaçâo de Fontes de Dados Modulo 3: Indicadores

Tópico 5: Identificaçâo de Fontes de Dados Modulo 3: Indicadores Conteúdo: Identificação de Fontes de Dados 1. Insumos 2. Actividades 3. Produtos Relatórios de Programa Avaliações Diagnósticas Estatísticas de Serviço Avaliações de Treinamentos Dados do Sector Privado / ONGs Relatórios / Documentos Governamentais Outros

4. Resultados 5. Impacto Pesquisas de Demografia e Saúde Censo Demográfico Relatórios de Avaliação Anuais Ministeriais Relatórios de Avaliação de Organizações Nacionais e Internacionais Outros Conteúdo: Identificação de Fontes de Dados Tópico 5: Identificaçâo de Fontes de Dados Modulo 3: Indicadores

Indicadores qualitativos e quantitativos Ambos são necessários para a avaliação:. l Indicadores quantitativos: são necessários para monitorar as tendências/ progresso das intervençoes. l Indicadores qualitativos: facilitam a interpretação e análise dos objectivos do projecto. Conteúdo: Indicadores qualitativos e quantitativos Tópico 5: Identificaçâo de Fontes de Dados Modulo 3: Indicadores

Conteúdo: Clasificação de indicadores Indicadores de monitoria e avaliação de programas: Monitoria- Mede insumos, actividades e produtos Avaliação- Mede produtos, resultados e impacto Periodicidade: Monitoria.- Medições regulares Avaliação.- Medições do inicio, medio e longo prazo do programa (avaliação pós-programa) Tópico 5: Identificaçâo de Fontes de Dados Modulo 3: Indicadores

Construção de indicadores Protócolo para Indicadores Conteúdo: Tópico 6: Construção de indicadores Modulo 3: Indicadores

Conteúdo: Construção de indicadores Cálculo Dados necessários Fonte de dados: censos demográficos Propósito e considerações: medir a equidadede do généro na educação, entre 15 a 49 anos Nr. de mulheres entre 15 e 49 anos que tenham completado o EP1 x100 Nr total de mulheres entre 15 a 49 anos Tópico 6: Construção de indicadores Modulo 3: Indicadores

Conteúdo: Construção de indicadores Tópico 6: Construção de indicadores Modulo 3: Indicadores Exercício 3: Em grupo Construir um indicador de proporção e defini-lo.

Indicador: % de mulheres entre anos de idade que completaram ao menos cinco o nível primário de escolaridade; Definição: este indicador mede a percentagem de mulheres entre 15 e 49 anos de idade que completaram ao menos o nível primário de educação. Conteúdo: Construção de indicadores Tópico 6: Construção de indicadores Modulo 3: Indicadores

Conteúdo: Construção de indicadores Tópico 6: Construção de indicadores Modulo 3: Indicadores Exercício 4: Este exercicio tem como objectivo, de forma conjunta, construir indicadores de indice composto e interpretá-los. Em grupo Construir um indicador de índice composto e defini-lo a partir do exemplo abaixo: participação da mulher na tomada nas seguintes decisões: Comprar coisas volumosas para a casa Fazer as compras diarias da casa Visitar sozinha a família ou parentes Determinar a atenção a sua própria saúde Comprar uma roupa, ou sapato novo

Construção de indicadores Indíce composto Indicador: Participação da mulher na tomada de pelo menos 3 ou mais decisões no agregado familiar Definição: Este indicador mede a participação da mulher na tomada de 3 ou mais das seguintes decisões: Comprar coisas volumosas para a casa Fazer as compras diarias da casa Visitar sozinha a família ou parentes Determinar a atenção a sua própria saúde Comprar uma roupa, ou sapato novo Tópico 6: Construção de indicadores Modulo 3: Indicadores

Cálculo: Se calcula dando uma pontuação de 1 para cada decisão que a mulher toma e 0 se a mulher não participa de cada; O valor do índice, portanto, irá de 0 a 2 (não participa em nenhuma das decisões) 3 a 5 (participa na tomada de decisões). Conteúdo: Construção de indicadores Tópico 6: Construção de indicadores Modulo 3: Indicadores

Conteúdo: Conceito de Meta Modulo 3: Indicadores Meta - É a descrição detalhada, possível de ser definida e medida em termos quantitativos e ou qualitativos. É um macro intermédio que tem a função de ajudar qualquer projecto ou programa a alcançar os objectivos previamente definidos. Exemplo: Para o indicador acima a meta defenida podia ser de 40% de mulheres entre anos de idade que completaram ao menos o nível primário de escolaridade. Indicador: % de mulheres entre anos de idade que completaram ao menos o nível primário de escolaridade;

Protocolo (ficha técnica) para Indicadores Protocolo é um guião de instruções sobre os indicadores. Usualmente inserido na elaboração do Plano de M&A. O protocolo captura a razão pela qual os indicadores foram seleccionados, descreve os indicadores em termos precisos, identifica as formas de recolha de dados, análise e formas de reportar. O protocolo ajuda a asseguar a confiabilidade dos indicadores por meio de informação crucial que permite diferentes actores medirem repetidamente os mesmos indicadores com a mesma precisão. O protocolo proporciona informação sobre os meios de verificação para os indicadores. Instrumento para Avaliação e Auditoria Modulo 3: Indicadores

Exemplo 1 de Protocolo (ficha técnica) para Indicadores Nome do Indicador: Descrição (definição, unidade de medida, disagregação por sexo, região, faixa etária etc): Plano de obtenção de dados (forma de cálculo, método de recolha, frequência, fonte de dados, formas de armazenamento): Plano de análise e relatórios: Atribuição de Responsabilidade: Observações e Notas: Desempenho (Metas): Modulo 3: Indicadores

Exemplo 2 de Protocolo (ficha técnica) para Indicadores Nome do Indicador: Definição: Propósito: Numerador: Denominador: Instrumento / Forma de Medida: (Meio de Verificação) O que o Indicador Mede ? Como se Mede o Indicador? Observações (Fortalezas e Limitações): Desempenho (Metas): Modulo 3: Indicadores

Algumas Recomendações Finais  O que pensa modificar?  Como mostrar / apresentar as mudanças?  Um único indicador não constitui uma medida ampla. (# de COVs – necessita estar relacionado com o que se quer medir)  Equilibrar entre muitos indicadores, mas ter o bastante para obter informação fundamental. Não se desenvolve um indicador para cada possível assunto, mas para os elementos mais importantes do programa / projecto.  Uma sistema de M&A de alta qualidade pode rastrear todos os níveis de dados mas não deve usar indicadores de input como evidência de outcome ou para avaliar efectividade de um programa / projecto  Os indicadores de process são importantes para monitorar as actividades dos programas / projetos.  Os indicadores de outcome são necessários para mostrar os alcances dos objectivos Modulo 3: Indicadores

Obrigado!

Apoio: