O QUE É O SISTEMA DE MONITORING É um sistema de vigilância e registo permanente ou periódico da implementação de um projecto; É uma função essencial da gestão do projecto e as suas acções devem ser adequadamente planeadas e integradas desde as etapas iniciais do projecto; A monitorização incide sobre o projecto mas também sobre o seu impacto, sobre os seus efeitos externos directos e indirectos; Tem o objectivo de fornecer ao gestor do projecto e aos principais interessados e envolvidos, indicações e informações estruturadas em relação ao percurso do projecto; Fornece as bases para a acção correctiva, em relação às actividades e ao plano operacional. Deve reforçar os resultados iniciais previstos

REQUISITOS TÉCNICOS PARA UMA MONITORIZAÇÃO EFICIENTE Recolha e estruturação da informação disponível; Verificação dos indicadores de desempenho e resultados; Contacto com os beneficiários e envolvidos no projecto; Elaboração de relatórios sistemáticos

PREPARAÇÃO E APLICAÇÃO DE UM SISTEMA DE MONITORING 1 – IDENTIFICAÇÃO DOS FACTORES CHAVE A SEREM CONTROLADOS Monitorizar a performance, inputs e outputs – Aferição dos recursos e dos respectivos resultados; 2 – PLANEAMENTO DAS ACTIVIDADES DE RECOLHA DE INFORMAÇÃO O planeamento do projecto deve identificar as actividades de recolha e sistematização da informação recolhida. Todas as fontes de informação devem produzir os seus dados de forma a se integrarem no processo global de produção de informação relevante; 3 – DEFINIÇÃO DA FORMA DE APRESENTAÇÃO DA INFORMAÇÃO O sistema de monitoring deve programar a utilização de determinadas formas de organização formal da informação, tais como por ex: - Relatórios de progresso de implementação do projecto; - Relatórios anuais de resultados do projecto - Outras de acordo com contexto do projecto 4 – IDENTIFICAÇÃO DOS DESTINATÁRIOS DA INFORMAÇÃO RECOLHIDA Identificação prévia de quais os destinatários da informação recolhida, de acordo com orientações definidas no planeamento. Ex: promotores do projecto, financiadores, responsável de projecto, etc

PREPARAÇÃO E APLICAÇÃO DE UM SISTEMA DE MONITORING 5 – Preparação para a inclusão de factores não previstos Para além dos factores externos e condicionamentos do projecto (previstos na MEL), o sistema de monitoring deve preparar procedimentos específicos para responder a solicitações e necessidades não previstas na fase de planeamento. Por ex: para uma delegação regional ou ministério, para entidade gestora QCA, etc. As questões básicas que o sistema de monitoring deve permitir responder são relativas : - Às actividades em curso; - Aos níveis de realização; - À utilização dos recursos em relação ao que foi pré-definido na etapa de planeamento; - À conformidade com os critérios de elegibilidade Actividade Nível de Desvios Soluções Planeada Realização Observados Alternativas

História da avaliação É a partir da 2ª Guerra Mundial (sobretudo nos EUA) que a avaliação passa a ser importante por quem encomenda programas sociais. Acreditava-se que se poderia resolver os problemas sociais através da aplicação de recursos de forma inteligente e que a avaliação poderia dizer quais os programas e métodos mais apropriados; Modelos muito tecnocráticos – desvalorizados os conflitos de interesses e interesses dos grupos mais minoritários; Modelos insensíveis a variações locais e culturais. Grandes amostragens e recolha estandartizada de dados.

História Avaliação Anos 60/70 – Defesa de uma avaliação multicultural. Crítica da avaliação quantitativa; Acredita-se que diferentes grupos sociais apresentam diferentes interesses e lógicas de actuação. Valorizada a individualidade de cada de cada situação ou programa; Excesso de localismo destes modelos foi impeditivo de maior impacte público fornecendo pouca credibilidade nas informações e grande dificuldade de generalização

A Av. No final século XX Revisão de paradigma que tinha como pano de fundo a constatação de que as avaliações realizadas influenciavam muito pouco as decisões que eram tomadas com base em critérios sócio-políticos, descurando os resultados das avaliações cuidadosas e cientificamente bem fundamentadas; Anos 80 tentativa de reconciliação de vários paradigmas, aproximando actores e decisores numa procura pragmática da eficácia; Curiosamente, as críticas aos vários modelos de avaliação não fazem esmorecer a sua importância pública e política; antes pelo contrário, assiste-se à obrigatoriedade da avaliação na maioria dos programas sociais.

A Av. No final século XX Os processos de planeamento e de programação das intervenções sociais bem como a aferição dos seus resultados estão dependentes e associados ao que se tem vindo a chamar de metodologia participativa dos projectos de intervenção; Acredita-se hoje que a “avaliação participativa” resolve, simultaneamente, a multiculturalidade dos olhares sobre a condução dos processos sociais e a nova democraticidade que é exigida à acção pública

Participação pública nos processos de avaliação permite: Obtenção de um conhecimento local dos problemas existentes; Incremento e aferição da capacidade de detecção e previsão das consequências de novas acções sobre os sistemas, ambientais, sociais e organizacionais locais; Capacidade de reconciliação de interesses locais contraditórios, entre grupos sociais ou interesses sectoriais distintos, e entre a interpretação do “interesse público” vinculado pela administração; Capacidade de reduzir as probabilidades de se gerarem conflitos abertos entre grupos locais e promotores dos projectos, através do diálogo e do progressivo desenvolvimento de laços de co-responsabilização entre os diversos intervenientes;

Formato-padrão do Relatório de Avaliação

A avaliação de projectos sociais não deve: Ser a mera quantificação das acções; Ser normativa, ou confundir-se com práticas de controlo; Medir apenas o êxito das acções com o apoio de indicadores tais como a taxa de concretização de objectivos (Deve preocupar-se com os processos a partir dos quais esses objectivos foram produzidos); Ser confundida com o controlo administrativo que tem por fim verificar da concordância das acções com as normas institucionais

CRITÉRIOS DE AVALIAÇÃO O SUCESSO DO PROCESSO DE AVALIAÇÃO DEPENDE DA CAPACIDADE PARA ENCONTRAR INDICADORES QUE MEÇAM O PROCESSO E OS RESULTADOS DA AVALIAÇÃO AS COMPONENTES DO PROCESSO DE AVALIAÇÃO QUE PERMITEM A VERIFICAÇÃO DO SEU SUCESSO ANALISAM GERALMENTE OS SEGUINTES FACTORES:

A APRECIAÇÃO DA ADEQUAÇÃO O Projecto/Programa adequa-se ao contexto do problema e da situação sobre o qual se pretende intervir Trata-se de um projecto coerente na sua construção interna

VERIFICAÇÃO DA PERTINÊNCIA O PROJECTO É JUSTIFICÁVEL NO CONTEXTO DAS POLÍTICAS E ESTRATÉGIAS DO ORGANISMO, SERVIÇO, ETC.?

APRECIAÇÃO DA EFICÁCIA Em que medida os objectivos foram atingidos e as acções previstas foram realizadas? De forma global, deve perguntar-se: Se os meios utilizados foram adequados, pertinentes e suficientes; E se os benefícios (em termos de objectivos no fim) esperados foram realizados » INDICADORES: Acções realizadas/acções programadas; Objectivos realizados/objectivos planeados Público-alvo atingido/público-alvo-previsto

APRECIAÇÃO DA EFICIÊNCIA Os resultados confrontados com os recursos utilizados correspondem ao seu emprego mais económico e satisfatório? » INDICADORES: Objectivos atingidos/Recursos utilizados; Actividades realizadas/Recursos utilizados; Objectivos atingidos/Actividades realizadas; Recursos utilizados/Recursos previstos; Custos por tipo de acção, etc

APRECIAÇÃO DA EQUIDADE A equidade faz referência à distribuição e à repartição dos recursos entre os indivíduos e os grupos e à noção de justiça social Os objectivos, a definição dos grupo-alvo, a distribuição dos recursos aumentaram a igualdade de oportunidades ou geraram novas desigualdades? Apela à igualdade de oportunidades, não apenas ao nível do acesso a bens ou serviços, mas tb. Ao nível da capacidade de cada um gerir as suas próprias oportunidades

APRECIAÇÃO DO IMPACTE Na apreciação do impacte deve-se determinar em que medida se obteve uma melhoria da situação

APRECIAÇÃO DA SUSTENTABILIDADE Será que os efeitos do projecto subsistirão depois de ele estar completo

AVALIAÇÃO É UMA COMPONENTE DO PLANEAMENTO PERMITE DE FORMA RIGOROSA IR CONHECENDO OS RESULTADOS E EFEITOS DA INTERVENÇÃO PERMITE CORRIGIR TRAJECTÓRIAS

FUNÇÕES DA AVALIAÇÃO MEDIDA UTENSILIO DE APOIO À TOMADA DE DECISÃO PROCESSO DE APRENDIZAGEM REFORÇAR DEMOCRACIA PARTICIPATIVA - (Importante combinar aspectos qualitativos e os quantitativos)

TIPOLOGIAS EM FUNÇÃO DE QUEM REALIZA A AVALIAÇÃO AUTO-AVALIAÇÃO AVALIAÇÃO INTERNA AVALIAÇÃO EXTERNA AVALIAÇÃO MISTA A avaliação é realizada pela mesma equipa que a executa Realizada dentro da organização gestora, mas com distanciamento da equipa de execução É realizada por pessoas estranhas à organização Combina os vários tipos de avaliação

AV. - TEMPORALIDADE DIAGNÓSTICA (EX-ANTE) FINAL (Ex-POST) ACOMPANHAMENTO (ON GOING) FINAL (Ex-POST) Pretende proporcionar elementos que permitam decidir se o projecto deve ou não ser implementado Avalia a forma de concretização do projecto e dá elementos p/ o seu afinamento e/ou correcção Mede os resultados e efeitos do projecto

MODALIDADES E DIMENSÕES DA AVALIAÇÃO Intervenientes Temporalidade Âmbito de Incidência Auto-Avaliação Avaliação externa Avaliação mista Ex-ante; On-going Ex-post. Interactiva Desempenho/resultados Processo Prospectiva

MODALIDADES E DIMENSÕES DA AVALIAÇÃO DESTINATÁRIOS SUPORTE DE RECOLHA Intervenientes (técnicos) Dirigentes Instituições financiadoras População destinatária Potenciais beneficiários Análise documental Entrevistas Fontes estatísticas Diário de actividades

MODALIDADES E DIMENSÕES DA AVALIAÇÃO PRODUTOS ESTRATÉGICAS METODOLÓGICAS Relatórios Formação Actas Bases de dados Análises pontuais Análises comparativas Análises prospectivas (....)

ETAPAS AV. PARTICIPATIVA Facilitador distribui folhas e marcadores aos participantes; Os participantes escrevem uma ideia por cartão do que acham importante avaliar; Cada folha é lida em voz alta e colada na parede; Os participantes votam as ideias que consideram mais importantes; O grupo define uma matriz com os aspectos a avaliar; Cada critério é pontuado;

VANTAGENS DA AVAL. PARTICIPATIVA Meta-avaliação; Funciona como aprendizagem estruturando a informação; Aumenta a motivação dos participantes; Comunicação aberta, honesta e clara; Processo transparente; Feed-back imediato

Formato-padrão do relatório de avaliação

Critérios de Qualidade de um Projecto de Cooperação segundo a União Europeia Pertinência; Eficácia; Eficiência; Metodologia participativa ; Coerência interna; Flexibilidade; Programação operacional; Comunicação; Inovação e transferabilidade