Joaquim Bernardo A avaliação dos fundos no próximo período de programação Principais linhas de orientação e organização 12. ª R EUNIÃO DA R EDE DE A VALIAÇÃO DO QREN 3 de Novembro de 2011

 A lógica actual na avaliação dos fundos – dos inputs aos impactos Joaquim Bernardo Estratégia Objectivos e prioridades estratégicas Políticas públicas Inputs Outputs Impactos verificados Outros factores Indicadores financeiros Indicadores de realização Necessidades na diversidade…com prioridades comuns (Estratégia de Lisboa) Indicadores de impacto Resultados Indicadores de resultado Impactos esperados

 A lógica da avaliação no próximo período de programação – a focagem nos resultados Joaquim Bernardo Necessidades na diversidade… com prioridades comuns reforçadas (EU 2020) Estratégia Objectivos e prioridades temáticas (pré-definidas) Resultados pretendidos Políticas Públicas Inputs Outputs Resultados efectivos Outros factores Contributo ( impacto ) Indicadores financeiros Indicadores de realização Metas de resultado Indicadores de resultado

 A lógica da avaliação no próximo período de programação – principais traços…e riscos Joaquim Bernardo Impactos não são resultados menos directos das intervenções, mas são a mudança na realidade que podem ser atribuídas a esta; A ligação entre esforço (inputs) e realizações (outputs) pode continuar a ser analisada com base em indicadores; A ligação entre realizações e resultados é mediada por outros factores; Os impactos não são directamente observáveis, mas sim estimados: não existem indicadores de impacto! Dois grandes riscos a evitar: Seleccionar resultados influenciados sobretudo por outros factores; Considerar resultados como impactos.

Joaquim Bernardo  O papel estratégico da avaliação ex-ante na programação - um desafio a programadores e avaliadores Avaliações ex-ante como peça chave para a análise do PO, tendo que apresentar conclusões sobre: o contributo para a EU 2020, em função dos objectivos e prioridades temáticas; a coerência do PO face, nomeadamente, ao Quadro Estratégico Comum, ao Contrato de Parceria e aos recursos alocados; a relevância e clareza dos indicadores propostos, bem como se as metas são realistas face aos recursos previstos; como as realizações irão contribuir para os resultados; a fundamentação da forma de apoio proposta;

Joaquim Bernardo  O papel estratégico da avaliação ex-ante na programação - um desafio a programadores e avaliadores (continuação) a adequação dos recursos humanos e capacidade administrativa para a gestão; a adequação dos procedimentos de monitorização e para a recolha de dados para as avaliações; a adequação das “milestones” selecionadas para o quadro de performance; a adequação das medidas planeadas para promover a igualdade de género, prevenir a discriminação e promover o desenvolvimento sustentável; a avaliação ambiental estratégica, quando exigível. Em síntese, a avaliação ex-ante exige uma programação atempada e avaliadores conhecedores do respectivo objecto.

Joaquim Bernardo  A focalização na avaliação de impacto – o desafio de avaliar o contributo dos PO para os resultados Mantém-se a possibilidade/necessidade de promover avaliações centradas na avaliação da implementação dos PO, sobretudo numa primeira fase; mas… Fundamental concentrar mais os esforços na avaliação de impacto, visando responder a duas questões nucleares: 1.Os PO estão a gerar os efeitos esperados e com que extensão – Does it work? 2.Porque e como é que gera os efeitos (esperados e não esperados) – Why and how it works? Avaliações contrafactuais de impactos a privilegiar, sempre que possível, para responder à primeira questão. Avaliações baseadas na teoria da mudança a privilegiar na resposta à segunda. mas… Idealmente, complementar ambas as abordagens e cruzar metodologias.

Joaquim Bernardo  A focalização na avaliação de impacto – Três grandes exigências Tempo - necessidade de períodos diferenciados para a produção de resultados e, consequentemente, para a análise do impacto do PO sobre os mesmos (ponderar avaliações ex-post, em articulação com avaliações on-going?). Fiabilidade e disponibilidade da informação – exigência de informação sólida, atempada e com cobertura/desagregação adequada para alimentar as avaliações de impacto (atenção à condicionalidade ex-ante neste domínio); Capacitação institucional (clientes e avaliadores) – indispensável para assegurar a qualidade das avaliações de impacto.

Joaquim Bernardo  O modelo para a promoção da avaliação dos fundos – continuidades e mudanças Mantém as responsabilidades principais pela dinamização da avaliação em cada momento - Estados-membros as avaliações ex-ante e ongoing e a Comissão as avaliações ex-post; Mantém lógica de promoção da avaliação à medida das necessidades; Mantém princípio da independência dos avaliadores, internos ou externos; Torna os Planos de Avaliação obrigatórios para os PO; Reforça o poder das Comissões de Acompanhamento dos PO – mantendo-se apresentação e debate das avaliações nessa sede, passa a aprovar o Plano de Avaliação, bem como alterações no mesmo, a monitorizar a sua implementação e o follow-up das conclusões;

Joaquim Bernardo  O modelo para a promoção da avaliação dos fundos – continuidades e mudanças (continuação) A avaliação como instrumento de suporte à análise do desempenho dos PO e do Contrato de Parceria em 2017 e (sobretudo) em 2019; Obriga a pelo menos uma avaliação do contributo dos fundos do Quadro Estratégico Comum para os objectivos de cada prioridade durante o período de programação; Obriga a um relatório sumarizando as conclusões das avaliações empreendidas pelos PO financiados pelo FEDER, FC e FSE (a submeter até 31 de Dezembro de 2020); Deixa de articular de forma explicita a reprogramação com a avaliação e de distinguir entre avaliações operacionais e estratégicas.

Joaquim Bernardo  O modelo para a promoção da avaliação dos fundos – alguns elementos críticos para reflexão Flexibilidade do modelo – normas regulamentares restringem capacidade de adaptação às necessidades de cada PO e em função da sua dimensão e natureza (princípio da proporcionalidade); Avaliação do Contrato de Parceria/transversais – focagem quase exclusiva na óptica da avaliação dos PO; Papel da avaliação na análise do quadro de performance e/ou na sustentação de reprogramações – clarificar e valorizar esse papel; Clarificar aplicação do princípio da independência aos avaliadores internos; Papel das Comissões de Acompanhamento – oportunidade da aprovação do Plano de Avaliação na sua primeira reunião, capacitação dos seus membros.

Joaquim Bernardo  A avaliação dos fundos, futuro e presente – Passos seguintes no âmbito da rede de avaliação (proposta) 1.Potenciar envolvimento dos membros da rede na preparação e debate sobre a avaliação no próximo período de Programação – contributos e acompanhamento do processo; 2. Reforçar papel do 2.º ciclo de avaliações do QREN na preparação do futuro – (re)focagem na avaliação do contributo dos PO e do QREN para os resultados; 3.Promover a capacitação institucional – e.g. avaliação contrafactual de impactos; 4.Outros? Quais?

Joaquim Bernardo A avaliação dos fundos no próximo período de programação Principais linhas de orientação e organização 12. ª R EUNIÃO DA R EDE DE A VALIAÇÃO DO QREN 3 de Novembro de 2011