Avaliação de Impacto de Projetos de Desenvolvimento Econômico Local Alessandro Maffioli BID – Escritório de Planejamento Estratégico e Efetividade no Desenvolvimento

1 Estrutura da apresentação Relação entre desenho, monitoramento y avaliação Elementos básicos da avaliação de impacto – Alcance e objetivo – O concepto de contrafactual – Avaliação de impacto e analise de impacto econômico Avaliação de impacto e análise de impacto econômico Avaliação de impacto no caso dos projetos de cluster – Definição de um marco de referencia – Um estudo piloto em Brazil

2 Problema/Desafio de Desenvolvimento Objetivo de Desenvol. Resultados esperados Causas e Determinantes Produtos Esperados Atividades Diagnóstico: não só uma descrição do problema, mas tem que ser analítico y presentear problemas (e suas causas) que possam ser resolvidos Hipóteses y Riscos População Objetivo Focalização Modelo de Intervenção Mecanismos de Execução A lógica de desenho

3 Problema/Desafios de Desenvolvimento Objetivo de Desenvol. Resultados esperados Causas e Determinantes Produtos Esperados Atividades Relevância Hipóteses y Riscos População Objetivo Heterogeneidade Avaliação de impacto Monitoramento e Avaliação de Processo A lógica de avaliação

4 Monitoramento, aprendizagem y … Monitoramento: o programa está avançando de acordo com o planejado? – Insumos – Atividades – Produtos – Resultados – Os indicadores estão movendo-se na direção correta? A esse nível não há preocupação por definir causalidade e atribuição O monitoramento é o inicio de um processo de aprendizagem – Registra os detalhes da intervenção (fidelidade) – Produze dados

5 … avaliação A avaliação é análise sistemático y objetivo que tem a finalidade de determinar a pertinência e logro dos objetivos y metas, a eficiência, eficácia, qualidade, resultados, impacto y sustentabilidade Existem diferentes tipos de avaliações: – Necessidades – Desenho – Implementação – Resultados – Impacto – Eficiência

6 Alcance de uma avaliação de impacto No estrito sentido, busca determinar se o programa funciona (é possível atribuir uma mudança positiva nos indicadores de interes ao programa?) No sentido mais amplio, os policy makers querem saber também porque funciona (o no) o programa, e qual é sua efetividade Isso implica que para ser útil em términos de políticas públicas, a avaliação de impacto tem que ser integral, incluindo aspectos quantitativos e qualitativos

7 Fundamentos da avaliação de impacto El concepto central da avaliação de impacto é a atribuição ou causalidade: determinar se o cambio no indicador é conseqüência da intervenção ou de outros fatores Conceitualmente, precisa-se gerar um contrafactual: determinar o que teria acontecido sem o programa. Se contrasta a situação “com programa” e a situação “sem programa”, onde todas as dimensiones relevantes para explicar os resultados (observáveis y no observáveis) são iguales.

8 O conceito de contrafactual o impacto de um programa é a diferencia entre: – Os resultados dos beneficiários do programa depois de participar no programa e – Os resultados que os mesmos beneficiários teria obtido no mesmo momento se não tivessem participado não programa (contrafactual) Problema: o contrafactual não é observável  precisa-se construir artificialmente (estadisticamente) um contrafactual Normalmente, por isso se identifica um grupo de empresas/localidades que não participaram no programa  grupo de controle o grupo de comparação

Por que se precisa um contrafactual tiempo Y 9

Alternativas para construir um contrafactual Comparar a situação antes y depois do programa  é incorreto: muitos fatores que tem efeitos nos resultados podem ter cambiado Comparar um grupo com programa y outro sem programa  é correto só se os grupos eram iguales antes do programa y foram expostos a os mesmos fatores Para gerar um grupo de controle válido, temos duas opções básicas: – Métodos experimentais – Métodos não- experimentais 10

Uma alternativa: Modelos estruturais Modelo baseados em modelos que incluem todas a variáveis que podem influir no resultados e a intervenção publica Muito intensivo em informações Necessidade de justificar e provar empiricamente as principais hipóteses Mais débil em resolver o problema da atribuição Depende da calibração do modelo 11

Avaliação de impacto e análise de impacto econômico Os resultados de uma avaliação de impacto podem ser utilizado pela calibração de modelos de análise econômico Atribuição de resultados  Contribuição aos objetivos de desenvolvimento (de nível maior) Exemplo: – Avaliação de impacto  programa de cluster aumenta exportações das empresas beneficiarias – Modelo CGE  aumento de exportações contribui ao crescimento da economia regional 12

O modelo de intervenção dos projetos de cluster – justificação Hipóteses: externalidades que são simultaneamente especifica por sector e por localização geram economias de aglomeração Em presencia de externalidades, falhas de coordenação fazem que agentes públicos e privados não otimizem seus investimentos Outras falhas institucionais e de mercado (restrições financeira e de conhecimento etc.) podem impedir o desenvolvimento do cluster 13

O modelo de intervenção dos projetos de cluster – ações Resolver falhas de coordenação – Identificar necessidades de investimento – Desenvolver Planes de Melhoramento da Competitividade – Coordenar a atuação do PMC – Promover conexoes Co-financiar as aciones dos PMC – Desenvolvimento institucional – organizacional – infra-estruturas (public utilities) – Bens clube (maquinarias de uso coletivo) – Investimentos em Pesquisa e desenvolvimento – Credito 14

Resultados esperados A nível da localidade – Aumentar conexões entre agentes – Aumentar investimentos produtivos – Incrementar criação de novas empresas – Aumentar emprego A nível das empresas – Incrementar investimentos (P+D) – Aumentar adoção de tecnologias e práticas – Aumentar conexões – Produtividade (do trabalho – TFP) – Aumentar Exportações – Incrementar mercados de exportação 15

Identificação do contrafactual 16 Qual são os beneficiários – Municipalidades que pertencem ao cluster – Empresas (trabalhadores) que pertencem ao cluster (diretos) – Empresas (trabalhadores) que participam diretamente no PMC (indiretos) Qual é um potencial grupo de comparação? – Municipalidades que não pertencem ao cluster – Empresas (trabalhadores) que não pertencem ao cluster Como controlar por efeitos spillover? – Impacto direto: beneficiários diretos – controles – Spillover: beneficiários indiretos – controles

Medição dos efeitos spillover 17 Localidade controleLocalidade tratada 70% 20% D I C 50% Impacto tratados: 70% - 20% = 50% Efecto spillover: 50% - 20% = 30%

Estudo piloto no caso dos APLs 18 Cruzamento dados administrativos e dados secundário existentes: – Pesquisas IBGE (PIA, PINTEC) – Registros administrativos (RAIS, SECEX) Indicadores de resultados em dois níveis: – Municipalidades: emprego, exportações, criações de empresas – Empresas: emprego, exportações, produtividade, ventas, mercados, inovação, sobrevivência das empresas

Identificação dos potenciais grupos tratados e de controles 19 1.Empresas nos APLs vs. Empresas fora dos APLs 2.Empresas nos APLs que participam aos PMC vs. Empresas fora dos APLs 3.Empresas nos APLs que não participam ao PMC vs. Empresas fora dos APLs  1) impacto total; 1) impacto direto; 2) impacto indireto. 4.Municipalidades dos APLs vs. Municipalidades fora dos APLs

Identificação do método de estimação 20 Quase- experimental Propensity Score Matching + Diferencia em Diferencia – Identificação de beneficiarias e controles similares em base a características observáveis – [Beneficiarias Depois – Beneficiarias Antes] – [Controles Depois – Controles Antes] Alternativas – Regressão descontinua – Variáveis instrumentais

Solução ideal do problema do contrafactual: desenho experimental No desenho experimental, a participação no programa é determinada de maneira aleatória  isso garante que os grupos beneficiários y não beneficiários são, em média, iguales em todas as características relevantes (observáveis y não observáveis). Também é una maneira transparente e justa de alocar benefícios quando não há orçamento para todos. Como todos os métodos, tem limitações: não tem placebo, há desertores, externalidades… Todos os métodos não-experimentais buscam replicar experimentos.

Métodos não experimentais: Diferencias em Diferencias Corrige bias da estimação antes/depois (AD) e com/sem (CS), usando um grupo de comparação como contrafactual: El estimador AD mede o impacto + efeito tempo El estimador CS mede o impacto + diferencia entre grupos El estimador DD usa o AD no grupo de comparação para eliminar o efeito tempo, e a diferencia ex-ante para eliminar a diferencia entre grupos: DD = [ Y A, Y A,1999 ] - [Y B, Y B,1999 ] DD = [ Y A, Y B,2001 ] - [Y A, Y B,1999 ]

Estimador Antes/Depois 2000 Treatment Indicador Beneficiários Comparação AD = Impacto + Efeito tempo Efeito Tempo Contrafactual 1999 Antes 2001 Depois Impacto

Estimador Com/Sem Indicador Tratamento Comparação CS = Impacto + Diff grupos Impacto Efeito diff grupos Antes 2001 Depois

Estimador Dupla Diferencia Indicador 2000 Beneficiários não Beneficiários Impacto 2001 Depois 1999 Antes A hipótese fundamental do método DD é que as tendências são similares (não observáveis não cambiam no tempo)

Métodos não experimentais: Propensity score matching Tendo informação de B y C antes do programa, é possível estimar a probabilidade de participação, e depois usar-lha para comparar os beneficiários com não beneficiários que tinham a mesma probabilidade de participar, eliminando o bias por características observáveis. Dupla

Métodos não experimentais: Propensity score matching Tendo informação de B y C antes do programa, é possível estimar a probabilidade de participação, e depois usar-lha para comparar os beneficiários com não beneficiários que tinham a mesma probabilidade de participar, eliminando o bias por características observáveis. Dupla

Métodos não experimentais: Propensity score matching Tendo informação de B y C antes do programa, é possível estimar a probabilidade de participação, e depois usar-lha para comparar os beneficiários com não beneficiários que tinham a mesma probabilidade de participar, eliminando o bias por características observáveis. Dupla

O método da regressão descontinua Idéia básica:o tratamento se determina sobre a base de una variável (chamada “variável de determinação”). – se o valor da variável cai em um lado do corte/umbral, a empresa recebe o tratamento – se o valor da variável cai no outro lado do corte/umbral, a empresa recebe o tratamento (controle) Esta variável pode ser qualquer variável medida antes da implementação do programa Exemplos: numero de trabalhadores Na prática, a variável de determinação é freqüentemente una medida de necessidade o de mérito O impacto estimado de una RD tem una interpretação marginal: os estimados só se podem generalizar a as empresas perto do corte/umbral

O método da regressão descontinua Resultado Puntaje Grupo de control Grupo de tratamiento Umbral IMPACTO

1)Se não há relação entre (T, u), o efeito de X em Y está capturado por  *x, e a comparação de B y C é válida 2)Se há correlação entre (T,u), não sabemos se o cambio em Y se deve a T ou a u Ty u Características não observáveis Características observáveis Ty u Variáveis Instrumentais

Uma variável instrumental deve cumprir dos condiciones: Estar relacionada com a participação no programa y não ter efeito no indicador de nenhuma outra maneira O melhor exemplo é uma loteria. Outros são distancia do escritório do Programa, a data de nascimento… Características não observáveis Características observáveis Ty u z não

Exemplo de uso de dados administrativo y secundário para APL UnionINTSVELINDUSCALCBOLSAINOVA Beneficiários Beneficiários (RAIS/SECEX) % identificados usando RAIS/SECEX 95.6%84.3%87.5%91.1%92.5%91.1% Beneficiários (PIA) % identificados usando PIA32.5%23.5%25.0%31.1%17.5%12.4% Ademais, todos os municipalidades podem ser identificadas na RAIS – PIA – PINTEC.