© Alberto S. Brito – “Monitoramento e Avaliação de Resultados não Intencionais em Programas Governamentais” 1

2

3

Programa “Um programa governamental é uma intervenção conduzida por órgãos governamentais, com a intenção explícita de mudar uma situação específica existente para uma situação desejada.” Uma Definição: 4

© Alberto S. Brito – “Monitoramento e Avaliação de Resultados não Intencionais em Programas Governamentais” Situação Inicial Programa Situação Modificada Resultados: Mudanças provocadas pelo programa Resultados: Mudanças provocadas pelo programa “Resultados são mudanças em um estado ou situação, que derivam de uma relação de causa e efeito” – OCDE/ONU A Cadeia de Resultados descreve a relação causal entre meios, atividades e os três níveis de resultados: Resultados Finais (Impacto) Resultados Intermediários (Efeito Direto) Resultados Imediatos (Produtos/Serviços) Atividades Meios A Cadeia de Resultados com indicadores, metas, meios de verificação e pressupostos é o principal instrumento de gestão de um programa. 5

© Alberto S. Brito – “Monitoramento e Avaliação de Resultados não Intencionais em Programas Governamentais” Situação Inicial Programa Situação Modificada Resultados: Mudanças provocadas pelo programa Resultados: Mudanças provocadas pelo programa “Qualquer intervenção em um sistema complexo tem efeitos variados, não só os intencionais” Resultados Intencionais Resultados não Intencionais Objetivo deste trabalho: propor um referencial simplificado para identificar, monitorar e avaliar resultados não intencionais de programas governamentais. 6

© Alberto S. Brito – “Monitoramento e Avaliação de Resultados não Intencionais em Programas Governamentais” 7

Resultados Finais Resultados Intermediários Resultados Imediatos Meios/Insumos Cadeia de Resultados Indicadores – com metas Meio de verificação - fontes Atividades Pressupostos ou hipóteses O Quadro Lógico de um programa com seus indicadores, metas, meios de verificação e pressupostos reflete o consenso entre as partes interessadas sobre a estratégia do programa e estabelece o referencial para seu monitoramento e avaliação. 8

© Alberto S. Brito – “Monitoramento e Avaliação de Resultados não Intencionais em Programas Governamentais” Resultados não intencionais são consequências não intencionais de uma ação intencional. Campo de estudo na área da Economia e depois na Sociologia após o trabalho de Robert Merton. Apesar de bastante estudados, conceitualmente, os resultados não intencionais não têm um referencial amplamente adotado para a identificação, monitoramento e avaliação. O guia de M&A do PNUD menciona, mas não estabelece um referencial para isso. 9

© Alberto S. Brito – “Monitoramento e Avaliação de Resultados não Intencionais em Programas Governamentais” 10 À semelhança da Cadeia de Resultados convencional, os resultados não intencionais podem ser expressos em três níveis. Resultados não Intencionais Finais Resultados não Intencionais Finais Resultados não Intencionais Intermediários Resultados não Intencionais Imediatos São os que surgem logo na implantação do programa. São os efeitos diretos dos resultados não intencionais imediatos. São os impactos dos resultados não intencionais anteriores. Cadeia de Resultados não Intencionais Programa Usos inadequados do produto/serviço pelo público alvo. Ações de outras partes interessadas, fora do público alvo. Estudos de impacto ambiental no caso de obras. Resultados não Intencionais Análise convencional de riscos Embora os resultados não intencionais surjam durante a implantação ou operação de um programa governamental, é possível, ainda na etapa de planejamento, identificar possíveis resultados não intencionais, por meio de processos participativos, considerando:.

© Alberto S. Brito – “Monitoramento e Avaliação de Resultados não Intencionais em Programas Governamentais” 11 Após a identificação dos potenciais resultados não intencionais, podem ser estabelecidos indicadores e meios de verificação, formando assim o Quadro Lógico para resultados não intencionais. Resultados não IntencionaisIndicadores Meios de verificação Finais Intermediários Imediatos Aumento da violência Habitações irregulares Imigração não esperada Programa de Geração de Empregos em determinado local Demandas não atendidas

© Alberto S. Brito – “Monitoramento e Avaliação de Resultados não Intencionais em Programas Governamentais” 12

© Alberto S. Brito – “Monitoramento e Avaliação de Resultados não Intencionais em Programas Governamentais” 13

© Alberto S. Brito – “Monitoramento e Avaliação de Resultados não Intencionais em Programas Governamentais” 14 Programas governamentais são em geral monitorados e avaliados levando em consideração apenas os resultados intencionais. O referencial metodológico apresentado neste artigo auxilia os gestores na identificação e construção do Quadro Lógico de resultados não intencionais, que devem ser monitorados e avaliados para orientar decisões relativas a ações para controlar esses resultados ou minimizar seus impactos. Sugere-se que o tema seja discutido pelas agências internacionais de desenvolvimento, para incorpora-lo aos seus manuais de monitoramento e avaliação de programas governamentais.

© Alberto S. Brito – “Monitoramento e Avaliação de Resultados não Intencionais em Programas Governamentais” 1 – UNITED Nations Development Program. “Results-Based Management- Concepts and Methodology” Acessado em – UNITED Nations Development Program. “Handbook on Planning, Monitoring and Evaluating for Development Results” Acessado em: – HIGGINS, Sílvio S. “O Estudo dos Efeitos não Intencionais da Ação Intencional na Teoria Sociológica”. Sociologias, 28, p , Porto Alegre. 4 – FRY Consultants Incorporated.“Project Evaluation and the Project Appraisal Reporting Systems”. Final report submited to the United States Agency for International Development Acessado em: 5 – MERTON, Robert K. “The unanticipated consequences of purposive social action”. American Sociological Review, I, p ,

© Alberto S. Brito – “Monitoramento e Avaliação de Resultados não Intencionais em Programas Governamentais” 16