Encontro com Secretários de Estado Reunião FONSEAS Encontro com Secretários de Estado da Assistência Social e Equipe de Dirigentes do MDS Apresentação da Secretaria de Avaliação e Gestão da Informação (SAGI/MDS) Paulo Jannuzzi Brasilia, 16 e 17 de fevereiro de 2011

Tópicos abordados Importância dos Sistemas de Monitoramento e Avaliação A SAGI: estrutura, produtos, agenda Debate para aprofundamento da agenda com Fonseas Capacitação em ferramentas de Gestão de Informação Capacitação em metodologias em Monitoramento e Avaliação Visitas técnicas

Mudança social expressiva

Ampliação do escala e escopo da Política Social Aumento real do gasto social em mais de 3 vezes

Ampliação do escala e escopo da Política Social Criação e implementação de novos programas públicos Ampliação da cobertura dos programas

Avanços importantes, mas desafios ainda significativos

Desafios para Implementação dos Programas Sociais Precocidade de nosso Sistema de Proteção Social e dos programas sociais Expansão rápida da oferta e da cobertura dos programas Realidade social bastante diferenciada pelo território Problemas sociais multi-determinados Programas oferecem serviços prestados “na ponta” Estrutura Federativa e as dificuldades de articulação vertical Múltiplos agentes envolvidos e dificuldades de articulação horizontal Capacidade diferenciada de gestão de políticas Mais de 1,5 milhão de novos servidores municipais 2002-09

Enfrentamento: Integração Projeto Político, Prática de Gestão e Conhecimento técnico Orientação política consistente Visão de Futuro Projeto de Governo Capacidade de Governo Governabilidade Qualidade dos instrumentos de gestão Competência da equipe técnica Mecanismos institucionais sólidos Lideranças políticas hábeis 8

Enfrentamento: Integração Projeto Político, Prática de Gestão e Conhecimento técnico Insumo Estratégico Informação, Sistemas, Pesquisas, Indicadores, Ferramentas para Diagnóstico Monitoramento e Avaliação Projeto de Governo Capacidade de Governo Governabilidade Qualidade dos instrumentos de gestão Competência da equipe técnica Mecanismos institucionais sólidos Lideranças políticas hábeis 9

Sistemas de Monitoramento e Avaliação (M&A) Sistema de M&A

Sistemas de M&A Finalidades de uma Sistema M&A prover informação para análise das “entregas” de produtos e serviços para correção de eventuais falhas da ação governamental produzir conhecimento sobre os impactos das Políticas e programas, bem como os custos de produção dos mesmos garantir maior transparência da forma de utilização dos recursos públicos subsidiar decisões sobre o mérito e relevância das Políticas e programas na repartição orçamentária, ainda que não os únicos, nem necessariamente os mais legítimos.

Sistemas de M&A Dependendo do estágio da cultura existente em M&A no governo, estes sistemas podem dispor de um conjunto mais amplo ou restrito de ferramentas e produtos: Mapas Estratégicos, Balanços de Gestão, Sistemas Informatizados, Indicadores de Desempenho, Indicadores de Políticas e Programas, Painéis Situacionais ou Pesquisas de Avaliação, entre outros

O M&A na gestão estadual CapacitaSUAS: “Desafios da gestão do SUAS nos municípios e estados” – Volume 2 - Pg. 32 e 33 ..... j) Definir e implementar uma política de acompanhamento, monitoramento e avaliação da rede conveniada prestadora de serviços socioassistenciais no âmbito estadual e regional; k) Instalar e coordenar o sistema estadual de monitoramento e avaliação das ações de Assistência Social, de âmbito estadual e regional, por nível de proteção básica e especial em articulação com os sistemas municipais, validado pelo sistema federal; m) Alimentar e manter atualizadas as bases de dados dos subsistemas e aplicativos da Rede SUAS, componentes do sistema nacional de informação; o) Analisar e definir, em conjunto com os municípios, o território para construção de Unidades de Referência Regional, a oferta de serviços, o fluxo de atendimento dos usuários no Estado e as demandas prioritárias para serviços regionais e serviços de consórcios públicos; p) Realizar diagnósticos e estabelecer pactos para efeito da elaboração do Plano Estadual da Assistência Social, a partir de estudos realizados por instituições públicas e privadas de notória especialização (conforme Lei nº8.666, de 21/06/1993); ....

MDS SENARC SNAS SESAN SAIP SAGI Gabinete da Ministra SENARC Secretaria Nacional de Renda de Cidadania SNAS Secretaria Nacional de Assistência Social SESAN Secretaria Nacional de Segurança Alimentar e Nutricional SAIP Secretaria de Articulação para Inclusão Produtiva SAGI Secretaria de Avaliação e Gestão da Informação Secretaria Executiva

Produzir informações sistematizadas com o propósito de Missão da SAGI Produzir informações sistematizadas com o propósito de melhorar a gestão, avaliar e monitorar a efetividade das políticas de desenvolvimento social e combate à fome, por meio da realização de estudos sobre a demanda social, a implementação de programas e o impacto das políticas desenvolvidas, da publicação de documentos de referência sobre a situação social no Brasil e da capacitação de atores sociais

Equipe M&A: Diversidade de formação Experiência na gestão e operação de programas Capacidade de comunicação Espírito de inovação Conjunto de consultores especializados

Secretaria de Avaliação e Gestão da Informação CG Publicações Técnicas Secretário Adjunto Gabinete Assessoria Dep.Gestão da Informação Dep.Monitoramento Dep.Avaliação Dep.Formação e Disseminação CGMonitoramento da Demanda CG Avaliação de Diagnóstico da Demanda CG Publicações Técnicas CGEstatísticas CGFormação de Agentes Públicas CGInformações Estratégicas CGMonitoramento dos Resultados CG Avaliação de Resultados de Impacto CGFormação de Agentes Sociais

Secretaria de Avaliação e Gestão da Informação CG Publicações Técnicas Ferramentas de Gestão de Informação Indicadores e Painéis de Monitoramento de Programas Pesquisas de Avaliação de Desenho, Implementação e Impactos de Programas Estratégias de disseminação do conhecimento produzido Secretário Adjunto Gabinete Assessoria Dep.Gestão da Informação Dep.Monitoramento Dep.Avaliação Dep.Formação e Disseminação CGMonitoramento da Demanda CG Avaliação de Diagnóstico da Demanda CG Publicações Técnicas CGEstatísticas CGFormação de Agentes Públicas CGInformações Estratégicas CGMonitoramento dos Resultados CG Avaliação de Resultados de Impacto CGFormação de Agentes Sociais

Ferramentas da MI Social Mapas Temáticos MDS Tabelas Sociais MI Vetor Atlas Social RI - Relatório de Informações PI - Painel de Informações Visicon DicVip

Ferramentas da MI Social Diversas Fontes de Informação e Pesquisas Fontes externas Informação semi-estruturada IBGE Portal da Transparência TSE Diário Oficial Caixa Econômica Relatórios CGU IPEA Googlemaps Tesouro Nacional Ministérios Fontes internas Educação Censo SUAS- Est/Mun/Cons. Saúde CadUnico Trabalho Registros de programas/MDS Previdência FNAS MI Vetor Atlas Social Visicon Aplicativos na Web

Pode-se escolher o formato HTML ou Excel. Tabelas Sociais Pode-se escolher o formato HTML ou Excel. Resultado da consulta.

MI Vetor

Opções para personalização do mapa. Mapas Temáticos Opções para personalização do mapa.

RI – Relatório de Informações

RI – Relatório de Informações

RI – Relatório de Informações

Visicon

Sistemas Censo SUAS 2010 – LOGIN Integrado Email Sistemas de Informações Gerenciais Gerente CRAS Gerente CREAS Gerente Conselho Gerente Gestão MDS Senha SUAS Sistemas de Informação Transacional Questionário CRAS Questionário CREAS Questionário Gestão Sistemas de Informações Gerenciais Gerente CRAS Gerente CREAS Gerente Conselho Gerente Gestão Município Estado Conselho Sistemas de Informação Transacional Questionário Conselho

Georreferenciamento de equipamentos

Construção de Indicadores de Monitoramento - IDCRAS

Índice Capacidade Gestão em AS Conceito e método Mensura a disponibilidade de recursos de gestão dos municípios em relação à execução de programas e serviços da Assistência Social Fonte dados MUNIC (2009)/IBGE Dimensões analíticas Órgão Gestor da Assistência Social; Infra-estrutura (física i.e. computadores, instalações) Recursos Humanos (i.e. capacitação, especialização) Recursos Financeiros (Fundos e Co-financiamentos) Legislação e Instrumentos de Gestão Convênios e Parcerias Em construção: ponderação (porte, região), nova classificação

Índice Capacidade Gestão em AS Resultados preliminares

Índice Capacidade Gestão em AS Resultados preliminares . Ituiutaba (MG) 1,0 Santa Rosa de Lima (SE) . . Fortaleza (CE) Qto maior, melhor ICGAS . Perdizes (MG) . Manaus (AM) . Carpina (PE) Salvador das Missões (RS) . 0,0 1 2 3 4 5 6 Porte populacional 7 Fonte: IBGE – Munic 2009 Suplemento AS

Índice Capacidade Gestão em AS Resultados preliminares Uberaba (MG) 0,972 . . Ulianópolis (PA) 0,958 . Coreaú (CE) 0,909 . Floriano (PI) 0,922 1,0 . Teofilândia (BA) 0,895 Qto maior, melhor ICGAS . Aroeira (PB) 0,416 . Caraúbas (PI) 0,367 . Munhoz (MG) 0,281 . Consolação (MG) 0,272 Monte Belo do Sul(RS) 0,089 . 0,0 Até 17,1% 17,1% a 34,2% 34,2% a 51,3% 51,3% a 68,4% 68,4% a 85,5% Proxy Vulnerabilidade Social Fonte: IBGE – Munic 2009 Suplemento AS Qto maior, pior Proporção de domicílios particulares permanentes, c/ saneamento inadequado, c/ responsáveis c/ menos de 4 anos de estudo e c/ rendimento mensal de até 2 salários mínimos, segundo as classes de tamanho da população dos municípios - Brasil - 1991/2000

Construção de Painéis de Monitoramento

Construção de Painéis de Monitoramento - Processos Municípios com perfil de população mais pobre Municípios com perfil de população menos pobre

Construção de Painéis de Monitoramento - Resultados Estado com perfil de população mais pobre Estado com perfil de população menos pobre

Pesquisas de Avaliação: diferentes metodologias para investigar problemas específicos (Acervo de + 70 pesq) Pesquisas amostrais Painel longitudinal com desenho quase-experimental Beneficiários X Não Beneficiários Abordagens qualitativas: entrevistas, grupos focais, avaliação participativa

Avaliação de Impacto do Bolsa Família – AIBF – 2ª rod Aumento da frequência escolar em 4,4 pontos percentuais. Aumento da progressão escolar em 6,0 pontos percentuais. Efeitos sobre a freqüência são as maiores no Nordeste, aumento da frequência escolar em 11,7 pontos percentuais. Retenção escolar, sobretudo para as meninas. A chance de uma menina de 15 anos continuar frequentando a escola é 19 pontos percentuais maior se a família dela receber o Bolsa Família.

Avaliação de Impacto do Bolsa Família – AIBF – 2ª rod Figura 1: Proporção de meninos que frequentam a escola em 2009, por idade e status quanto ao recebimento do Bolsa Família Figura 2: Proporção de meninas que frequentam a escola em 2009, por idade e status quanto ao recebimento do Bolsa Família Resultados da segunda rodada da Pesquisa de Avaliação de Impacto do Bolsa Família, realizada em 2009 pelo consórcio entre o IFPRI e a Datamétrica. Foram entrevistados 11433 domicílios em 269 municípios. A primeira rodada foi realizada em 2005. A avaliação de impacto propriamente dita demonstra que a participação no Bolsa Família tem efeito positivo sobre a educação de crianças e jovens. A frequência escolar de crianças de 6 a 17 anos pertencentes a famílias beneficiárias foi 4,4 (p<0,05) pontos percentuais maior em comparação com famílias não beneficiárias. Somente na região Nordeste, essa diferença foi de 11,7 (p<0,05) pontos percentuais, a favor das famílias beneficiárias. A frequência escolar de crianças de 6 a 17 anos pertencentes a famílias beneficiárias foi 4,4 (p<0,05) pontos percentuais maior em comparação com famílias não beneficiárias. 43

Programa de Enfrentamento ao Abuso e à Exploração Sexual de Crianças e Adolescentes - Programa Sentinela Falas de usuários: “Ah, a minha avaliação sobre isso é muito boa, eles [a equipe do Sentinela] foram uma família para mim. Eu não posso dizer que eu já superei o problema que eu tenho vivido, mas me ajudou muito. Se não fosse por eles eu não sei o que seria, o que tinha acontecido, ajudou a mim e à minha filha também, e muito” (Depoimento de responsável pelo beneficiário do Programa” “Olha o atendimento aqui no Sentinela foi maravilhoso, foi ótimo: eles me ajudaram tanto, não saberia com teria sido a minha vida se eu não tivesse encontrado elas, acho que nem estaria aqui para contar...(Depoimento de responsável pelo beneficiário do Programa Sentinela”   O antigo Programa Sentinela era um conjunto de ações sociais especializadas e multiprofissionais dirigidas a crianças, adolescentes e famílias envolvidas com a violência sexual. O Programa foi criado para atender à determinação da Constituição Federal, do Estatuto da Criança e do Adolescente, da Lei Orgânica de Assistência Social e faz parte do Plano Nacional de Enfrentamento à Violência Sexual Contra Crianças e Adolescentes” (MDS, 2006). Este programa foi posteriormente extinto e as ações desenvolvidas por este programa foram incorporadas pelos serviços realizados nos CRAS e CREAS. Em julho de 2006 foi realizado um Estudo qualitativo sobre o Programa de Enfrentamento ao Abuso e à Exploração Sexual de crianças e adolescentes. 44

Serviço de Proteção e Atenção Integral à Família (PAIF) Fala de beneficiária do PAIF: “Quando cheguei ao CRAS estava bastante deprimida, numa fase difícil. Sufocada pelos problemas familiares. Nos encontros, percebi o quanto é bom compartilhar nossa história com outras pessoas. Passei a conhecer vizinhos que eu nem sabia o nome. O CRAS é um serviço público, mas não tem cara de ‘serviço público’. Aqui, as pessoas sabem o meu nome”. Este serviço consiste no trabalho social com famílias, visando fortalecer sua função protetiva, prevenir a ruptura de vínculos, promover seu acesso e usufruto de direitos e contribuir na melhoria de sua qualidade de vida, por meio da promoção de aquisições sociais e materiais, do acesso a benefícios, programas de transferência de renda e serviços socioassistenciais. Os Estudos Quali-Quantitatvios sobre o PAIF foram levados a cabo entre setembro de 2008 e novembro de 2009. Para o estudo qualitativo foi constituída uma amostra de 40 CRAS, localizados em 38 municípios nas 5 regiões do país a partir de resultados do estudo quantitativo. Foram realizados grupos focais com os usuários do serviço. 45

Falas de técnicos dos CRAS avaliando a articulação entre PBF e CRAS: Articulação do Programa Bolsa Família (PBF) e do Benefício de Prestação Continuada (BPC), com os serviços oferecidos pelo Sistema Único de Assistência Social (SUAS) Falas de técnicos dos CRAS avaliando a articulação entre PBF e CRAS: “com a saúde, o contato com as unidades básicas é regular; com a educação não existe”. (...) não há articulação [com a educação]. A família é que busca a declaração da freqüência escolar”. “a articulação está se iniciando agora”. Sobre o acompanhamento das condicionalidades do PBF: “não tem como saber se eles estão descumprindo as condicionalidades” e “o CRAS não está na busca ativa do PBF... não é esse o objetivo principal do CRAS.” Trata-se de um estudo de caso, em andamento, com pesquisa de campo já concluída, na região metropolitana de Aracaju e Nossa Senhora do Socorro, para avaliar a articulação entre benefícios e serviços ofertados pelo SUAS. Com isso pretende-se viabilizar, posteriormente, a transferência de tecnologia de análise espacial para os municípios (metodologia de construção do mapa de vulnerabilidade e análise possíveis a partir da geocodificação de beneficiários e equipamentos públicos), a fim de possibilitar a expanção das ações de vigilância social. A pesquisa de campo foi realizada a partir de duas abordagens: uma qualitativa por meio de entrevistas com profissionais de todos os CRAS e CREAS e outra quantitativa, por meio de survey aplicado em 4.500 domicílios de famílias beneficiárias do PBF e/ou BPC na região metropolitana de Aracaju e Nossa Senhora do Socorro. 46

CICLO DE AVALIAÇÃO Discussão Termo de Referência Contratação Interlocução para operacionalização do estudo Acompanhamento Resultados Finais Divulgação de Resultados Publicações Disponibilização de Microdados

Disseminação – Linhas de publicação 34 publicações técnicas “físicas” Disponibilização de conteúdo eletrônico por mailing; sitio web do MDS; CD interativo Realização de seminários internacionais, nacionais e prêmios Público: Gestores, órgãos da administração pública, instituições de ensino e pesquisa, instâncias de controle social, organismos internacionais 48

Formação de agentes públicos e sociais CAPACITAÇÃO DE CONTROLE SOCIAL NOS MUNICÍPIOS: ASSISTÊNCIA SOCIAL E BOLSA FAMÍLIA - 21.310 vagas para Conselheiros e secretaria executiva dos CMAS e PBF - 6 Lotes de capacitação – 5 em execução – 4 empresas contratas para implementação dos cursos - 24 horas presencial e 45 dias para elaboração de RCC ESPECIALIZAÇÃO EM GESTÃO DE POLÍTICAS PÚBLICAS DE PROTEÇÃO E DESENVOLVIMENTO SOCIAL - Parceria SAGI/ENAP 35 alunos do Executivo Federal 418 h/aula

Propostas para Plano de ação no curto/médio prazo (2011) Aprimoramento de nossas ferramentas de Gestão da Informação e facilitação de seu acesso e uso por parte de técnicos e gestores Aprimoramento de nossos instrumentos de Monitoramento de modo a torná-los mais específicos, tempestivos e úteis para uso corrente de nossos gestores 3) Gestão do conhecimento produzido pelas pesquisas de avaliação para potencializar o uso do mesmo no aprimoramento da gestão dos programas e realização de novas estudos 4) Disseminação do conhecimento metodológico e substantivo produzido com vistas à consolidação de maior efetividade da cultura de M&A no MDS, gestores estaduais, municipais e instâncias de participação social

Obrigado !! Página Web: www.mds.gov.br/sagi Contatos: paulo.jannuzzi@mds.gov.br paula.montagner@mds.gov.br glaucia.macedo@mds.gov.br