Universidade Federal do ABC Curso: Políticas Públicas

Apresentação em tema: "Universidade Federal do ABC Curso: Políticas Públicas"— Transcrição da apresentação:

1 Universidade Federal do ABC Curso: Políticas Públicas
Disciplina: Avaliação e Monitoramento de Políticas Públicas Profa. Maria Luiza Levi Aula 3 – Avaliação & Monitoramento: panorama geral e principais conceitos (1ª. Parte)

2 Pontos a serem abordados
Monitoramento x avaliação Objetos da avaliação: o que se avalia? Finalidades da avaliação: para quê se avalia? Tipos de avaliação Perguntas, critérios e abordagens de avaliação

3 Retomando e especificando o conceito de avaliação
Avaliação é “identificação, esclarecimento e aplicação de critérios defensáveis para determinar o valor (valor ou mérito), a qualidade, a utilidade, a eficácia ou a importância do objeto avaliado em relação a esses critérios” (Worthen, R. et. al., 2004) Avaliação formal Exame sistemático das políticas públicas como objetos de conhecimento, ou seja, com base em procedimentos científicos (alguns autores diriam “reconhecidos”) de coleta e análise de informações, do conteúdo, da estrutura, do processo de implementação e dos resultados e impactos das políticas

4 Monitoramento x Avaliação
Ferramenta de gestão por excelência, atividade gerencial interna e cotidiana de acompanhamento de ações e indicadores de uma determinada intervenção Feito basicamente por meio de indicadores, busca produzir informações sintéticas e tempestivas (“termômetros”) Monitoramento Um processo de monitoramento bem estruturado é um importante subsídio a uma pesquisa avaliativa É atividade contínua, ao contrário da avaliação (“um momento de ‘parada’ no tempo”), e interna aos órgãos de gestão de políticas públicas Não deve se restringir a intervenções específicas, mas, sim, envolver o acompanhamento contínuo de grandes temas da área (expertise interna)

5 Hierarquia: política, programas, projetos Política
Objeto dos estudos de Avaliação de Políticas Públicas Hierarquia: política, programas, projetos Política = princípios orientadores gerais de determinada área de atuação do Estado Política Programa Programa = grandes intervenções ou conjunto de intervenções relacionadas Programa Projeto Projeto Projeto Projeto = intervenção (ou ação) específica Projeto Políticas públicas se materializam através de Programas e Projetos, que são os objetos mais frequentes de avaliação

6 Objeto dos estudos de Avaliação de Políticas Públicas
Referências básicas Política Constituição (capítulos: educação, saúde, assistência etc.), leis orgânicas, consensos (academia, corporações profissionais), planos nacionais de longo prazo Programa Frequentemente por meio de leis específicas (quando alteram leis existentes) Objetivos, metas e recursos financeiros constam das leis do “ciclo de planejamento e orçamento” da ação pública no Brasil: PPA, LDO e LOA + Documentação/divulgação institucional de governos Projeto

7 Objeto dos estudos de Avaliação de Políticas Públicas
Exemplos: política, programas, projetos em âmbito federal Educação “É dever do Estado garantir educação básica dos 4 aos 17 anos” Saúde “A saúde é direito de todos e dever do Estado” Assistência Social “A assistência social será prestada a quem dela necessitar, independentemente de contribuição à seguridade social” Política Garantia de merenda escolar Programa Bolsa Família Programa Mais Médicos Programa Contratação de médicos brasileiros e estrangeiros para atuação em locais específicos Abertura de vagas para graduação e residência médica em determinadas especialidades Incentivo financeiro para a capacitação de funcionários para o cadastramento e acompanhamento das famílias Transferência financeira para pagamento de benefícios do Bolsa Família Incentivo para implantação de infra estrutura para merenda nas escolas Capacitação para formação de merendeiros Projeto

8 Objeto dos estudos de Avaliação de Políticas Públicas
Ações/intervenções específicas, com prazos, recursos, objetivos, parcerias e população alvo definidos, responsabilidades delimitadas Ou seja: referências mais precisas para balizar avaliações Princípios fundantes, ações gerais e perenes Programa Projeto Importante: as intervenções objeto de avaliação podem ser de tempo determinado ou de médio prazo/permanentes

9 Objeto dos estudos de Avaliação de Políticas Públicas
Objeto de estudo avaliativo e questão federativa Adoção do formato político-administrativo federativo Preservar a unidade respeitando as diferenças, repartindo competências entre os entes federados (e esferas de tributação) Diferenças (regionais, geográficas, étnicas, culturais) resposta objetiva É necessário mapear: Responsabilidades definidas no arcabouço legal O desenho específico de determinada política em termos de atribuições dos diferentes entes, incluindo possíveis sobreposições ou “vazios de responsabilidade” Em qualquer avaliação de políticas públicas

10 Finalidades da avaliação Elementos mapeados na literatura
Avaliação diagnóstica de políticas públicas Subsídio à gestão de políticas públicas Produção de conhecimento científico Accountability 4.1) Avaliação de conformidade 4.2) Avaliação de adequabilidade das ações de gestão (economicidade, conteúdo) 4.3) Avaliação institucionalizada em órgãos gestores Empoderamento Advocacy Outras formas de uso político A avaliação como um substituto do processo de precificação via mercado

11 Finalidades da avaliação
Determinantes de um problema ou necessidade: principais causas, contexto em que ocorre, caracterização dos grupos populacionais atingidos À adequabilidade de diferentes alternativas (de política, de desenho, de estratégia) Aos recursos necessários (financeiros, parcerias, ações etc.) Ao público-alvo candidato a se beneficiar da intervenção Diagnóstico Avaliação quanto + No Brasil, pouco comum enquanto pesquisa avaliativa sistemática; Capacidade de diagnóstico interna aos órgãos públicos muito heterogênea (ministérios, secretarias e níveis de governo); Exigência relativamente comum de órgãos centrais no processo de formulação/implementação de políticas públicas (Ministérios/Secretarias ligadas ao Planejamento, Fazenda/Finanças, Casa Civil); Particularmente enfatizada por órgãos financiadores multilaterais (Banco Mundial, BIRD, Banco Interamericano de Desenvolvimento, BID).

12 Finalidades da avaliação
A avaliação como “modalidade de pesquisa que visa a atender às demandas informacionais dos ‘administradores de programas’” Subsídio à gestão de políticas públicas Apoio à identificação do público-alvo Identificação do cumprimento de padrões mínimos de qualidade (de um serviço, um processo) Identificação de erros de concepção, problemas de desenho da estratégia ou de condução da intervenção Fornecimento de elementos para fundamentar a adoção de medidas corretivas;

13 Finalidades da avaliação
Subsídio à gestão de políticas públicas (continuação) Controle do cumprimento de metas Identificação / mensuração de resultados obtidos e de impactos junto à população Aprimoramento da gestão dos programas/projetos via aprendizado institucional; Apoio à tomada de decisão quanto à continuidade do programa/projeto;

14 Finalidades da avaliação
Subsídio à gestão de políticas públicas (continuação) Avaliação para melhorar a eficiência do gasto público (mapeamento de desperdícios, possibilidade de ganhos: Desafio: adaptar a lógica privada aos constrangimentos da gestão pública Avaliação de qualidade dos produtos/serviços. Exemplo: mistery shopping O subsídio à gestão pública é a justificativa mais frequentemente apontada como finalidade da avaliação de políticas públicas. A produção de conhecimento “sem aplicabilidade prática” é apontada como o risco do trabalho dos pesquisadores avaliadores Discussão específica a partir do texto do Jannuzzi

15 Finalidades da avaliação
“programas de transferência de renda, tipo Bolsa Família, criam comportamentos de acomodação e dependência” Ou, “programas de transferência de renda vinculados à mulher chefe de família contribuem para a emancipação feminina” Ou, “a prestação de serviços públicos por entidades privadas é mais eficiente do que em órgãos geridos pelo Estado” Muito frequentemente pesquisas avaliativas são realizadas para responder a esse tipo de questão “finalística” das políticas públicas, ou a identificar problemas típicos da gestão pública É comum um pesquisador ou uma entidade ter uma visão sobre um tema de política pública Produção de conhecimento científico Pesquisa avaliativa = pesquisa aplicada que pode gerar conhecimento científico

16 Finalidades da avaliação
Accountability É um princípio orientador da gestão pública que envolve prestação de contas, transparência e responsabilização (elemento de exercício do controle social) 4.1) Avaliação de conformidade dos atos da gestão pública em relação a regras jurídicas e contábeis (órgãos de controle) Processo de implementação das políticas públicas Formal legal Formal contábil Fiscal (p. ex. Lei de Responsabilidade Fiscal) Posteriormente os órgãos de controle verificam a conformidade (Tribunais de Contas e órgãos de Controle Interno) Recomendações obrigatórias (não simplesmente sugestivas) Obs.: Tipo pouco explorado nos manuais de avaliação de políticas públicas. Formato da avaliação: auditoria

17 Finalidades da avaliação
Accountability (continuação) 4.2) Avaliação da adequabilidade da ação dos governos em relação às políticas públicas (órgãos de controle) Qualidade, celeridade, menor custo na prestação de serviços/trato com bens públicos Economicidade Critérios, referências de avaliação Coerência da intervenção, análise da adequabilidade dos mecanismos utilizados (cadastros, critérios, parcerias), adequação ao espírito geral da política Forma e conteúdo da política pública

18 Accountability (continuação)
Finalidades da avaliação Accountability (continuação) 4.3) Avaliação institucionalizada em órgãos gestores de políticas Educação, Saúde: indicadores avaliativos que sintetizam e ranqueiam Sistemas institucionalizados de avaliação (“termômetros” controversos) Ministério do Desenvolvimento Social: inovação institucional Como elemento de transparência / divulgação institucional de governos Avaliação em processo de institucionalização Avaliações “positivas” tendem a ser mais comuns Divulgação institucional da ação de governo

19 Finalidades da avaliação
Avaliação como processo que dá voz a indivíduos envolvidos com uma política pública específica Burocracia de médio escalão Burocracia do “nível da rua” Usuários Parceiros privados Empoderamento Da expressão em inglês “empowerment”: capacidade de indivíduos ou grupos de escolher, definir, reivindicar cursos de ação (no caso pública) que interfiram em suas vidas

20 Finalidades da avaliação
Grupos de interesses variados, incluindo entidades de defesa de direitos, grupos de usuários, atividade de lobby (influência em espaços decisórios) para empresas, ONGs Advocacy Usos raramente mencionados nos manuais de Avaliação de Políticas Públicas Propaganda política, instrumentalização de posicionamentos políticos, discussões no legislativo etc. Outras formas de uso político A explicitação da noção de interesse se choca com a pretensa neutralidade da avaliação

21 Finalidades da avaliação
Avaliação como um substituto do processo de precificação de mercado Visão de que os serviços públicos não contam com um mercado competitivo de oferta de similares, que fornece informação sobre qualidade e eficiência Costa & Castanhar (2003). Avaliação de programas públicos: desafios conceituais e metodológicos