TENDÊNCIAS NO ESTUDO SOBRE AVALIAÇÃO (Marta T. S. Arretche) INTRODUÇÃO I É certo que qualquer forma de avaliação envolve um julgamento, vale dizer, trata-se de atribuir um valor, uma medida de aprovação ou desaprovação a uma política ou programa público particular, de analisá-la a partir de uma certa concepção de justiça (explícita ou implícita). Nesse sentido, o uso adequado dos instrumentos de análise e avaliação são fundamentais para não se confundir opções pessoais com resultados de pesquisa.

II Por avaliação de política entende-se o exame dos pressupostos e fundamentos de um determinado curso da ação pública e de seus resultados independente de sua engenharia institucional. III Por análise de Políticas Públicas, entende-se o exame da engenharia institucional e dos traços constitutivos dos programas. A análise de Políticas Públicas busca reconstituir as diversas características da Política Pública específica de forma a apreende-las em um todo coerente. IV Ainda que a análise de uma dada Política Pública possa atribuir a um determinado desenho institucional alguns resultados prováveis, somente a avaliação desta política poderá atribuir uma relação de casualidade entre um programa x e um resultado y.

B) ALGUMAS TENDÊNCIAS DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS A particularidade da avaliação de uma Política Pública consiste na adoção de métodos e técnicas de pesquisa que permitam estabelecer uma relação de casualidade entre um programa x e um resultado y, ou ainda, que na ausência do programa x não teríamos o resultado y. B) ALGUMAS TENDÊNCIAS DE AVALIAÇÃO DE POLÍTICAS PÚBLICAS Na avaliação de Políticas Públicas, costuma-se distingui-las em termos de, EFETIVIDADE, EFICÁCIA e EFICIÊNCIA, distinção que é basicamente um recurso analítico.

B.1) SOBRE A AVALIAÇÃO DE EFETIVIDADE Por avaliação de efetividade entende-se o exame da relação entre a implementação de um determinado programa e seus impactos e/ou resultados, isto é, se é um sucesso ou fracasso em termos de uma efetiva mudança nas condições sociais prévias da vida das populações atingidas pelo programa sob avaliação. II Nas avaliações de efetividade, a maior dificuldade metodológica consiste em distinguir produtos de resultados. De fato, a principal dificuldade metodológica consiste precisamente em demonstrar que os resultados encontrados (seja do sucesso ou do fracasso) estão casualmente relacionados aos produtos oferecidos por uma dada política sob análise.

III Na verdade, a tradição brasileira em Políticas Públicas – se é que se pode afirmar existir uma tradição no Brasil nesta área – é bastante pobre em termos de estudos de avaliação da efetividade das políticas. IV Boa parte das análises atribuem à inefetividade das políticas sociais brasileiras a persistência da aguda condição de abandono, pobreza e desproteção de nossa população pobre, menos que resultado de avaliações precisas, estas conclusões são resultados da correlação entre índices de pobreza e oferta de serviços sociais.

B.2) SOBRE A AVALIAÇÃO DE EFICÁCIA Por avaliação de eficácia, entende-se a avaliação entre os objetivos e os instrumentos explícitos de um programa e seus resultados efetivos. Exemplo: entre as metas propostas e as metas alcançadas. II A avaliação de eficácia é seguramente a mais usualmente aplicada nas avaliações correntes em Políticas Públicas. Isso porque ela é certamente aquela mais factível e menos custosa de ser realizada. Nesse tipo de avaliação, a maior dificuldade consiste na obtenção de confiabilidade das informações recebidas.

III Na maior parte das vezes, esta avaliação (da relação entre os instrumentos previstos e os efetivamente empregados), consiste no exame da processualidade concreta e da adequação e coerência dos meios e instrumentos utilizados durante a vigência de um determinado programa. IV Este tipo de avaliação exige pesquisas de campo capazes de aferir e reconstituir o processo de implantação e/ou implementação da política sob análise.

B.3) SOBRE AVALIAÇÃO DE EFICIÊNCIA Por avaliação de eficiência, entende-se a avaliação da relação entre o esforço empregado na implementação de uma dada política e os resultados alcançados. Tem sido feito um grande esforço nos métodos de avaliação de eficiência nos últimos anos. II Este esforço nos métodos de avaliação de eficiência tem ocorrido sob o impulso de diversos fatores: Primeiro: a escassez de recursos públicos exige maior racionalização nos gastos. Ou seja, limites para a obtenção de recursos com base na criação de novas fontes de arrecadação e o crescente estreitamento de suas fontes tradicionais têm induzido a inovações no campo da racionalização da gestão e do gasto público, portanto no terreno da eficiência, medidas que demandam estudos de avaliação.

Segundo: os estudos de avaliação de eficiência tornam-se cada vez mais necessários porque no Brasil ao lado da escassez de recursos públicos, os universos populacionais a serem cobertos pelos programas sociais são de enormes proporções. Terceiro: as avaliações de eficiência impõem-se porque eficiência é um objetivo democrático. Ao dispor de recursos públicos e ao implementar Políticas Públicas,o governo está gastando um dinheiro que não é seu, mas do dinheiro do contribuinte. III Isso não significa que o critério de eficiência no setor público seja o mesmo da eficiência do setor privado, ou seja, uma mera equação entre custos os mais reduzidos e resultados os melhores possíveis. O conceito de eficiência no setor público é distinto do setor privado.

C) DA AVALIAÇÃO COMO MÉTODO DEMOCRÁTICO Em sociedades em que o mercado eleitoral tem peso, o impacto social de uma Política Pública tende a ter menor peso no processo decisório que seu impacto sobre a opinião pública ou seu impacto eleitoral. Os elementos de efetividade, eficácia e eficiência tende a ser apenas um dos elementos, provavelmente de menor importância, na decisão pela adoção, reformulação ou suspensão de um programa público, dado que as razões do mercado eleitoral têm forte influência sobre o processo decisório.

II Produção e divulgação de avaliações, disponibilizam instrumentos que capacitam o eleitorado a exercer o princípio democrático de controle sobre a eficiência da ação dos governos, como a produção e divulgação de avaliações rigorosas, tecnicamente bem feitas. A idéia de que “desperdiçar dinheiro público” é eleitoralmente negativo. III A criação e fortalecimento de instituições e agências independentes capazes de produzir estudos confiáveis de avaliação de Políticas Públicas é crescentemente uma necessidade para o bom governo.

D) DA NECESSIDADE DE AVALIAÇÕES INDEPENDENTES Porque destinadas a exercer controle sobre as ações públicas, seja pelos cidadãos sobre o governo, seja do governo sobre si mesmo, as avaliações precisam ser realizadas por órgãos independentes. II Quando realizadas pelos próprios órgãos governamentais, há uma série de incentivos para que tais avaliações concluam pelo sucesso do programa ou, pelo menos, que tendam a minimizar seus elementos de fracassos. Estas razões vão desde a manutenção dos próprios empregos até o interesse das burocracias em aumentar suas margens de poder e de gasto.

III A veracidade e utilidade dos estudos de avaliação de Políticas Públicas advêm em grande parte de seu rigor metodológico e da necessidade de obter resultados os mais confiáveis possíveis, seja para a análise do sucesso ou do fracasso de uma dada política. IV Dificuldades dos estudos de avaliação que podem comprometer seus resultados: De isolar da realidade variáveis efetivamente relevantes; A incerteza sobre os reais objetivos da política; A obtenção e adequação das informações; De técnicas para estabelecer relações de casualidade entre programas e seus resultados; De obtenção dos recursos financeiros para avaliações confiáveis; O próprio avaliador.

V Instituições independentes têm maiores condições e incentivos para, com base em critérios valorativos explícitos e objetivos definidos, montar instrumentos adequados para responder à questão da relação entre as políticas, seus processos e seus resultados, que são condições ao bom governo.