Introduzir princípios teóricos e metodológicos sobre Avaliação de Programas ou Políticas Públicas.

CAPÍTULO I – Apresentando o Cenário

 Avaliação pressupõe um julgamento de mérito.  Em uma avaliação, um determinado fenômeno (uma pessoa, um objeto, uma ideia) é examinado e ponderado em relação a um padrão implícito ou explícito.  Trataremos da avaliação de um tipo particular de fenômeno: programas e políticas elaborados com o propósito de produzir melhorias para muitas pessoas.

 Os avaliadores utilizam métodos de pesquisa em ciências sociais com o propósito de deixar o processo de julgamento mais sistemático e preciso.

 Avaliação é um julgamento sistemático das operações e/ou dos resultados de um programa ou política, comparado com um conjunto de padrões explícitos ou implícitos, como um meio de contribuir para o aperfeiçoamento desse programa ou política.  Padrões: Metas, expectativas, contextos ou situações desejáveis.

A avaliação proporciona-nos um rigor que é especialmente importante quando: a) os resultados a serem avaliados são complexos, difíceis de observar, constituídos de muitos elementos reagindo de diversas formas; b) as decisões a serem tomadas são importantes e caras; e c) é preciso ter evidências para convencer outras pessoas sobre a validade das conclusões.

 A avaliação não deve se deter somente em resultados de curto prazo; é necessário focalizar resultados de longo prazo.  As questões sobre avaliação tratam não somente dos resultados, mas também dos processos dos programas – o que está acontecendo à medida que os programas vão se desenrolando.

 Os financiadores da avaliação desejam saber o que está se passando.  Verificar a que se referem os resultados do programa.  Associar resultados a elementos específicos do programa.

A Diferença: destaca-se o atraso  Na década de 1960, nos EUA, a “Guerra contra a Pobreza” inaugura o início das Avaliações em Larga Escala com patrocínio governamental; a avaliação se estendeu para outras áreas, como educação, meio ambiente, saúde, etc.  Na década de 1990, no Brasil, inicia-se a avaliação educacional em larga escala com o Sistema de Avaliação da Educação Básica (SAEB).

Semelhanças:  Descrever, relacionar e identificar as causas de certas variáveis; Diferenças:  Origem em programas ou políticas reais;  Utilidade prática imediata;  Estabelecimento de ações;  Implica em Conflito de Papéis (julgar mérito, trabalho);  Pouca ênfase em publicações;  Compromissos com financiadores, com o aprimoramento das políticas, e com o desenvolvimento da profissão.

CAPÍTULO II – As Finalidades da Avaliação

 Entidades filantrópicas;  Assembléias legislativas estaduais;  Campo do desenvolvimento internacional;  Organizações diversas como escolas, ONGs, etc.;  Gerentes de um projeto;  Financiadores;  Diretores;  Funcionários e clientes de organizações avaliadas; CONFLITOS!

Avaliações podem ser utilizadas como subterfúgios para:  Adiamento de decisões;  Desvio de Responsabilidades;  Legitimação de Decisões (“Vitrine”);  Relações públicas: justificar a existência. Passar em Pontos: seleção de apenas aspectos positivos; Passar em Branco: encobrir uma falha do programa, ignorando resultados ou evitando efetiva avaliação.

 Falta de recursos adequados à avaliação;  Poucas rotinas e pouca estabilidade de um programa;  Falta clareza ou consenso nos objetivos;  Restrições de aspectos cruciais de avaliação (por parte do patrocinador ou agentes de projetos);

Avaliação para Tomada de Decisões  Aspectos a melhorar no processo de um programa;  Decidindo se um programa continua ou termina (alcance de objetivos/eficiência);  Testando novas ideias;  Escolhendo entre várias alternativas;  Continuação do Financiamento (interesse do financiador);

 Levantamento de um histórico: construir o Memorial de um Programa;  Fiscalização: informações para os executores do programa;  Avaliações para enfatizar os Objetivos de um programa;  Relatar utilização das verbas: Prestação de Contas;  Entender as Consequências das Intervenções Sociais;

CAPÍTULO III – Entendendo o Programa

 Programas sociais compreendem diferentes componentes, estilos, pessoas e procedimentos, sendo assim, difícil descrevê- lo de modo concreto e simples.  Essa falta de clareza e especificação dos termos, na avaliação de resultados, vai exigir da avaliadora um maior esforço na descrição do Programa e também na análise do que é o Programa.

 Teorias de Programas são conjuntos de hipóteses que ajudam no planejamento de um programa; como supomos que as coisas irão acontecer para um programa funcionar (processo). Por exemplo:  1) Uma maior remuneração melhorará o moral do professor, o moral mais elevado levará os professores a se dedicarem com mais afinco ao ensino;  2) Uma maior remuneração permite que os professores desistam de seus empregos secundários, melhorando o rendimento no emprego principal.

 Teorias de Implementação refere-se à condução das atividades como foram planejadas, para a obtenção dos resultados esperados (estão cumprindo etapas? Como?).  A Teoria de Mudanças (Programas + Implementação) permite à avaliadora coletar e analisar os dados da avaliação. Com esses dados, pode-se compreender se a teoria descreve o que aconteceu, como aconteceu e se aconteceu como esperado.

 Não necessariamente as mudanças de conhecimento sobre um programa vão resultar em mudanças de comportamento.  De qualquer modo, a parte empírica da avaliação é de alta relevância: comparar as expectativas com os dados coletados e verificar se eles se ajustam.

Estudo Dirigido

CAPÍTULO VIII – O Desenho da Avaliação

 A avaliação de processo é muito semelhante ao monitoramento: procuramos verificar o funcionamento de etapas ou fases do programa ou política a fim de aprimorar suas operações.  Porque a maioria das operações em programas educacionais não são facilmente compreensíveis, ou não têm relações claras de causa e efeito, a autora diz que na avaliação de processo utilizamos com mais frequência julgamentos intuitivos e métodos qualitativos.

a) Quando souber pouco sobre a natureza do programa e suas atividades; b) Quando os serviços são inovadores ou de difícil controle / entendimento; c) Quando as teorias que fundamentam o programa forem questionáveis ou problemáticas.

a) Quando existe relação mais clara entre procedimentos e resultados do programa; b) Quando as medidas sobre processo e resultado podem ser obtidas de facilmente, e se relacionam diretamente com eles (confiança e consistência); c) Quando queremos informações comparáveis (mais gerais);

 Como forma de avaliação, pode-se coletar medidas de resultado sobre o grupo do programa depois do início de seu funcionamento;  No entanto, o melhor é coletar informações antes-e-depois, quando possível. Assim, podemos ver indícios possivelmente relacionados ao programa.  Recolher informações várias vezes durante o programa (durante-durante-durante) também é uma forma de avaliar o processo e julgar se sua teoria se adequa à realidade dos eventos.

 Várias observações durante o programa podem ser combinadas a informações de séries de dados recolhidas por outras organizações ou pelo governo.  Quanto maior a série de informações antes e depois do programa, melhor se pode avaliar as tendências do efeito do programa ao longo do tempo, de preferência quando podemos comparar grupos com e sem acesso a ele.

 Acrescentamos um grupo de comparação para fortalecer a análise dos resultados.  Um grupo de comparação possui características muito semelhantes ao grupo que recebe o programa, a respeito dos aspectos importantes para os resultados.  Pode-se selecionar o grupo de comparação por emparelhamento: buscar pessoas da mesma idade, cor/raça, sexo, estado civil, status socio-econômico.

 Em grupos de comparação, e também em análises estatísticas, um problema frequente é o viés de seleção:  Influência de atributos não medidos capazes de alterar os resultados, fazendo pensar que o programa teve um efeito que ele de fato não teve.  Por exemplo: motivação. Vontade de participar do programa leva a ações e intenções de receber benefícios e alterar condições de vida.

 Para evitar a tendência de seleção podemos utilizar métodos estatísticos que tentam igualar os participantes e fazer comparações;  O problema é: depois que a seleção já ocorreu sem o cuidado da escolha aleatória, não é possível saber o tamanho do erro na análise;  Os resultados do programa podem se subestimados ou superestimados.

CAPÍTULO IX – O Experimento Aleatório

 A escolha aleatória assegura a comparabilidade entre diferentes grupos porque evita o viés de seleção;  Nessa avaliação, os participantes do grupo programa e do grupo controle são sorteados;  Monitoramos ambos os grupos, colhendo informações antes e depois do programa sobre todas as variáveis relevantes para a obtenção dos resultados esperado do programa;  Após a exposição ao programa, a observação das diferenças entre grupo programa e grupo controle revela o efeito líquido do programa.

Para que uma seleção aleatória tenha comparabilidade estatística é necessário atender a alguns requisitos: 1) Tamanho suficiente de grupos; 2) Conhecer a probabilidade de seleção (garantir chances conhecidas de seleção); e 3) Evitar as ameaças à validade. Conferir as características dos grupos antes de expor ao programa, para ter certeza de que são parecidos, também é uma precaução prudente.

 Seleção (tendências: motivação, por exemplo);  Redução Gradual (tendências: motivação/mortalidade, por exemplo);  Maturação (naturalmente);  Aplicação de Testes (progresso);  Instrumentação (interação);  Eventos exteriores (tendências: várias).

 As unidades de um programa podem variar; não necessariamente os indivíduos são os casos;  As leis da probabilidade não funcionam bem com populações inferiores a 30 ou 40 casos;  Estratificações de amostra melhoram a comparabilidade e aumentam a precisão das estimativas;  Estratificações são características conhecidas e relevantes de uma população para um determinado tipo de estudo;  Por exemplo: dividir uma grande cidade por quantidade de habitantes das regiões; dividir as turmas amostradas por número de alunos e avaliar o desempenho para estimar o tamanho ideal, etc.

 Conhecendo a probabilidade de seleção, o tamanho entre os grupos amostrados pode variar.  O importante é manter a mesma chance de seleção dentro dos grupos, e justificar porque é razoável que certos grupos sejam maiores ou menores do que outros na amostra.  As razões podem ser teóricas ou práticas.

 Por exemplo: um estudo sobre as características do sistema federal de ensino básico.  Uma amostra aleatória simples de todas as escolas do sistema poderia não apresentar nenhuma escola com as características desejadas (menos de 1% do sistema é de dependência administrativa federal).  Por estratificação, aumentamos o número amostrado de escolas federais em relação às escolas particulares, por exemplo.

 Em uma Amostra Aleatória Simples, uma listagem de todos os potenciais participantes de um programa recebe um número para cada nome;  Em seguida, consultamos uma tabela de números aleatórios, listamos os números gerados na ordem em que aparecem;  Fazemos isso para o número de participantes desejados, dividindo-os por grupo programa e controle.

 Outra forma de amostragem muito comum é conhecida por Amostra Sistemática.  A partir da primeira unidade amostrada é feita uma seleção a cada ‘n’ unidades.  Por exemplo, sorteia-se um indivíduo a cada 17 em uma lista quando ‘n’ = 17. Disso resulta que a proporção total da amostra é 1/17 ou aproximadamente 6% do total de indivíduos.  Se a lista tiver, por algum motivo desconhecido, algum critério de organização, a amostra poderá sofrer a tendência dessa organização, e os resultados podem não ser efetivos.

 “Uma capacidade única dos experimentos aleatórios é constatar que o programa causou determinados resultados. Para esse objetivo, nenhum outro projeto de avaliação se aproxima ao seu poder” (p. 137).