Aula 3 – Introdução à Avaliação de Impacto

Apresentação em tema: "Aula 3 – Introdução à Avaliação de Impacto"— Transcrição da apresentação:

1 Aula 3 – Introdução à Avaliação de Impacto

2 Avaliação de Impacto Identifica se o projeto social afetou um ou mais indicadores de impacto

3 Plano de Aula Conceito de Mensuração e Causalidade;
Conceito de Contrafactual e Grupo Controle; Formas de seleção: autoseleção e viés de seleção; Instrumento de coleta de informações e como transformá-las em banco de dados. Mensuração e Causalidade: temas centrais na avaliação de impacto.

4 Conceito de Mensuração e Causalidade

5 Avaliação de Impacto Objetivo: determinar se o projeto causou mudança no bem-estar dos indivíduos que pode ser atribuída a um determinado projeto. Mensuração: não apenas saber se houve mudança, mas também medir essa mudança. Causalidade: garantir que o projeto causou essa a mudança.

6 Usa-se indicadores de impacto – relação direta com os objetivos.
Mensuração Mede o quanto o indicador de impacto variou devido ao projeto. O indicador tem que ser numérico, pois mede-se a sua variação. Usa-se indicadores de impacto – relação direta com os objetivos.

7 Causalidade É o principal “problema” da avaliação de impacto.
Como assegurar que outros fatores não provocaram o impacto observado? O que aconteceria com os beneficiários se não tivessem participado do projeto? Resposta: o contrafactual Se os efeitos foram REALMENTE resultado do projeto ou ocorreriam de qualquer forma. Professor, neste ponto explicar que um dos motivos para os resultados ocorrerem mesmo sem o programa é que podem existir outros projetos atuando no local com o mesmo objetivo (tratamento concorrente) ou após o início do projeto pode aparecer novos fatores que não têm relação com ele e que modifica a realidade local. Exemplo de que foi realmente resultado do projeto: um programa para qualificação profissional visava gerar emprego e renda para os jovens beneficiários. Um ano após, quando foram avaliar, 100% dos jovens estavam empregados.Entretanto, o projeto não tinha tido impacto. O que tinha ocorrido é que a construção de um shopping na região empregou todos os jovens, independente de ter passado ou não pelo programa.

8 Conceito de Contrafactual e Grupo Controle

9 Solução: procura-se alguém que represente o contrafactual –
Ideal: comparar o indicador de impacto dos tratados com e sem o projeto no mesmo momento do tempo. Essa é a única maneira de ter certeza de que a variação no indicador de impacto resultou da participação no projeto. Infelizmente, é impossível observar alguém em duas situações ao mesmo tempo. O contrafactual não existe na prática. Solução: procura-se alguém que represente o contrafactual – Grupo Controle Retomar o exemplo do programa: construção de um shopping - treinamento e emprego. Com ele mostrar que só foi possível saber que não foi o programa usando o contrafactual. Explicar que o contrafactual é o beneficiário num mesmo momento do tempo com e sem o programa e que isso é impossível. Portanto, usa-se o grupo controle.

10 Grupo Controle O grupo controle representa como o tratado estaria se não fosse beneficiário do projeto. Idéia: formar grupos de não-participantes (na linguagem de avaliação de não-tratados), que tenham as mesmas características dos participantes (tratados). Encontram-se pessoas que não participaram do projeto e que tenham as mesmas características daqueles que participaram. No caso do treinamento profissionalizante: encontrar jovens que não tenham participado do treinamento e que se pareçam (tenham a mesma idade, o mesmo nível sócio-econômico, etc.) com aqueles que participaram. Os participantes podem resistir à ideia de “comparar pessoas”. O que precisa ficar claro é que, por mais que existam individualidades e especificidades de cada indivíduo, na média, é possível criar grupos comparáveis!

11 Em resumo Em geral, os projetos não conseguem atender todo público alvo. Definição: Grupo Tratado: pessoas do público alvo que o projeto beneficia. Grupo Controle: pessoas do público alvo com características similares aos beneficiários, mas que o projeto não atende. Professor: explicar a origem da avaliação na medicina para justificar a nomenclatura tratamento e controle , que em geral, fica bastante vaga para o público do curso. Para o nosso público, quem recebe o projeto é “beneficiário”. Combinar que durante o curso adotaremos a nomenclatura de avaliação: tratamento (beneficiários) e controle (não beneficiários) – não mais falaremos beneficiários. Nas aulas 4 e 5 discutiremos técnicas para selecionar o grupo controle.

12 Não pode-se avaliar o antes e o depois do grupo tratado sem usar o controle?
A resposta é NÃO. A evolução no tempo apenas dos indicadores do grupo tratado NÃO garante a causalidade. Professor: Realçar essa parte, pois é prática comum no meio social e de políticas públicas. Vamos a um exemplo para provar isso.

13 Proporção de crianças que participaram do programa e que exercem trabalho infantil
Porque precisamos do grupo controle: Exemplo Progresa - Oportunitá. Explica o gráfico e pergunta se o programa teve impacto ao olhar o antes e o depois do tratado.

14 Proporção de crianças que exercem trabalho infantil
Mostrar o controle e provar que não teve impacto, pois o controle também diminuiu o trabalho infantil. Falar, então, que ao usar avaliação qualitativa descobriu-se que ocorreu uma seca que diminui o trabalho infantil – que em sua maioria era ligada à agricultura. Conclui: sem o grupo controle se atribuiria o resultado de redução do trabalho infantil ao Progresa e na realidade não foi o programa e sim um fator externo – a seca.

15 Projeto de transporte escolar
Projeto da prefeitura de transporte escolar para comunidades afastadas do Amazonas Comparando a taxa de frequencia das crianças beneficiadas antes e depois, verificamos que o projeto aparentemente diminuiu a taxa de frequencia.

16 Projeto de transporte escolar
No entanto, quando adicionamos a informação do grupo controle, vemos que o projeto teve impacto positivo. Na verdade, houve uma enchente na região que dificultou a passagem dos ônibus.

17 Forma de seleção: autoseleção e viés de seleção

18 Formas de Seleção Nem sempre é fácil encontrar um “bom” grupo controle devido às formas de seleção dos tratados. Autoseleção : as pessoas que participam do projeto escolhem participar. Exemplo: projeto de oficinas em contraturno escolar para jovens. Os jovens que se inscrevem em oficinas no contraturno escolar devem diferir dos que não se inscrevem. Suas características podem ser observáveis (número de irmãos, nível de renda familiar) ou não-observáveis (motivação, determinação ou pré-disposição).

19 Formas de seleção Viés de seleção: o grupo de participantes pode diferir do restante da sociedade, justamente pelo fato de o projeto ter um público-alvo específico. Exemplo: projetos sociais universais utilizam a renda per capita como critério de elegibilidade – Bolsa Família, Minha Casa Minha Vida. Só podem participar do projeto indivíduos que tenham “renda familiar per capita” menor ou igual a um valor de corte. Nesse caso, os tratados, em média, têm menos renda que os não-tratados e isso caracteriza o viés de seleção.

20 A autoseleção e o viés de seleção fazem com que o grupo tratado se diferencie da média da sociedade.
As diferenças entre as características dos grupos tratado e controle antes do projeto dificulta a determinação da causalidade. As metodologias de avaliação de impacto procuram amenizar os problemas na obtenção da causalidade que a diferença entre os grupos tratado e controle provocam.

21 Hora de praticar Professor: trabalhar os estudos de casos, seguindo os perguntas: Como vocês escolheriam o grupo de controle? Quais informações sobre o tratado e o controle que vocês acham importante para a avaliação? Formule um questionário pelo qual as informações seriam coletadas e, em seguida, crie um banco de dados fictício com as essas informações Nesse ponto o aluno trabalha todas as etapas de elaboração de dados - escolha das informações relevantes, montagem do instrumento de coleta e transformação da informação em banco de dados. Atenção: essa terceira tarefa para o grupo requer um tempo maior do que o das duas anteriores. Considere isso na distribuição do tempo. Relembrando: sempre que possível, gastar algum tempo para relatos dos participantes quanto aos conceitos da aula.

22 Forma de obter informações para avaliação e como transformá-las em banco de dados.

23 Fontes Cadastro do projeto; Pesquisa de campo;
Fontes externas de dados.

24 Cadastro do projeto O cadastro do projeto é uma das fontes de informação mais importantes para a avaliação de impacto. De acordo com o desenho da avaliação, inclui-se no cadastro inicial informações do grupo tratado e controle. Quais informações devem constar do cadastro inicial? Não existe uma única resposta a essa pergunta. As informações relevantes para um cadastro dependem do objetivo de cada projeto.

25 Exemplo 1: Projeto de Contraturno Escolar.
Cadastro Nome do estudante Idade Gênero Cor ou raça Série em que estuda Escolaridade da mãe Renda familiar Número de componentes da família Indicação se o aluno trabalha

26 Caso os beneficiários estudem em escolas diferentes, incluir questões sobre a escola
Escola que freqüenta Nº de horas-aula da escola Nível educacional do corpo docente da escola Número de alunos por sala Instalações da escola: computadores, acesso à internet, laboratórios, bibliotecas, quadras, etc.

27 Exemplo 2: Projeto para Nutrição Infantil
Identificação da mãe e da criança Idade da mãe e da criança Tempo de amamentação Número de filhos Se a mãe trabalha Rendimentos da mãe (da família) Número de horas trabalhadas Criança na creche

28 Cadastro ATENÇÃO: Precisa constar no cadastro a informação referente aos indicadores de impacto. Exemplo 1. Projeto de contraturno escolar Idade da criança e a série que frequenta – Indicador idade/série. Freqüência escolar – Indicador percentual de frequência. Nota da prova de matemática – Indicador proficiência em Matemática. 2. Projeto para nutrição infantil Peso e altura da criança – Indicador peso/altura.

29 Hora de praticar

30 Questionário O cadastro do projeto nada mais é do que um questionário com informações que os beneficiários preenchem quando fazem sua inscrição no projeto. Caso o desenho de avaliação defina o grupo de controle como aqueles que se inscreveram e não foram beneficiados, pode-se já no cadastro inicial ter informação sobre os tratados e os controles. Basta que a ficha de inscrição (preenchida por todos os inscritos) contenha as informações constantes no cadastro do projeto.

31 Pesquisa de campo Para a avaliação de impacto é necessário obter as informações sobre o indicador de impacto dos tratados e dos controles após o projeto. Muitas vezes, precisa-se ir a campo para obter essas informações diretamente com os indivíduos Então, vamos aprender algumas técnicas de elaboração de questionário!!!!!!!!!!!!!!!!!!

32 Formulação das questões
Cada questão da pesquisa precisa ter uma “razão de ser” – deve estar vinculada à análise de impacto que se deseja fazer. Exemplos de perguntas relevantes: Sobre os indicadores de impacto; Relacionadas à participação no projeto e ao indicador de impacto; Várias formas para localização posterior – endereço, endereço de um parente, telefone, celular, , rede social, etc.. Professor: realçar que as dicas de formulação de questões valem tanto para pesquisa de campo quanto para os perguntas do cadastro.

33 Formulação das questões
Existe uma tendência de coletar mais e mais dados. Entretanto, mais dados implicam em custos – de tempo e de recursos. Elimine questões do tipo “é bom saber” porque não são essenciais. Elimine questões ambíguas. Siga os passos abaixo para guiar a formulação das questões: Pense em quais informações são necessárias. Formule questões para obtê-las. Teste se as respostas a essas questões realmente fornecem as informações necessárias – pré-teste do questionário. Professor: realce que perguntar “somente para saber”, por curiosidade, não compensa. Mostre que aplicação de questionário e o próprio preenchimento desse na inscrição é caro. E que quanto maior o questionário menos precisa são as informações contidas neles porque as pessoas pulam questões. Melhor um questionário pequeno e todo preenchido corretamente do que um grande e mal preenchido – Qualidade das informações

34 Dicas de como escrever as questões
Use palavras simples – não complique. Seja breve – não seja redundante. Seja específico – não seja vago. Não conduza o respondente. Não use abreviações ou jargões científicos. Não use questões subjetivas. Prefira opções de resposta fechadas. Digitar e codificar respostas como textos pode tomar muito tempo. Cuidado com questões retroativas - elas devem contar com a memória dos entrevistados. Assim sendo, temos que formulá-las de modo a facilitar o processo retrospectivo). Professor: para exemplificar o último ponto você pode perguntar a um aluno que roupa ele vestiu ontem ou o que almoçou na sexta da semana passada, etc.. A grande maioria não saberá responder.

35 Dicas de como escrever as questões
Evite fazer hipóteses sobre o perfil/tipo do entrevistado. Exemplo: Qual sua remuneração em seu trabalho principal? Nessa pergunta, você assumiu que o entrevistado trabalha. Prefira: 1. “Você trabalha?" a. Sim b. Não (pule para pergunta 3) 2. “Qual sua remuneração no emprego?” Não esqueça de chamar atenção para o pulo.

36 Dicas de como escrever as questões
Muitas vezes os respondentes não querem ou não sabem responder uma questão. Inclua como uma das opções de resposta NR/NS (não respondeu/não sabe) Inclua também a opção NA (não se aplica). Precisa-se diferenciar as pessoas para as quais a pergunta não se aplica daquelas que não quiseram ou não sabiam responder. Exemplo: 1. Qual sua faixa de renda? 0; Até 1 salário mínimo; De 1 a 3 salários mínimos; Mais de 3 salários mínimos; NS/NR. NA NA: não se aplica

37 Dicas de como escrever as questões
IMPORTANTE!! Antes de aplicar o questionário no seu grupo de tratamento ou controle, faça um aplicação teste (pre-teste) em um grupo de pessoas parecidas com o seu público alvo. Testar o questionário pode ser muito útil para corrigir questões ambíguas, mal formuladas ou mesmo incluir questões faltantes.

38 Dicas de como escrever as questões
Problemas comuns com questionários: Questionários muito longos Faltaram perguntas importantes Faltam opções de resposta Problemas de fluxo (pulos ou perguntas incoerentes) Diferença de interpretação das perguntas entre entrevistado e entrevistador Diferença de interpretação das perguntas entre entrevistadores – treine todos os entrevistadores juntos antes da aplicação

39 Do Papel para a Base de Dados.
Para avaliar utiliza-se bancos de dados numéricos. As informações precisam estar em formato numérico. Veja um exemplo: Professor: Realçar que a informação em papel não serve para a avaliação. Ela precisa estar digitalizada em formato de banco de dados. Além disso, dados agregados não servem. As informações para tratados e controles devem vir por indivíduo, como no exemplo. Explorar ao máximo a tabela do exemplo. Alguns pontos: Cada indivíduo virá em uma linha e cada informação ou pergunta gerará uma coluna; Mesmo que a informação seja qualitativa ela tem que ser transformada em número e um “dicionário” precisa ser criado. Por exemplo: sexo: 0-homem 1- mulher escol. Mãe: escolaridade da mãe 1- analfabeta 2- ensino fundamental 3- ensino médio 4- ensino superior 5 – mestrado/doutorado Projeto 0 = não participante 1 = participante Importante que no nome do arquivo conste o ano no qual as informações forem coletadas. É muito comum ter o banco de dados e não saber de quando ele é, o que inviabiliza o seu uso. Lembre-os que as informações são das instituições e que muitas vezes quem as produziu não está disponível para explicar tudo sobre a base. É importante que eles pensem sempre que com a base e o dicionário qualquer um deve conseguir entender a informação.

40 Do Papel para a Base de Dados.
Cada indivíduo corresponde a uma linha Cada informação (indicador) corresponde a uma coluna Todas as informações precisam estar em formato numérico Crie um código único para cada indivíduo. Lembre-se que duas pessoas podem ter o mesmo nome, pode haver erro de digitação, diferentes grafias para o mesmo nome, ou seja, identificar pessoas pelo nome pode ser muito complexo! É preciso ter informação sobre os participantes e não participantes. Não esqueça de identificar quem participou do projeto. Professor: Realçar que a informação em papel não serve para a avaliação. Ela precisa estar digitalizada em formato de banco de dados. Além disso, dados agregados não servem. As informações para tratados e controles devem vir por indivíduo, como no exemplo. Explorar ao máximo a tabela do exemplo. Alguns pontos: Cada indivíduo virá em uma linha e cada informação ou pergunta gerará uma coluna; Mesmo que a informação seja qualitativa ela tem que ser transformada em número e um “dicionário” precisa ser criado. Por exemplo: sexo: 0-homem 1- mulher escol. Mãe: escolaridade da mãe 1- analfabeta 2- ensino fundamental 3- ensino médio 4- ensino superior 5 – mestrado/doutorado Importante que no nome do arquivo conste o ano no qual as informações forem coletadas. É muito comum ter o banco de dados e não saber de quando ele é, o que inviabiliza o seu uso. Lembre-os que as informações são das instituições e que muitas vezes quem as produziu não está disponível para explicar tudo sobre a base. É importante que eles pensem sempre que com a base e o dicionário qualquer um deve conseguir entender a informação.

41 Do Papel para a Base de Dados.
Para serem usadas as informações precisam estar em formato de banco de dados. Formulários em papel precisam ser digitados, o que pode ser muito custoso! Logo, procure coletar as informações em forma digital ou de forma que possam ser digitadas facilmente. Professor: Realçar que a informação em papel não serve para a avaliação. Ela precisa estar digitalizada em formato de banco de dados. Além disso, dados agregados não servem. As informações para tratados e controles devem vir por indivíduo, como no exemplo. Explorar ao máximo a tabela do exemplo. Alguns pontos: Cada indivíduo virá em uma linha e cada informação ou pergunta gerará uma coluna; Mesmo que a informação seja qualitativa ela tem que ser transformada em número e um “dicionário” precisa ser criado. Por exemplo: sexo: 0-homem 1- mulher escol. Mãe: escolaridade da mãe 1- analfabeta 2- ensino fundamental 3- ensino médio 4- ensino superior 5 – mestrado/doutorado Importante que no nome do arquivo conste o ano no qual as informações forem coletadas. É muito comum ter o banco de dados e não saber de quando ele é, o que inviabiliza o seu uso. Lembre-os que as informações são das instituições e que muitas vezes quem as produziu não está disponível para explicar tudo sobre a base. É importante que eles pensem sempre que com a base e o dicionário qualquer um deve conseguir entender a informação.

42 Hora de praticar

43 Fontes externas de dados
São dados de pesquisas e avaliações realizadas usualmente por órgãos governamentais. Essas informações podem ser úteis para a formação de grupo controle. Compara-se as características do público alvo do projeto com as de um conjunto de indivíduos de alguma fonte externa de dados.

44 Alguns Exemplos Pesquisa Nacional por Amostra de Domicílios – PNAD;
Censo Demográfico; Pesquisa de Orçamento Familiar – POF; Sistema Nacional de Avaliação da Educação Básica – SAEB; Exame Nacional do Ensino Médio – ENEM; Banco de dados do Sistema Único de Saúde – DATASUS; Pesquisa mensal de emprego e desemprego – PME; IPEADATA. A ideia é mostrar que nem sempre é necessário fazer pesquisa de campo para avaliar. A grande maioria do nosso público nem sabe sobre a existência dessas fontes. Essas informações já costumam vir em formato de base de dados.

45 Comentários Finais Nessa aula: discutiu-se os conceitos de mensuração e causalidade, a importância do grupo controle para a avaliação de impacto, os problemas de seleção. Além disso, vocês aprenderam o processo de coleta de informação e sua transformação em base de dados Próxima aula: metodologias de avaliação de impacto

46 Comentários Finais Tópicos das diretrizes do trabalho individual: II. A avaliação b. Grupos de tratamento e controle ii. Quem será? ii. Como foram escolhidos os controles? iii. Quantos serão? III. Dados a. Instrumentos de coleta b. Informações coletadas i. Como os dados serão coletados? i. Quais variáveis serão coletadas? ii. Porque essas variáveis foram escolhidas?

47 Apoio aos exercícios Em seguida seguem questionários fictícios que podem dar suporte a montagem da base de dados da parte prática da aula. Você não deve fornecer esses questionários para os alunos antes que eles formulem os próprios questionários para cada projeto. Eles servem apenas na hora da discussão final para exemplificar a construção da base de dados de cada estudo de caso.

48 Avaliação econômica do projeto Valorização Profissional
Questionário: 1. Qual o seu nome? _______________________________________ 2. Qual a data de nascimento? 2.1. Dia: 2.2. Mês: 2.3. Ano:    3.Quantos anos você tem? __________________________________

49 Questionário (continuação):
4. Você freqüentou a escola? 1. Sim 2. Não (pular para questão 6)   5. Qual a última série que você concluiu?   6. Você exerce alguma função remunerada? 1. Sim 2. Não (encerrar) 7. Qual a sua renda mensal? Encerrar o questionário agradecendo.

50 Avaliação econômica do projeto Raízes e Asas
No exemplo a base de dados utilizada foi secundária. Não foi necessário questionário. Entretanto, se não fosse possível acessar essa base vocês poderiam visitar escolas e criar questionário. Atente para o fato de que nesse caso o tratado é a escola e não os alunos. Portanto, as informações têm que ser referentes às escolas.

51 Avaliação econômica do projeto Verde Novo
Nesse caso não tem entrevista. Um técnico vai ao local e preenche as questões 1.Número de identificação da área __________________________ 2. A área é tratada? 1. Sim 2. Não   3. Contar o número de árvore na área ________________________________

52 Questionário (continuação):
4. A área é cercada? 1. Sim 2. Não 5. A área possui agricultura? 1. Sim 2. Não 6. A área pegou fogo a menos do que um ano? 1. Sim 2. Não

53 Questionário (continuação):
7. A área possui capim branquearia? 1. Sim 2. Não 8. Qual o número de animais de pasto na área? _____________________________ 9. Qual a distância (em quilômetros) do centro urbano mais próximo? (Medir a quilometragem quando for de carro para a área). _____________________________   10. Qual a renda per capita média da região em que a área se situa? _____________________________ (preencher com informação proveniente do Censo Demográfico 2010).