Avaliação Econômica Programa Excelência em Gestão Gerência de Avaliação de Projetos Recife, novembro de 2013 1.

Apresentação em tema: "Avaliação Econômica Programa Excelência em Gestão Gerência de Avaliação de Projetos Recife, novembro de 2013 1."— Transcrição da apresentação:

1 Avaliação Econômica Programa Excelência em Gestão Gerência de Avaliação de Projetos Recife, novembro de 2013 1

2 Dois eixos de ação: – Apoio aos professores por meio da formação dos coordenadores e introdução de tutorias. – Aproximação dos pais na vida escolar dos alunos via coordenador de pais. Fase piloto (2009-2011): – Escolha de 10 escolas da Diretoria de Ensino Leste 3 da cidade de São Paulo a partir da lista de escolas com pior IDESP 2007 do Estado. Programa da Fundação Itaú Social em parceria com o Instituto Fernand Braudel junto a Secretaria Estadual de Educação de São Paulo. 2 Programa Excelência em Gestão Programa

3 Programa Excelência em Gestão A Avaliação Objetivos avaliados: – Melhoria de desempenho escolar. Indicadores: – Notas de Língua Portuguesa e Matemática no Saresp. 3

4 Histórico de proficiência por ano escolar Programa Excelência em Gestão 4 * Não inclui as escolas beneficiadas pelo programa Notas do Saresp – Escala padronizada (TRI)

5 Histórico de proficiência por ano escolar Programa Excelência em Gestão 5 * Não inclui as escolas beneficiadas pelo programa

6 Histórico de proficiência por ano escolar Programa Excelência em Gestão 6 * Não inclui as escolas beneficiadas pelo programa

7 Histórico de proficiência por ano escolar Programa Excelência em Gestão 7 * Não inclui as escolas beneficiadas pelo programa As escolas tratadas têm proficiência mais similar às escolas da RMSP com pior IDESP, que em relação às demais escolas da Leste 3

8 Programa Excelência em Gestão Metodologia Metodologia: –Seguir os mesmos alunos no tempo (coortes) –Usar grupo de comparação –Método econométrico que garante que os grupos tratado e controle sejam muito similares (pareamento por características observáveis) Grupo de comparação: –Alunos de escolas estaduais da região metropolitana de escolas cujo IDESP 2007 encontra-se entre os 5% piores. –Alunos de outras escolas da Leste 3 (escolas com melhor IDESP, mas mesmo contexto) 8

9 Programa Excelência em Gestão Metodologia Variáveis explicativas: –Nível das notas na linha de base: língua portuguesa e matemática –Alunos: gênero, idade, raça, se fez pré-escola e escolaridade da mãe –Diretores: menos de 5 anos no cargo –Professores de LP e Mat.: se trabalham na escola há menos de 1 ano –Escolas: total de matrículas, IDESP 2007, se tem laboratório de ciências, tipo de atendimento. –Componentes de IPVS (Índice Paulista de Vulnerabilidade Social): Proporção de famílias pobres na escola (renda familiar menor que R$850) Proporção de famílias com crianças de 0 a 5 anos Obs.: estas informações não estavam disponíveis no Saresp 2007, por isso usamos as informações de 2008. 9

10 Programa Excelência em Gestão Amostra 10 Coortes de alunos acompanhados Total de escolas no programaTotal de alunos avaliados 5º - 7º 6375 (2008-2010) 5º - 9º 6296 (2007-2011) 7º - 9º 9523 (2008-2010) 9º - 3ºEM 10295 (2008-2011) 9º - 3ºEM 10279 (2007-2010) Saresp realizado para séries intercaladas e 3° ano do Ensino Médio

11 Programa Excelência em Gestão Resultados Linha de BaseAnos de ProgramaMatemáticaLíngua Portuguesa 20072008200920102011 Impacto 1 6° Ano 2 7°Ano 3 5º Ano6°Ano7°Ano8° Ano3,3**(12%)3,1*(11%) 45º Ano6º Ano7°Ano8°Ano9°Ano -5,9**(-11%) / -- a -1,6 56º Ano7º Ano8°Ano9°Ano1° EM-2,33,4 67º Ano8º Ano9°Ano1° EM2° EM 78º Ano9º Ano1° EM2° EM3° EM2,85,7** (17%) 89º Ano1º EM2° EM3° EM 3,8-0,1 91º EM2º EM3° EM Coortes laranja = 3 anos de programa Coortes azuis =2 anos de programa *** 99% de significância ** 95% de significância *90% de significância a significância estatística depende do grupo de controle 11 Impacto em nota no Saresp (e quanto o impacto representa do aumento total)

12 Gráfico do Resultado Programa Excelência em Gestão 12

13 Gráfico do Resultado Programa Excelência em Gestão 13

14 Gráfico do Resultado Programa Excelência em Gestão 14

15 Programa Excelência em Gestão Resultados: hipóteses interpretativas Início do Ensino Fundamental II: impacto já a partir do 2° ano do piloto –Mais fácil gerar impacto com séries de alunos mais jovens Final do Ensino Fundamental: impacto nulo ou negativo –Programa incentivou aumento de taxa de aprovação, o que pode ter levado a retenção de alunos de pior desempenho (esse efeito se sobressai na coorte de maior duração). –Impacto nulo se comparação dentro da Leste 3 (indica contexto pior na Leste 3 em Matemática ) 15

16 Programa Excelência em Gestão Resultados: hipóteses interpretativas Ensino Médio: impacto significativo só com os 3 anos do piloto e em Língua Portuguesa –Maior número de tutorias em 2011 –Coordenador de pais mais bem definido em 2011 –Melhor aceitação das tutorias pelos professores de Língua Portuguesa (percepção gestores do programa) 16

17 Programa Excelência em Gestão Retorno Econômico Cenário para retorno: Principais parâmetros: 17 VPL (alunos avaliados) = R$ 412 mil negativo. TIR = 4,1% a.a. Ganho médio de renda futura para cada ponto do Saresp (segundo estudo de Curi e Menezes-Filho 2007) 0,73% Custo total do programa em 2009, 2010 e 2011R$ 4,5MM Taxa de desconto5% a.a. Número de alunos que passaram pelo programa (total de matrículas do 2º ciclo do ensino fundamental e médio nas escolas tratadas – 2009) 10.471alunos Número de alunos avaliados (total de matrículas das coortes avaliadas nas escolas tratadas - 2009) 8.142alunos 78% do total Número de alunos efetivamente impactados (total de matrículas do 7º ano do ensino fundamental e 3º anos do Ensino Médio nas escolas tratadas – 2009) 3.903 alunos 37% do total

18 Programa Excelência em Gestão Questões no Desenho da Avaliação 1) Intervenção Intervenções concomitantes: não permitem identificar os efeitos de cada uma delas Registro das ações: há registro apenas das tutorias, e forma de registro não permitiu sua inclusão na estimativas Mudança nas intervenções ao longo do tempo: ex-post não sabemos o que deu certo 2) Amostra Apenas 10 escolas: contexto de cada escola tem grande poder de alterar a média dos resultados Todas as escolas tratadas são da mesma regional de ensino: questão de validade externa 18