As Metas do Ideb Para as Escolas Brasileiras Prof. Tufi Machado Soares Professor Titular da UFJF Departamento de Estatística e Programa de Doutorado e Mestrado em Educação Coordenador da Unidade de Pesquisa do CAEd/UFJF

MEDIDAS DA EFICÁCIA DE SISTEMAS EDUCACIONAIS NO BRASIL Ideb “O Índice de Desenvolvimento da Educação Básica (Ideb) foi criado em 2007 e reúne, em um só indicador, os resultados de dois conceitos igualmente importantes para a qualidade da educação: o fluxo escolar e as médias de desempenho nas avaliações.” “O Ideb agrega ao enfoque pedagógico dos resultados das avaliações em larga escala do Inep a possibilidade de resultados sintéticos, facilmente assimiláveis, e que permitem traçar metas de qualidade educacional para os sistemas.” “O Ideb também é importante por ser condutor de política pública em prol da qualidade da educação. É a ferramenta para acompanhamento das metas de qualidade do Plano de Desenvolvimento da Educação (PDE) para a educação básica, que tem estabelecido, como meta, que em 2022 o Ideb do Brasil seja 6,0 – média que corresponde a um sistema educacional de qualidade comparável a dos países desenvolvidos.” Disponível em: http://portal.inep.gov.br/web/guest/ideb,23/02/17

MEDIDA DA EFICÁCIA DOS SISTEMAS EDUCACIONAIS NO BRASIL Ideb N x P P: indicador de rendimento, que corresponde ao fluxo médio de alunos ao longo de uma determinada etapa de ensino, com valores teoricamente variando entre 0 e 1, ou seja, entre 0 e 100% de aprovação média ao longo de uma etapa considerada. As taxas de aprovação são obtidas a partir do Censo Escolar do ano referente ao Ideb que se deseja calcular. N: média de proficiência em Língua Portuguesa e Matemática, conforme obtida pela Prova Brasil ou SAEB de um dado ano, e padronizada numa escala variando de 0 a 10, com o valor central da mesma correspondendo à média nacional em ambas as disciplinas no ano de 1997.

Características do Ideb Simplicidade; Fidedignidade (razoável para boa parte da escala); Veracidade (razoável, depende da qualidade das avaliações e dos dados do censo); Validade (necessita de estudos e discussões mais extensivas e abrangentes mas há evidências sob as consequências de seu uso). Críticas: simples demais, difícil entendimento, problemas de fidedignidade pelo menos em alguns níveis da escala, problemas de validade – significado das medidas.

Características do Ideb O fato é que o Ideb é a Medida Nacional de qualidade da educação. Mudanças tem implicações que precisam ser cuidadosamente avaliadas. Outros indicadores são e podem ser importantes para os mais variados fins, mas é preciso cuidado no papel que desempenham no significado do que se deseja para a qualidade da educação – redundância, dispersão dos objetivos, excesso de metas e objetivos e, tudo isso, supondo que eles apresentem as qualidades necessárias (VERACIDADE/FIDEDIGNIDADE/VALIDADES).

Metas do Ideb “2022 o Ideb do Brasil seja 6,0 – média que corresponde a um sistema educacional de qualidade comparável a dos países desenvolvidos.”

Anos Iniciais do Ensino Fundamental IDEB

Anos Finais do Ensino Fundamental IDEB

Ensino Médio IDEB

METAS DAS ESCOLAS FATO Há relativa volatilidade dos Resultados dos testes de parcela significativa das unidades escolares; consequentemente para essas escolas há volatilidade nos resultados do Ideb; Há um aumento progressivo no número de escolas que estão descumprindo as metas (pode ser um reflexo de uma tendência geral, mas pode também ser um reflexo, pelo que os estudos apontam, de metas muito rígidas na partida). (Pontes; Soares, 2016) e (Pontes; Soares, 2017)

Gráfico 1: Escola com baixa volatilidade nas médias de Matemática e um pequeno desvio no início da série temporal (SIMAVE – 2000/2011 – 9º ano EF) Fonte: Elaboração própria.

Gráfico 2: Escola com alta volatilidade nas médias de Matemática e um acentuado desvio positivo no início da série temporal (SIMAVE – 2000/2011 – 9º ano EF) Fonte: Elaboração própria.

Gráfico 3: Escola com alta volatilidade nas médias de Matemática e um acentuado desvio negativo no início da série temporal. (SIMAVE – 2000/2011 – 9º ano EF) Fonte: Elaboração própria.

Tabela 5: Desvios-padrão dos resíduos das médias escolares de proficiência em Matemática no PROEB/SIMAVE   MATEMÁTICA PORTUGUÊS N Válidos 4249 4252 Faltantes Média 14,7 12,0 DP 7,6 6,3 Mínimo 1,6 0,8 Máximo 68,2 78,0 Percentis 25 9,7 7,8 50 13,0 10,4 75 17,7 14,5 Fonte: Elaboração própria.

Possíveis Fontes da Volatilidade Mudanças na composição sociodemográfica dos alunos; Mudanças em outras características do contexto (aumento da violência na vizinhança, por exemplo); Mudanças nos processos escolares; Mudanças na motivação dos atores escolares; Incertezas introduzidas pelo efeito da fidedignidade das medidas e das amostras (participação, por exemplo).

Média dos desvios-padrão dos resíduos O tamanho da escola, e o número de alunos que participam do teste, é uma variável que explica substancialmente a volatilidade devida a muitas das causas. Tabela 2: Média dos desvios-padrão dos resíduos por tamanho de escola no SIMAVE, no período 2000-2011 – 9º EF   Média dos desvios-padrão dos resíduos Escola MATEMÁTICA PORTUGUÊS Pequena 20 e 40 18,4 15,6 Média 11,8 9,5 Grande >80 12,1 9,3 Fonte: Elaboração própria.

Considerações i) Em geral, a fixação de metas para as escolas é uma política que tem efeito nos resultados educacionais das escolas (há políticas de incentivo, de intervenções, responsabilização social, baseadas no alcance ou não das metas). Há evidências disso (Pontes; Soares, 2016; Pontes; Soares, 2017) , mas há necessidade de uma análise mais extensiva e aprofundada); ii) Portanto, se a meta é muito rígida ou muito leniente espera-se que ela não tenha efeito na eficácia escolar futura ou, até mesmo, tenha efeito negativo (Também há evidências). iii) O estabelecimento de metas baseadas em uma medida temporal apenas de uma escola pode, para as escolas com expressiva volatilidade de resultados, produzir metas muito rígidas ou muito lenientes (Pontes; Soares, 2017). (Há forte evidência disso para algumas escolas). iv) Se a fixação inadequada das metas afetar substancialmente a eficácia de um número significativo de escolas ela pode afetar significativamente a eficácia dos sistemas. (Estudos precisam ser realizados!)

PROPOSIÇÕES Modelo de fixação das Metas que considere: i) Não apenas uma medida fixa no tempo, mas um conjunto de medidas observadas em determinado período (pode-se inclusive supor uma média móvel mas também um modelo longitudinal) (Pontes; Soares, 2017); ii) Discutir a possibilidade e conveniência de incluir outros indicadores (NSE, por exemplo) na fixação das metas ( VERACIDADE/FIDEDIGNIDADE/VALIDADE(Consequências) ).

PROPOSIÇÕES Revisão Periódica das Metas das escolas: i) Correção de desvios iniciais e adaptação a eventuais mudanças estruturais (qual seria o período ideal? É factível? Quais são as implicações?); ii) Os desenlaces dos sistemas seriam os mesmos ou não? iii) A revisão é geral (para todas as escolas) ou pontual (algumas escolas)? É possível que nos resultados gerais não haja grandes diferenças entre as duas abordagens.

Referências PONTES, L.; SOARES, T. M. (no prelo). Volatilidade dos resultados de proficiência e seu impacto sobre as metas do Ideb nas escolas públicas de Minas Gerais. Educação em Revista. Paper apresentado na VIII Reunião da Associação Brasileira de Avaliação Educacional (ABAVE), em Florianópolis, agosto de 2015. PONTES, L.; SOARES, T. M. (2016). AS METAS ESCOLARES DO IDEB: UMA PROPOSTA ALTERNATIVA DE CÁLCULO Est. Aval. Educ., São Paulo, v. 27, n. 66, p. 690-715, set./dez. 2016