Investigando a qualidade da educação com dados públicos

Apresentação em tema: "Investigando a qualidade da educação com dados públicos"— Transcrição da apresentação:

1 Investigando a qualidade da educação com dados públicos
Instrutores: Ernesto Martins Faria (Fundação Lemann) Ricardo Meirelles (PrimaPagina)

2 Acesso à educação e indicadores de qualidade
Parte 1 Acesso à educação e indicadores de qualidade

3 Acesso à educação no Brasil
Durante muitos anos, um dos principais problemas foi a grande quantidade de crianças fora da escola. Fonte: Delso Renault, O dia-a-dia do Rio de Janeiro segundo os jornais ( )

4 Acesso à educação no Brasil
Fonte: Olavo Bilac, A Defesa Nacional

5 O problema foi captado, por exemplo, pela literatura
“Também tudo trabalha. Aprender a ler é luxo que pobre não pode ter. É viver como Deus cria batata: — dá terra e chuva, pra que mais?” (Lauro Palhano, O Gororoba, 1931) “A cidade grande, cheia de pessoas fortes. Os meninos em escolas, aprendendo coisas difíceis e necessárias” (Graciliano Ramos, Vidas Secas, 1938) “Mas Pai tinha tirado por tino, conversava: — Seo Deográcias, o senhor que sabe escola, podia querer ensinar o Miguilim e o Dito algum começo, assim por vez, domingo ou outro, para eles não seguirem atraso de ignorância?” (Guimarães Rosa, Manuelzão e Miguilim, 1956)

6 A melhora foi paulatina
Fonte: IBGE e INEP

7 O que explica a melhoria
Urbanização (desde 1970 a maioria dos brasileiros vive em cidades); Maior presença de indústrias e serviços, sofisticação da agricultura; Vinculação de recursos da União, dos estados e municípios para educação (Constituição 1988); Instituição de fundos de financiamento à educação: Fundo de Manutenção e Desenvolvimento do Ensino Fundamental e de Valorização do Magistério (Fundef, de 1996) e Fundo de Manutenção e Desenvolvimento da Educação Básica e de Valorização dos Profissionais de Educação (Fundeb, 2006).

8 Hoje, escolarização é quase universal no ensino fundamental (6 a 14 anos)

9 Ainda assim, o contingente fora da escola é expressivo
Tela alterada Fonte: IBGE, 2010

10 E afeta mais os de menor renda (veja o gráfico sobre acesso à escola por faixa de renda)
Fonte: Elaborado pelo Todos Pela Educação a partir da PNAD / IBGE.

11 Desafio importante, atualmente, é melhorar a qualidade do ensino

12 Indicadores importantes para monitorar a qualidade da educação
Sistema Nacional de Avaliação da Educação Básica (Saeb) – Aneb criado em 1990 e atualmente aplicado a cada dois anos; verifica o desempenho em Matemática e Língua Portuguesa; alunos do final de cada ciclo: 5º e 9º ano do ensino fundamental e 3º ano do ensino médio; feita por amostragem, resulta em dados sobre a educação oferecida pelas redes pública e privada do país, das grandes regiões e das unidades da Federação.

13 Qualidade da educação: indicadores
Sistema Nacional de Avaliação da Educação Básica (Saeb) – Prova Brasil: também bienal, foi aplicado pela primeira vez em novembro de 2005; verifica desempenho em Matemática e Língua Portuguesa; apenas alunos de 5º e 9º ano do ensino fundamental; é mais abrangente que a Aneb: é quase “censitária” (aplicada em todas as instituições com pelo menos 20 alunos por série), traz dados da rede pública por escola.

14 Qualidade da educação: indicadores
Na Prova Brasil, para poder avaliar o sistema sem sobrecarregar os alunos, eles não fazem a mesma prova

15 Qualidade da educação: indicadores
Exame Nacional do Ensino Médio (Enem): prova anual; abrange todas as áreas do ensino médio, divididas em: Linguagens, códigos e suas tecnologias (gramática, interpretação de texto, literatura, inglês ou espanhol), matemática e suas tecnologias, ciências da natureza e suas tecnologias (química, física e biologia), ciências humanas e suas tecnologias (geografia, história, filosofia, sociologia e conhecimentos gerais);  aplicada para alunos do 3º ano ou que já terminaram o 3º ano do ensino médio (serve de certificação para o ensino médio). como a nota é levada em conta em vários vestibulares, na seleção do ProUni e do Sisu, a participação é expressiva.

16 Como se mede o desempenho dos alunos, nessas avaliações?
Nas pesquisas que dão origem a indicadores, quase sempre as perguntas são semelhantes ao longo dos anos, para permitir comparação adequada.

17 Exemplo: Censo IBGE 2000 2010

18 Como comparar, então, provas que trazem perguntas necessariamente diferentes?
Prova Brasil, 9º ano do ensino fundamental

19 Prova Brasil, 9º ano do ensino fundamental

20 A comparação é possível quando se usa a Teoria de Resposta ao Item (TRI)
É um método estatístico para avaliar, entre outras coisas, a proficiência de estudantes em áreas diferentes do conhecimento. Começou a ser desenvolvida na década de 1950. Usada em vários países, como Estados Unidos, França, Holanda, Coreia do Sul e China. Usada em provas tradicionais, como Pisa, Toefl (exame de proficiência em inglês) e SAT (o “Enem” norte-americano). É usado no Saeb (que inclui a Prova Brasil) e no Enem.

21 Teoria de Resposta ao Item (TRI) – processo de elaboração das provas
Inicialmente, faz-se um grande banco de questões Essas questões são submetida a pré-testes — provas com número menor de alunos, que indicam o nível de dificuldade de cada pergunta e a capacidade de cada uma delas diferenciar os estudantes. As questões: Diferenciam o desempenho dos alunos e indicam o padrão de resposta dos estudantes; Geralmente são classificadas como fáceis, médias e difíceis (a classificação é feita após a prova).

22 Teoria de Resposta ao Item (TRI)
Vantagens: Permite comparação do desempenho ao longo do tempo (por exemplo: comparação do resultado da Prova Brasil desde que começou a ser aplicada, em 2005); Permite elaborar provas diferentes e comparar o desempenho dos alunos nelas.

23 Uma prova tradicional, em caso de equívocos, tem de ser refeita para todos. Numa prova que use TRI, não

24 Quando houve problemas com o Enem ,a Justiça chegou a tomar decisões como se o exame fosse igual a uma prova tradicional

25 Depois, voltou atrás

26 Teoria de Resposta ao Item (TRI)
Correção: Considera: Número de acertos; Grau de dificuldade das questões acertadas; Padrão de erros e acertos.

27 Teoria de Resposta ao Item (TRI)
Numa correção tradicional, todo aluno que acertar metade de uma prova de 10 questões tira 5. Na Teoria de Resposta ao Item, não: estudantes com o mesmo número de acertos podem tirar notas diferentes. A nota varia de acordo com dois fatores:

28 Teoria de resposta ao item (TRI)
O grau de dificuldade da questão (o pressuposto é que nem todas as perguntas medem o mesmo grau de conhecimento: quem acerta uma conta de somar não sabe o mesmo de matemática do que quem acerta uma equação de segundo grau). A “coerência” das respostas (a correção leva em conta o padrão de erros e acertos de cada aluno. Se um aluno acerta todas as perguntas fáceis, erra todas as médias e acerta uma difícil, o sistema considera que este último acerto foi “chute”, e diminui o peso no total da nota).

29 Desvantagens Comunicação pouco intuitiva (as pessoas estão acostumadas com as provas tradicionais) Gestão do banco de questões precisa ser adequada

30 O Estadão fez, há tempos, uma matéria que explica bem a TRI: http://bit.ly/estadaotri

31 Como olhar a qualidade usando o QEdu
Parte 2 Como olhar a qualidade usando o QEdu

32 Indicadores de qualidade no QEdu
O QEdu ( tem foco no aprendizado; Baseia a avaliação da qualidade da educação nos dados do Saeb (incluindo a Prova Brasil) sobre o nível de aprendizado dos alunos no ensino fundamental. Também apresenta informações que ajudam a explicar os resultados. A partir da Prova Brasil, os estudantes podem se encaixar em um dos quatro grupos, segundo a proficiência (domínio da disciplina):

33 QEdu - Aprendizado adequado
Avançado; Proficiente; Básico; Insuficiente.

34 QEdu - Aprendizado adequado
No QEdu, adota-se o mesmo parâmetro do movimento Todos Pela Educação: um estudante tem nível de aprendizado adequado quando está em um destes dois grupos: Avançado; Proficiente;

35 QEdu - Aprendizado adequado
Para se encaixar em um desses grupos, o estudante teve as seguintes pontuações na Prova Brasil, dependendo do ano/série que estava cursando: Série do ensino fundamental Português Matemática 5º ano 200 pontos ou mais 225 pontos ou mais 9º ano 275 pontos ou mais 300 pontos ou mais Avançado; Proficiente;

36 Quando se entra no QEdu (por exemplo, clicando em Brasil), cai-se na página que mostra a proporção de alunos com aprendizado adequado

37

38 QEdu - Aprendizado adequado
Note que as porcentagens: Baseiam-se nos resultados mais recentes da Prova Brasil (2011); Estão divididas por disciplina (português e matemática, as duas áreas abrangidas pela Prova Brasil); Estão divididas por ano/série (5º e 9º ano do ensino fundamental).

39 Cuidado ao interpretar os dados
Diferenças de resultados sobre aprendizado adequado do 5º para o 9º ano não significam que os estudantes “desaprenderam” o conteúdo ao longo dos quatro anos.

40 No QEdu: Proficiência Na aba “Proficiência”, veem-se detalhes sobre o desempenho dos alunos nas últimas três edições da Prova Brasil (2007, 2009 e 2011)

41 A primeira parte da tela sintetiza os dados de aprendizado adequado para a localidade escolhida

42 Mais para baixo, aparecem os dados nas quatro categorias

43 No QEdu: Proficiência Clicando sobre cada item, é possível refinar a visualização de acordo com o ano desejado (5º ou 9º), disciplina (Português ou Matemática) e tipo de escola.

44 E como fazer comparações regionais de qualidade de educação?

45 No QEdu: comparações regionais
Por meio da aba “Compare”, podem-se exibir dados de um estado e dos estados da região em que ele está…

46 No menu, escola um estado

47 O QEdu vai mostrar o percentual de aprendizado adequado no estado escolhido e em alguns outros da região

48 É possível fazer também comparações entre municípios

49 O QEdu apresenta os dados do município selecionado e de quatro cidades vizinhas

50 E por escola

51 Neste caso, o critério de comparação usado pelo QEdu não é geográfico, mas socioeconômico

52 Veja que, nesses casos, quem deu os parâmetros de comparação (geográfica, no caso dos estados e municípios, e por nível socioeconômico, no caso das escolas) foi o próprio Qedu. Em “Explore”, é possível fazer comparações mais amplas e exportar os dados para uma planilha eletrônica.

53 No QEdu: Comparações regionais
Por padrão, os resultados são exibidos em ordem alfabética.

54 No QEdu: Comparações regionais
Clicando em cada item, é possível ordenar por disciplina, ano, tipo de escola e nível de aprendizado.

55 No QEdu: Comparações regionais
No modo avançado, é possível, também, filtrar por tamanho da rede de ensino (número de matrículas). Para isso, é preciso estar cadastrado no site.

56 Vamos fazer um exercício com os municípios de São Paulo
Comece digitando “São Paulo” e selecionado o estado na página inicial do QEdu

57 Clique em “Explore” e, depois, “Modo avançado”

58 O QEdu vai apresentar os municípios em ordem alfabética
O QEdu vai apresentar os municípios em ordem alfabética. Clique em “Aprendizado” para mudar a ordenação

59 Os municípios são apresentados por ordem crescente de aprendizado adequado (da menor para a maior porcentagem). Vamos inverter (da maior para a menor). Clique novamente em “Aprendizado”.

60 Quando se observam redes de todos os tamanhos, há vários municípios paulistas com bom nível de aprendizado adequado. O que acontece se o enfoque concentrar-se em cidades com redes maiores?

61 Desloque para a direita, com o mouse, o quadradinho que indica o número mínimo de matrículas. Note que o número de municípios com aprendizado adequado diminui.

62 Para exportar os dados, basta clicar em “Exportar” e escolher o formato de sua preferência.

63 Exportar — vamos ver, por exemplo, a situação do aprendizado de matemática no 9º ano, em todas as unidades da Federação

64 Explorar Após você clicar em “Explorar” e fazer o dowload, o arquivo será aberto no programa escolhido. Primeiro, vamos eliminar as colunas que não nos interessam no momento — deixaremos apenas o nome da unidade da Federação, o percentual de aprendizado adequado e o crescimento em pontos percentuais.

65 Apagando as colunas: clique sobre o “B”, letra da primeira coluna a ser eliminada, depois aperte “Shift” e, em seguida, clique sobre o “J”, letra da última a ser deletada. Assim, você terá selecionado todas as colunas

66 Clique com o botão direito do mouse sobre a área selecionada e, depois, em “Excluir”

67 Com a tabela mais enxuta, vamos verificar em qual estado o crescimento foi maior entre 2009 e Selecione todas as informações, clique em “Dados” e, depois, em “Classificar”

68 No quadro que abrirá, selecione as condições com as quais vamos trabalhar: classificar segundo o crescimento entre 2009 e 2011 e em ordem crescente (de modo que o maior apareça primeiro)

69 É possível verificar que o percentual de alunos do 9º ano com aprendizado adequado em matemática caiu em dois estados e cresceu mais onde já era mais alto

70 Cuidados ao comparar Comparações e rankings devem sempre ser feitos com cuidado. É preciso observar a existência de possíveis distorções, por exemplo: a presença de uma escola com porcentagem muito alta de estudantes com aprendizado adequado pode puxar a média de um município para cima, dando a impressão errada de que o município como um todo é melhor. 70

71 No QEdu: comparações regionais
Se quiser comparar um pequeno número de localidades de sua escolha, selecione-as, clicando sobre cada uma delas. Primeiro, no menu esquerdo, clique em “Ativar modo avançado”

72 No QEdu: comparações regionais
Vamos selecionar todos os estados do Sudeste:

73 No QEdu: comparações regionais
Clique em “Comparar” E, depois, em “Abrir”

74 No QEdu: comparações regionais

75 No QEdu: comparações regionais
A aba “Explore” permite também que se visualize, em mapas, a distribuição de alguns resultados em determinada região. Tela adicionada

76 No QEdu: comparações regionais
Municípios de São Paulo em que a proporção de alunos do 9º ano com aprendizado adequado em matemática é superior a 20%. Tela adicionada

77 No QEdu: comparações regionais
No menu à esquerda, selecione “Matemática” e 9º ano; Depois, entre no “Modo Avançado” (lembre-se: para isso, é preciso estar logado). Tela adicionada

78 No QEdu: comparações regionais
Em “Filtros avançados”, vá em “Aprendizado” e arraste, com o mouse, o quadradinho do lado esquerdo até 20%. Tela adicionada

79 No QEdu: comparações regionais
Depois, clique em “Mapa”

80 No QEdu: comparações regionais
Todos os municípios em branco têm menos de 20% de aprendizado adequado em matemática (alunos do 9º ano). Tela adicionada

81 No QEdu: comparações entre escolas
Ainda na aba “Explore”, os filtros avançados permitem selecionar as escolas por nível socioeconômico (que sintetiza dados sobre escolaridade, ocupação e renda das famílias). Haverá escolas em São Paulo de menor nível econômico que tiveram bom resultado na Prova Brasil? Tela adicionada

82 No QEdu: comparações entre escolas
Selecionar “Português” e “5º ano”. Aprendizado de 50% ou mais. NSE “Mais baixo” e “Médio”

83 No QEdu: comparações entre escolas

84 Evolução da qualidade ao longo do tempo
Na aba “Evolução”, é possível fazer um acompanhamento histórico dos dados sobre aprendizado adequado. A comparação entre os diversos anos é possível por causa do uso da Teoria da Resposta ao Item (TRI). Entra na atividade 84

85 Evolução da qualidade ao longo do tempo

86 Evolução da qualidade ao longo do tempo
É possível comparar os avanços dos estados em relação ao país Sempre olhando o mesmo período, mesma série e mesma disciplina

87 Evolução da qualidade ao longo do tempo
É possível comparar os avanços dos estados em relação a outros estados Sempre olhando o mesmo período, mesma série de mesma disciplina

88 Cuidados ao avaliar a evolução
Taxas de crescimento maiores podem ser resultado sobretudo de um ponto de partida mais baixo Crescimento de 16,6% Crescimento de 25%

89 QEdu e os envolvidos na educação
O QEdu traz alguns dados que ajudam a analisar o contexto do ensino e do aprendizado; São o resultado do Ideb e as respostas aos questionários da Prova Brasil, respondidos por alunos, professores e diretores; Abrangem temas tão diversos como hábitos culturais, violência na escola e remuneração.

90 Em “Contexto” há um resumo dos dados

91 Em “Pessoas” há mais detalhes, a partir das respostas dos participantes da Prova Brasil

92 QEdu e os envolvidos na educação
Os questionários são divididos por tema. O dos professores, por exemplo, divide-se em:

93 QEdu e os professores Vamos ver as respostas sobre agressão no questionário dos professores do município de São Paulo.

94 Clique em “Pessoas”, depois “Professores”

95 No questionário, clique em “Violência” e, depois, “Agressão física”

96 QEdu e os professores A página traz as respostas dos professores de todas as redes e dos dois anos/séries pesquisados. É possível desagregar os dados

97 QEdu e os professores Colocando-se o mouse sobre a bandeira, veem-se os dados do estado ou do Brasil.

98 Os mesmos recursos valem para as respostas dos diretores...

99 ... e dos alunos

100 Censo Escolar no QEdu O QEdu também traz alguns dados do Censo Escolar, incluindo os de infraestrutura e fluxo escolar

101 Censo Escolar no QEdu Em “Matrícula e Infraestrutura”, é possível obter informações só das escolas que participaram da Prova Brasil ou de todas

102 É possível, no menu esquerdo, escolher a área sobre a qual se quer obter informação (Serviços, por exemplo)

103 Na aba “Taxas de Rendimento” há informações sobre reprovação, abandono e aprovação nas etapas inicias e finais do ensino fundamental e no ensino médio

104 Descendo na página, há as informações detalhadas por ano
Porcentagens entre 5% e 15% (destacadas em laranja) indicam necessidade de adotar estratégias para deter o problema. Porcentagens maior que 15% (marcadas em vermelho) indicam que há necessidade urgente de adotar tais estratégias

105 No menu do lado direito, há links para explicações sobre os conceitos e para baixar os dados

106 Casos exemplares A análise da evolução e dos resultados dos diversos estados, municípios e escolas pode indicar casos bem e malsucedidos; Um estudo inserido no próprio QEdu mapeou alguns bons exemplos

107 Casos exemplares

108 Casos exemplares