Desenvolvimento profissional docente e melhoria da educação: o que dizem as pesquisas Paula Louzano II Encontro temático de políticas educacionais - CONSED Brasília, 18 de setembro de 2013

Agenda 1. Desenvolvimento Profissional Docente 2. Complexidade do tema 3. Avalições de Impacto e Formação docente 4. Estudos Selecionados: Mentoria e/ou tutoria Avaliação de programas Práticas docentes eficazes (não necessariamente em programas de formação) 5. Implicações para o desenho de políticas públicas

Desenvolvimento profissional docente  Definição  Formação inicial  Formação em serviço ou continuada  No Brasil as responsabilidades são compartilhadas historicamente:  O governo federal é responsável pela educação superior: formação inicial  Os governos estaduais e municipais são responsáveis pelas escolas de educação básica : formação continuada

Desenvolvimento profissional docente  A formação continuada ganha centralidade nas políticas de desenvolvimento profissional docente na medida que busca compensar a falta ou debilidade da formação inicial.  No entanto, alguns estudos tem demostrado seu baixo impacto na melhoria da qualidade da educação.  Por exemplo, correlacionar desempenho dos alunos com o fato do professor declarar ter participado de algum curso de formação continuada no último ano

Complexidade do tema em questão  Não há consenso sobre o que deve saber e ser capaz de fazer um bom professor, e em como desenvolver essas habilidades;  Diferente da formação inicial que é regulada, a formação em serviço ou continuada engloba uma variedade de programas com diferentes objetivos, formatos, duração, etc. Por exemplo:  Formação em serviço de professores leigos  Tutoria e mentoria para professores novatos

Avalições de impacto  Os estudos devem ser compreendidos em seus contextos, o que significa, analisar público alvo, condições de implementação, etc.  Dificuldade em comparar estudos sobre este tema já que as características dos programas diferem bastante.  No entanto, estas avaliações podem nos ajudar a elencar ações que tendem a ser eficazes e que podem ser incorporadas a programas de formação continuada.

Estudos selecionados  10 artigos recentes nas áreas de Educação, Economia, Sociologia ou Ciências Políticas.  Natureza quantitativa, que permitam estabelecer correlações com medidas de resultados de alunos e professores.  Estudos foram agrupados em 3 temas:  Avaliação de impacto do componente mentoria e/ou tutoria na formação de professores  Avaliação de programas específicos de formação docente (inicial e continuada)  Avaliação de práticas docentes eficazes (não necessariamente em programas de formação)

Avaliação de impacto causal  Dificuldade: isolar os efeitos do programa ou intervenção que se quer avaliar, sem que os demais efeitos relacionados se alterem (p.e.: qualidade ou motivação do professor).  Grupo de tratamento: alunos e professores que passam por determinada intervenção ou política (p.e.: auditorias).  Grupo de controle: alunos e professores que não sofrem intervenção, mas que se assemelham ao grupo de tratamento em todos os demais fatores relevantes para a avaliação.  Viés de seleção: comparação de indivíduos diferentes pode estar contaminada por outros efeitos (fatores relacionados à variável que se quer medir).

Mentoria e/ou tutoria  Does Mentoring Reduce Turnover and Improve Skills of New Employees? Evidence from Teachers in New York City (Rockoff, 2008)  Teaching Students and Teaching Each Other: The Importance of Peer Learning for Teachers (Jackson e Bruegmann, 2009)  Fundação Itaú Social. Programa Excelência em Gestão Educacional

Mentoria e/ou tutoria (Rockoff, 2008)  Contexto do Estudo:  Avaliação de programa que oferece mentores para professores no início da carreira (com menos de um ano de experiência) em Nova Iorque, Estados Unidos com os objetivos de reduzir a rotatividade dos professores e aumentar o aprendizado dos alunos.

Mentoria e/ou tutoria (Rockoff, 2008)  Perguntas Avaliativas:  (1) Qual o impacto do programa sobre o desempenho de alunos do 4º ao 8º anos?  (2) Como esses resultados se relacionam com a qualidade dos mentores, incluindo o tempo que o professor passa em atividades com o mentor, características dos mentores, interações entre as características dos mentores e as dos professores e a avaliação dos mentores pelos professores?

Mentoria e/ou tutoria (Rockoff, 2008)  Metodologia de Avaliação:  Utilização de dados secundários: resultado de desempenho dos alunos em avaliação externa e resultados de uma pesquisa realizada junto aos professores sobre a avaliação da experiência de ter um mentor.  Os mentores eram disponibilizados apenas para professores no início da carreira (com pouca experiência), de forma que, assumindo que na ausência do tratamento (presença de mentor) os dois grupos de professores (experientes e não experientes) teriam trajetórias semelhantes, é possível estimar o efeito do programa (diferenças em diferenças).

Mentoria e/ou tutoria (Rockoff, 2008)  Resultados (1):  há um efeito positivo do programa sobre a probabilidade de o professor permanecer lecionando até o final do ano  não há efeito sobre outras dimensões da retenção de professores, falta de professores ou desempenho dos alunos

Mentoria e/ou tutoria (Rockoff, 2008)  Resultados (2):  alunos cujos professores tiveram mais tempo de atividade com seus mentores apresentaram melhor desempenho em Matemática e Leitura;  o fato de o mentor atender um número elevado de professores ou já ter trabalhado (como professor ou mesmo mentor) na escola em que o professor trabalha tem impacto positivo sobre a decisão do professor de permanecer trabalhando na escola no ano letivo seguinte, o que sugere que uma parte relevante do trabalho de mentor é fornecer conhecimentos específicos sobre a escola;  o fato de o mentor ter a mesma formação que o professor (no que diz respeito à disciplina lecionada) não tem impacto sobre o desempenho dos alunos;

Mentoria e/ou tutoria (Rockoff, 2008)  Resultados (2):  os mentores são melhores avaliados por professores com os quais tiveram mais tempo de atividade, no entanto, características como formação (se é da mesma disciplina que o professor leciona), medidas de experiência diversas (anos lecionando, anos como mentor, tempo decorrido desde a última experiência com professor, experiência na escola e tempo de trabalho no sistema educacional) e quantidade de professores para os quais é mentor não tiveram efeito sobre sua avaliação;  o número de faltas dos professores cai: com o aumento do tempo de atividade com o mentor, se o mentor já lecionou na mesma escola, se ele tem idade próxima e se ele serve como mentor para um número elevado de professores;

Programas de formação  Does Teacher Professional Development Affect Content and Pedagogical Knowledge: How Much and for How Long? (Goldschmidt e Phelps, 2010)  Recruiting Effective Math Teachers: How Do Math Immersion Teachers Compare? Evidence from New York City (Boyd et al., 2010)  Does Practice-Based Teacher Preparation Increase Student Achievement? Early Evidence from the Boston Teacher Residency (Papay et al., 2011)

Programas de formação (Goldschmidt e Phelps, 2010)  Contexto do Estudo:  Avaliação de programa de formação continuada de professores do ensino fundamental na Califórnia, Estados Unidos que tem por objetivo ampliar os conhecimentos acerca dos conteúdos a serem ensinados pelos professores, em especial linguagem e matemática.

 Perguntas Avaliativas:  O programa tem impacto significativo sobre o desempenho dos professores na avaliação de linguagem tanto no que diz respeito ao conteúdo a ser ensinado como sobre o conhecimento pedagógico envolvido?  Os conhecimentos adquiridos no programa são retidos pelos professores seis meses depois? Programas de formação (Goldschmidt e Phelps, 2010)

 Metodologia de Avaliação:  O conhecimento dos professores é medido em três momentos: (1) antes do programa; (2) imediatamente depois; e (3) seis meses depois.  Utilizam o próprio indivíduo como seu controle, supondo que, na ausência da formação, os professores não demonstrariam alterações significantes em seu conhecimento durante o período estudado.  Usam um modelo de crescimento de dois níveis em que o desenvolvimento dos professores é representado por uma trajetória de crescimento que depende de um conjunto de parâmetros que podem variar entre os professores. Programas de formação (Goldschmidt e Phelps, 2010)

 Resultados (1):  há um crescimento significativo entre o conhecimento antes e depois do programa;  professores com pelo menos um ano de experiência tendem a apresentar um crescimento maior fruto do programa; Programas de formação (Goldschmidt e Phelps, 2010)

 Resultados (2):  o conhecimento medido seis meses após o programa indica que os professores não retém grande parte dos conhecimentos adquiridos pelo programa, de forma que há evidências de que a experiência prática após o programa não intensifica os conhecimentos adquiridos;  professores com menos experiência tendem a reter ainda menos conhecimentos após seis meses. Programas de formação (Goldschmidt e Phelps, 2010)

Práticas docentes eficazes  Measure for Measure: The relationship between measures of instructional practice in middle school English Language Arts and teachers’ value-added scores (Grossman et al., 2010)  Lecturing Style Teaching and Student Performance (Klaveren, 2011)  Is Traditional Teaching Really All That Bad? A Within-Student Between-Subject Approach (Schwerdt e Wuppermann, 2011)  The Impact of Structured Teaching Methods on the Quality of Education in Brazil (Leme et al., 2012)

Programas de formação (Grossman et al., 2010)  Contexto do Estudo:  programa piloto realizado em Nova Iorque, Estados Unidos para investigar quais práticas educacionais utilizadas em sala de aula diferem entre os professores cujos alunos tem elevado valor adicionado (em termos de aprendizado) daqueles cujos alunos tem baixo valor adicionado.

Programas de formação (Grossman et al., 2010)  Perguntas Avaliativas:  (1) Quais práticas de ensino diferenciam professores cujos alunos apresentam alto valor adicionado de professores cujos alunos apresentam baixo valor adicionado?  (2) As medidas de valor adicionado estão associadas a diferenças observáveis na prática pedagógica dos professores?

Programas de formação (Grossman et al., 2010)  Metodologia de Avaliação:  Professores de Linguagem do 6º ao 8º anos são divididos em dois grupos: o de professores associados a um valor adicionado elevado e o de professores associados a um valor adicionado baixo.  São formados 12 pares de professores que lecionam em uma mesma escola (alto e baixo valor adicionado) para participarem do programa piloto.  Utilizam protocolos de observação Classroom Assessment Scoring System (CLASS) e Protocol for Language Arts Teaching Observation (PLATO) para avaliar as práticas de ensino de linguagem (inglês).

Programas de formação (Grossman et al., 2010)  Metodologia de Avaliação:  O CLASS tem 6 medidas (i.e. abordagens do professor, interações professor-aluno e aluno-aluno e o ambiente de sala de aula) e o PLATO avalia 10 medidas (i.e. clareza do professor, dificuldade intelectual das tarefas propostas, etc.)  Os professores selecionados para participar do programa piloto são observados durante pelo menos duas horas em seis dias diferentes.  São coletadas amostras de lições de alunos a partir das quais é possível verificar o esforço do professor na correção, a construção do conteúdo, a presença de questões discursivas entre outras características.

 Resultados (1):  professores com elevado valor adicionado associado tem desempenho maior que professores com baixo valor adicionado em itens do PLATO e do CLASS, e tendem a cumprir com currículo escolar planejado, a ensinar estratégias para escrita e leitura, e a dar maior atenção a escrita e oralidade que professores com baixo valor adicionado associado que, por sua vez, dão maior atenção a leitura e literatura  a partir dos registros dos professores, nota-se que aqueles com elevado valor adicionado associado tem maior propensão a desenvolver atividades com grupos pequenos (ao invés da turma toda); Práticas docentes eficazes (Goldschmidt e Phelps, 2010)

 Resultados (2):  São encontradas evidências de que professores com elevado valor adicionado tem um perfil diferente em termos de práticas educacionais/pedagógicas de professores com baixo valor adicionado. Práticas docentes eficazes (Goldschmidt e Phelps, 2010)

Análise dos resultados  Há diferenças sistemáticas nas praticas docentes entre bons e maus professores e estas podem ser trabalhadas  Cursos com foco no conhecimento tende a ter efeito imediato e não sustentável no tempo  Programas de mentoria tendem a funcionar no longo prazo  Importância do trabalho entre pares

Implicações para o desenho de políticas públicas  Em que medida os aspectos relacionados a melhoria da qualidade da educação encontrados nos estudos analisados estão presentes nos programas de formação continuada dos Estados brasileiros?