Plano de Avaliação do ProJovem

Apresentação em tema: "Plano de Avaliação do ProJovem"— Transcrição da apresentação:

1

2 Plano de Avaliação do ProJovem
Reunião do Conselho Técnico 1º de fevereiro de 2006.

3 Resumo Plano de Avaliação do ProJovem Diretrizes gerais
Dimensões e aspectos (com métodos de pesquisa e responsáveis) Cronograma 1º/2006 Pontos para deliberação do Conselho Técnico Pontos não contemplados pelo plano de avaliação Próximos passos

4 Plano de Avaliação do ProJovem
Diretrizes gerais Integração entre monitoramento e avaliação Integração de pesquisas quantitativas e qualitativas Integração da coleta de dados nas diferentes dimensões de avaliação

5 Plano de Avaliação do ProJovem
Avaliação da efetividade Dimensões Escolarização Formação Profissional Ação Comunitária Avaliação da implementação Modelo da intervenção Gestão e implementação Proposta pedagógica integrada Percepções, motivações, expectativas e satisfação de alunos e professores Poder de atração do ProJovem (Evasão)

6 Avaliação da Efetividade
Dimensão: Escolarização a) Elevação da proficiência em Matemática e Língua Portuguesa dos participantes do ProJovem Métodos de pesquisa: Aplicação de instrumentos de avaliação diagnóstica e certificação do Ensino Fundamental. Responsáveis: Grupo de Avaliação Externa do Aluno (Avaliação Diagnóstica e Final)

7 Avaliação da Efetividade
Dimensão: Escolarização b) Desenvolvimento da proficiência ao longo do ProJovem Métodos de pesquisa: Aplicação de instrumento para avaliação intermediária da proficiência dos alunos em Matemática e Língua Portuguesa Responsável: CAED e Grupo de Avaliação Externa do Aluno

8 Avaliação da Efetividade
Dimensão: Escolarização c) Pesquisa sobre fatores associados à proficiência  Métodos de pesquisa: Aplicação de instrumento para pesquisa de fatores associados à proficiência, com cerca de 30 itens sobre alunos, professores, e núcleos. Responsável: CAED

9 Avaliação da Efetividade
Dimensão: Formação Profissional a) Competências básicas e transversais de formação inicial para o trabalho  Métodos de pesquisa: Aplicação de instrumento de certificação de formação inicial para o trabalho nos arcos profissionais do ProJovem.  Responsáveis: Coordenação Nacional do ProJovem

10 Avaliação da Efetividade
Dimensão: Formação Profissional b) O aluno em relação a si mesmo e em relação ao mundo do trabalho    Métodos de pesquisa: Aplicação de questionário sobre formação profissional e realização de grupos focais Responsáveis: UFPE e UFBA

11 Avaliação da Efetividade
Dimensão: Ação Comunitária a) Cidadania e engajamento social  Métodos de pesquisa: Aplicação de questionário sobre ação comunitária e realização de grupos focais Responsável: UnB e UFPA

12 Avaliação da Implementação
Dimensão 1 : Modelo do ProJovem Processo de formulação do ProJovem Filosofia de ação ou modelo de intervenção do ProJovem Hipóteses instrumentais do ProJovem Métodos de pesquisa: Análise documental Entrevistas com atores-chave do ProJovem  Responsável: UnB

13 Avaliação da Implementação
Dimensão 2 : Gestão e implementação Desenho do ProJovem Arranjo institucional (articulação entre níveis de governo, instâncias e atores do programa) Modelo de gestão intersetorial e descentralizado Funcionamento do ProJovem (sistemática, mecanismos, procedimentos e fluxos de gestão na Coordenação Nacional e nos municípios) Implementação do ProJovem (Coordenação Nacional e municípios) Características do ProJovem no município

14 Avaliação da Implementação
Dimensão 2 : Gestão e implementação Métodos de pesquisa: Entrevistas estruturadas ou semi-estruturadas com gestores e supervisores do ProJovem Análise documental Análise de dados secundários  Responsáveis: UFPE e UFMG

15 Avaliação da Implementação
Dimensão 3 : Proposta Pedagógica Integrada Formação de professores Mecanismos de integração das dimensões da PPI Material didático Perfil e ação docente Funcionamento dos núcleos e EJ  Métodos de pesquisa: Grupo focal com professores Análise documental Aplicação de instrumento de coleta de dados sobre perfil e ação docente Análise de dados secundários  Responsáveis: UFBA e UFPA

16 Avaliação da Implementação
Dimensão 4 : Percepções, motivações, expectativas e satisfação de alunos e professores. Investigação de supostos sobre o desenho e a clientela do ProJovem  Métodos de pesquisa: Grupos focais com alunos e professores Análise de dados secundários  Responsáveis: UFRJ e CAED

17 Avaliação da Implementação
Dimensão 5 : Poder de atração do ProJovem sobre público-alvo Evasão Jovens que abandonaram o programa  Métodos de pesquisa: Análise de dados gerenciais e de monitoramento do ProJovem Aplicação de instrumento no survey 1 e/ou no survey 3  Responsável: CAED

18 Cronograma 1º/2006 Fevereiro Março Abril/Maio
Trabalho intensivo do Grupo de Avaliação Grupos focais com professores e alunos Piloto do Survey 1 Março Survey 1 – Grupo experimental e de comparação (março) Formação Profissional Ação Comunitária Pesquisa com evadidos (alunos e professores) Abril/Maio Survey 2 Avaliação intermediária da proficiência Pesquisa sobre fatores associados à proficiência A partir de Junho (último mês de curso) Survey 3 – Grupo experimental e de comparação

19 Pontos para deliberação do Conselho Técnico
Plano amostral Plano de aplicação dos surveys Disponibilidade de dados gerenciais e de monitoramento para o Grupo de Avaliação Funcionamento do Grupo de Avaliação Coordenação, articulação com o Conselho Técnico e CNProJovem, periodicidade das reuniões etc. Custos estimados da pesquisa de avaliação do ProJovem

20 Plano Amostral (surveys)
Amostra de conglomerados de turmas de 30 alunos População de turmas cadastradas no CAED Representatividade nacional das turmas Grupo experimental Projeção de 93 mil matriculados em março de 2006. Para inferência nacional com erro de 2%, pesquisa em 98 turmas, já considerando evasão de 20%. Para inferência regional com erro de 2%, pesquisa com cerca de 600 turmas.

21 Plano Amostral (surveys)
Grupo de comparação (jovens que não participaram do ProJovem) Inferência nacional com erro de 2% Pesquisa de evadidos Estimativa de 18 mil jovens Pesquisa quantitativa com 375 jovens evadidos

22 Plano de Aplicação dos surveys
Aplicação orquestrada, com um aplicador e um auxiliar (além do professor). Equipe de aplicadores responsável por pelo menos duas turmas. Número de equipes definido pela universidade responsável pela região. As aplicações não precisam ser no mesmo dia. O prazo para aplicação e reaplicação é de duas semanas. Aplicação da pesquisa do grupo de comparação em locais públicos, no mesmo período da pesquisa do grupo experimental. As entrevistas com os evadidos serão realizadas em seu domicílio de registro ou em núcleos e Estações Juventude previamente especificados. A equipe de aplicadores responsável pelo grupo experimental entrevistará de 3 a 5 evadidos.

23 Plano de Aplicação dos Surveys
Reaplicação da avaliação diagnóstica e do questionário sócio-econômico aos alunos das turmas do grupo experimental que não responderam a esses instrumentos Sentido da realização da avaliação diagnóstica com o curso em andamento Ônus para o aluno Possibilidade de uma terceira visita da equipe de aplicação ao núcleo/turma, além das duas inicialmente previstas (impacto de logística e custos). Possibilidade de aplicar apenas o questionário sócio-econômico da avaliação diagnóstica a esses alunos.

24 Formação Profissional: procedimentos de investigação
Questionário (aplicação em 1 hora) Cerca de 22 itens sobre a relação do jovem com o mundo do trabalho, sua experiência profissional e perspectivas. Aspectos adicionais a serem avaliados: Dimensão subjetiva do trabalho Alteração de concepções sobre o mundo do trabalho Expectativas e impressões sobre a Formação Profissional no ProJovem Procedimentos complementares de investigação: Grupos focais

25 Ação Comunitária: procedimentos de investigação
Questionário (aplicação em 1 hora) Cerca de 22 itens sobre migração, associativismo, problemas da comunidade, cidadania e sociabilidade. Aspectos adicionais a serem avaliados: Dimensão subjetiva acerca de ação comunitária e cidadania Alteração de concepções sobre ação comunitária e cidadania Expectativas e impressões sobre a ação comunitária e cidadania no ProJovem Procedimentos complementares de investigação: Grupos focais

26 Plano de aplicação e roteiro dos grupos focais
Estimativa: 20 grupos focais com alunos e 10 com professores em 5 capitais A proposta pode ser ampliada para até mais dez grupos focais. Os grupos focais devem ser iniciados ainda em fevereiro para subsidiar a elaboração de outros instrumentos de coleta de dados. Proposta de roteiro Visões sobre concepção e implementação

27 Plano de Avaliação do ProJovem
Custos estimados Elaboração de instrumentos e roteiros – Grupo de Avaliação Impressão, remessa, recolhimento de material, digitalização e montagem bases de dados – CAED Contratação das equipes para levantamento de dados – Instituições associadas em cada região Análise de dados e elaboração de relatórios – a definir

28 Plano de Avaliação do ProJovem
Pontos não contemplados: Pesquisa de egressos Pesquisa com jovens que se inscreveram mas não se matricularam Pesquisa de custo-efetividade Relação com o EJA Avaliação de impacto (local)

29 Plano de Avaliação do ProJovem
Próximos passos: Elaboração do plano de trabalho do Grupo de Avaliação Finalização do roteiro dos grupos focais Finalização dos instrumentos do survey 1 Definição do cronograma e dos procedimentos da avaliação da implementação Detalhamento do plano amostral Detalhamento do plano de aplicação Detalhamentos dos custos da pesquisa