Plano de Avaliação do ProJovem Reunião do Conselho Técnico 1º de fevereiro de 2006.

Resumo Plano de Avaliação do ProJovem Diretrizes gerais Dimensões e aspectos (com métodos de pesquisa e responsáveis) Cronograma 1º/2006 Pontos para deliberação do Conselho Técnico Pontos não contemplados pelo plano de avaliação Próximos passos

Plano de Avaliação do ProJovem Diretrizes gerais Integração entre monitoramento e avaliação Integração de pesquisas quantitativas e qualitativas Integração da coleta de dados nas diferentes dimensões de avaliação

Plano de Avaliação do ProJovem Avaliação da efetividade Dimensões Escolarização Formação Profissional Ação Comunitária Avaliação da implementação Modelo da intervenção Gestão e implementação Proposta pedagógica integrada Percepções, motivações, expectativas e satisfação de alunos e professores Poder de atração do ProJovem (Evasão)

Avaliação da Efetividade Dimensão: Escolarização a) Elevação da proficiência em Matemática e Língua Portuguesa dos participantes do ProJovem Métodos de pesquisa: Aplicação de instrumentos de avaliação diagnóstica e certificação do Ensino Fundamental. Responsáveis: Grupo de Avaliação Externa do Aluno (Avaliação Diagnóstica e Final)

Avaliação da Efetividade Dimensão: Escolarização b) Desenvolvimento da proficiência ao longo do ProJovem Métodos de pesquisa: Aplicação de instrumento para avaliação intermediária da proficiência dos alunos em Matemática e Língua Portuguesa Responsável: CAED e Grupo de Avaliação Externa do Aluno

Avaliação da Efetividade Dimensão: Escolarização c) Pesquisa sobre fatores associados à proficiência  Métodos de pesquisa: Aplicação de instrumento para pesquisa de fatores associados à proficiência, com cerca de 30 itens sobre alunos, professores, e núcleos. Responsável: CAED

Avaliação da Efetividade Dimensão: Formação Profissional a) Competências básicas e transversais de formação inicial para o trabalho  Métodos de pesquisa: Aplicação de instrumento de certificação de formação inicial para o trabalho nos arcos profissionais do ProJovem.  Responsáveis: Coordenação Nacional do ProJovem

Avaliação da Efetividade Dimensão: Formação Profissional b) O aluno em relação a si mesmo e em relação ao mundo do trabalho    Métodos de pesquisa: Aplicação de questionário sobre formação profissional e realização de grupos focais Responsáveis: UFPE e UFBA

Avaliação da Efetividade Dimensão: Ação Comunitária a) Cidadania e engajamento social  Métodos de pesquisa: Aplicação de questionário sobre ação comunitária e realização de grupos focais Responsável: UnB e UFPA

Avaliação da Implementação Dimensão 1 : Modelo do ProJovem Processo de formulação do ProJovem Filosofia de ação ou modelo de intervenção do ProJovem Hipóteses instrumentais do ProJovem Métodos de pesquisa: Análise documental Entrevistas com atores-chave do ProJovem  Responsável: UnB

Avaliação da Implementação Dimensão 2 : Gestão e implementação Desenho do ProJovem Arranjo institucional (articulação entre níveis de governo, instâncias e atores do programa) Modelo de gestão intersetorial e descentralizado Funcionamento do ProJovem (sistemática, mecanismos, procedimentos e fluxos de gestão na Coordenação Nacional e nos municípios) Implementação do ProJovem (Coordenação Nacional e municípios) Características do ProJovem no município  

Avaliação da Implementação Dimensão 2 : Gestão e implementação Métodos de pesquisa: Entrevistas estruturadas ou semi-estruturadas com gestores e supervisores do ProJovem Análise documental Análise de dados secundários  Responsáveis: UFPE e UFMG

Avaliação da Implementação Dimensão 3 : Proposta Pedagógica Integrada Formação de professores Mecanismos de integração das dimensões da PPI Material didático Perfil e ação docente Funcionamento dos núcleos e EJ  Métodos de pesquisa: Grupo focal com professores Análise documental Aplicação de instrumento de coleta de dados sobre perfil e ação docente Análise de dados secundários  Responsáveis: UFBA e UFPA

Avaliação da Implementação Dimensão 4 : Percepções, motivações, expectativas e satisfação de alunos e professores. Investigação de supostos sobre o desenho e a clientela do ProJovem  Métodos de pesquisa: Grupos focais com alunos e professores Análise de dados secundários  Responsáveis: UFRJ e CAED

Avaliação da Implementação Dimensão 5 : Poder de atração do ProJovem sobre público-alvo Evasão Jovens que abandonaram o programa  Métodos de pesquisa: Análise de dados gerenciais e de monitoramento do ProJovem Aplicação de instrumento no survey 1 e/ou no survey 3  Responsável: CAED

Cronograma 1º/2006 Fevereiro Março Abril/Maio Trabalho intensivo do Grupo de Avaliação Grupos focais com professores e alunos Piloto do Survey 1 Março Survey 1 – Grupo experimental e de comparação (março) Formação Profissional Ação Comunitária Pesquisa com evadidos (alunos e professores) Abril/Maio Survey 2 Avaliação intermediária da proficiência Pesquisa sobre fatores associados à proficiência A partir de Junho (último mês de curso) Survey 3 – Grupo experimental e de comparação

Pontos para deliberação do Conselho Técnico Plano amostral Plano de aplicação dos surveys Disponibilidade de dados gerenciais e de monitoramento para o Grupo de Avaliação Funcionamento do Grupo de Avaliação Coordenação, articulação com o Conselho Técnico e CNProJovem, periodicidade das reuniões etc. Custos estimados da pesquisa de avaliação do ProJovem

Plano Amostral (surveys) Amostra de conglomerados de turmas de 30 alunos População de 6.780 turmas cadastradas no CAED Representatividade nacional das turmas Grupo experimental Projeção de 93 mil matriculados em março de 2006. Para inferência nacional com erro de 2%, pesquisa em 98 turmas, já considerando evasão de 20%. Para inferência regional com erro de 2%, pesquisa com cerca de 600 turmas.

Plano Amostral (surveys) Grupo de comparação (jovens que não participaram do ProJovem) Inferência nacional com erro de 2% Pesquisa de evadidos Estimativa de 18 mil jovens Pesquisa quantitativa com 375 jovens evadidos

Plano de Aplicação dos surveys Aplicação orquestrada, com um aplicador e um auxiliar (além do professor). Equipe de aplicadores responsável por pelo menos duas turmas. Número de equipes definido pela universidade responsável pela região. As aplicações não precisam ser no mesmo dia. O prazo para aplicação e reaplicação é de duas semanas. Aplicação da pesquisa do grupo de comparação em locais públicos, no mesmo período da pesquisa do grupo experimental. As entrevistas com os evadidos serão realizadas em seu domicílio de registro ou em núcleos e Estações Juventude previamente especificados. A equipe de aplicadores responsável pelo grupo experimental entrevistará de 3 a 5 evadidos.

Plano de Aplicação dos Surveys Reaplicação da avaliação diagnóstica e do questionário sócio-econômico aos alunos das turmas do grupo experimental que não responderam a esses instrumentos Sentido da realização da avaliação diagnóstica com o curso em andamento Ônus para o aluno Possibilidade de uma terceira visita da equipe de aplicação ao núcleo/turma, além das duas inicialmente previstas (impacto de logística e custos). Possibilidade de aplicar apenas o questionário sócio-econômico da avaliação diagnóstica a esses alunos.

Formação Profissional: procedimentos de investigação Questionário (aplicação em 1 hora) Cerca de 22 itens sobre a relação do jovem com o mundo do trabalho, sua experiência profissional e perspectivas. Aspectos adicionais a serem avaliados: Dimensão subjetiva do trabalho Alteração de concepções sobre o mundo do trabalho Expectativas e impressões sobre a Formação Profissional no ProJovem Procedimentos complementares de investigação: Grupos focais

Ação Comunitária: procedimentos de investigação Questionário (aplicação em 1 hora) Cerca de 22 itens sobre migração, associativismo, problemas da comunidade, cidadania e sociabilidade. Aspectos adicionais a serem avaliados: Dimensão subjetiva acerca de ação comunitária e cidadania Alteração de concepções sobre ação comunitária e cidadania Expectativas e impressões sobre a ação comunitária e cidadania no ProJovem Procedimentos complementares de investigação: Grupos focais

Plano de aplicação e roteiro dos grupos focais Estimativa: 20 grupos focais com alunos e 10 com professores em 5 capitais A proposta pode ser ampliada para até mais dez grupos focais. Os grupos focais devem ser iniciados ainda em fevereiro para subsidiar a elaboração de outros instrumentos de coleta de dados. Proposta de roteiro Visões sobre concepção e implementação

Plano de Avaliação do ProJovem Custos estimados Elaboração de instrumentos e roteiros – Grupo de Avaliação Impressão, remessa, recolhimento de material, digitalização e montagem bases de dados – CAED Contratação das equipes para levantamento de dados – Instituições associadas em cada região Análise de dados e elaboração de relatórios – a definir

Plano de Avaliação do ProJovem Pontos não contemplados: Pesquisa de egressos Pesquisa com jovens que se inscreveram mas não se matricularam Pesquisa de custo-efetividade Relação com o EJA Avaliação de impacto (local)

Plano de Avaliação do ProJovem Próximos passos: Elaboração do plano de trabalho do Grupo de Avaliação Finalização do roteiro dos grupos focais Finalização dos instrumentos do survey 1 Definição do cronograma e dos procedimentos da avaliação da implementação Detalhamento do plano amostral Detalhamento do plano de aplicação Detalhamentos dos custos da pesquisa