Núcleo de Estudos de Políticas Públicas Universidade Estadual de Campinas AVALIAÇÃO INSTITUCIONAL DO PROFAE Estudo Finalizado em Outubro 2004 Nilson do.

Apresentação em tema: "Núcleo de Estudos de Políticas Públicas Universidade Estadual de Campinas AVALIAÇÃO INSTITUCIONAL DO PROFAE Estudo Finalizado em Outubro 2004 Nilson do."— Transcrição da apresentação:

1 Núcleo de Estudos de Políticas Públicas Universidade Estadual de Campinas AVALIAÇÃO INSTITUCIONAL DO PROFAE Estudo Finalizado em Outubro 2004 Nilson do Rosário Costa Escola Nacional de Saúde Pública/FIOCRUZ UFF Unicamp (Instituto de Economia)

2 OBJETIVOS DA AVALIAÇÃO INSTITUCIONAL DE PROGRAMAS: DESCRIÇÃO DAS CONDIÇÕES ORGANIZACIONAIS INICIAS DE IMPLEMENTAÇÃO, ADERÊNCIA ÀS METAS PROPOSTAS E ANALISE DA PERCEPÇÃO DOS “STAKEHOLDERS”

3 OBJETIVOS DO PROFAE: QUALIFICAÇÃO DE PROFISSIONAIS DE NÍVEL MÉDIO NA ÁREA DE ENFERMAGEM

4 COMPONENTE I: OFERTA DE CURSOS DE QUALIFICAÇÃO PROFISSIONAL PARA AUXILIAR DE ENFERMAGEM, TÉCNICO DE ENFERMAGEM E COMPLEMENTAÇÃO DO ENSINO FUNDAMENTAL

5 COMPONENTE II: CAPACITAÇÃO INSTITUCIONAL PARA A PROMOÇÃO DE CURSOS DE FORMAÇÃO E PARA A REGULAÇÃO DE ORGANIZAÇÕES FORMADORAS

6 EVIDÊNCIAS SOBRE A IMPLEMENTAÇÃO DO COMPONENTE I DEMANDA E ACESSO AOS CURSOS DE FORMAÇÃO

7 Avaliação do PROFAE META PROFAE / BID * METAS BUSCADAS PELO PROFAE A PARTIR DO DIAGNÓSTICO DO DEFICIT DE QUALIFICAÇÃO Curso de Auxiliar de Enfermagem (QP) = 225.000 Curso de Técnico em Enfermagem (CQP) = 90.000 Comp. do Ensino fundamental (CEF) = 95.000 Total (QP + CQP) = 315.000 Total (QP + CQP + CEF) = 410.000

8 Avaliação do PROFAE DEMANDA* Profissionais inscritos no PROFAE

9 Avaliação do PROFAE ACESSO* Acesso da População Alvo em Relação à Meta Proposta pelo PROFAE / BID

10 Avaliação do PROFAE Matrículas Efetuadas - Distribuição por Grandes Regiões Brasileiras

11 Avaliação do PROFAE ACESSO* Indicador de acesso por região e tipo de curso - jul/04

12 COMPONENTE I PROCESSO DE IMPLEMENTAÇÃO: MECANISMOS DE GOVERNANÇA HORIZONTAL: MULTIPLICIDADE ORGANIZACIONAL DAS OPERADORAS

13 Avaliação do PROFAE A. CAPACIDADE INSTITUCIONAL PRÉ-EXISTENTE A1. Tempo de existência da instituição*

14 Avaliação do PROFAE A. CAPACIDADE INSTITUCIONAL PRÉ-EXISTENTE A2. Capacidade de estabelecimento de articulações e parcerias*

15 Avaliação do PROFAE A. CAPACIDADE INSTITUCIONAL PRÉ-EXISTENTE A3. Grau de experiência da instituição na oferta de cursos profissionalizantes de saúde*

16 Avaliação do PROFAE C. CAPACITAÇÃO DOCENTE C1. Quantidade de docentes que fizeram ou estão fazendo o curso de Formação Pedagógica do PROFAE*

17 Avaliação do PROFAE C. CAPACITAÇÃO DOCENTE C2. Quantidade de docentes que atuam nos serviços*

18 Avaliação do PROFAE E. ESFORÇO DE RECRUTAMENTO DOS ALUNOS*

19 Avaliação do PROFAE G. MONITORAMENTO E AVALIAÇÃO G1. Esforço da escola para avaliar os alunos*

20 Avaliação do PROFAE H. ESTÁGIO H1. Variedade de estabelecimentos que oferecem estágio aos alunos da escola*

21 Avaliação do PROFAE H. ESTÁGIO H2. Cumprimento das horas de estágio previstas no projeto pedagógico*

22 Avaliação do PROFAE H. ESTÁGIO H3. Adequação do estágio às necessidades de formação*

23 COMPONENTE I DESEMPENHO: APROVAÇÃO, REPROVAÇÃO E EVASÃO

24 Avaliação do PROFAE DESEMPENHO Matrículas efetuadas por tipo de instituição – QP e CQP – jul/04

25 Avaliação do PROFAE DESEMPENHO QP - Taxas de Aprovação por Instituição e Região - jul/04

26 Avaliação do PROFAE DESEMPENHO QP - Taxas de Evasão por Instituição e Região - jul/04

27 Avaliação do PROFAE DESEMPENHO QP - Taxas de Reprovação por Instituição e Região - jul/04

28 Avaliação do PROFAE DESEMPENHO CQP - Taxas de Aprovação por Instituição e Região - jul/04

29 Avaliação do PROFAE DESEMPENHO CQP - Taxas de Evasão por Instituição e Região - jul/04

30 Avaliação do PROFAE DESEMPENHO CQP - Taxas de Reprovação por Instituição e Região - jul/04

31 Avaliação do PROFAE SUPERVISÃO DOS CURSOS DO PROFAE – AR* Problemas na Operacionalização dos Cursos (1)

32 Avaliação do PROFAE SUPERVISÃO DOS CURSOS DO PROFAE - AR Problemas na Operacionalização dos Cursos (2)

33 Avaliação do PROFAE SUPERVISÃO DOS CURSOS DO PROFAE – AR* Necessidades de Aprimoramento  Regularização do repasse dos recursos financeiros do PROFAE  Melhora no processo de capacitação dos profissionais (gestores e docentes)  Troca de experiência institucional  Apoio para obtenção do estágio  Melhora na capacidade de operacionalização do SIG  Suporte técnico por parte da equipe central do PROAFE

34 Avaliação do PROFAE SUPERVISÃO DOS CURSOS DO PROFAE – AR* Experiências Inovadoras Realização de atividades coletivas e estabelecimento de parcerias Centralização da alimentação do SIG; criação de revista eletrônica Criação de banco de dados internos Criação de instrumentos de avaliação Implantação de rodízio de supervisoras Sistematização do registro da supervisão Visitas in loco com filmagem

35 COMPONENTE II CAPACITAÇÃO INSTITUCIONAL PARA A PROMOÇÃO DE CURSOS DE FORMAÇÃO E PARA A REGULAÇÃO DE ORGANIZAÇÕES FORMADORAS

36 SUB COMPONENTES II: i) FORMAÇÃO PEDAGÓGICA (COORDENADORES DE NAD, TUTORES, EGRESSOS) ii) MODERNIZAÇÃO E FORTALECIMENTO DAS ESCOLAS TÉCNICAS DO SUS iii) CERTIFICAÇÃO DE COMPETÊNCIAS

37 SUBCOMPONENTE DE FORMAÇÃO PEDAGÓGICA INOVAÇÃO: FERRAMENTA DA EDUCAÇÃO À DISTÂNCIA

38 Avaliação do PROFAE DESEMPENHO DO CURSO DE FORMAÇÃO PEDAGÓGICA – META 12.000 DOCENTES; 8% EVASÃO; 80% CAPACITADOS EM POR EAD

39 FORMAÇÃO PEDAGÓGICA COORDENADORES DE NAD

40 Avaliação do PROFAE COORDENADORES DE NAD - PERFIL Atribuições

41 Avaliação do PROFAE COORDENADORES DE NAD Experiência da Instituição na Oferta de Cursos

42 Avaliação do PROFAE COORDENADORES DE NAD Material Didático

43 Avaliação do PROFAE COORDENADORES DE NAD Tutores Os tutores são docentes das instituições sediadoras do NAD (27) Os tutores são selecionados por meio de análise de currículo (23) e entrevista (5) A quantidade de tutores (relação tutor/aluno) é considerada suficiente pela maioria dos coordenadores (24) Ocorreram oficinas de treinamento de tutores em todos os NADs Em 13 NADs, menos da metade dos tutores participaram das oficinas de acompanhamento

44 Avaliação do PROFAE COORDENADORES DE NAD Monitoramento e Avaliação Há mecanismos para monitorar a freqüência do contato dos tutores com os alunos em 21 NADs Existe cadastro atualizado e informatizado em 26 NADs Apenas 3 NADs possuem mecanismo de acompanhamento da trajetória profissional dos egressos 17 NADs contam com procedimentos implantados para avaliação do curso e dos tutores, 8 realizam apenas avaliação do curso e 5 não adotam qualquer procedimento avaliativo

45 Avaliação do PROFAE COORDENADORES DE NAD Dificuldades Dispersão geográfica, dificultando a localização dos alunos Falta de afinidade de tutores e alunos com a modalidade de ensino à distância Alunos sem acesso a computadores e correio eletrônico - problemas de comunicação Excesso de atribuição dos tutores na instituição sediadora do NAD Alunos e tutores com pouco tempo para dedicação às atividades do curso Recursos financeiros escassos; Atrasos no repasse; Baixa remuneração dos tutores

46 Avaliação do PROFAE COORDENADORES DE NAD Sugestões Aumento da carga horária dos coordenadores Aumento do número de momentos presencias Capacitação prévia dos alunos e dos tutores ao manejo dos equipamentos de informática Formação continuada dos professores egressos Construção de um módulo metodológico específico à elaboração do TCC Maior integração entre o Componente I e o Componente II Flexibilizar o ordenamento dos módulos Flexibilizar o cronograma de entrega dos trabalhos (prazo de execução) Obtenção de maior apoio das Agências Regionais Aumento do nº de reuniões entre os NAD´s e a coordenação geral do Componente II do PROFAE e da oordenação pedagógica da EAD/ENSP

47 FORMAÇÃO PEDAGÓGICA TUTORES

48 Avaliação do PROFAE TUTORES - PERFIL Experiência e Vinculação com o NAD

49 Avaliação do PROFAE TUTORES Material Didático

50 Avaliação do PROFAE TUTORES Material Didático - Dificuldades dos Alunos Complexidade do material didático frente à formação escolar do público atendido Falta de tempo por parte dos alunos para realizar as leituras propostas Dificuldades no manejo do material didático; Dificuldades de compreensão do conteúdo proposto Não utilizam a internet, dificultando o contato Intervalo de tempo grande em que estiveram sem estudar, sem ter contato com leitura contínua Não cumprimento dos prazos de entrega dos trabalhos Modalidade EAD: alunos demandaram maior número de momentos presenciais.

51 Avaliação do PROFAE TUTORES Contato com Alunos

52 Avaliação do PROFAE TUTORES Dificuldades na Interação com os Alunos 56,3% dos tutores sentiram dificuldade de adaptação dos alunos ao método de ensino à distância 56,3% afirmaram que seus alunos tem dificuldades de entendimento das propostas apresentadas no material didático utilizado no curso 60,7% dos entrevistados apresentaram dificuldades em manter contato com seus alunos; 46,4% tiveram dificuldade para localizar o aluno 20,5% tiveram outras dificuldades: falta de comparecimento dos alunos aos plantões de dúvidas; falta de comprometimento com os prazos estabelecidos para a entrega dos trabalhos; desistência/abandono; mudança de endereço, dificultando a localização do aluno.

53 Avaliação do PROFAE TUTORES Motivos de Desistência dos Alunos Falta tempo e impossibilidade de conciliação com as atividades desempenhadas no Componente I (70,5% dos respondentes) Interrupção do contrato por parte do aluno (38,4%) Dificuldade manifesta do aluno no cumprimento das atividades programadas (33%) Mudança de emprego ou de cidade (31,3%) Insatisfação ou deinteresse manifesto do aluno (13,4%) Dificuldade de compreensão dos conteúdos de aprendizagem (6,3%)

54 Avaliação do PROFAE TUTORES Monitoramento e Avaliação A principal forma de avaliação do trabalho dos tutores é a reunião (67,9%), que se realiza mensalmente (26,8%) e ao final de cada módulo (25%). 36,6% dos tutores nunca foram avaliados por questionário, 35,7% não foram avaliados por entrevista e 29,5% nunca foram avaliados por meio de observação 58,9% afirmaram que o processo de avaliação contribuíu para reorientação de suas atividades: –no cumprimento das atividades –na orientação e esclarecimentos sobre o TCC –para maior reflexão em relação aos aspectos qualitativos de ensino- aprendizagem –na troca de experiências com os demais tutores

55 FORMAÇÃO PEDAGÓGICA EGRESSOS

56 Avaliação do PROFAE EGRESSOS Dificuldades dos alunos ao longo do curso 1º) realizar as atividades programadas no prazo previsto 2º) falta de tempo para estudar 3º) manter contato com o tutor 4º) adaptação ao método de ensino à distância 5º) de entendimento do conteudo apresentado no material didático 6º) falta de acesso aos meios para entrar em contato com o tutor

57 Avaliação do PROFAE EGRESSOS Avaliação do Curso de Formação Pedagógica

58 Avaliação do PROFAE EGRESSOS Facilidades da Modalidade EAD não exige participação presencial; Permite adequação à disponibilidade do aluno para estudar, possibilitando a continuidade do trabalho; estimula a leitura, reflexão, pesquisa; melhor preparo das aulas, valorização dos alunos e experiências dos textos para leituras; baixo custo

59 Avaliação do PROFAE EGRESSOS Dificuldades da Modalidade EAD Há momentos em que a presença do professor é fundamental; dificuldade em manter contato com o tutor em função de incompatibilidade de horários; Há dificuldade em tirar as dúvidas Há necessidade de troca de conhecimento em grupo Há dificuldade em estudar sozinha

60 Avaliação do PROFAE EGRESSOS Aspectos Positivos do Curso (1) a gratuidade a clareza da metodologia a qualidade dos conteúdos dos módulos a qualidade dos materiais didáticos a adaptação da especialização ao trabalho o tempo destinado ao estudo ser de escolha pessoal/própria a padronização no planejamento das aulas a qualidade dos tutores a flexibilidade de horários facilidade de busca de textos complementares

61 Avaliação do PROFAE EGRESSOS Aspectos Positivos do Curso (2) proporcionou oportunidade de melhoria no nível de formação motivou para a melhoria do desempenho profissional preencheu lacunas de formação valorização das experiências vividas por cada participante/aluno oportunidade dada aos profissionais do interior e locais mais distantes ofereceu uma nova aproximação com o meio acadêmico valorizou a categoria da enfermagem valorizou o profissional na sua instiutição

62 Avaliação do PROFAE EGRESSOS Aspectos Negativos do Curso (1) falta de maior número de aulas presenciais necessidade de se trabalhar os módulos cada vez melhor necessidade de ampliação da carga horária necessidade de maior e melhor contato com os tutores necessidade de mais momentos de discussão a adoção pelos tutores de uma única linha de orientação necessidade de maior tempo para a realização das tarefas possibilitar a continuidade dessa e nessa formação: outros cursos e mestrado/doutorado

63 Avaliação do PROFAE EGRESSOS Aspectos Negativos do Curso (2) melhorar a avaliação do aprendizado real de cada aluno descentralizar os pólos receber rapidamente o certificado de conclusão do curso ter mais fácil acesso à Internet ter local organizado para reclamações maior utilização/acesso a sistemas informatizados de comunicação

64 Avaliação do PROFAE EGRESSOS Impactos do Curso de Formação Pedagógica Melhorou o desempenho em sala de aula (85,1%) Melhorou o planejamento das aulas (80,9%) Ampliou a valorização da prática e dos conhecimentos já adquiridos (77,1%) Preencheu lacunas na formação (71,8%) Propiciou maior clareza às explicações dadas pelos docentes (56,9%) Possibilitou alterar outras atividades (36,2%) –avaliação integral dos alunos –melhoria na didática de ensino –motivação e meios para a procura de novos conteúdos, recursos didáticos, dinâmicas, etc.

65 Avaliação do PROFAE EGRESSOS Impactos do Curso na Instituição do Egresso adotou-se uma nova metodologia e uma nova visão de ensino maior compromisso com os docentes treinados pelo curso estimulou a discussão dos métodos de ensino utilizados aumentou o tempo de permanência na instiutição aumentou a possibilidade de capacitação dos recursos humanos iniciou trabalhos com grupos de discussão a partir do conhecimento do aluno valorização dos conhecimentos anteriores dos alunos maior contato com a equipe da instituição melhora nas atividades práticas possibilidade de troca de experiências vaslorização do ensino-aprendizagem maior valorização do conhecimento próprio e do aluno

66 SUBCOMPONENTE DE MODERNIZAÇÃO E FORTALECIMENTO DAS ESCOLAS TÉCNICAS DO SUS (ETSUS)

67 Avaliação do PROFAE MODERNIZAÇÃO E FORTALECIMENTO DAS ETSUS Capacitações Oferecidas pelo PROFAE às ETSUS* Avaliação das Oficinas de Planejamento Estratégico

68 Avaliação do PROFAE MODERNIZAÇÃO E FORTALECIMENTO DAS ETSUS Projetos de Investimento: dificuldades de execução*  Dificuldade para contratação de serviços de consultoria (4)  Quantidade e qualidade de RH para acompanhar o processo (2)  Morosidade por conta das normas da administração pública (2)  Falta de entendimento sobre a utilização dos recursos (1)  Atraso no cumprimento das ações centralizadas - MS/UNESCO (1)  Recursos financeiros:  falta de autonomia financeira para gerir os recursos (2)  encargos não foram previstos nos subprojetos (1)  dificuldade na comprovação de despesas efetuadas - capacitação e aquisição de material (1)

69 Avaliação do PROFAE MODERNIZAÇÃO E FORTALECIMENTO DAS ETSUS Mudanças após o PROFAE (1)*

70 Avaliação do PROFAE MODERNIZAÇÃO E FORTALECIMENTO DAS ETSUS Mudanças após o PROFAE (2)*

71 Avaliação do PROFAE MODERNIZAÇÃO E FORTALECIMENTO DAS ETSUS Necessidades de Aprimoramento*

72 SUBCOMPONENTE DE SISTEMA DE CERTIFICAÇÃO DE COMPETÊNCIAS

73 Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIA  Meta: 80% de profissionais egressos do PROFAE certificados  Teste Piloto –914 egressos do curso de QP no estado do Espírito Santo (primeiras turmas do PROFAE) –190 profissionais localizados e convidados a participar do teste piloto –183 profissionais realizaram inscrição para a prova –49,7% dos inscritos compareceram à prova escrita –34,7% dos inscritos compareceram à prova prática

74 CERTIFICAÇÃO DE COMPETÊNCIAS O TESTE PILOTO

75 Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIAS Elaboração dos Instrumentos de Avaliação Elaboração, pela Coordenação e Equipe Técnica do Subcomponente, de uma Matriz Avaliativa para elaboração das provas Contratação de 150 profissionais da área de Enfermagem, em diversas especialidades, como Consultores para elaboração das questões Elaboração da Prova Teórica com 30 Questões, divididas em 5 áreas Elaboração da Prova Prática com 8 tipos de desempenhos, retirados de um “check list” de 40 itens

76 Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIAS Organização do Teste Piloto (1) Licitação da Instituição Avaliadora: Fundação Cesgranrio Treinamento de 41 profissionais para aplicação da prova prática Definição dos locais para as provas práticas: instituições públicas de saúde (hospitais e unidades básicas)

77 Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIAS Organização do Teste Piloto (2) Local: municípios de Vila Velha, Cachoeiro do Itapemirim e Linhares, localizados no Estado do Espírito Santo Período: mês de setembro de 2002 (22/11 - Prova Escrita; 24 a 27/11 – Prova Prática) Participantes: 91 profissionais egressos dos Cursos PROFAE de um total de 914, sendo um grupo do interior e um da capital e região metropolitana

78 Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIAS Organização do Teste Piloto (3) Foi constituída uma equipe de apoio ou de coordenação local formada por três enfermeiras, profissionais do próprio Estado do Espírito Santo Foram selecionados e treinados os chamados “mobilizadores”, grupo de 10 pessoas encarregadas de fazer os contatos, os convites, o cadastramento e a inscrição dos egressos Participariam do teste egressos residentes ou trabalhadores de 12 cidades. As inscrições foram concluídas no início de setembro de 2002

79 Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIAS Organização do Teste Piloto (4)  Os enfermeiros/avaliadores da prova prática foram capacitados no período de 6 a 9 de setembro de 2002, em Vila Velha  A prova teórica foi aplicada na cidade de Vitória, num mesmo dia, local e horário, e os candidatos tiveram que ser deslocados para lá, com apoio do SCC-PROFAE-Cesgranrio

80 Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIAS Resultados (4)  Indicaram que as dificuldades para a implantação do Sistema serão:  Necessidade de apoios e parcerias  Basear-se em experiências anteriores  A diversidade e escala do país  A qualidade da divulgação  Apenas 25% concordam com o papel certificador do MS  Sugeriram o substituto do MS no papel de Certificador  Instituições autônomas  Os profissionais dos conselhos profissionais

81 Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIAS Conclusões  Há necessidade de uma decisão político- institucional favorável a aplicação de um sistema de certificação para a área da saúde  Há necessidade de se disponibilizar recursos financeiros  Há necessidade de parcerias e acordos inter- institucionais para a execução de um Sistema desse porte  Há pendências relativas às demais áreas de formação sejam elas da saúde ou não – um sistema público deve evitar privilégios  Não se pode perder o esforço empreendido pelo SCC/PROFAE com a construção do Sistema de Certificação de Competências

82 Avaliação do PROFAE CERTIFICAÇÃO DE COMPETÊNCIAS Questões para Discussão (1) O que fazer com os egressos do PROFAE que não possuem as capacitações desejadas? O que fazer com esse profissional –No âmbito legal –No âmbito da formação –No âmbito profissional O que fazer com as instituições formadoras? A Certificação de Competências poderá ser ampliada aos demais profissionais dos serviços de saúde e/ou outras profissões?