unasus.gov.br Responsável: Proposta de modelo básico de avaliação de cursos e ofertas Augusto Campos

unasus.gov. br 2 A UNA-SUS A partir de 2008 o Ministério da Saúde inicia esforço para aumentar vagas de cursos de especialização à distância em saúde da família A UNA-SUS é institucionalizada em 2010 A partir de 2011 passa a ofertar cursos auto-instrucionais A partir de 2013 programas complexos de formação Atualmente, 430 ofertas (100 abertas) de 150 cursos (especialização, atualização, capacitação profissional, etc). 580 mil (195 mil ativas) matrículas de 255 mil (120 mil ativos) alunos Contexto

unasus.gov.br 3 A UNA-SUS Estrutura: −Sistema de informação: profissionais de saúde, históricos profissionais e educacionais (Plataforma Arouca), −Acervo de recursos educacionais de acesso aberto (ARES) −Rede de IES −Secretaria Executiva Objetivos: −atender às necessidades de capacitação e educação permanente do SUS; −induzir e orientar a oferta de cursos e programas de especialização, aperfeiçoamento e outras espécies de qualificação; −disseminar de meios e tecnologias que possibilitem ampliar a escala e o alcance; −contribuir para a redução das desigualdades; −Contribuir para integração ensino-serviço; Contexto

unasus.gov.br 4 A UNA-SUS A rede de instituições públicas de ensino superior: −Desenvolve e oferta cursos Realiza a gestão acadêmica dos cursos e técnica dos ambientes de aprendizado −Disponibiliza recursos educacionais de acesso livre no ARES −Informa sobre seus cursos, ofertas, inscrições e desligamentos através Plataforma Arouca para fins de monitoramento e avaliação A Secretaria Executiva: −Coordena, monitora e avalia −Elabora e propõe padrões tecnológicos −A partir de 2014 reúne grupo de pesquisadores e técnicos de várias instituições para elaboração de uma proposta de modelo de avaliação de ofertas para a UNA-SUS Contexto

unasus.gov. br 5 Ciclos de avaliação Evolução progressiva do modelo de avaliação de cursos Ciclos de avaliação −Foco em aspectos de interesse −Comparabilidade e continuidade temporal −Evolução conceitual e metodológica Atividades dos ciclos −Revisão do estado da arte −Ajuste de objetivos do ciclo −Ajuste do modelo conceitual −Análise de informações disponíveis e coleta de novas informações −Operacionalização: metadados, indicadores, instrumentos, métodos e análises Processo de construção e realização ObjetivosOperacionalizaçãoModelo conceitual

unasus.gov.br 6 1º ciclo Interesses: −Quem são nossos alunos? −Como eles chegaram até nós? −Com qual propósito eles se inscreveram nos cursos? −De que forma eles estão interagindo com nossos conteúdos? −Em quais condições estão interagindo com nosso conteúdo? −Qual o nível de aprendizado dos alunos? −Há aplicação do aprendizado no trabalho? −O quão satisfeitos os alunos estão? −Quais barreiras existem para a interação, o aprendizado e a satisfação? −Quais características diferencia concluintes de não concluintes? Monitoramento e avaliação

unasus.gov.br Dimensional 7 Modelo conceitual Situação Curso Aluno Percepção Interação Aprendizado Aplicação Cadeia de dependência

unasus.gov.br Temporal 8 Modelo conceitual Pré-cursoInteraçãoConclusãoPós-curso Aplicação Evasão Conclusão Interação Inscrição Desistência Percepção Aprendizagem Divulgação

unasus.gov. br 9 Fontes de dados Base de dados de BI −Plataforma Arouca (aluno) Informações demográficas Perfil ocupacional Perfil educacional Informações sobre atuação no momento do curso −Log do AVA - Moodle e PPU Interação com o curso Desempenho e aprendizado do aluno (avaliações) −Enquetes Motivações, objetivos, expectativas, etc. Experiência e avaliação do aluno Outras informações não disponíveis nas outras bases Modelo conceitual Plataforma Arouca CPF e ID de oferta Log de curso CPF e ID de oferta Enquetes CPF e ID de oferta

unasus.gov.br 10 Mais de 120 variáveis (dimensões, medidas e indicadores) Perfil de alunos (idade, sexo, escolaridade, etc.) −Histórico educacional (matrículas UNA-SUS anteriores, conclusão de cursos, etc.) −Atividade educacional (matrículas UNA-SUS ativas, carga horária ativa, etc.) −Histórico profissional (experiência profissional registrada, número de vínculos, dispersão ocupacional, etc.) −Atividade profissional (número de vínculos ativos, dispersão ocupacional, carga horária ativa, etc) Interação −Tempo de interação com o conteúdo −Número de interações com o conteúdo −Percentual de interação com o conteúdo Metadados e indicadores

unasus.gov.br 11 Desempenho −Nota no curso −Número de tentativas para acerto de avaliações ou questionários −Desemprenho em testes (pré e pós cursos) Avaliação e experiência −Acesso −Motivação −Barreiras −Adequação do conteúdo −Avaliação dos recursos educacionais −Aprendizado e conhecimento reportado Metadados e indicadores

unasus.gov.br 12 Enquetes regulares −Realizados em todas as ofertas −Questionário curto −Informações básicas com objetivo de comparabilidade entre ofertas e cursos −Informações específicas conforme características da oferta e do curso −Enquetes de ingresso e de desligamento Enquetes específicas −Realizados em momentos e com amostras específicas −Questionário mais extenso −Temas de interesse específico para compreensão aprofundada (perfil de aluno, hábitos de estudo, formas de interação com tipos de objeto de aprendizagem, etc.) Tipos de enquetes

unasus.gov. br 13 Modelo misto Enquetes de entrada Linha de base de aprendizagem Condições de acesso Motivação e expectativa Situação de realização do curso Informações complementares Enquetes de entrada Linha de base de aprendizagem Condições de acesso Motivação e expectativa Situação de realização do curso Informações complementares Enquetes de desligamento: Experiência e avaliação do curso Barreiras Aprendizagem Utilização do conhecimento Motivos de evasão (barreiras) Enquetes de desligamento: Experiência e avaliação do curso Barreiras Aprendizagem Utilização do conhecimento Motivos de evasão (barreiras) Enquetes regulares Pré-cursoInteraçãoConclusãoPós-curso

unasus.gov. br 14 Modelo específico Enquetes de entrada Linha de base de aprendizagem Adesão e acesso Motivação e expectativa Situação de realização do curso Informações complementares Enquetes de entrada Linha de base de aprendizagem Adesão e acesso Motivação e expectativa Situação de realização do curso Informações complementares Enquetes de concluintes: Experiência e avaliação do curso Barreiras Aprendizado Utilização do conhecimento Enquetes de concluintes: Experiência e avaliação do curso Barreiras Aprendizado Utilização do conhecimento Enquetes regulares Enquetes de evadidos: Experiência e avaliação do curso Motivos de evasão e barreiras aprendizado Utilização do conhecimento Enquetes de evadidos: Experiência e avaliação do curso Motivos de evasão e barreiras aprendizado Utilização do conhecimento Pré-cursoInteraçãoConclusãoPós-curso

unasus.gov.br 15 Exemplos de tema −Interface (navegação, utilização de vídeos e outras modalidades de objeto educacional, etc.) −Design instrucional (estrutura do curso, etc.) −Hábitos e preferências de estudo −Expectativas e necessidades educacionais e profissionais −Complementação cadastral e demográfica −Avaliação de conhecimento e aprendizado (pré e pós-testes) −Etc. Recortes: curso, oferta, projeto, perfil do aluno (educacional, profissional, etc.), território, tipo de objeto educacional, etc. Enquetes específicas

unasus.gov.br 16 BI de dados e metadados das várias fontes Questionários e ferramentas de distribuição das enquetes Ferramentas de tabulação de dados Ferramentas para análises estatísticas Análises de 7 ofertas educacionais realizadas em 2015 e 2016 Novo ciclo de desenvolvimento do modelo, ferramentas e análises Atualmente e próximos passos

unasus.gov. br 17 4 cursos e 7 ofertas Atualização do Manejo Clínico da Dengue −01/12/ /06/2016 −13/07/ /12/2015 Hanseníase na Atenção Básica −06/07/ /12/2015 −28/10/ /07/2015 −25/01/ /06/2016 Manejo da Coinfecção Tuberculose- HIV (TB-HIV) −18/11/ /06/2016 Saúde da População Negra −03/08/ /12/2015 Resultados preliminares Número de alunos Número de matrículas Percentual de médicos18,27% Percentual de profissionais de enfermagem58,15% Taxa de conclusão29,74% Taxa de evasão primária45,40% Taxa de evasão segundária24,86% Percentual de avanço no curso53,61% Nota0,54 Conhecimento inicial5,18 Conhecimento final8,13 Delta de aprendizado2,73 Relato de utilização no trabalho98,20% Score de ajuste de conteúdo69,53% Avaliação geral da oferta positiva96,95%

unasus.gov.br Responsável: Obrigado Augusto Campos 18