Avaliação Digital no Ensino Superior em Portugal:

Apresentação em tema: "Avaliação Digital no Ensino Superior em Portugal:"— Transcrição da apresentação:

1 Avaliação Digital no Ensino Superior em Portugal: Projeto @ssess.he
Aula 6 – 13 de Novembro Avaliação Digital no Ensino Superior em Portugal: Equipa: Alda Pereira, Lúcia Amante Isolina Oliveira, Luís Tinoca; Teresa Cardoso & Mª do Carmo Pinto

2 Objetivo geral do projeto
Estudar as estratégias de avaliação digital, adequadas e válidas aos ambientes virtuais de aprendizagem no Ensino Superior, contribuindo para a clarificação de processos e visando a definição de indicadores que garantam a sua autenticidade e validade na avaliação de competências em contextos de elearning.

3 Questões de investigação
Que modelos e estratégias de avaliação são usadas no ES em ambientes virtuais (b-learning e elearning)? Como definir a autenticidade das tarefas de avaliação? Quais os indicadores a usar de forma a garantir a validade da avaliação realizada de modo digital? Como pode ser equacionada a relação entre a certificação de competências e o uso de estratégias de avaliação alternativa em ambientes virtuais?

4 Etapas do Projeto O projeto, foi financiado pela FCT e decorreu ao longo de 3 anos. Nesta 1ª fase teve como etapas: 1) Estabelecimento de uma matriz teórica sobre avaliação digital, onde se pretendia contribuir para a clarificação de conceitos e aspetos fundamentais; 2) Aplicação Inquérito (survey) sobre estratégias de avaliação em ambientes virtuais no Ensino Superior português; 3) Estudos de caso de utilização de avaliação digital em ambientes de e-learning no ES, com recurso a entrevistas individuais semi-estruturadas. 4) Análise comparativa dos estudos de caso. Conceitos tais como: , a exemplo de competência, avaliação de competências, avaliação alternativa, avaliação autêntica, validade e fiabilidade da avaliação alternativa. 2. procurando elencar estratégias de avaliação usadas no ensino superior em contextos de avaliação digital (presencial, blended-learning e online) e o racional para a sua utilização. 3. Estes estudos de caso visavam identificar estratégias bem sucedidas de avaliação digital no ES, procurando ainda identificar a relação entre as estratégias de avaliação digital usadas e o processo de certificação.

5 Desenvolvimento Usou-se uma pluralidade de métodos e técnicas, inspiradas no método de investigação baseada no desenho DBR, design-based research. Foi elaborada uma 1ª versão de um quadro conceptual resultante da pesquisa e discussão teórica no seio da equipa bem como do contributo dos consultores externos; Foi traçado um panorama sobre a utilização das tecnologias na avaliação no âmbito do ensino superior, a partir dos resultados do questionário realizado junto dos docentes desse nível de ensino; Estas duas primeiras etapas fizeram emergir uma matriz conceptual global capaz de responder aos desafios da avaliação eletrónica num quadro de avaliação de competências no ES; Com base nesta matriz foram realizados 12 estudos de caso, permitindo um aprofundamento qualitativo de várias práticas de avaliação em contextos diversificados. , correspondendo a um segundo ciclo de design based research. Pretendia-se deste modo analisar e validar contextualmente as assunções teóricas entretanto formuladas.

6 Ruptura nos pressupostos da avaliação
Cultura do teste Cultura da avaliação Avaliação do processo e do produto Participação do estudante Pluralidade de formas não estandardizadas Tarefas de avaliação próximas do real Valorização da descrição qualitativa Avaliação integrada em contextos Reforço da reflexão dos estudantes Quantitativa Exercícios descontextualizados Testes estandardizados Formação de rankings

7 Dimensões da avaliação alternativa digital

8 Dimensões da AAD Custos Eficiência Sustentabilidade Democratização Envolvimento Visibilidade Impacto Alinhamento instrução-avaliação Multiplicidade de indicadores Adequação dos critérios Alinhamento competências-avaliação . Similitude Complexidade Adequação Significância Autenticidade - tem a ver com o grau de semelhança entre as competências que são avaliadas num PAC e as requeridas nos contextos da vida real/profissional. Consistência - surge como forma de responder às exigências de validade e fiabilidade tradicionalmente associadas apenas a indicadores psicométricos. Praticabilidade - relacionada com a exequibilidade de qualquer estratégia de avaliação, esta dimensão é especialmente importante quando se desenha um PAC, dada a complexidade da sua elaboração. Transparência - pretende tornar o programa de avaliação de competências visível e compreensível para os intervenientes.

9 Autenticidade: Grau de similitude entre as competências
em avaliação e as requeridas em contexto real/profissional. Similitude competências necessárias à vida real/ profissional Complexidade desafio cognitivo Adequação condições de realização adequadas Significância valor para estudantes, professores e empregadores

10 Consistência: Existência de uma variedade de métodos de
avaliação em contextos diversos, avaliadores e adequar estratégias. Alinhamento instrução/ Avaliação Tarefas de avaliação representativas de sit. de aprendiz. vividas Multiplcidade de indicadores Métodos de avaliação, contextos, momentos e avaliadores variados Relevância dos critérios Pertinência dos critérios usados Alinhamento competências/Avaliação Coerência entre competências e o desenho de avaliação

11 Transparência: Relaciona-se com a visibilidade e tornar
compreensível a estratégia de avaliação. Democratização participação na definição dos critérios de avaliação, objetivos e avaliadores Envolvimento participação na definição das metas de aprendizagem Visibilidade partilha de processos e/ou produtos Impacto efeito no processo de aprendizagem e no desenho do programa educacional

12 Praticabilidade: Relaciona-se com a exequibilidade da
estratégia de avaliação alternativa digital. Custos Tempo, recursos ou investimentos adicionais Eficiência Considera a relação custo/benefício do desenho da estratégia de avaliação Sustentabilidade Assegurar a implementação e sustentação do desenho de avaliação

13 A emergência da edumetria coloca na ordem do dia o desenvolvimento de novos critérios que possibilitem a avaliação da qualidade das estratégias digitais usadas. Contribuição para o conhecimento no campo do desenvolvimento de avaliação de qualidade em contextos online. Permitir olhar a avaliação à luz dos parâmetros propostos, assumindo uma nova perspetiva no design do processo avaliativo.

14 Principais conclusões
O conceito de competências não está ainda estabilizado junto dos docentes do Ensino Superior; Utilização significativa de dispositivos tecnológicos e serviços integrados em plataformas, com particular relevo para a submissão de documentos (texto, áudio, vídeo). Há uma grande incidência no uso da tecnologia como “meio” de entrega de trabalhos;

15 Principais conclusões
O professor continua a ser por excelência o único avaliador, minimizando o papel do estudante; A transparência nos processos avaliativos é limitada. Foca-se na divulgação prévia por parte do professor dos momentos e formas de avaliação e de alguns critérios gerais; É notório o déficit de participação do estudante nas práticas avaliativas no Ensino Superior.

16 Continuidade do projeto
O projeto deu lugar a diversas publicações e continua em desenvolvimento, agora numa 2ª fase. O quadro conceptual evoluiu para o atualmente designado Modelo PrACT (Praticabilidade, Autenticidade, Consistência e Transparência) tendo este modelo vindo a ser aplicado à análise de processos de avaliação digital em novos contextos, designadamente de ensino não superior, na sequência de processos de formação e de desenvolvimento de trabalhos de pós-doutoramento na área.

17 Continua… 