1 UNIVERSIDADE DE SÃO PAULO - USP FACULDADE DE EDUCAÇÃO - FEUSP PPGE – PROGRAMA DE PÓS GRADUAÇÃO EM EDUCAÇÃO Seminário 01/06/2009: Avaliação Pedagógica.

Apresentação em tema: "1 UNIVERSIDADE DE SÃO PAULO - USP FACULDADE DE EDUCAÇÃO - FEUSP PPGE – PROGRAMA DE PÓS GRADUAÇÃO EM EDUCAÇÃO Seminário 01/06/2009: Avaliação Pedagógica."— Transcrição da apresentação:

1 1 UNIVERSIDADE DE SÃO PAULO - USP FACULDADE DE EDUCAÇÃO - FEUSP PPGE – PROGRAMA DE PÓS GRADUAÇÃO EM EDUCAÇÃO Seminário 01/06/2009: Avaliação Pedagógica de Portais Educacionais Aluna: Nelma T Zubek Valente nzubek@usp.br Disciplina: EDM 5053 – Ambientes de Aprendizagem Cooperativa apoiados em Tecnologias de Internet: Novos Desafios, Novas Competências Profa.: Dra. Stela Conceição Bertholo Piconez

2 2 Avaliação Pedagógica de Portais Educacionais Artigo: ASPECTOS METODOLÓGICOS DA AVALIAÇÃO PEDAGÓGICA DE AMBIENTES VIRTUAIS DE APRENDIZAGEM Prof. Samuel Brasileiro Filho CEFET-CE samuel@cefetce.br samuel@cefetce.br Prof. Elian Machado, PhD. Universidade Federal do Ceará elian@ufc.br elian@ufc.br

3 3 Dados dos autores  Graduado em Engenharia Química - UFC, com Especialização em Química Industrial - UFC e Gestão da Educação Tecnológica - Oklahoma State University, Mestre em Computação - UECE, professor classe especial (titular) do Centro Federal de Educação Tecnológica do Ceará, Ex- Diretor Geral do CEFETCE, pesquisador na área de educação profissional e tecnológica, educação à distância, doutorando em Educação na Universdidade Federal do Ceará. Prof. Samuel Brasileiro Filho

4 4 Dados dos autores  Possui graduação em Comunicação Social (Jornalismo) pela Universidade Federal do Ceará (1979), mestrado em Comunicação - University Of Missouri-Columbia (1981) e doutorado em Tecnologia Educacional - Indiana University-USA (1985). Atualmente é professor convidado do mestrado de computação da Universidade Estadual do Ceará e professor associado da Universidade Federal do Ceará (Jornalismo). Tem experiência na área de Comunicação, com ênfase em Fotografia Digital e Fotojornalismo, tendo realizado exposições e recebido prêmios de fotografia; atua também nas áreas de tecnologia educacional, jornalismo na internet e cibercultura. Prof. Elian Machado, PhD

5 5 Avaliação Pedagógica de Portais Educacionais  Avaliação  processo onde pessoas fazem julgamento de valor sobre as coisas (OLIVER, 2000)  Avaliação das tecnologias de aprendizagem julgamento do valor educacional dessas inovações (OLIVER, 2000)

6 6 Avaliação Pedagógica de Portais Educacionais Aspectos que podem orientar julgamentos na avaliação da tecnologia educacional (ambientes virtuais de aprendizagem)  especificações técnicas  design instrucional  características e facilidade das ferramentas  facilidade de uso e acessibilidade  potencial de colaboração  compatibilidade com padrões de metadados  aspectos ergonômicos  adequação pedagógica  custo

7 7 Avaliação Pedagógica de Portais Educacionais  Grande desafio – avaliação ambientes virtuais de aprendizagem desenvolvimento metodologias de avaliação para estabelecer julgamentos sobre paradigmas inerentes aos ambientes avaliados: pedagógicos – estratégias didáticas de apresentação de informações e tarefas exigidas  em conformidade com o objetivo educacional e características de seu usuário ergonômicos - usuário (aluno ou professor) - utilizar tecnologia com máximo de segurança/conforto/ produtividade  conforme preceitos ergonomia  garantir adequação e efetividade no processo educacional. (RIBEIRO, 1998)

8 8 Avaliação Pedagógica de Portais Educacionais  Paradigmas Metodológicos das Avaliações de Ambientes Virtuais de Aprendizagem Abordagens Quantitativas Abordagens Qualitativas  intensos e inconclusivos debates

9 9 Avaliação Pedagógica de Portais Educacionais  Abordagens Quantitativas estabelecem critérios de ponderação quantitativa sobre  aspectos tecnológicos dos ambientes  suas ferramentas  facilidades disponibilizadas para promoção da aprendizagem base metodológica  desenvolvimento de “checklists” das funcionalidades e características dos ambientes

10 10 Avaliação Pedagógica de Portais Educacionais  Abordagens Quantitativas dezenas de metodologias concebidas neste paradigma  vantagens oferecem boa forma de comparar aspectos técnicos e de funcionalidades dos ambientes  desvantagens não se adequam para avaliação aspectos pedagógicos  por não serem flexíveis e adaptáveis aos diferentes contextos educacionais de utilização do AVA Exemplo: metodologia desenvolvida pelo Centre For Curriculum, Transfer e Technology (Disponível em: http://www.c2t2.ca)http://www.c2t2.ca  ferramenta para avaliação comparativa de ambientes virtuais

11 11 Avaliação Pedagógica de Portais Educacionais Aspecto Avaliado +0- Observações Acessibilidade Uma plataforma não deve apenas prover acesso aos recursos de aprendizagem mas deve facilitar este acesso, assim como requisitar informações adicionais Divulgação Capacidades de buscas O ambiente permite o usuário localizar um recurso ou informação de aprendizagem específico? Confiabilidade Não existe erros no sistema, quebras ou links errados? Fonte: Evaluation of Learnning Plataform Technologies, Universal Project, Robert Mery et al., 2000 ( Legenda : (+) Muito Bom; (0) Bom, (-) não avaliável ou não atende ) Exemplo de um “Framework” para avaliação de VLE numa abordagem quantitativa

12 12 Avaliação Pedagógica de Portais Educacionais Aspecto Avaliado +0- Observações Oferta de Recursos de aprendizagem O ambiente oferece suficientes matérias de aprendizagem para ser útil? Localização de Oferta Possibilidade de localizar diferenciadas ofertas (customized/standard) Informação do recurso de aprendizagem Tem conformidade com padronização de metadados? Avaliação A plataforma possibilita a participação do estudante na avaliação? Fonte: Evaluation of Learnning Plataform Technologies, Universal Project, Robert Mery et al., 2000 ( Legenda : (+) Muito Bom; (0) Bom, (-) não avaliável ou não atende ) Exemplo de um “Framework” para avaliação de VLE numa abordagem quantitativa

13 13 Avaliação Pedagógica de Portais Educacionais  Abordagens Qualitativas caracterizadas pela aplicação de estruturas avaliativas orientadas a coletar uma série de informações qualitativas que sirvam de subsídio ao processo de julgamento do valor educacional do AVA  Exemplo: proposta BRITAIN e LIBER (1999) estrutura genérica para avaliação pedagógica dos ambientes virtuais de aprendizagem, com base em dois modelos:  modelo educacional baseado no modelo conversacional elaborado por Laurilard (1993)  modelo organizacional desenhado a partir do Modelo de Viabilidade de Sistemas proposto por Stafford Beer (1981)

14 14 Avaliação Pedagógica de Portais Educacionais FerramentasEstruturação Professor apresenta Concepções Quais ferramentas estão disponíveis para o professor? (Texto, vídeo, áudio, imagem...) Pode o professor facilmente colocar juntos diferentes formatos de multimídia para apresentação de uma concepção? Apresentações podem rapidamente serem alteradas para reapresentação em uma diferente maneira? Estudante apresenta concepção O estudante pode interagir com o professor através do sistema? O estudante tem capacidade de autoria multimídia? Mesmo que somente por texto, como o estudante se comunica com o professor? Diálogo entre o estudante e o professor é claramente o centro do modelo conversacional e como isto é visualmente estruturado para os dois é muito importante. Conversações devem estar no centro das atividades no VLE em vez de ser puxada para um lado. Fonte: Estrutura organizacional para avaliação dos processos colaborativos ou de aprendizagem em grupo nos ambientes virtuais de aprendizagem, proposta por BRITAIN e LIBER, 1999 Estrutura para avaliação de VLEs utilizando o modelo conversacional

15 15 Avaliação Pedagógica de Portais Educacionais FerramentasEstruturação O Professor especifica o micro-mundo Ferramentas de autoria multimídias para criação de matérias de cursos, programas de simulação lincáveis, programas de elaboração de testes, etc. Em um VLE a noção de micro-mundo pode ser aplicada em diferentes níveis. Ponto importante na perspectiva do modelo conversacional: VLE deve ser versátil o bastante para adaptar-se a um estudante individual com base no estabelecimento de um diálogo conversacional com este estudante. Estudante interage com o micro- mundo Veja os três anterioresNovamente nós podemos ver esta noção de micro-mundo em vários níveis. Nós estamos procurando mais no do lado do estudante do que simplesmente ser capaz de ver o conteúdo. Fonte: Estrutura organizacional para avaliação dos processos colaborativos ou de aprendizagem em grupo nos ambientes virtuais de aprendizagem, proposta por BRITAIN e LIBER, 1999 Estrutura para avaliação de VLEs utilizando o modelo conversacional

16 16 Avaliação Pedagógica de Portais Educacionais FerramentasEstruturação Tutor provê feedback para o estudante Pode o tutor usar as ferramentas de comunicação para fornecer feedback para o estudante no contexto das atividades de aprendizagem? Pode parecer obvio que isto seria verdadeiro, mas o ponto importante é que o feedback pode ser facilmente relacionado com a ação – i.e. qualquer linha de discussão deve ser lincada ou envolvida no domínio das ações. Estudante modifica as ações Pode o estudante retornar às atividades e modificar suas ações baseadas no feedback recebido do tutor? Fonte: Estrutura organizacional para avaliação dos processos colaborativos ou de aprendizagem em grupo nos ambientes virtuais de aprendizagem, proposta por BRITAIN e LIBER, 1999 Estrutura para avaliação de VLEs utilizando o modelo conversacional

17 17 Avaliação Pedagógica de Portais Educacionais  Modelo conversacional utilizado por BRITAIN e LIBER (1999) para avaliação de ambientes virtuais de aprendizagem vantagens  permite a avaliação das interações entre um único estudante e o professor  grande parte das funcionalidades do ambiente serão abrangidas desvantagens  omite funcionalidades relativas à aprendizagem em grupo ou colaborativas  não avalia adequadamente o ambiente colaborativo (mais bem avaliado pela abordagem organizacional do modelo de viabilidade de sistemas)

18 18 Avaliação Pedagógica de Portais Educacionais  BRITAIN e LIBER (1999) propuseram uma estrutura de avaliação complementar dos ambientes virtuais de aprendizagem, baseada no modelo organizacional exame sob dois níveis  nível dos cursos  nível institucional com base neste modelo elaboraram um “framework” para avaliar os aspectos organizacionais dos ambientes de aprendizagem

19 19 Avaliação Pedagógica de Portais Educacionais Funcionalidades do Modelo de Viabilidade de Sistemas Aspectos Organizacionais a serem suportados pelo VLE Estruturação Negociação de Recursos Como os estudantes negociam seus contratos de aprendizagem com seus professores? Este é um processo feito em uma etapa ou é contínuo? Quais são os direitos e responsabilidades mútuas? Coordenação Estudantes podem colaborar na criação de sua aprendizagem? Qual a prevenção existente para evitar exploração? Fonte: Estrutura complementar para avaliação dos aspectos organizacionais dos ambientes de aprendizagem, proposta por BRITAIN e LIBER, 1999 “Framework” para avaliação de ambientes virtuais de aprendizagem com base no modelo organizacional da viabilidade de sistemas

20 20 Avaliação Pedagógica de Portais Educacionais Funcionalidades do Modelo de Viabilidade de Sistemas Aspectos Organizacionais a serem suportados pelo VLE Estruturação Monitoramento Como professor pode monitorar onde a aprendizagem está acontecendo, de maneira que ações corretivas sejam adotadas? Individualização Como cada estudante pode encontrar seus próprios recursos e conduzir sua própria aprendizagem independente dos outros? Eles podem contribuir com o grupo com suas descobertas? Fonte: Estrutura complementar para avaliação dos aspectos organizacionais dos ambientes de aprendizagem, proposta por BRITAIN e LIBER, 1999 “Framework” para avaliação de ambientes virtuais de aprendizagem com base no modelo organizacional da viabilidade de sistemas

21 21 Avaliação Pedagógica de Portais Educacionais Funcionalidades do Modelo de Viabilidade de Sistemas Aspectos Organizacionais a serem suportados pelo VLE Estruturação Auto-organização Que espaço ou ferramentas são disponibilizadas aos estudantes para que estes se organizem como grupos, fora do controle do professor? Adaptação É possível para o professor adaptar o curso e seus recursos à luz das experiências adquiridas durante as operações? Fonte: Estrutura complementar para avaliação dos aspectos organizacionais dos ambientes de aprendizagem, proposta por BRITAIN e LIBER, 1999 “Framework” para avaliação de ambientes virtuais de aprendizagem com base no modelo organizacional da viabilidade de sistemas

22 22 Avaliação Pedagógica de Portais Educacionais  avaliação de um ambiente virtual de aprendizagem tarefa complexa e multidisciplinar exige conjunto de conhecimentos técnicos do ambiente de programação para Internet exige conhecimentos conceituais sobre educação, principalmente no campo da aprendizagem.  estudo elaborado por PFAFFMAN (2001) alternativa para avaliação de ambientes virtuais de aprendizagem numa grande variedade de domínios, integrando:  aspectos conversacionais e organizacionais, em um único “framework”  metodologia proposta combina duas diferentes estruturas de ambientes de aprendizagem maior amplitude de domínios

23 23 Avaliação Pedagógica de Portais Educacionais  Estudo PFAFFMAN (2001) combinou estrutura proposta por COLLINS et al.[1994] com estrutura proposta por BRANSFORD et al. [1999]  resultado: “framework” - vasto campo de abrangência para avaliação de ambientes virtuais de aprendizagem. 1 - estrutura originada COLLINS et. al  reconhece três categorias genéricas de ambientes de aprendizagem ambientes de comunicação ambientes de atividades ambientes de avaliação.

24 24 Avaliação Pedagógica de Portais Educacionais  Estudo PFAFFMAN (2001) 2 - estrutura originada de BRANSFORD et al.[1999] ( denominada de HPL acrônimo de “How People Learn ”)  utiliza quatro perspectivas, para desenho e avaliação de ambientes de aprendizagem :  Ambiente centrado no estudante  Ambiente centrado no conhecimento  Ambiente centrado na avaliação  Ambiente centrado na comunidade

25 25 Avaliação Pedagógica de Portais Educacionais Ambiente de Comunicação Ambiente de Atividades Ambiente de Avaliação AMBIENTE CENTRADO NO ESTUDANTE Professor deve prestar atenção nos conhecimentos, habilidades e atitudes dos estudantes. Encorajamento à comunicação entre os estudantes ajuda o professor a entender as premissas dos alunos e conduz os estudantes a aprender com os outros. Professores centrados nos alunos apresentam aos estudantes somente dificuldades gerenciáveis. Os estudantes que participam das atividades podem aprender que cometer erros é parte freqüente da solução de problemas. Fonte:Estrutura “LE Framework + HPL Framework”, PFAFFMAN, 2001 Framework proposto por PFAFFMAN (2001) para avaliação de ambientes virtuais de aprendizagem

26 26 Avaliação Pedagógica de Portais Educacionais Ambiente de Comunicação Ambiente de Atividades Ambiente de Avaliação AMBIENTE CENTRADO NO CONHECIMENTO Foco no que é ensinado e em como reconhecer a competência Comunicação de sala de aula pode ajudar os estudantes a obter novas informações que tenham significado e a fazer perguntas para clarear dúvidas. Engajamento e atividades dos estudantes necessitam ser focadas na promoção da compreensão As avaliações bem sucedidas são as que valorizam a compreensão em vez da memorização. Fonte:Estrutura “LE Framework + HPL Framework”, PFAFFMAN, 2001 Framework proposto por PFAFFMAN (2001) para avaliação de ambientes virtuais de aprendizagem

27 27 Avaliação Pedagógica de Portais Educacionais Ambiente de Comunicação Ambiente de Atividades Ambiente de Avaliação AMBIENTE CENTRADO NA AVALIAÇÃO Avaliação formativa ajuda estudantes e professores no monitoramento do progresso da aprendizagem Provê estudantes com avaliação na qual torna visível seus pensamentos A avaliação provê oportunidades para que os estudantes revisem e melhorem o seus pensamentos Mesmo testes somativos podem ser construídos para fornecer feedbacks formativos Fonte:Estrutura “LE Framework + HPL Framework”, PFAFFMAN, 2001 Framework proposto por PFAFFMAN (2001) para avaliação de ambientes virtuais de aprendizagem

28 28 Avaliação Pedagógica de Portais Educacionais Ambiente de Comunicação Ambiente de Atividades Ambiente de Avaliação AMBIENTE CENTRADO NA COMUNIDADE Focado no contexto das normas da sala de aula e na aprendizagem em grupo ou colaborativa Encoraja o estudante assumir riscos e oportunidades, do ponto de vista acadêmico e aceitar os erros Atividades de sala de aula nos quais estudantes organizam seus trabalhos de maneira a promover a colaboração e a construção de comunidades intelectuais Solução colaborativa de problemas, por meio da construção compartilhada do conhecimento e do esclarecimento das dúvidas Fonte:Estrutura “LE Framework + HPL Framework”, PFAFFMAN, 2001 Framework proposto por PFAFFMAN (2001) para avaliação de ambientes virtuais de aprendizagem

29 29 Avaliação Pedagógica de Portais Educacionais  metodologias de avaliação dos ambientes virtuais de aprendizagem concebidas segundo diversos paradigmas - genericamente classificados em duas grandes áreas paradigmáticas de abordagens:  abordagem quantitativa  abordagem qualitativa  metodologias de avaliação quantitativas e qualitativas concebidas como listas de verificação, ensaios de interação, avaliações organizacionais, avaliações conversacionais, avaliações heurísticas, e muitos outros métodos.  clareza da definição do contexto educacional de sua aplicação aspecto relevante no estabelecimento de uma metodologia de avaliação de ambiente virtual de aprendizagem

30 30 Avaliação Pedagógica de Portais Educacionais  avaliação ambiente virtual de aprendizagem - certa complexidade  diversidade das interações envolvidas na aprendizagem  amplitude de contextos educacionais. metodologias quantitativas  bastante limitadas para a fundamentação de um juízo de valor educacional  embora possam ser interessantes para a comparação de aspectos tecnológicos.  complexidade aplicação avaliação de ambientes virtuais, pela complexidade de sua aplicação mais bem orientada pela integração das metodologias quantitativas e qualitativas  articular aspectos relacionados com a usabilidade destes ambientes ancorados na ergonomia com os aspectos relativos à promoção da aprendizagem, que são fundamentados na pedagogia.

31 31 Avaliação Pedagógica de Portais Educacionais Referências Bibliográficas  BRANSFORD, John – How People Learn, Varderbit University, 1999  BRITAIN, Sandy e LIBER, Oleg - A Framework For Pedagogical Evaluation  OLIVER, Martin – An Introduction To The Evaluation Of Learning Technology, Educational Technology & Society, 3(4), Higher Education Reasearch and Development Unit, University College London, 2000  RIBEIRO, Cassandra de Oliveira e Silva – Bases Pedagógicas e Ergonômicas para a Concepção e Avaliação de Produtos Educacionais Informatizados, Dissertação de Mestrado, Universidade Federal de Santa Catarina, 1998.  FAFFMAN, Jay A. – Na Elaborated Learning Environment Freamework, Vanderbit University, Nashiville, Tenesse, junho/2001

32 32 Avaliação Pedagógica de Portais Educacionais Dados Fonte : BRASILEIRO FILHO; Samuel; MACHADO, Elian. Aspectos metodológicos da avaliação pedagógica de ambientes virtuais de aprendizagem. IX Congresso Internacional de Educação a Distância da ABED, 2002. Disponível em: http://www.abed.org.br/congresso2002/trabalhos/texto28.htm. Acesso em 25 mai. 2009. http://www.abed.org.br/congresso2002/trabalhos/texto28.htm

33 33 Avaliação Pedagógica de Portais Educacionais Portais Educacionais http://www.clubedoprofessor.com.br/atualizado/portais Portais, Revistas Eletrônicas, LCMS e LMS http://moodle.stoa.usp.br/file.php/12/portais_Revistas_LCMS _LMS.doc

34 34 Avaliação Pedagógica de Portais Educacionais LMS (LEARNING MANAGEMENT SYSTEMS)  Aulanet (PucRio): www.aulanet.com.br/www.aulanet.com.br/  Blackboard: www.blackboard.com/www.blackboard.com/  eCollege (Pearson): www.ecollege.com  Moodle (código livre): http://moodle.org/http://moodle.org/  Saba Learning Suíte: www.saba.com/products/learning/www.saba.com/products/learning/  Teleduc (Unicamp): http://teleduc.nied.unicamp.br/teleduc/http://teleduc.nied.unicamp.br/teleduc/  Virtus (UFPE): www.virtus.ufpe.br/www.virtus.ufpe.br/  WebCT (British Columbia University): www.webct.com/