Avaliação em Cursos On-Line Maria Elizabeth Bianconcini de Almeida Pontifícia Universidade Católica de São Paulo Programa de Pós-Graduação em Educação: Currículo bethalmeida@pucsp.br

Agenda de trabalho Palestra Concepção de avaliação Educação on-line Currículo e avaliação Avaliação on-line concepção, critérios e estratégias de avaliação O portfólio como estratégia de avaliação on-line Exemplos Discussão de caso: Projeto Gestão Escolar e Tecnologias Conclusão

O que significa avaliação?

Significado da palavra avaliação ato ou efeito de avaliar(-se) - estabelecer a valia, o valor ou o preço de cálculo do valor de um bem ou de bens Derivação: valor determinado por quem avalia apreciação ou conjectura sobre condições, extensão, intensidade, qualidade etc. de algo verificação que objetiva determinar a competência, o progresso etc. de um profissional, aluno etc. Dicionário Houaiss da Língua Portuguesa

O que é avaliação? Avaliação é inerente ao agir humano Ação que envolve formular juízo de valor e tomada de decisão Processo complexo, cultural e contextualizado Relacionado a expectativas e perspectivas teóricas constante tensão Envolve aspectos epistemológicos, políticos, éticos e culturais concepções, princípios, dimensões e finalidades da avaliação: são interdependentes Integra dimensões qualitativa e quantitativa.

Concepções não são excludentes: O que é avaliação? Conceito polissêmico Elemento fundamental da avaliação: conhecimento que o sujeito e o objeto, individual e coletivamente, constroem ao longo do tempo Avaliação opera com referências valorativas coerentes com certa visão de mundo conhecimento da ciência positivista: avaliação voltada ao objeto. pensamento complexo, filosófico: privilegia a relação sujeito/ objeto (envolve intuição e sensibilidade) Concepções não são excludentes: a avaliação considera tanto a relação entre o sujeito e o objeto como o conhecimento objetivo.

O que, quando e por que avaliar? Avaliação: realizada em diferentes situações, instituições e relações sociais com distintas finalidades possui características de intencionalidade consciente Inerente a todo processo educativo: presencial, a distância ou híbrido Avaliação em Educação: Características próprias Marcada pela diversidade Se realiza em processos de: políticas públicas, sistema educacional, escola, cursos programas, projetos currículo, material didático ensino, aprendizagem

Educação on-line Desafio para educadores e instituições Integra contexto virtual e presencial com a mediatização das tecnologias digitais de informação e comunicação – TDIC Caracterizada pela articulação entre cognição e tecnologia Sistema apropriado de comunicação, produção e gestão Novas possibilidades comunicativas: diferentes padrões de interação social exigem do professor e do aluno competências no processo de (re)construção de conhecimento impulsionam mudanças nas formas de ensinar, aprender, desenvolver o currículo e avaliar

Avaliação on-line: enfrentar conflitos não resolvidos da educação

Educação on-line: diferentes abordagens educacionais Superar abordagens alicerçadas em princípios da organização industrial (Peters,1983): Produção em massa, racionalização e divisão do trabalho Distribuição uniforme de informações Controle dos caminhos Abordagem com foco na aprendizagem, a qualquer tempo, de qualquer lugar: Contextualização Descentralização Flexibilidade Abertura Diversidade Diálogo

Educação on-line: diferentes abordagens educacionais Otimiza os métodos instrucionais Rápida emissão e distribuição de informações Controle da participação e dos produtos Atendimento individualizado Feedback imediato Avaliação automatizada Currículo padronizado Propicia a construção de conhecimento Autonomia na busca de informações Interação e colaboração Acompanhamento e orientação do aluno Atendimento individualizado Feedback personalizado Avaliação formativa Currículo reconstruído na ação A avaliação é coerente com a concepção de currículo assumida.

De qual currículo tratamos? Qual a relação entre currículo e avaliação? De qual currículo tratamos?

De qual currículo tratamos? Currículo que se desenvolve com a mediatização das TDIC (ALMEIDA e VALENTE, 2011) incorpora as características e funcionalidades dos ambientes, ferramentas e interfaces das TDIC na formação registrado nos documentos digitais e nas atividades que se desenvolvem por meio das TDIC disponível para análise, recriação e novos registros Currículo em rede expressa a vida daqueles que fazem parte da rede suas experiências e a realidade que enfrentam dentro e fora da escola, os valores, crenças, conhecimentos, afetos e desafetos. Integra conhecimento do senso comum e conhecimento científico

De qual currículo tratamos? Forma: modo de representação conteúdo Estratégias pedagógicas Experiências dos aprendizes e professores As relações entre currículo e tecnologias se estabelecem para além dos meios e envolvem as mensagens, os contextos e os significados construídos.

Educação e currículo on-line As TDIC são estruturantes do currículo e potencializam: Interação multidirecional: interlocução todos-todos participação de qualquer lugar, a qualquer tempo expansão das atividades cognitivas: tecnologias da inteligência narrativas curriculares individuais que se desenvolvem por meio de múltiplas linguagens: verbal, icônica, sonora, visual, hipertextual diferentes percursos, diversos pontos de partida e chegada “estar junto virtual” (Valente) Produção colaborativa de conhecimento: coautoria Currículo e TDIC: interferências e transformações mútuas Currículo reconstruído na ação WEB CURRÍCULO: incorpora o potencial das TDIC abertas, móveis, imersivas, interativas, conectadas à internet (ALMEIDA, 2010)

Conflitos e desencontros entre discursos e práticas sobre currículo Qual currículo é hoje praticado? Conflitos e desencontros entre discursos e práticas sobre currículo Currículo instituído Seleção cultural institucional, marcada por opções e valores relacionada com o contexto sócio-político-econômico de determinado momento histórico. Fragmentado (grade) Pedagogia disciplinar Estável e hierárquico: base na organização dos alunos no tempo e espaço escolar Avaliação: exames pontuais Planejamento é “aplicado” Políticas curriculares atuais Educação cultural UNESCO Ensino técnico profissional Referenciais curriculares - currículo integrado Trabalho e Educação Teoria e prática Na realidade Diferentes pedagogias e formas de avaliação - “vale tudo”

Currículo e avaliação on-line Estamos realmente explorando o potencial das TDIC no desenvolvimento do currículo e nos processos de avaliação? Questões não resolvidas na educação presencial...

Currículo e avaliação on-line Será que a avaliação que realizamos funciona como um diagnóstico para a melhoria da formação e da aprendizagem ou como instrumento de certificação? A avaliação é formadora ou é um modo de classificar os alunos? Será um instrumento de inclusão e permanência do aluno ou de exclusão e desistência? Estamos incorporando as potencialidades das TDIC para desenvolver o currículo, a avaliação diagnóstica e formadora ou apenas realizamos a avaliação somativa?

Avaliação on-line Avaliação somativa Avaliação formadora Questões de múltipla escolha, verdadeiro/ falso: diferentes combinações Banco de questões objetivas Respondidas de qualquer lugar e a qualquer tempo Correção instantânea / gabarito Feedback automático e imediato Aplicação: para todos os alunos de um curso ou um único aluno, quantas vezes necessário Finalidade: avaliação, estudo simulado ou recuperação. Avaliação: mensurar resultados Fundamento: teorias tecnicistas e comportamentalistas Trabalhos digitais: produções do aluno compartilhada com colegas, professor... Professor: analisa e toma decisão sobre a orientação que pode propiciar avanços na aprendizagem Aluno: reformula o trabalho Registros das etapas de evolução: indicativos de aprendizagem Avaliação: regulação formação e da aprendizagem individual. Fundamentos em: Hadji (2001) – avaliação formativa e contínua Perrenoud (1999) – objeto de aprendizagem do aluno Luckesi (1995) - instrumento de diagnóstico

Avaliação on-line Ultrapassa o nível do professor e do aluno.

Avaliação on-line formadora Avaliação da aprendizagem, do ensino, do curso ou atividade, da instituição... distintas dimensões do processo educativo (pedagógica, tecnológica, de gestão, acadêmica) Processo de reflexão dinâmico numa perspectiva crítica com base na coleta e análise sistemática de informações Impulsiona mudanças no currículo (conteúdo e estratégias de formação) Autoavaliação: ajuda o aluno em seu desenvolvimento mobilizando-o para analisar seu processo de aprendizagem com vistas a compreender as próprias dificuldades e buscar estratégias adequadas para superá-las: propicia ao aluno formular juízo de valor

Avaliação on-line formadora Distintos instrumentos de diagnóstico Resolução de problemas, desenvolvimento de projetos (HERNANDEZ, 1998) Criação de portfólios on-line individuais, de grupos... Publicação da produção ao longo do curso Organização de textos, figuras, gráficos e outras produções portfólios podem ser criados em sites ou em sistemas próprios Registros de fóruns e salas de bate-papo, site, blog do aluno ou PLE (ambientes pessoais de aprendizagem) Mudança nos papéis do professor e do aluno Professor: criador de situações de aprendizagem com múltiplas possibilidades de exploração Aluno: sujeito ativo, com capacidade de produzir, partilhar e interferir sobre o conteúdo em estudo.

Avaliação on-line dilemas e tensões aspectos pedagógicos x tecnologias de suporte instrução construção de conhecimento provas padronizadas X atividades contextualizadas diálogo e comunidade aberta normas do ensino formal reprodução de informações busca de informações, articulação e produção do aluno uso de jogos criação de jogos pelos alunos Reflexão sobre prática execução do ofício Avaliação on-line dilemas e tensões

Avaliação on-line: dilemas e tensões Como enfrentar esses dilemas nas condições de trabalho atuais? Como trabalhar com a análise dos conceitos, procedimentos e atitudes mobilizados nas produções dos alunos com o uso das TDIC? Como propiciar a integração de conhecimentos cotidianos com os conhecimentos sistematizados em livros, internet e outros suportes? A solução será optar por um dos eixos dessa tensão?

Convivência com dilemas e tensões Avaliação como parte do processo de aprendizagem: acompanhar de forma contínua os processos interativos, os caminhos cognitivos e as produções dos alunos Convivência de diferentes modelos nas práticas e procedimentos de avaliação: a estrutura e o funcionamento dos sistemas educacionais preconizam procedimentos avaliativos com base em notas, certificação e classificação a avaliação contínua e formativa convive com limitações tanto de ordem legal como teórica e metodológica. Reconhecer as características de ferramentas e interfaces das TDIC que favoreçam a criação de estratégias de avaliação processual e formativa. Destaque para o uso de portfólios e ambientes pessoais de aprendizagem.

O portfólio como estratégia de avaliação on-line Modalidade de avaliação: origem no campo da arte arquivo ou pasta colecionadora (suporte físico) das obras relevantes do artista percurso profissional e explicita as competências Fundamento: natureza evolutiva do processo de aprendizagem traz as evidências das aprendizagens do aluno permite identificar a forma como são analisados os objetivos da aprendizagem e analisar o que foi ou não cumprido e o que ocorreu e não era previsto

O portfólio digital como estratégia de avaliação on-line Instrumento de avaliação e de aprendizagem em diferentes níveis e modalidades de ensino: Cursos, desenvolvimento profissional, atividades reflexivas de formação Diferentes suportes: CD-ROM, DVD, pen drive Potencializado pela internet: web portfólio, e-portfólio ou webfólio, PLE colecionar, selecionar e compartilhar a produção significativa de uma pessoa durante seu percurso de formação ao longo da vida condição de desenvolvimento pessoal e profissional organização do processo de construção do cohecimento

Webfólio e a avaliação on-line portfólio reflexivo integrado a um “repositório digital” permite ao autor: selecionar os trabalhos que deseja armazenar para uso posterior reelaborar de seus processos e produções estabelecer conexão com os repositórios de seus pares e com a sua comunidade virtual de aprendizagem escrever a própria história, rever caminhos percorridos e aprofundar a reflexão sobre eles exercício de seleção do que é relevante atividade de organização, análise e síntese da experiência Experiência envolve o fazer e o refletir sobre o fazer.

Análise de um cenário A profa. Maria Alice foi convidada a participar como docente autor (conteúdo e atividades) de uma disciplina de um curso de especialização a distância. A disciplina tem 40h de curso, com 28h a distância e 12h presenciais em 3 encontros de 4h. O objetivo da disciplina é tratar da Legislação da Educação a Distância no Ensino Superior. Os alunos podem ser avaliados tanto em atividades presenciais como a distância e, cabe à Profa. Maria Alice especificar também como pretende desenvolver o processo de avaliação dos alunos. Vamos ajudar Maria Alice em sua tarefa de conceber o processo de avaliação da disciplina?

Exemplos Gomes (2005), Universidade do Minho: uso de blog como portfólio digital no ensino superior na organização e apoio à aprendizagem instrumento de avaliação e acompanhamento longitudinal do aluno – participação, processo e produtos Charczuk E Menezes (s/d), Curso de Pedagogia – UFRGS uso de blog gratuito na construção de portfólios digitais de aprendizagens e nos processos de avaliação Fonseca (2006), curso de Comunicação Social, Universidade de Uberaba proposta de avaliação de uso sistemático do blog contribuição para a conscientização dos alunos sobre o desenvolvimento de seus conhecimentos A participação e os comentários do professor são referência para a postura dos alunos e há que haver reciprocidade e compromisso de todos.

Dificuldades e avanços Usos de webfólio mostram algumas dificuldades: fazer com que os alunos comentem criticamente os portfólios dos colegas e suas produções baixa qualidade da conexão à internet para o trabalho online pequena capacidade de armazenamento e o modo de organizar as informações de algumas ferramentas e interfaces Tempo do professor para ler e comentar as produções dos alunos Uso de PLE - Personal learning Environments: associado a ferramentas da Web 2.0 ambiente auto-controlado: personalização e gerenciamento do ambiente faz parte do processo de aprendizagem (ATTWELL, 2007) aprendizagem ocorre em processo, o aprendiz tem papel ativo na organização e produção de seus próprios materiais de aprendizagem

Estudo de caso específico: Projeto Gestão Escolar e Tecnologias (PUC/SP, 2004 a 2009)

Projeto Gestão Escolar e Tecnologias - GET (PUCSP, 2004 a 2009) Formação de gestores para a gestão das tecnologias das unidades do ensino e para a incorporação de recursos tecnológicos no trabalho da gestão escolar Desenvolvidos em parceria com Secretarias de Educação de vários estados Formação continuada em serviço : Experiência Reflexão Especificidades do trabalho do gestor Gerou diversos estudos, artigos em periódicos, livros, teses e dissertações

Em 2008 o Projeto Gestão Escolar e Tecnologias foi recontextualizado para a realidade do ensino técnico e tecnológico (Centro Paula Souza) O curso se desenvolveu na modalidade híbrida e on-line (68% distância – usando AVA e 32% presencial) 118 unidades de ensino (105 escolas técnicas e 13 faculdades de tecnologia) envolvendo 450 profissionais: diretores, coordenadores pedagógicos e professores que atuam em posição de liderança e em órgãos de gestão

Princípios educacionais As tecnologias que dão suporte para a formação on-line: estruturantes do currículo e da avaliação, instrumentos de uso em práticas de gestão e objeto de reflexão sobre como gerir sua utilização na escola Unidade escolar: organização viva, aprendente, geradora de conhecimento (Fullan, Hargreaves, 2000) e de políticas responsável pelo desenvolvimento do currículo. Repensar a educação de forma mais ampla integrando as dimensões: da gestão, pedagógica, técnico-administrativa, social e política.

Gestão Escolar e Tecnologias: diversas edições transformação e contextualização Ano Edições População atendida 2004-2006 1ª - Secretaria de Estado da Educação de S. Paulo 10.680 2005-2006 Secretaria de Estado da Educação de Goiás 1.200 2006 2ª - Conselho Nacional de Secretários de Educação– CONSED 17.280 2007 3ª - UNDIME 200 2008-2009 4ª - CONSED - Universidades 1.800 2009 5ª - Centro Paula Souza – ETEC e FATEC 450

Sistema de avaliação Avaliação do projeto e da aprendizagem Avaliação interna Avaliação externa Instrumentos de coleta de dados Cronograma de aplicação dos instrumentos Análise de dados Uso dos resultados na tomada de decisões

Avaliação Interna do projeto Investigação reflexiva, crítica e constante COMPREENDER AS INTER-RELAÇÕES ENTRE AS DIVERSAS DIMENSÕES DO PROJETO Reformulações necessárias sem perder os propósitos do projeto

Gestão Escolar e Tecnologias Avaliação do projeto - qualiquantitativa IMPACTO – uso do software CHIC -Questionários on-line (Q1 e Q2 – início e final do curso) -Entrevistas semi-estruturadas: escolas, após término do curso PROCESSO -Análise dos Memoriais reflexivos dos alunos - portfólios -Informações coletadas periodicamente junto aos professores RESULTADOS -Notas obtidas pelos alunos -Freqüência, evasão -Informações colhidas em grupo focal

Avaliação de impacto Verificação de mudanças significativas na realidade em que as ações do Projeto foram desenvolvidas. Metodologia para avaliação de impacto: Questionários paralelos on-line: Tipo “antes – depois” Uso do CHIC na análise dos dados: árvores hierárquicas de inter-relação entre os dados Q1: perfil do gestor em relação ao uso das TIC na gestão Q2: mudanças na conscientização da importância das TIC na gestão; proposição, revisão, otimização de ações com o uso das TDIC Entrevista nas UE: implementação das ações e projetos nas EU fatores que favoreceram a implementação, resistências e dificuldades Avaliação de impacto A avaliação de impacto neste processo avaliativo representou a verificação de mudanças significativas, positivas ou negativas, na realidade na qual as ações do Projeto foram desenvolvidas e, especialmente, por ele provocadas. A metodologia para avaliação de impacto foi do tipo “antes – depois” (Draibe, 2001), com a aplicação de dois questionários paralelos, no início do curso (Q1) e no final do curso (Q2). O questionário Q1 teve como finalidade a elaboração de um diagnóstico do perfil do gestor em relação ao uso que já fazia, ou não, das TIC na gestão escolar antes da entrada no curso. O questionário Q2 visava verificar a ocorrência de mudanças em termos de: conscientização da importância das TIC na gestão, proposição, revisão, maximização de ações com o uso das TIC. As comparações do tipo “antes – depois” enquadram-se nas abordagens das avaliações não experimentais, e seus resultados tendem a mostrar-se limitados. Para minimizar essa possível fragilidade foram preparadas estagiárias (alunas de Mestrado em um curso de pós-graduação cujos docentes foram responsáveis pela concepção, desenvolvimento e avaliação do Projeto) que, dentro da viabilidade do Projeto, realizaram entrevistas com os gestores na própria escola em que estes atuam, três meses após o término do Curso. As informações recolhidas complementaram os resultados obtidos pela análise dos questionários Q1 e Q2.

Avaliação da aprendizagem Ponto de Partida: diagnóstico Os cursistas produziram em equipe (grupo gestor da UE) um vídeo sobre a marca da sua unidade de ensino. Demandou de cada equipe revisitar a própria UE, identificar as potencialidades, restrições contextuais e reais de uso das TDIC – diagnóstico. Processo e produto: ação de uso das TDIC na gestão da UE projeto de gestão das tecnologias da UE Acompanhamento pelo formador por meio de interações no ambiente virtual e produções organizadas no portfólio Relatório da ação e do projeto: uso de banco de dados pelo formador - categorias e subcategorias evidenciados Auto-avaliação: memorial reflexivo Acompanhamento da implantação inicial do projeto

Sistema de informações para a formação Geração e fluxo de documentos Coleta, análise e uso das informações para a tomada de decisões Socialização das informações: atribuição de sentido Formulários de acompanhamento Qualitativo Quadro de atividades da formação, práticas na unidade de ensino e projetos Banco de dados

Lições Aprendidas Diagnóstico inicial: atendimento às especificidades contextuais Processo de avaliação concomitante ao andamento do projeto: procedimentos estatísticos, análise qualitativa e estudo de caso avaliação em três dimensões: processo, resultados e produto Concepção, procedimentos e critérios de avaliação da aprendizagem: Socializados e compreendidos pelos cursistas

Lições Aprendidas Aumento da escala de atendimento: procedimentos padronizados para a gestão de informações, documentos e processos: Orientação explícita sobre produção, fluxo, armazenamento e recuperação de documentos Objetividade na definição de informações relevantes para subsidiar as decisões Formação em serviço e integrada à pesquisa: formação-ação-reflexão reconstrução contínua da formação

Referências ALMEIDA, M. E. B. ; VALENTE, J. A. Tecnologias e Currículo: trajetórias convergentes ou divergentes? São Paulo: Paulus, 2011. ALMEIDA, M. E. B. Web Currículo, caminhos e narrativas. In: Anais do II Seminário Web Currículo. [publicação em CD-ROM]. São Paulo: PUC-SP, 2010. ATTWELL, G. Personal Learning Environments-the future of eLearning? ELearning Papers 2. (2007): 1-8. CHARCZUK, S. B.; MENEZES, C. S. A utilização de blogs como portfólio de aprendizagens e procedimento de avaliação interdisciplinar no curso de pedagogia a distância (PEAD/UFRGS). s/d. Consulta em 18/01/2010: http://www.pead.faced.ufrgs.br/sites/publico/pead-informacoes/comun_SIMONEB24.pdf FONSECA, A. A. O uso do diário virtual (blog) como portfólio digital: uma proposta de avaliação. In: Intercom – Sociedade Brasileira de Estudos Interdisciplinares da Comunicação. XXIX Congresso Brasileiro de Ciências da Comunicação – UnB, 2006. GOMES, M. J. Blogs: um recurso e uma estratégia pedagógica. In: VII Simpósio Internacional de Informática Educativa – SIIE05 Leiria, Portugal, 2005. Disponível: https://repositorium.sdum.uminho.pt/ (acesso 15.12.2009) HADJI, C. Avaliação desmistificada. Porto Alegre: ARTMED, 2001. HERNÁNDEZ, F. Transgressão e mudança na educação: os projetos de trabalho. Porto Alegre: Artmed, 1998. VALENTE, J. A. A espiral da aprendizagem e as tecnologias da informação e comunicação: repensando conceitos. In: JOLY, M. C. R. A. (Org). A tecnologia no ensino: implicações para a aprendizagem. São Paulo: Casa do Psicólogo, 2002.

Avaliação em Cursos On-Line Maria Elizabeth Bianconcini de Almeida Pontifícia Universidade Católica de São Paulo Programa de Pós-Graduação em Educação: Currículo bethalmeida@pucsp.br