Avaliação das Sessões de Aprendizagem Avaliação do impacto da hora do conto: experiência da aplicação da metodologia EIRAA Álvaro Fernandes | Maria José Leite | Leonor Gaspar Pinto | Paulo Silva | César Ferreira Avaliação das Sessões de Aprendizagem “Iniciação às TIC1” Setembro | 2009

Avaliação das Sessões de Aprendizagem Programa de Promoção da(s) Leitura(s) Divisão de Gestão de Bibliotecas Objectivos Gerais Identificar a Rede Municipal de Bibliotecas de Lisboa como um espaço privilegiado de acesso à informação e ao conhecimento e potenciador de leitura(s); Consolidar e ampliar o papel social e educacional da Rede Municipal de Bibliotecas de Lisboa no desenvolvimento de hábitos de leitura e de competências de literacia da informação. Linhas de Acção Linha de Acção I – Promoção da Leitura e Colecções Linha de Acção II – Promoção da Literacia de Informação Linha de Acção III – Promoção da Cidadania Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Avaliação das Sessões de Aprendizagem Programa de Promoção da(s) Leitura(s) Divisão de Gestão de Bibliotecas Linha de Acção I – Promoção da Leitura e Colecções Objectivos Específicos Promover o contacto precoce com o livro e com a leitura; Estimular o gosto pela leitura; Diversificar interesses e práticas de leitura; Promover o livro como forma de prazer e de lazer; Promover o gosto pela partilha da leitura e do livro; Promover e divulgar as colecções existentes na RMBL, assim como os autores. Os indicadores de desempenho para estas actividades incidem no número de actividades previstas e realizadas, número de participantes e nível prossecução dos objectivos, todavia, no âmbito de cada projecto/ actividade, esta questão exige uma análise específica. Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Matriz de Impacto O quê? Dá-me um livro…Conto-te uma História Caracterização os serviços/actividades a ser avaliados O quê? Dá-me um livro…Conto-te uma História Crianças em Idade Escolar: Grupos/Turma 1º Ciclo Ensaio da aplicação metodologia medição impactos Teste instrumentos de recolha Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Matriz de Impacto Caracterização os serviços/actividades a ser avaliados “Dá-me um livro… Conto-te uma História” Os desafios que se colocaram à concepção da actividades foram: 1. Como contribuir para promover o gosto por ouvir e ler histórias nas crianças do 1º Ciclo? 2. Como contribuir para a promoção de hábitos de leitura nas crianças do 1º Ciclo? 3. Como contribuir para promover a frequência de bibliotecas junto das crianças do 1º Ciclo? Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Avaliação das Sessões de Aprendizagem ETAPA 1 Construa a “Estória” Necessário porque… - Cria as bases instrumentais, sociais e culturais, para uma fruição plena da cidadania na sociedade de informação e do conhecimento; - Permite intensificar o processo de difusão de aquisições precoces ao nível da Literacia; - Cativa novos públicos para a utilização das bibliotecas. Recursos - Salas equipadas das bibliotecas municipais - Acervo documental actualizado - Técnicos com formação especifica e experiência na área Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Avaliação das Sessões de Aprendizagem ETAPA 1 Construa a “Estória” Onde e Quando? 2 Bibliotecas Municipais Pelo menos 6 Sessões Pelo menos 130 participantes Final do Ano Lectivo 2008/2009 Resultados e efeitos definidos N.º de bibliotecas envolvidas Indicadores N.º de participantes N.º de sessões Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

ETAPA 2 Seleccione Indicadores SMART Encadeamento para cada tipo de Efeito Global de Aprendizagem EGA : Conhecimento e Compreensão Resultados e efeitos definidos Indicador Método de Recolha - Projecta-se que, pelo menos metade dos Professores considerem que a actividade contribuiu para promover os hábitos e competências de leitura da turma; - Projecta-se que mais de metade dos Alunos compreendam bem a história abordada e os respectivos personagens. Nº de Professores que atribuíram um valor igual ou superior ao valor médio a simultaneamente: “3.2 Contributo para aumentar as competências de leitura da turma” Nº de Alunos que atribuíram o valor máximo a: “1.1 Acho que percebi tudo sobre a história e os personagens” Ficha de Avaliação da Actividade pelo Professor (Escala O a 4) Ficha de Avaliação da Actividade pelos Alunos (Escala 1 a 3) Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Avaliação das Sessões de Aprendizagem ETAPA 2 Seleccione Indicadores SMART Efeitos Esperados (Outcomes) Aquisição de Competências Resultados e efeitos definidos Indicador Método de Recolha Projecta-se que, pelo menos, três quartos dos Professores envolvidos considerem que a actividade contribuiu para aumentar as competências de leitura da turma Ficha de Avaliação da Actividade pelo Professor Nº de Professores que atribuíram o valor médio a: “3.2 Contributo para aumentar as competências de leitura da turma” Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Avaliação das Sessões de Aprendizagem ETAPA 2 Seleccione Indicadores SMART Efeitos Esperados (Outcomes) Atitudes e Valores Indicador Resultados e efeitos definidos Método de Recolha Nº de Professores cuja média do valor Atribuído a: “1 – Avaliação do nível de interesse das actividades” e “2 – Apreciação do desempenho do animador” , seja superior ao valor médio Nº de Professores que atribuíram pelo menos o valor médio a “3.3 Contributo para os hábitos de leitura da turma” Nº de Alunos que atribuíram o valor máximo a todos os itens do grupo “ 1 – Avaliação da actividade face aos objectivos” todos os itens do grupo 2 – Avaliação global do desenvolvimento da actividade” Projecta-se que, pelo menos metade dos Professores e Alunos considere muito conseguida a experiência proporcionada pela actividade Ficha de Avaliação da Actividade pelo Professor Actividade pelos Alunos Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Avaliação das Sessões de Aprendizagem ETAPA 2 Seleccione Indicadores SMART Efeitos Esperados (Outcomes) Divertimento, inspiração e criatividade Resultados e efeitos definidos Indicador Método de Recolha Ficha de Avaliação da Actividade pelo Professor Actividade pelos Alunos Nº de professores que atribuíram o valor médio a: “3.1 Contributo para aumentar o gosto da turma pela leitura” Nº de Alunos que atribuíram o valor máximo a: “1.2 Acho que foi tudo divertido” - Projecta-se que pelo menos metade dos Professores considere que a actividade contribuiu para aumentar o gosto da turma pela leitura - Projecta-se que, pelo menos metade dos Alunos considere a actividade muito divertida Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Resultados e efeitos definidos Avaliação das Sessões de Aprendizagem ETAPA 2 Seleccione Indicadores SMART Efeitos Esperados (Outcomes) Actividades, comportamentos e Progressão Resultados e efeitos definidos - Projecta-se que pelo menos metade dos Alunos manifestem gosto e vontade por vir a ler - Projecta-se que o Professor demonstre a intenção de participar com regularidade neste tipo de actividade. - Projecta-se que o Professor venha a utilizar a actividade para complementar o desenvolvimento das suas estratégias educativas. - Projecta-se que pelo menos metade dos Alunos demonstre maior apetência por ler. Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Avaliação das Sessões de Aprendizagem ETAPA 2 Seleccione Indicadores SMART Efeitos Esperados (Outcomes) Actividades, comportamentos e Progressão Indicadores - Nº de Alunos que atribuíram o valor médio a: 1.3 Gostei porque me ensinou uma nova história - Nº de Alunos que atribuíram o valor médio a: 3.1. Depois disto vou passar a ler mais histórias - Resposta “Sim” à questão “4 Pensa voltar a participar neste tipo de actividades a realizar pela RMBL?” Incremento de um valor numa escala de “articulação entre estratégias de aprendizagem da leitura e promoção de leitura; - Incremento de um valor da actividade “Leitura” no grupo “1.1 Classifica das actividades semanais por grau de importância” - Incremento de 25% no nº de alunos que identificam pelo menos o nome de um título de uma lista de histórias; - Incremento do valor médio para o valor máximo, em “3.2. Vou passar a ir mais vezes à Biblioteca Municipal” Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Avaliação das Sessões de Aprendizagem ETAPA 2 Seleccione Indicadores SMART Efeitos Esperados (Outcomes) Actividades, comportamentos e Progressão Método de Recolha Ficha de Avaliação da Actividade pelos Alunos Actividade pelo Professor Guião para “Follow-up” Aplicação posterior Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Método de recolha e instrumentos concebidos ETAPA 3 Escolher os métodos de recolha de dados Método de recolha e instrumentos concebidos Ficha de inscrição Mapas de Monitorização Ficha de Avaliação da Actividade pelos Alunos Actividade pelos Professores Foto Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

ETAPA 3 Escolher os métodos de recolha de dados Redefinição de objectivos: Teste efectuado com crianças que frequentavam as Actividades de Verão durante o período de férias escolares Grupos Diversificados acompanhados por Monitores/Animadores) Adaptação dos Métodos de recolha às Crianças Escala de Classificação das Respostas Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Avaliação das Sessões de Aprendizagem ETAPA 4 Analisar os dados Resultados Obtidos (Outputs) Envolver 3 Bibliotecas Municipais (Orlando Ribeiro; David Mourão-Ferreira; Natália Correia) Envolveu 47 participantes Abranger 3 sessões Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Avaliação das Sessões de Aprendizagem ETAPA 4 Analisar os dados Quadro Comparativo Produto esperado Produto obtido Envolver 2 bibliotecas Envolver pelo menos 130 Participantes Realizar pelo menos 6 sessões Aplicação da Metodologia EIRAA (um processo completo) a uma actividade 3 bibliotecas envolvidas (Orlando Ribeiro; Natália Correia; David Mourão-Ferreira) 47 (44 crianças e 3 adultos) participantes envolvidos 3 sessões realizadas Teste dos instrumentos de recolha de dados Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Avaliação das Sessões de Aprendizagem ETAPA 4 Analisar os dados Resultados por Efeitos Gerais de Aprendizagem Resultado: Conhecimento e Compreensão 79,5% das crianças atingiram o nível 3 (máximo de concordância numa escala de 1 a 3) em relação ao item em questão: compreenderam a história e os personagens Todos os adultos consideram que contribuiu para aumentar os hábitos e competência de leitura Resultado: Aquisição de Competências Todos os adultos consideram que contribuiu para aumentar os hábitos e competência de leitura Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Avaliação das Sessões de Aprendizagem ETAPA 4 Analisar os dados Resultados por Efeitos Gerais de Aprendizagem Resultado: Atitudes e Valores (68%) das Crianças consideraram que a actividade alcançou o objectivo ao nível máximo (compreenderam a história e consideraram divertida) (72,7%) das crianças atribuíram o valor máximo à actividade (incluindo local, actividades complementares e quem contava) Todos os adultos atribuíram o valor máximo à actividade a todos os níveis: Nível de interesse da actividade; Apreciação desempenho do Animador Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Avaliação das Sessões de Aprendizagem ETAPA 4 Analisar os dados Resultados por Efeitos Gerais de Aprendizagem Resultado: Divertimento, inspiração e criatividade Todos os adultos consideraram que a actividade contribui para aumentar o gosto do grupo pela leitura 61,3% das crianças considerou a actividade divertida Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Avaliação das Sessões de Aprendizagem ETAPA 4 Analisar os dados Resultados por Efeitos Gerais de Aprendizagem Resultado: Actividades, Comportamentos e Progressão (A aplicar Posteriormente) (47,7%) Das crianças manifestou que iria passar a ler mais depois da actividade; O restantes indicadores relativos a este Efeito (EGA) não foram recolhidos Projecta-se a utilização do processo de ”Follow-up” na recolha de dados sobre a evolução hábitos de leitura e a importância da leitura para um ensaio com Grupos-Turma, para a mesma actividade mas com a recolha dos dados em dois momentos diferentes do ano lectivo Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Desenvolvimentos Futuros Matriz de Impacto Caracterização os serviços/actividades a ser avaliados para O quê? Aplicação da metodologia a Grupos-Turma Envolvimento de 10 bibliotecas/ ano Pelo menos 520 participantes/ ano Pelo menos 20 sessões/ ano lectivo Objectivos do Processo: Aplicação Metodologia EIRAA de forma articulado com o PAD Programa de Avaliação de Desempenho da RMBL Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Avaliação das Sessões de Aprendizagem ETAPA 1 Onde e Quando? Requisitos: 1- Aplicação ao mesmo grupo Outubro/Novembro 2009 e Maio 2010; 2- Periodicidade: Bianual (aplicação de instrumentos follow-up por amostragem) Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”

Avaliação das Sessões de Aprendizagem Obrigado Contacto: dgb.spa@cm-lisboa.pt Avaliação das Sessões de Aprendizagem “Iniciação às TIC1”