Avaliação de Programas Universidade de Brasília (UnB) Faculdade de Economia, Administração, Contabilidade e Ciência da Informação e Documentação (FACE) Profa: Gardênia da Silva Abbad Avaliação de Programas Objetivo, Usos e Distinções Conceituais Fontes: Capítulo 1 – Wonders, Sanders e Fitzpatrick e Abbad (2006)

Definição, distinções Avaliar Mensurar Julgar

Definição, distinções Pense em uma situação que envolve mensuração e emissão de julgamento de valor. A verificação da temperatura corporal de uma criança é um exemplo que ilustra a distinção entre mensuração e avaliação. No caso da avaliação de temperatura, precisamos de: um instrumento de medida (o termômetro), uma unidade de medida (graus centígrados), procedimentos de aplicação (colocar o termômetro embaixo de um dos braços da criança e mantê-la quieta por três minutos enquanto é feita a mensuração), leitura e interpretação das informações coletadas através do termômetro. critério de avaliação.

Definição, distinções - Julgar o valor ou o mérito de alguma coisa (Scriven, 1967) Estimar o quanto objetivos específicos foram alcançados. Pesquisar e mensurar. Emitir juízo profissional Realizar auditoria. Controlar a qualidade.

Definição, distinções Identificação , esclarecimento e aplicação de critérios defensáveis para determinar o valor ou mérito, a qualidade, a utilidade, a eficácia ou a importância do objeto avaliado. Avaliação usa métodos de pesquisa e julgamento Padrões relativos ou absolutos para julgar a qualidade; Coleta de informações relevantes; Aplicação dos padrões para determinar qualidade, utilidade, eficácia ou importância.

Definição, distinções Verificação da temperatura corresponde à mensuração, pois estamos medindo o quanto a criança possui desse atributo. Se o resultado da leitura indicar uma temperatura de 39,2 graus Celsius, pode-se dizer que a criança está com febre alta. Isto é um julgamento de valor, feito a partir de uma medida e de um critério de avaliação (temperaturas iguais ou superiores a 37,5 indicam febre), que serve de referência para que o julgamento de valor possa ser emitido. 

Definição, distinções A emissão de julgamento de valor, depende, além de mensuração, de critérios ou normas. Os critérios são fixos (absolutos) como a indicação do ponto em que uma temperatura corporal deixa de ser normal e passa a ser considerada febre. Esse é um exemplo de avaliação referenciada em critérios, que possibilita a avaliação direta do atributo comparando-se a medida tomada com o ponto de referência. A avaliação de altura, inteligência, rendimento do aluno no vestibular e peso de uma pessoa, por outro lado, exige o estabelecimento de normas que ajudam o avaliador a classificar o indivíduo com alto, médio ou baixo, em relação a outras pessoas, residentes no mesmo país e que possuem a mesma faixa etária e pertencem ao mesmo sexo etc. As normas de peso e altura para mulheres são diferentes das normas para homens. Quando a medida é a posição relativa a um grupo ou similar, diz-se que a medida está referenciada em normas. Alguns autores preferem denominar esse tipo como avaliação relativa.

Objetivos da avaliação Obter dados sobre o funcionamento de um programa. Aprimorar e ajustar processos e atividades em andamento. Avaliar eficiência. Avaliar resultados em diferentes níveis de análise. Aferir o valor final. Julgar as validades interna e externa do programa. Tomar decisões sobre o futuro do programa.

Exemplo de questões a responder ao delinear uma avaliação de programas instrucionais a distância Respostas Para que avaliar? Avaliação formativa Para validar o desenho de um programa junto a uma amostra de especialistas em conteúdos e educação a distância, de pessoas de perfil similar ao do público-alvo. Para aperfeiçoar o desenho instrucional e atividades, adequando-os à natureza das necessidades educacionais, perfil e contexto do público-alvo. Avaliação somativa Para avaliar a efetividade de um curso nos níveis almejados. Para comparar resultados obtidos através do curso com os objetivos educacionais. Para aprimorar o desenho de eventos subseqüentes. Para julgar a validade interna do curso (verificar o quanto e se o curso foi capaz de gerar os resultados que almejava). Para julgar a validade externa do curso, isto é se e quanto os resultados do curso são generalizáveis para outros contextos e público-alvo. Para ajustar processos de análise das necessidades educacionais e de desenho instrucional, anteriores à implementação do curso e que exerceram influência sobre os resultados obtidos pelo evento. Fonte: Abbad (2006)

Exemplo de questões a responder ao delinear uma avaliação de programas instrucionais a distância O que medir? Reações dos alunos ao desenho ou ao curso implementado Aprendizagem (alcance dos objetivos educacionais) Aplicação do aprendido em outros contextos (transferência de aprendizagem) Mudança ou impacto no contexto Valor final (retorno social, retorno do investimento financeiro) Com o que medir? Questionários Provas, testes, ensaios, monografias, simulações Roteiros de Observação Roteiros de análise documental Roteiros de entrevista Indicadores de desempenho do aluno (antes, durante e após o curso) Indicadores de desempenho do grupo, comunidade, rede, (antes, durante e após o curso) em que se insere o egresso do curso. Fonte: Abbad (2006)

Exemplo de questões a responder ao delinear uma avaliação de programas instrucionais a distância Como medir? Aplicação de questionários Análise documental Aplicação individual ou em grupo (in loco ou a distância). Auto-aplicação ou aplicação coletiva Questionários impressos, digitalizados ou eletrônicos Grupos focais Com que parâmetros (critérios ou normas)? Critérios descritos nos objetivos educacionais Normas associadas ao alcance dos objetivos educacionais Quais fontes de informação utilizar? Arquivos eletrônicos de dados Documentos Aluno (percepções, reações, rendimento) Professor, tutor Especialista nos conteúdos do curso Profissionais de informática Profissionais de desenho instrucional Fonte: Abbad (2006)

Exemplo de questões a responder ao delinear uma avaliação de programas instrucionais a distância Como conferir validade às conclusões sobre a efetividade do curso? Investigando explicações alternativas para os resultados. Isto é feito identificando os fatores que contaminaram as medidas de resultados, ou seja, fatores externos ao curso que tenham causado os resultados: aprendizagem, reações dos alunos ao curso etc. Além disto, a análise da validade interna do curso depende da investigação do quanto o curso e esses fatores externos influenciaram os resultados. Qual o delineamento de pesquisa mais adequado à situação? Se o objetivo da avaliação for produzir conhecimentos científicos sobre efetividade de cursos, os delineamentos mais indicados são diversas variações de desenhos experimentais ou quase-experimentais de campo (com grupo(s) controle(s), com (ou sem) escolha aleatória de alunos para composição dos grupos de comparação, pré-teste(s) e pós-teste(s)). Se objetivo da avaliação for apenas produzir informações que possibilitem a realização de mudanças capazes de aumentar a efetividade de cursos e sistemas instrucionais, o delineamento precisa ser cuidadoso, porém não tão rigoroso como no caso citado anteriormente. Pode ser feita junto a uma amostra de pessoas qualitativamente representativas do público-alvo através de estudo qualitativo e em profundidade. Fonte: Abbad (2006)

Avaliação formativa e somativa Avaliação formativa: aplicada para testar os materiais, atividades , processos de trabalho e resultados parciais de um programa. Geralmente é realizada no início do programa e visa modificá-lo, ajustando-o às necessidades do público-alvo e ao contexto. Exemplo: Na avaliação educacional, uma avaliação formativa completa compreende pré-teste, testes durante a instrução e pós-teste. - O pré-teste informa o nível de ingresso ou repertório de entrada do participante no que diz respeito ao conteúdo do treinamento. É um ponto de referência para julgar o nível de desempenho do participante ao final do curso. Objetivos: validar e aperfeiçoar o desenho e materiais do curso, antes de sua aplicação definitiva em todo o público-alvo, bem como identificar eventuais dificuldades do aluno e buscar estratégias remediativas de ensino, como prática adicional para garantir uma melhoria no rendimento dos aprendizes.

Avaliação interna e externa Vantagem: o avaliador conhece mais o programa do que um avaliador externo Risco: falta de distanciamento para analisar pontos fracos. dificuldade de emitir julgamentos com precisão e objetividade., pertencer a uma das coalizões de poder. Externa Vantagem: avaliador externo teria mais objetividade e menos interesses em jogo. Riscos: O avaliador pode desconhecer informações relevantes sobre o contexto (coalizões internas e internas, relações de poder, etc) , deixar-se influenciar por uma das coalizões.

Combinações de papéis 1. Formativa interna 2. Formativa Externa 3. Somativa Interna 4. Somativa Externa

Limitações da avaliação (ou mau uso da avaliação?) Expectativa de que a avaliação sozinha solucione os problemas. Avaliações indicam caminhos, mas não resolvem os problemas. 2. Utilização inadequada ou parcial dos resultados . 3. Avaliação encarada como uma pesquisa de corte transversal e não longitudinal, processual e dinâmica 4. Planejamento inadequado da avaliação - delineamento incompatível com a natureza do programa -falta de controle ou conhecimento explicações alternativas para os resultados do programa. 5. Apresentação confusa e pouco objetiva dos resultados. 6. Disseminação inadequada dos resultados (para uma única fonte ou stakeholder). 7. Interpretação tendenciosa dos resultados (falta de relação entre dados concretos e interpretações). 8.Falta de crítica aos procedimentos e relativização dos resultados.