OFICINA DE AVALIAÇÃO DO PROJETO TRANSPARENCIA UDESC/ICOM Dias 8 e 9 de setembro de 2011.

Necessidades e expectativas

O que primeiro vem à mente quando escutamos a palavra avaliação?

Avaliar nos lembra...

Avaliar nos lembra...

Crença de que o erro é ruim O criança que acerta é premiada. Os erros vão sendo tacitamente colocados na penumbra da nossa prática Passamos a ter vergonha dos nossos erros Com isso, tendemos a nos afastar das experiências em que erramos, perdemos muito a capacidade de aprender com elas.

O erro é funcional e útil A criança começando a andar ou a comer sozinha, erra 10, 50 vezes sem vergonha ou restrição, e seu sistema vai corrigindo, se aprimorando

Como educadores: Como nós criamos um ambiente ao redor da criança que seja tolerante e paciente com os erros, que permita confiança para a criança se rever, refletir, sem reforçar a vergonha do erro?

Como gestores Como criar um ambiente em que haja paciência e tolerância com os erros, para podermos nos aproximar deles e então aprender?

Proposta Ampliar nossos conhecimentos e práticas sobre avaliação nas organizações com vistas à aprendizagem.

O que queremos avaliar? A qualidade de nosso trabalho O desenvolvimento daqueles a quem atendemos A satisfação de nosso cliente Os efeitos de nosso trabalho na sociedade

Como avaliar se o que estamos fazendo está promovendo a melhoria das condições de vida dos que atendemos?

Conhecemos nosso público-alvo? Caracterize o seu público-alvo: O que ele é, o que faz, o que busca, o que necessita, como está quando vem à sua organização. Escolha um público e liste 10 características, no mínimo.

Conhecemos a natureza de nossa intervenção? Descreva o que sua ação propicia. O que é característico de sua ação. Liste 10 características de sua intervenção.

Conhecemos os efeitos de nossa intervenção? Descreva mudanças observadas no público atendido, em função de sua intervenção. Fuja dos jargões e palavras genéricas (ex auto-estima, inclusão). Liste 10 características de mudanças percebidas.

O que mostra que uma criança está crescendo?

O que demonstra que uma criança está se desenvolvendo?

O que indica desenvolvimento? São sinais que se revelam mais no âmbito dos relacionamentos, no “entre”; Como a pessoa se relaciona consigo mesma, com as outras pessoas e com o mundo ao redor. São sinais não do mundo da matéria, mas perceptíveis, visíveis, comunicáveis, registráveis. Observáveis e comunicáveis tanto por quem intervém como por quem vive a ação.

Perceber desenvolvimento Requer presença, atenção, proximidade, acompanhamento Requer registro, reflexão, comparação Requer ter olhos para a mudança, para o movimento. Requer aceitação para o que está acontecendo, seja o desejável ou não. Se nos prendemos ao esperado, perdemos o inesperado.

Construindo indicadores indicadores são aspectos da realidade que tomamos como base para melhor compreender esta realidade (objeto avaliado). São instrumentos que ajudam os interessados a olharem “juntos” para a realidade. podem ser qualitativos ou quantitativos. precisam ser compreendidos por todos. precisam permitir diferenciação entre realidades diferentes e comparação entre momentos diferentes. Específico, Mensurável, Sensível, Inteligível e Confiável

Meios de colheita de informações Na prática cotidiana da organização, como posso acompanhar concretamente o desenvolvimento do meu público alvo?

Marco zero ou linha de base Caracterização do indivíduo quando chega ou no início da intervenção: Entrevista, anamnese Teste individual Observação, descrição ...

Acompanhamento: Diário de campo: leitura dos movimentos percebidos (não movimentos também). Pedir para a educadora escrever uma linha sobre cada criança ao final do dia. Avaliações periódicas Reuniões de mães Dia de atividades pais e filhos Reuniões de educadores

O acompanhamento e o registro: Permitem desenvolver olhos para a mudança, Permite identificação de erros e acertos, para correção da prática Produz conteúdos para comunicação Permite a qualificação profissional... ... sem gastarmos um real a mais.

Transformando indicadores qualitativos em quantitativos Número de crianças que: Desenvolveram novas atitudes de colaboração, ajuda mútua Aprenderam e realizam as tarefas de cuidado pessoal e com seus objetos de uso pessoal Desenvolveram hábitos espontâneos de leitura ...

Indicadores quantitativos Número de mães que: Relatam ter diminuído ou cessado as punições físicas Relatam mudança nos hábitos alimentares da família Buscaram os serviços de inclusão social: emissão de documentos, AA, cesta básica, seguro-desemprego, etc. ...

1º dia: Avaliação orientada à leitura de movimentos do nosso público-alvo (marco zero, acompanhamento, indicadores de desenvolvimento, formas de colheita de informações).

2º dia: Avaliação orientada à aprendizagem e fortalecimento da equipe e da prática Avaliação do trabalho voluntário Avaliação de situações difíceis: 3 situações.

Avaliação do trabalho voluntário Temos clareza de para que queremos o voluntário? Descrição do perfil do voluntário Características necessárias Características desejáveis

Exemplo de perfil Necessárias Sexo indiferente Idade acima de 21 anos Não fumante Bom humor Saber brincar Ter amor por crianças Abertura para aprender Assiduidade Pontualidade Assumir responsabilidade Saber trabalhar em equipe Desejáveis Morar perto Ter condução própria Saber cantar e/ou tocar um instrumento musical Ter flexibilidade de horários

Avaliação do trabalho voluntário Seleção: Busca do perfil Entrevista Capacitação: Curso Acompanhamento de pessoa experiente

Avaliação do trabalho voluntário Avaliação de desempenho: Por quem reconhece como autoridade (quem o selecionou, ou o treinou) Formas de colheita de informações: Diário de campo, retorno do público alvo, acompanhamento da atividade. O que está de acordo, o que pode ser melhorado.

Avaliação do trabalho voluntário Promoção do voluntário Desligamento do voluntário

Avaliação de situações difíceis Situação 1: o evento deu errado. houve desavenças na equipe, há tensão, as pessoas culpam os outros, outros não querem mais participar. A/o coordenador/a marcou uma reunião com a equipe.

Avaliação de situações difíceis Situação 2: a coordenadora se queixa de como uma educadora reagiu frente a uma situação. Pensa que ela não serve e pede para você despedi-la.

Avaliação de situações difíceis Situação 3: numa reunião, uma pessoa atropela as outras trazendo suas opiniões que viram decisões sem que todos estejam de acordo.

Ciclo de Ação-aprendizagem

Ação aprendizagem Existe muito conhecimento imerso nas nossas experiências Refletir sobre ações vividas pode orientar ações futuras Situações “boas” e “más” são igualmente fontes de aprendizado

Ação Descreva a ação: o que aconteceu? Atenção aos fatos. Diferentes pessoas tem diferentes fatos. Sentimentos também são recebidos, desde que manifestos por quem os sentiu. A intenção é que todos tenham a mesma quantidade de informações a respeito.  Eu acho / Porque / Tirar conclusões.

Reflexão: O que nos chama a atenção? O que se repetiu? Que fatores contribuíram? Que fatores dificultaram? Como as coisas foram se movendo ao longo do caminho? Como eu contribuí para que isso fosse assim?

Aprendizagem Estabelece relações com experiências anteriores. Permite a reflexão da prática de cada um. Permite identificarmos padrões na nossa prática. Permite acessarmos o que é importante para nós, neste momento.

Planejamento O que podemos fazer diferente numa próxima vez? O que eu posso fazer diferente? Do que devemos cuidar?

CUIDADOS Ter tolerância ao que “deu errado” ou foi diferente do esperado. Estar verdadeiramente aberto para novas compreensões – aprender! Não querer encontrar culpados. Não conduzir o processo tomado pela emoção.

Fases das reuniões (ver texto para se ter reuniões produtivas) 1. Preparação 2. Formação de imagem 3. Formação de juízo 4. Plano de ação 5. Avaliação

Para que avaliar? Para aprender Para estimular a reflexão sobre a prática; Para extrair conteúdos, conhecimentos da prática vivida; Para se ter mais consciência dos efeitos de nossas ações nos outros e no mundo; Para acessar os valores, as crenças que orientam nossa prática e dos quais não estamos conscientes no dia-a-dia; ...

Para que avaliar? Para aprender Para extrair valor do que se faz: construir julgamentos, juntos; Para perceber o sentido do que se faz. Para indicar o que pode ser renovado, aprimorado, abandonado, propiciando conteúdos para o planejamento de ações futuras. Para fortalecer nossa atuação no mundo.

É possível definir avaliação? “processo sistemático de identificação, esclarecimento e aplicação de critérios, passíveis de serem defendidos publicamente, para determinar o valor (mérito e relevância) de determinado objeto – programa, projeto, material educacional e outros – avaliado em relação aos critérios estabelecidos...” Esta é uma gramática em construção. Importa saber qual conceito faz sentido para você? Fonte: Sanders, J.R. (chairs). The Program evaluation standards. 2nd. ed. The Joint Committee on Standards for Educational Evaluation. Thousand oaks, California: Sage Publications, Inc; 1994

Avaliação É conceito em construção e terá tantos sentidos quanto lhe atribuírem aqueles que o constroem. Possui três elementos essenciais: A medição, relacionada ao ato objetivo (muitas vezes) quantitativo de medir as coisas, as variações e as mudanças. A descrição, que diz respeito ao ato de representar um objeto ou fenômeno, caracterizando-o em sua integralidade e multiplicidade (tendendo a operar pela linguagem qualitativa). O julgamento, determina o mérito e a relevância de um objeto ou fenômeno. Para propiciar desenvolvimento, o exercício da avaliação pede que se produzam aprendizagens. Silva, R.R.

Avaliações hoje... cada sujeito interessado(a) tem suas questões e seus interesses. a avaliação é um processo mediador da aproximação que os diferentes interessados(as) fazem do objeto avaliado. o diálogo, a ampliação da compreensão e a negociação de posições compõem o eixo da avaliação. os métodos qualitativos e quantitativos de investigação da realidade são fundamentais para construir leituras mais abrangentes e complexas dos objetos. a formação de juízo de valor se dá no processo coletivo e demanda o envolvimento ativo dos interessados(as). a aprendizagem ocorre orgânica ao processo de avaliação, é um meio e não apenas um fim. os processos de avaliação são ético-políticos, vão além de ferramenta técnico-administrativa.

Quando avaliar? diagnóstico idéias contexto e sistematização avaliação decisões e novas perguntas contexto elaboração da intervenção sistematização avaliação implementação gestão somativa linha de base monitoramento

Tipos de avaliação avaliação formativa processos de avaliação orientados para melhorar o dia-a-dia da gestão de um projeto ou programa, ou seja, seus procedimentos, as relações entre as pessoas, a adequação de aspectos estruturais e assim por diante. Obs. Quando falamos em avaliação processual, falamos de uma variação de avaliação formativa, oriunda do campo da educação. O monitoramento também é um conceito associado ao campo da avaliação formativa. avaliação somativa processos de avaliação orientados a ajudar grupos a escolherem pela continuidade ou não de um projeto ou programa, a apoiarem sua reedição ou não. São processos diretamente interessados tanto nas questões de mérito de um projeto ou programa, quanto em sua relevância. Fonte: STAKE RE. Standards-Based & Responsive Evaluation. Thousands Oaks: Sage; 2004. p. 17.

Tipos de avaliação avaliação de resultados trata-se de uma das variações das avaliações somativas que tem o propósito de determinar que resultados foram alcançados pelo projeto ou programa em questão. resultados esperados (objetivos do projeto). resultados não esperados (desdobramentos). impacto (são os resultados mais profundos, as mudanças mais significativas no problema em questão).