Avaliação de Projetos

A Verdade (Carlos Drummond de Andrade) A porta da verdade estava aberta, Mas só deixava passar Meia pessoa de cada vez. Assim não era possível atingir toda a verdade, Porque a meia pessoa que entrava Só trazia o perfil de meia verdade, E a sua segunda metade Voltava igualmente com meios perfis E os meios perfis não coincidiam verdade... Arrebentaram a porta. Derrubaram a porta, Chegaram ao lugar luminoso Onde a verdade esplendia seus fogos. Era dividida em metades Diferentes uma da outra. Chegou-se a discutir qual a metade mais bela. Nenhuma das duas era totalmente bela E carecia optar. Cada um optou conforme Seu capricho, sua ilusão, sua miopia.

“Cada individuo percebe o mundo de acordo com seu contexto familiar, cultural, educacional e temporal, determinado por suas relações com o ambiente.”

AVALIAÇÃO Ao ouvirmos falar de avaliação o que nos vem a mente?

CONCEITO GERAL Avaliação é um processo de aprendizagem sistemático e intencional que um indivíduo, grupo ou organização se propõe a percorrer para aprofundar a sua compreensão sobre determinada intervenção social, por meio da elaboração e aplicação de critérios explícitos de investigação e análise, em um exercício compreensivo, prudente e confiável, com vistas a conhecer e julgar o mérito, a relevância e a qualidade de processos e resultados. A avaliação leva à ampliação de consciência sobre determinado programa ou projeto, o que possibilita que escolhas e decisões maduras possam ser feitas. Rogério Silva, Daniel Brandão e Thomaz Chianca

AVALIAÇÃO AÇÃO E REFLEXÃO “A aprendizagem do adulto no contexto organizacional ou em outros sistemas sociais só é possível através de um processo contínuo de ação e reflexão. A reflexão ocupa um papel fundamental: provocar mudanças nas ações dos indivíduos. Este é especificamente o papel da avaliação: construir momentos reflexivos que permitam aos indivíduos a análise da realidade e dos fatos, para daí direcionarem suas ações, aprendendo pela experiência”. Chianca, Marino e Schiesari (2001)

AVALIAÇÃO FORMAS DE ENTENDER Sob a ótica de si mesma – julgando se inocente ou culpada pelos preconceitos e visões geradas a partir da sua aplicação; Sob a ótica do conhecimento - para viabilizar o trabalho das pessoas que praticam a avaliação: concepções, critérios, estratégias, formas de análise e instrumentos; Sob a ótica da importância- na perspectiva da abordagem construtivista da educação

PARA QUE AVALIAR? O processo de avaliação é a etapa fundamental para que as pessoas e organizações façam escolhas conscientes a respeito dos esforços e investimentos que desejam alocar nos processos avaliativos. A atribuição de sentido é um processo reflexivo e político. A construção do sentido no processo de avaliação permite ao grupo discutir, compreender sua intencionalidade, dimensionar sua grandeza e limitar sua atmosfera de expectativas e alinhar seus conceitos. Rogério Renato Silva e Daniel Brandão(2003)

ETAPAS DA AÇÃO Avaliação é um procedimento que envolve diferentes aspectos, de acordo com o objeto a ser considerado (produtos, serviços, programas, projetos, pessoas etc). Por isso é preciso: Definir o foco ou focos (OBJETO) Reconhecer o ambiente (CONTEXTUALIZAÇÃO) Definir objetivos e utilidade (FINALIDADE) Definir a fundamentação (PERSPECTIVA) Definir atores sociais (FONTES DE DADOS) Construção da avaliação (INSTRUMENTO) Planejar aplicação (OPERACIONALIZAÇÃO) Construir indicadores (REFERENCIAL) Utilização dos resultados (OBJETIVO) Divulgar os resultados (COMUNICAÇÃO)

DEFINIR O OBJETO DA AVALIAÇÃO º PASSO DEFINIR O OBJETO DA AVALIAÇÃO Vai medir dados para a empresa? Vai medir dados para a escola? Vai medir as diretrizes políticas? Vai medir a efetividade para a melhoria da qualidade da educação? Vai medir o impacto social sobre a comunidade escolar? Vai buscar resultados Gerais? Vai abranger todos os aspectos?

2.º PASSO CONTEXTUALIZAÇÃO Contexto Político (na empresa) Analisar o contexto político no qual a avaliação será efetuada. Afinal, todos os programas educacionais são propostos, debatidos, provocados e financiados por meio de processos e decisões políticas. Avaliar, portanto, é um ato político com implicações práticas. Contexto Ambiental (na escola) Que tipo de gestão é adotada pela escola? Qual o seu projeto político-pedagógico? A escola é municipal, estadual, particular? Quais as características da região onde está? Quais as características predominantes no corpo docente e no corpo discente?

A FINALIDADE DA AVALIAÇÃO 3.º PASSO A FINALIDADE DA AVALIAÇÃO Reconhecer, definir e considerar para quê e para quem servirão os resultados obtidos: Alimentarão tomadas de decisão na empresa? Servirão para garantir legitimidade ao projeto? Servirão para garantir apoio e patrocínio? Alimentarão mudanças estratégicas no projeto? Alimentarão redefinições nos processos? Vão ser usados para ampliar ou cessar parcerias? Servirão para rever objetivos do projeto? Servirão para rever suas propostas e atividades?

4.º PASSO DEFINIÇÃO DAS FONTES É na fase subseqüente a identificação das finalidades da avaliação que devem ser definidas as fontes de coleta de informação. É considerado fonte de informação todo ator social, evento ou objeto por meio dos quais será possível verificar um indicador de interesse. Os atores sociais legítimos para definirem indicadores sobre determinada realidade são aqueles que convivem com esta realidade. No caso de projetos de Jornal Educação, as fontes ou atores sociais podem ser: Na escola: especialistas, professores, alunos, familiares, gestores do projeto, etc. Na empresa: diretores e integrantes dos setores envolvidos com o projeto.

PERSPECTIVA DA AVALIAÇÃO 5.º PASSO PERSPECTIVA DA AVALIAÇÃO Tradicional Mede a eficácia, e se refere à contribuição dos resultados obtidos para o alcance dos objetivos globais da escola. Analisa se o conhecimento foi transmitido pelo professor e absorvido pelo aluno Verifica se o currículo/trabalho obedece aos objetivos definidos na regulamentação geral Avalia se as aulas/atividades são avaliadas como boas Verifica se há disciplina na classe, grupo, ou equipe

PERSPECTIVA DA AVALIAÇÃO 5.º PASSO PERSPECTIVA DA AVALIAÇÃO Tecnicista Mede a eficiência, e se refere à otimização dos recursos para a obtenção dos resultados. Avalia os ganhos obtidos entre a entrada do aluno e sua saída do sistema de ensino; Avalia se os objetivos educacionais estabelecidos têm condições de ser operacionalizados; Avalia ser os conteúdos estão estruturados de acordo com os objetivos; Avalia se os meios utilizados são variados e incluem novidades tecnológicas;

PERSPECTIVA DA AVALIAÇÃO 5.º PASSO PERSPECTIVA DA AVALIAÇÃO Construtivista Mede a efetividade, e se refere à relação entre os resultados alcançados e os objetivos propostos ao longo do tempo. Verifica como os processos de raciocínio então sendo estimulados e desenvolvidos; Avalia os processos existentes; Identifica erros e acertos com o objetivo de reorientar as ações; Valoriza novas formas de aprender;

ESCOLHA DO INSTRUMENTO 6.º PASSO ESCOLHA DO INSTRUMENTO Instrumento ou ferramenta deve ser entendido como o meio facilitador de uma prática que permite apreender as coisas e agir sobre elas. Portanto, deve-se conhecer a aplicação de cada um para poder fazer a melhor escolha. Testes Provas Questionários Mapas Conceituais Observação Auto-avaliação Dramatização Pesquisas Debates Relatórios

A importância da pergunta avaliativa 6.º PASSO CONSTRUÇÃO DO INSTRUMENTO A importância da pergunta avaliativa A construção o instrumento avaliativo exige do avaliador habilidades para mediar conflitos e negociar interesses e oferecer ao projeto ou a organização uma excelente oportunidade de afinar idéias e olhares sobre a sua pratica por isso a elaboração das questões deve envolver os principais envolvidos na avaliação, sendo feita através de um processo participativo. É preciso lembrar sempre que não existe uma boa avaliação sem uma boa pergunta. Com tudo uma boa pergunta não garante uma boa avaliação. Exemplos: O projeto tem contribuído na formação de novos leitores? Em que disciplina o jornal é mais utilizado como recurso pedagógico auxiliar?

IDÉIAS DE INSTRUMENTOS 6.º PASSO IDÉIAS DE INSTRUMENTOS A) auto-avaliação – Relato de experiências B) questionário e Pesquisa – estabelecendo três tipos de critérios ou focos: Questões de fato – perguntas que levam a respostas afirmativas, evidentes, aceitas até pelos críticos. Têm função quantitativa. Questões de valor – Perguntas sobre processos e operações. O que é bom ou mau. Aceito ou recusado. Funciona ou não funciona. Têm função qualitativa Questões conceituais – Perguntas sobre a natureza das idéias e conceitos defendidos pelo projeto.Têm função reflexiva

QUANDO USAR OS INSTRUMENTOS 6.º PASSO QUANDO USAR OS INSTRUMENTOS Antes da implementação do Projeto Momento em que se faz a coleta de dados e informações com a finalidade de se levantar as possibilidades de ação, de forma a contribuir para enriquecer a proposta e detectar condições existentes para o desenvolvimento do Projeto. Durante o desenvolvimento do Projeto Acompanhamento sistemático do desenvolvimento das atividades, constatação de dificuldades e atuação voltada à correção e ajustes necessários, no próprio curso do processo de execução. Após a conclusão de etapas do Projeto Momento de verificar se o projeto atingiu os objetivos pretendidos ou não; perceber o mérito, a relevância e o impacto das ações desenvolvidas; destacar as ameaças e potencialidades; produzindo assim os elementos necessários para se estabelecer um juízo de valor acerca do trabalho feito.

PLANEJAMENTO OPERACIONAL 7.º PASSO PLANEJAMENTO OPERACIONAL Estudo da viabilidade Quanto custará? Quem deve conduzir o processo? Quem vai aplicar a avaliação? Como selecionar os avaliadores? Qual será o universo pesquisado? Quando deve ser aplicada a avaliação? Qual será o cronograma de aplicação? Quando fazer a análise dos dados? Temos condições de fazer a análise dos dados? Teremos que contratar alguém para tabular?

CONSTRUÇÃO DE INDICADORES 8.º PASSO CONSTRUÇÃO DE INDICADORES A construção de indicadores exige análise das informações. Caminhos qualitativos e quantitativos serão úteis e devem atuar de forma complementar para possibilitar uma melhor leitura dos dados obtidos. Dados quantitativos: pedem estatísticas. Dados qualitativos: exigem abordagens distintas, como análise temática dos discursos que é a técnica mais utilizada. Indicadores são referências precisas, construídas a partir de um recorte da realidade, que garantem análise comparativa de determinado tema ou objeto. A possibilidade de mensurar o antes e projetar o depois é definida pela construção de uma seqüência seriada de indicadores sobre o mesmo tema e objeto, num mesmo recorte.

UTILIZAÇÃO DOS RESULTADOS 9.º PASSO UTILIZAÇÃO DOS RESULTADOS Análise que envolve o manuseio e interpretação dos indicadores quantitativos, dados qualitativos obtidos pela avaliação (agrupamento de respostas em categorias, análises de campo), com o objetivo de identificar: Pontos fortes e pontos fracos do projeto Riscos e oportunidades para a empresa, para a escola, para o projeto

COMUNICAÇÃO DOS RESULTADOS 10.º PASSO COMUNICAÇÃO DOS RESULTADOS A comunicação é a etapa que encerra os dez passos metodológicos da avaliação e que, muitas vezes, encerra o processo como um todo. A divulgação dos resultados pode ser formal, no padrão de relatório desejado por concursos e financiadores, contemplando o registro detalhado de todas as etapas. Mas também deve servir para abastecer a mídia, dando visibilidade e mostrando a importância do projeto. O relatório de avaliação contempla: resumo; introdução; descrição do foco da avaliação; metodologia; resultados; conclusões e recomendações;

NA EXECUÇÃO DA AVALIAÇÃO DICAS IMPORTANTES NA EXECUÇÃO DA AVALIAÇÃO Aspectos políticos e éticos: não se deve permitir que valores individuais e interesses influenciem a avaliação; Coleta de dados: testar os instrumentos de coleta, capacitar profissionais envolvidos, copiar os dados coletados, checar dados anotados. Focar a simplicidade, buscar sempre incluir mais de uma fonte de informação e método de coleta de dados no estudo, procurar combinar métodos qualitativos e quantitativos. Métodos: identificar o que mais interessa, mas procurar utilizar combinações. Exemplo:questionário+observação+entrevista.

ESTUDO DE CASO A busca de sentido para a Avaliação Caso 1: O programa jornal e educação do jornal B é desenvolvido em parceria com a empresa jornalística e prefeituras e atua em vários municípios.O objetivo do programa é contribuir na formação da cidadania e estimular o prazer pela leitura. O projeto tem duração mínima de seis meses. Convidamos a equipe 1 para desenvolver uma avaliação do referido projeto. A equipe terá que simular um esboço da ação na prática e apresentar.

ESTUDO DE CASO A busca de sentido para a Avaliação Caso 2: O programa jornal e educação do jornal B é desenvolvido em parceria com a empresa jornalística e prefeituras e atua em vários municípios.O objetivo do programa para a empresa é aumento na circulação, visibilidade e sustentabilidade. Objetivo do programa junto às instituições de ensino contribuir na formação da cidadania e estimular o prazer pela leitura. Equipe 2: Realizar discurssão tendo em vista a existência de diferentes desejos em relação ao processo de avaliação. A equipe terá que simular um esboço da ação na prática e apresentar.

REFERÊNCIAS BIBLIOGRÁFICAS ARMANI, DOMINGOS. Como elaborar projetos? – Guia Prático para Elaboração e Gestão de Projetos Sociais . Porto Alegre: 2001. ÁVILA, C.M. de Gestão de Projetos Sociais. São Paulo: AAPCS, 3ª ed. rev., 2001. CHIANCA, THOMAZ.; MARINO, EDUARDO.; SCHIESARI, LAURA. Desenvolvendo a cultura de avaliação em organizações da sociedade civil. Coleção Gestão e Sustentabilidade. São Paulo: I - Fonte/Editora Global; 2001. MARINO, EDUARDO. Manual de Avaliação de Projetos Sociais São Paulo: IAS – Pedagogia Social, 1a edição, 1998. SILVA, Rogério.Renato.; BRANDÃO, Daniel Os quatro elementos da avaliação. Fonte Instituto para o Desenvolvimento Social. Disponível em www.fonte.org.br V ALARELLI, L. Indicadores de resultados de projetos sociais. In: Apoio à Gestão”. Rio de Janeiro; site da RITS; 1999.