AVALIAÇÃO DA EXTENSÃO Aspectos teóricos e metodológicos

Começo de conversa... A ideia de uma universidade que dialoga com o social  Concepção marcada pelo interação dialógica pertinente e permanente com os distintos grupos humanos e sociais, criando canais de comunicação e participação para o desenvolvimento do potencial humano.  A universidade, seus saberes e valores, se fazem socialmente úteis.  A investigação e a docência se nutrem da ação social- repensam o currículo e os projetos de investigação.

O que se sabe sobre o tema?  A instauração de processos avaliativos da extensão universitária, nos últimos anos, indica a forte tendência de uma atividade extencionista que intenciona diagnosticar suas ações na sociedade.  Há um espaço descoberto para a avaliação dos programas e projetos quanto aos seus efeitos e impactos na comunidade interna e na sociedade.

Dados de pesquisa Forproext  IPES que declararam possuir um sistema de avaliação implantado A ç ões TotalF% (n=38) Programas 29 76,32 Projetos 33 86,84 Cursos 32 84,21 Presta ç ão de servi ç os 13 34,21 Eventos 20 52,63 Produtos acadêmicos 15 39,47

Histórico da CPAE 1999 – XV Encontro Nacional, Campo Grande - criação do GT Avaliação 2001 – Publicação: Avaliação Nacional da Extensão Universitária – FORPROEX-MEC/SESu ( UFPR ) 2001 – Criação da CPAE

Quatro elementos da avaliação  (I) a atribuição de sentido aos processos avaliativos,  (II) o uso de métodos e técnicas de investigação da realidade,  (III) a ética dos processos e  (IV) a necessidade de estímulo ao desenvolvimento de capacidade avaliativa nos projetos.

O que nos falta?  A sistematização de um processo de avaliação útil para o aperfeiçoamento dos projetos existentes,  Construir diferentes formas de divulgação do que a extensão realiza e produz. Sistematizar Divulgar

O que nos falta?  Como quebrar a lógica da disciplinarização e dos processos de produção descontextualizados?  Quanto mais multidisciplinares forem os grupos, maiores são as condições de análise, intervenção e compreensão dos problemas sociais.  A crença na transformação confere a universidade um sentido para os conhecimentos que constrói e recria, propiciando uma ciência com consciência. Multidisciplinaridade

Extensão e avaliação Se a extensão não tem um processo avaliativo constante, como podemos valorá- la? Como podemos propor a repetição de uma ação? Como incorporamos as ações de extensão na imagem da universidade? Como comprovamos que os recursos foram ou serão bem investidos? Como convencer alunos, técnicos e docentes a participar das ações? E a comunidade externa?

Extensão e avaliação A necessidade da avaliação da extensão origina-se da sua própria dimensão extra-muros ou extra sala de aula –os outros dois processos de aprendizado e formação de conhecimento –ensino e pesquisa – são naturalmente avaliados de forma constante, tanto interna, quanto externamente.

Por um começo...  Os propósitos devem estar claramente identificados:  O que se deseja conhecer?Que decisões se pretende tomar?  Deve-se definir o pessoal responsável pelo projeto.  Deve-se identificar os métodos e técnicas a serem utilizados.

Primeiro movimento- vontade política a. Estabelecer o grau de pertinência, idoneidade, efetividade/eficácia e eficiência/rendimento de um programa, projeto ou serviço. b. Determinar as razões dos êxitos e fracassos. c. Facilitar o processo de tomada de decisões para melhorar e/ou modificar o programa ou projeto. d. Analisar outros objetivos que podem ser alcançados. e. Resultar em uma cultura organizacional que preze a melhoria continuada.

Definindo avaliação  A avaliação é uma forma de pesquisa social aplicada, sistemática, planejada e dirigida; destinada a identificar, obter e proporcionar de maneira válida e confiável dados e informação suficiente e relevante para apoiar um juízo sobre o mérito e o valor dos diferentes componentes de um programa... de forma tal que sirva de base ou guia para uma tomada de decisões racional e inteligente entre cursos de ação..., (Aguilar e Ander-Egg, p ).

Avaliação: em busca de um sentido  O melhor sentido da avaliação é que seja utilizada como meio de melhorar os projetos existentes, aprimorar o conhecimento sobre sua execução e contribuir para seu planejamento futuro, tendo como pano de fundo sua contribuição aos objetivos institucionais.

Projetos?  Até que ponto a extensão trabalha com projetos no sentido da experimentação e aprendizagem contínua?  Projeto é um empreendimento com objetivo identificável, que consome recursos e opera sob pressão de prazos,custos e qualidade( Kerzner, 2002).Se não podemos considerar nossa ação como projetos...fica difícil pensar na avaliação.

Avaliar, acompanhar, monitorar O planejado foi realizado? O monitoramento é uma avaliação contínua e faz parte integral do gerenciamento do projeto. -O monitoramento diz respeito a observação regular e sistemática do desenvolvimento das atividades. -a avaliação analisa criticamente o andamento do projetos segundo seus objetivos, segundo as informações obtidas pelo MONITORAMENTO.

Avaliar, acompanhar, monitorar A avaliação é conduzida periodicamente tanto pela equipe do projeto quanto pelos beneficiários e com a ajuda de equipes externas. Um sistema de monitoramento requer a adoção de indicadores. Indicador - O que demonstra a, sinaliza a evolução, o avanço rumo aos objetivos, as metas?

Avaliação: para quê??? Um processo de avaliação, para ter sucesso, deve contar com a participação efetiva dos avaliados. Mas quem gosta de ser avaliado? A avaliação é considerada ◦Punitiva ◦Investigativa ◦Comparativa

Macro- indicadores  Eficiência – quais os resultado com menor dispêndio de recursos?  Eficácia- quais os resultados alcançados com os meios sob controle?  Efetividade- quais resultados exitosos sob condições reais não controladas?.  Impacto- quais resultados foram mantidos ?

Princípios gerais  Definidos com precisão,  Consistentes,  Específicos,  Fáceis de coletar,  Mostrar resultados materiais.

Conceitos-chave  Eficiência - refere-se à rentabilidade econômica que, em alguns casos, deve ser considerada dentro da avaliação. Diz respeito ao custo do projeto em relação aos resultados obtidos.  Eficácia, analisa-se até que ponto estão sendo alcançados os resultados previstos e mesmo se os resultados previstos são pertinentes

Exemplo: Eficiência Eficácia Ex: o projeto foi eficiente pois em 3 meses atendeu 25 pessoas com cinco estudantes a um desembolso de R$ 250, o que significa 5 pessoas por estudante, R$ 10 por pessoa, média de 8,33 pessoas/mês; o projeto não foi eficaz, pois em 60% das pessoas o nível de alfabetização não foi suficiente para uma leitura de um texto de 10 linhas em letra cursiva

Eficiência  Revela o grau de utilização de recursos  ◦Quantas horas?  ◦Quantas salas?  ◦Quantas cópias?  ◦Quantas pessoas?  ◦Quantas viagens, almoços, diárias?  ◦Quanto custou?  ◦Quanto rendeu?

Eficácia  1. Sistema gerencial  2. Processo de divulgação e informação  3. Processos de seleção de agentes implementadores e beneficiários  4. Sistema operacional- financiamento, gasto, provisão dos recursos materiais  6. Processos de monitoramento e avaliação interna  Capacidade de implementar decisões  Diversidade de canais, suficiência e qualidade das mensagens  % de publico atingido, agilidade de fluxo  Suficiência dos recursos, prazos e fluxos qualidade da infra-estrutura, material de apoio  Regularidade, abrangência e agilidade na identificação dos desvios e incorreções, agilidade para recomendar correções.. Indicadores de eficácia Como assim?

Indicadores de impacto/ efetividade  Impactos- variações mudanças na realidade  Efeitos sociais –opinião e satisfação dos atores  Efeitos institucionais - sustentabilidade e reprodutibilidade  Taxas de crescimento de um fenômeno, intensidade da mudança  Avaliação do atores  Níveis de aprendizagem institucional, inovações, autonomia, transferência de metodologia, institucionalização dos processos. Efetividade Como assim?

Mais conceitos  Efetividade se refere ao resultado mais imediato provocado pela intervenção. Fizemos o que tinha que ser feita?  Impacto se refere às consequências ou aos produtos finais que resultam, direta ou indiretamente, de uma intervenção e para os quais se pode atribuir um valor substantivo ou objetivo.

Impacto  É a análise das mudanças duradouras ou significativas, previstas ou não, na vida dos indivíduos, grupos familiares ou comunidades, ocasionadas por determinada ação ou série de ações, decorrente de uma política, projeto social ou programa. ( DRAIBE, 2001)

Impacto  O impacto se reflete nas mudanças na cultura... É a permanência dos novos hábitos e é também a expansão dos efeitos imediatos em espaços colaterais que se verifica a médio e longo prazos.  Lembramos que a avaliação de impacto não é trivial. Há muita dificuldade de atribuição do impacto a um determinado Programa ou Projeto pois, no mundo social/relacional há inúmeras fontes intervenientes simultaneamente.

Quando avaliar?  Ex ante– Consiste na análise da relevância e viabilidade – política, técnica, financeira e institucional para que se possa decidir se o projeto deve ou não ser implementado. Qual o cenário atual?

Ex-ante em extensão  Realiza-se antes de iniciar um programa ou projeto. Tem o foco na formulação, ou seja, verifica o cumprimento das condições requeridas para a implementação do projeto;  Permite ajustar a formulação do programa ou projeto, produzindo melhorias ainda no desenho;  Pontos a serem analisados: pertinência (se responde ao que se propõe); coerência interna (entre recursos, objetivos, atividades, etc); factibilidade (se estão dadas as condições no contexto para o desenvolvimento do projeto);  É realizada por alguém externo ao programa ou projeto.

Quando avaliar?  Durante a execução  Enfocando seus produtos, eficácia e repercussão. Até que ponto a proposta inicial está sendo cumprida? Quais ações corretivas podem ser tomadas?

Quando avaliar?  Ex post Ao final do projeto dimensiona sua eficácia, eficiência e impacto. Que lições extraímos?

Síntese  Avaliação ex-ante- O projeto deve ser implementado?  Monitoramento- Como está o processo?  Avaliação ex-post - Quais foram os resultados?

Tipos de avaliação  Externa(Não incide sobre a extensão)  Interna( A avaliação interna é realizada por técnicos da instituição mas independentes da unidade de implementação, processo de revisão qualitativa, realizado dentro de uma instituição para seu próprio fim/uso (com ou sem o envolvimento de pares externos).  mista  auto-avaliação- a auto-avaliação é, necessariamente, realizada por quem está directamente envolvido na gestão e implementação do programa

Av. Externa e Interna  - uma avaliação externa nunca terá condições de perceber e compreender todos os contextos da acão, será sempre superficial, situar-se-á sempre nas margens das atividades Será sobretudo uma avaliação ao serviço do controle e da regulação Quem quer uma avaliação ao serviço da compreensão, da entre- ajuda, da formação, da melhoria e do desenvolvimento profissional defende uma avaliação interna. Av. Externa Av. Interna

Processos e conversas difíceis  Quem deve fazer?  O coordenador da ação  Por quê? Para saber o esforço dispendido na ação, para indicar o retorno do investimento, para qualificar os recursos utilizados, indicar a necessidade de substituição ou aquisição de novos equipamentos ou serviços...  Por quê? Para demonstrar a eficiência da Pró- Reitoria de Extensão no atendimento das demandas  Fará de boa vontade? Não espere um sorriso sincero.

Processos e conversas difíceis  Quem deve fazer?  –A Pró-Reitoria de Extensão  Por quê? Para saber os recursos envolvidos na ação, para verificar o retorno do investimento, para identificar a demanda do público, para qualificar os recursos utilizados, indicar a necessidade de substituição ou aquisição de novos equipamentos ou serviços...  Por quê? Para demonstrar a eficiência da Pró- Reitoria de Extensão no atendimento das demandas  Fará de boa vontade? Normalmente, sim, mas será que saberá fazer????

Como se pode fazer?  ◦O coordenador de extensão  Deverá manter os registros da utilização dos recursos, do recebimento dos inputs solicitados, das horas dedicadas à ação, das razões de falha e dos motivos de sucesso  Uma dica útil: registro da forma de divulgação da ação, dos motivos que levaram o público a buscar a ação.

Como se pode fazer?  ◦ A Pró-Reitoria  Deverá manter os registros da real utilização dos recursos solicitados, da entrega dos inputs solicitados, das horas alocadas à ação pelo coordenador e equipe, das razões de falha e dos motivos de sucesso da atitude da Pró-Reitoria  Uma dica útil: registro da forma de divulgação da ação por parte da Pró-Reitoria, um “clipping”

Como se pode fazer?  ◦A partir de formulários de ação bem construídos  ◦A partir de roteiros de relatórios bem construídos  ◦A partir de auditorias  ◦A partir de entrevistas  ◦A partir de sistemas de registro de ações concebidos a partir da avaliação

Fala sério!  O Coordenador da ação NÃO faz essa avaliação de forma espontânea... Se for forçado a fazê-la, por conta de Resoluções, o resultado poderá ser ruim, com colocações genéricas do tipo:  ◦A ação foi executada como planejada;  ◦Os resultados obtidos são plenamente satisfatórios  ◦Todos gostaram muito.

Conversa difícil!  O processo avaliativo é essencialmente político. Se for adotado, a instituição tem que entender que isso demandará:  –Esforço  –Tempo  –Dinheiro  –Estrutura  –Metodologia  –Regulamentação

Dá para simplificar?  Sim! Mas só depois de pensar no processo como um todo e na forma de sua execução. Não há uma solução padrão, pois a extensão é uma característica de cada Universidade.  A forma mais fácil e viável de retirar as informações necessárias é facilitar a vida do coordenador.  Duas possibilidades básicas:  –Secretarias de Extensão  –Sistemas informatizados de registro e relato de ações

Passo a passo  Da ação  –Da concepção da ação: capacidade de planejamento do coordenador, diagnostico, habilidade em determinar os recursos necessários, identificação correta do público alvo, adequação dos horários e locais oferecidos...  –Da realização: capacidade do coordenador em dirigir a ação, em buscar solução para problemas não previstos, facilidade de comunicação com a Pró- Reitoria (ou se os canais de comunicação são adequados), previsão correta de equipamentos, materiais, do cronograma, da especificação

Passo a Passo  Do Coordenador  –Durante a concepção: capacidade de comunicação com a Pró-Reitoria e outros docentes; conhecimento do problema e da realidade da Universidade e do público; observação de prazos e normas; destaque dado ao nome da Universidade;  –Durante a realização: organização dos materiais, dos equipamentos, da sala; cumprimento de prazos e normas para a realização do relatório final; conhecimento dos fluxos de processos

Passo a passo  Da Pró-Reitoria  –Durante a concepção: como as normas e regras são entendidas pelos coordenadores; como as facilidades oferecidas pela Universidade e pela Pró-Reitoria são acessadas pelos coordenadores; como a equipe atende as solicitações; como apóia a divulgação das ações planejadas  –Durante a realização: organização dos materiais, dos equipamentos, da sala solicitados; cumprimento de prazos para o fornecimento dos materiais solicitados; facilidade de atender demandas inesperadas; atendimento no processo de inscrição; identificação de salas...

O que se faz com isso?  Superar o “achismo”! Discussão da política de extensão.  Desenvolvimento de projetos integrados em parceria com setores da sociedade,  Decisão quanto a oferta de cursos de preparação de projetos e avaliação,  Elaboração de manual de comunicação,  Lista de contatos emergenciais para atendimento de demandas,  Comparação de custos entre ações,  Análise de horários, equipamentos e locais mais adequados para cada tipo de ação,  Lista de possíveis públicos-alvo para próximas ações.

O que NÃO se deve fazer com isso?  ◦Punir  ◦Restringir  ◦Reclamar  ◦Depreciar  ◦Se nada de bom será feito com a avaliação, a política avaliativa deve ser revista  ◦Se a avaliação é propositiva e construtiva, um ambiente de cooperação e sinceridade começa a ser possível...

Avaliar a favor de quem?  É possível afirmar que a avaliação ao longo dos últimos anos deixou de ser considerada um processo exclusivamente técnico...  O estudo das representações sociais vieram mostrar que o processo social é permeado de elementos culturais, sociais e econômicos, sendo compreendido e vivenciado diferentemente pelos vários atores que dele participam 

Conflitos, interesses...  A avaliação, portanto, levaria em conta a análise crítica de se determinado projeto se coadunaria ou não aos valores culturais e expectativas dos vários atores sociais envolvidos, assim como às suas realidades sócio-econômicas (Atkinson, 1993)

Exercício 1  Qual a política de extensão da sua instituição?  Os indicadores clássicos para avaliação desses processos – quantidade da oferta, quantidade de atendimento/atingimento, tipos de ações, escala de opiniões, infra-estrutura e gestão, custos, ou seja, indicadores da “engenharia institucional” e dos traços constitutivos dos programas – são necessários mas, não são suficientes.O que fazer?

Exercício 2 - Construindo um projeto de avaliação da extensão  -marco teórico geral  -dimensões e variáveis: definições conceituais e operativas (principais linhas de ação)  Aspectos metodológicos  -Optar pelas principais técnicas: análise documental, análise de registros (quali/quanti), entrevistas com informantes-chave, reuniões, oficinas, etc.  -fontes  -atores participantes  -cronograma de aplicação e foco

Um quadro sempre ajuda InstânciasCategoriasCritérios para indicadoresInstrumento Coordenação do Projeto Relevância Acadêmica A proposta está em consonância com a concepção e diretrizes de extensão Tem potencial para o desenvolvimento de atividades de ensino e/ou pesquisa Tem potencial para desenvolver atividades interdisciplinares Prevê envolvimento de alunos Viabilidade identificação clara de público-alvo necessidade do parecer do Comitê de Ética os recursos humanos e financeiros estão descritos os agentes financiadores/parceiros estão especificados Relevância SocialAborda e/ou dissemina conhecimentos sobre questões sociais relevantes para a Universidade / Sociedade

“ A história da extensão nas universidades é também um registro das dificuldades para definir como pode ser desenvolvido o “ compromisso social ” dessa instituição com a sociedade [...] Desde a sua gênese, a extensão universit á ria parece ser uma compensação pelo ensino alienado e pela pesquisa descomprometida com a realidade social. “ ( Botomé, 1996)

" Hoje é hoje, amanhã será amanhã, é hoje que tenho a responsabilidade,não amanhã, se estiver cega. Responsabilidade de quê. Responsabilidade de ter olhos quando os outros os perderam." José Saramago Texto extraído do livro "Ensaio sobre a cegueira". Sonia Regina Mendes