Metodologias Qualitativas de Avaliação MINICURSO Metodologias Qualitativas de Avaliação Prof. Alcides Fernando Gussi (Mestrado em Avaliação de Políticas Públicas MAPP/UFC)

EMENTA Perspectivas teóricas e metodologias qualitativas de avaliação de políticas públicas. Técnicas de pesquisa qualitativa. A abordagem etnográfica. Análise de dados qualitativos. Práticas de pesquisa avaliativa.

OBJETIVO Apresentar as possibilidades e os limites dos usos de diversas técnicas metodológicas qualitativas na avaliação de políticas públicas (observação, entrevista em profundidade, história de vida, grupos focais, análise de rede), com ênfase na abordagem etnográfica, em seus aspectos teóricos e práticos.

1. O lugar da metodologia qualitativa na pesquisa em avaliação de políticas públicas

Quadro 1. Desenho da avaliação: concepção PARADIGMAS CIENTÍFICOS RACIONALISMO EMPIRISMO POSITIVISTA HERMENÊUTICO AVALIAÇÃO TÉCNICO- NORMATIVA AVALIAÇÃO COMPREENSIVA CONSTRUÇÃO DO OBJETO/ PROBLEMA DA AVALIAÇÃO RECORTE TEMÁTICO RECORTE (INTER)DISCIPLINAR RECORTE EMPÍRICO (SUJEITOS, LOCAL, TEMPO) METODOLOGIA: PRESSUPOSTOS E INSTRUMENTAL

Quadro 2. Desenho metodológico da avaliação METODOLOGIA DA PESQUISA METODOLOGIA QUANTITATIVA METODOLOGIA QUALITATIVA TÉCNICAS DE PESQUISA COLETA DE DADOS REGISTRO DE DADOS ANÁLISE DE DADOS

Quadro 3. Técnicas qualitativas na avaliação METODOLOGIA QUALITATIVA TÉCNICAS DE PESQUISA COLETA E REGISTRO DE DADOS OBSERVAÇÃO PARTICIPANTE ENTREVISTA GRUPO FOCAL HISTÓRIA DE VIDA ANÁLISE DE REDE ANÁLISE DOS DADOS

Os métodos e análises da pesquisa qualitativa supõem considerar três etapas do percurso metodológico: 1ª Etapa: PLANEJAMENTO E PREPARAÇÃO; 2ª Etapa: REALIZAÇÃO DA PESQUISA; 3ª. Etapa: ORGANIZAÇÃO E ANÁLISE DOS DADOS.

Etapas cognitivas do percurso metodológico da pesquisa (Roberto Cardoso de Oliveira, 1996) - Olhar, ouvir, escrever: as etapas cognitivas da apreensão da realidade; - O olhar e ouvir (percepção) e escrever (pensamento); - Olhar e ouvir: momento da pesquisa de campo/ “estar lá” (no campo); - Escrever: “estar aqui”.

Quadro 4. Técnicas qualitativas no desenho da pesquisa avaliativa CONSTRUÇÃO DO OBJETO/PROBLEMA METODOLOGIA DA PESQUISA METODOLOGIA QUALITATIVA METODOLOGIA QUANTITATIVA TÉCNICAS DE PESQUISA TÉCNICAS DE PESQUISA COLETA E REGISTRO DE DADOS COLETA E REGISTRO DE DADOS ORGANIZAÇÃO E ANÁLISE DOS DADOS

2. A abordagem etnográfica na avaliação de políticas públicas

Tarsila do Amaral, “Os Operários”

2.1. O horizonte antropológico O QUE É A ANTROPOLOGIA? - A Antropologia e o conhecimento do outro ALTERIDADE: EU  OUTRO (diferente de mim)

A antropologia é o estudo do modo pelo qual os homens percebem suas diferenças ao longo de um dado período de tempo (Da Matta, 1987).

O percurso do pensamento antropológico: 1º O “outro” como exótico, primitivo e o selvagem, com distanciamento geográfico e social; 2º. O “outro” na nossa própria sociedade, mais próximo, mas que tem suas especificidades sociais e culturais.

2.2. A prática antropológica: a etnografia

O QUE É A ETNOGRAFIA? - A observação, descrição e a interpretação de um grupo humano considerado em sua particularidade; - A etnografia é o resultado da vivência do pesquisador no trabalho de campo; - A etnografia é o resultado que se observa quando saímos do ambiente familiar/“estar aqui” para o estranho /“estar lá”. -

- A regra do trabalho etnográfico é relativizar (Roberto DaMatta, 1978): (a) transformar o exótico em familiar, e/ou (b) transformar o familiar em exótico. - A etnografia é um exercício de alteridade! EU  OUTRO

ALGUNS PROBLEMAS PRÁTICOS DO TRABALHO DE CAMPO (VICTÓRIA, C ALGUNS PROBLEMAS PRÁTICOS DO TRABALHO DE CAMPO (VICTÓRIA, C. G et al 2000, p. 56-59) - A entrada no grupo a ser pesquisado; - Como romper com a visão oficial e ou imagem pública do grupo; - Como conhecer os fatos não oficiais; - Como controlar o tipo de informante de um grupo (regularidade e excepcionalidade); - Cuidado para não ferir suscetibilidades das pessoas do grupo; Identificação/classificação, e questões éticas e pessoais; Relações pessoais que o pesquisador consegue estabelecer.

2.3. Os usos da abordagem etnográfica na avaliação

- Avaliação baseada da experiência empírica dos programas/políticas, atentando para como são executados no seu cotidiano institucional e fora dele; - Avaliação baseada na construção das trajetórias institucionais dos programas/políticas em foco, associadas às trajetórias de vida dos participantes (Gussi, 2008); - Foco no ponto de vista de distintos sujeitos institucionais e/ou beneficiários acerca das programas, tende a ser mais participativo;

Articulação entre o texto do programa (marcos legais, conceitos, objetivos e ações) e os seus distintos contexto: histórico, econômico, político e social (Lejano, 2011); Formulação de novos indicadores sócio-culturais, construídos na/com a etnografia, chamando atenção para outras dimensões, tais como, sociais, culturais, políticas e ambientais (Gonçalves, 2008); A construção de um campo epistemológico acerca da “avaliação em profundidade” de políticas públicas de caráter social (Rodrigues, 2008, 2011).

3. As Técnicas Qualitativas de Pesquisa

3. 1. Observação participante

- Examinar todos os sentidos de um evento (política pública), um grupo de pessoas, um indivíduo dentro de um contexto com o objetivo de descrevê-lo a partir do problema avaliativo; - Registro de dados: notas breves e, posterior, caderno de campo; - Elementos a serem observados: * O ambiente externo e interno; * O comportamento das pessoas no grupo; * A linguagem; * Os relacionamentos; * O tempo em que ocorrem os processos observados.

- Três situações distintas da observação participante na pesquisa avaliativa: 1ª.) O observador encontra-se distante do observado; 2ª.) O observador encontra-se próximo do observado; 3ª.) O observador faz parte do grupo observado.

3. 2. Entrevista em profundidade

- Usos da entrevista em profundidade: compreensão dos sujeitos e grupos sociais sobre dimensões da política pública avaliada; - Preparação e planejamento: * O roteiro; * Seleção dos entrevistados; * O número de entrevistas Realização da entrevistas; Transcrição das entrevistas;

- A análise das entrevistas: * A transcrição com boa qualidade da entrevista; * Articulação com os objetivos da pesquisa e sua problematização teórica; * Procura por temas com conteúdo comum (padrões, conexões e contradições); * Imersão do pesquisador no corpus do texto e a organização dos dados; * A interpretação deverá ser balizada pelos dados da entrevista.

3. 3. Grupo focal

- Entrevistas em grupo (família, grupos de amigos, líderes comunitários, etc.) - Foco: um tema e/ou um grupo - Três fases: 1ª.) Seleção das pessoas e preparação do encontro (roteiro); 2ª.) O encontro; 3ª.) Transcrição das falas e compilação dos dados.

3. 4. História de vida

- Compreender o desenvolvimento da vida do sujeito investigado e traçar com ele uma biografia que descreva sua trajetória; Realizada ao longo de vários encontros; Trata-se de uma reconstrução a partir da avaliação atual dos fatos; A memória é seletiva; A importância da sequência de eventos.

Quadro 5. Passos da entrevista individual (adap. Gaskell, 2002) SELEÇÃO DOS ENTREVISTADOS ESCOLHA DO TIPO DE ENTREVISTA: INDIDIVUAL E/OU GRUPAL PREPARAÇÃO DO ROTEIRO REALIZAÇÃO DAS ENTREVISTAS TRANSCRIÇÃO DAS ENTREVISTAS ORGANIZAÇÃO E ANÁLISE

3. 4. Análise de rede

- Ferramenta metodológica utilizada em conjunto com outras abordagens e técnicas (questionários, entrevistas, observação participante); - Construção e utilização de gráficos e análises matemáticas, com representações de pontos, linhas e cliques (grupos de atores direta ou fortemente ligados a todos os outros). - Observação: o que é trocado/ com quem é trocado/ o quanto é trocado (densidade).

Figura 1. Construção gráfica da rede social (i) (Barnes, 1987)

Figura 2. Construção gráfica da rede social (ii) (Barnes, 1987)

4. A análise de dados

- O avaliador opera com uma diversidade de materiais (estudo de caso, observação, história de vida, entrevista, textos históricos, visuais, etc.); Caráter explicativo dos dados qualitativos. - A triangulação de métodos na avaliação de políticas públicas e programas sociais. Articulação entre dos dados, e entre os dados e o problema avaliativo (interpretação do avaliador); O produto final (relatório).

Quadro 6. Desenho da avaliação: síntese CONCEPÇÃO DA AVALIAÇÃO PESQUISA (COLETA DE DADOS) SÍNTESE DOS DADOS (ORGANIZAÇÃO) RELATÓRIO FINAL (ANÁLISE E CONCLUSÕES)

5. Prática de pesquisa avaliativa

Objetivos - Apresentar a metodologia e os resultados da avaliação comparada de dois programas de microcrédito do Banco do Nordeste: 1º.) o Crediamigo, tipo de microcrédito produtivo orientado; 2º) o Programa de Apoio a Projetos Produtivos Solidários - PAPPS, que financia Fundos Rotativos Solidários - FRS, um tipo de microfinanças solidárias.

A perspectiva avaliativa - Perspectiva compreensiva e multidimensional de avaliação a partir da experiência da política/programa(Lejano, 2011); - Pressupostos de uma “avaliação em profundidade” (Rodrigues, 2008, 2011, 2011a).

A metodologia da avaliação - Centrada na etnografia (descrição densa, Geertz, 1978); - Interpretação dos diferentes atores acerca dos programas de microcrédito e seus resultados; - Construção da trajetória (Bourdieu, 1996; Gussi, 2008) dos programas nas instituições e entre os beneficiários do microcrédito a partir das noções de desenvolvimento envolvidas nas ações dos programas.

A pesquisa etnográfica - Pesquisa bibliográfica sobre microcrédito e microfinanças e temas correlatos; - Coleta de material institucional sobre os programas (desenho dos programas, objetivos, características, dados quantitativos de investimentos e de desempenho, e seus resultados nas comunidades locais); - Mapeamento estatístico dos programas nos bairros de Fortaleza;

A pesquisa etnográfica - Observação participante no locus das experiências gestadas pelos programas, no Banco do Nordeste e nos empreendimento de trabalhos gerado pelo microcrédito, especialmente no PAPPS, a AMA – Associação de Mulheres em Ação/Bodega; - Aplicação de questionários a beneficiários dos programas pra traçar um perfil econômico e sócio-cultural dos beneficiários, tais como, sexo, idade, estado civil, orientação religiosa, hobby, situação econômica, qualificação, escolaridade e localidade de origem;

A pesquisa etnográfica - Entrevistas em profundidade com os atores institucionais que conceberam e implementam os programas em Fortaleza, abordando os objetivos dos programas, conceitos centrais, metodologia e avaliação dos programas; - Histórias de vida dos beneficiários, escolhidos a partir dos perfis dos questionários e sua vinculação com os programas, com o intuito de construir significados acerca do microcrédito partir das representações sobre os impactos do programa no contexto de suas narrativas biográficas.

Resultados da avaliação Acompanhamento das trajetórias dos dois programas de microcrédito, junto a técnicos do Banco do Nordeste, e beneficiários, com perfil de baixa renda de Fortaleza, nas várias instâncias institucionais e fora dela dos programas.

Conclusões 1. Avaliação do Programa Crediamigo - Programa impactante na renda dos beneficiários, ampliador do crédito nas classes mais baixas e catalizador inserção no mercado laboral informal; - As condições de vida dos beneficiários permaneceu estável, alterando-se apenas a condição de consumo doméstico das famílias envolvidas, não havendo mudança significativa em outros aspectos da vida, tais como escolaridade, capacitação profissional, moradia, saúde e lazer;

Conclusões 1. Avaliação do Programa Crediamigo - O Crediamigo orienta-se para o aspecto econômico, com foco no aumento da renda e do consumo dos beneficiários, implicando em um desenvolvimento vinculado à inserção no mercado.

Conclusões 2. Avaliação do PAPPS Na visão das participantes da AMA/Budeg´AMA e gestores do Banco do Nordeste - Na dimensão social: o recurso promoveu maior sociabilidade e fortaleceu laços solidários entre as associadas e encontram, no trabalho coletivo (participativo e solidário), motivações para levar adiante o projeto pessoal de autonomia; - Na dimensão econômica: o recurso ajudou parcialmente, embora tenha possibilitado a criação do FRS e a compra de insumos para a produção, não garante sustentabilidade econômica, já que a renda obtida com a comercialização dos produtos é menor do que as despesas mensais da associação.

Conclusões 2. Avaliação do PAPPS Na visão das participantes da AMA/Budeg´AMA e gestores do Banco do Nordeste - Na dimensão política: o recurso contribuiu para o desenvolvimento das práticas democráticas de autogestão e a construção de uma maior consciência política; - Na dimensão ambiental: o recurso vem contribuindo para a formação de uma consciência ambiental, porém os resultados são menos relevantes.

Conclusões 2. Avaliação do PAPPS - Do ponto de vista econômico, os recursos do PAPPS aplicados na AMA/Budeg´AMA não garantem a continuidade do empreendimento para que se mantenha auto-sustentável, porém o PAPPS impacta nas demais dimensões, social, política e ambiental. - O PAPPS financiado pelo Banco, aumentou da auto-estima das associadas, o fortalecimento dos laços afetivos, o aumento da autonomia, o crescimento pessoal, aumentou a noção de cidadania, voltada para a consciência dos direitos.

3. Aportes comparativos entre o Crediamigo e o PAPPS Conclusões 3. Aportes comparativos entre o Crediamigo e o PAPPS - A dimensão social e política do PAPPS constrói afetividade, confiança e um sentido de solidariedade entre os membros do empreendimento estudado, ou seja, a construção de um capital social, não realizado no programa Crediamigo; - No PAPPS, impactos dimensão econômica na vida dos beneficiários encontra-se em segundo plano diante das outras dimensões, no Crediamigo, a dimensão econômica, com o aumento da renda e a inserção no mercado laboral, tem principal importância e fundamenta o programa, deixando de lado outras necessidades demandadas pelos clientes;

6. Exercício de prática de pesquisa avaliativa (em grupos)

Desenho da avaliação: concepção PARADIGMAS CIENTÍFICOS RACIONALISMO EMPIRISMO POSITIVISTA HERMENÊUTICO AVALIAÇÃO TÉCNICO- NORMATIVA AVALIAÇÃO COMPREENSIVA CONSTRUÇÃO DO OBJETO/ PROBLEMA DA AVALIAÇÃO RECORTE TEMÁTICO RECORTE (INTER)DISCIPLINAR RECORTE EMPÍRICO (SUJEITOS, LOCAL, TEMPO) METODOLOGIA: PRESSUPOSTOS E INSTRUMENTAL

Técnicas qualitativas na avaliação METODOLOGIA QUALITATIVA TÉCNICAS DE PESQUISA COLETA E REGISTRO DE DADOS OBSERVAÇÃO PARTICIPANTE ENTREVISTA GRUPO FOCAL HISTÓRIA DE VIDA ANÁLISE DE REDE ANÁLISE DOS DADOS

BIBLIOGRAFIA BARNES, John. A. Redes sociais e processo político. In: FELDMAN-Bianco, Bela. A antropologia das sociedades contemporâneas. São Paulo: Global, 1987. p.227-344. BAUER, Martin; GASKELL, George (ed.). Entrevistas individuais e grupais. Pesquisa qualitativa com texto, imagem e som. Um manual prático. Petrópolis: Vozes, 2002. BOURDIEU, Pierre. A ilusão biográfica. In: AMADO, Janaína; FERREIRA, Marieta de Moares (org.). Usos e abusos da história oral. Rio de Janeiro: Fundação Getúlio Vargas, p. 183-191, 1996. CARDOSO DE OLIVEIRA, Roberto. O trabalho do antropólogo: olhar, ouvir, escrever. In: Revista de Antropologia. São Paulo: USP, v. 39, n. 1, 1996. FOOTE-WHYTE, W. Treinando a observação participante. Zaluar, Alba. Desvendando Máscaras Sociais, Rio de Janeiro: Livraria Francisco Alves Editora, 1979. GEERTZ, Clifford. A interpretação das culturas, Rio de Janeiro: Zahar, 1978. GONÇALVES, Alícia Ferreira. Políticas Públicas, etnografia e a construção dos indicadores socioculturais. Aval – Revista de Avaliação de Políticas Públicas. UFC, número 1, 2008, p. 17-28. GUSSI, Alcides Fernando. Apontamentos teóricos e metodológicos para a avaliação de programas de microcrédito. AVAL Revista Avaliação de Políticas Públicas, ano I, vol.1, n.1, jan-jun, 2008. _____. Avaliação de políticas públicas sob uma perspectiva antropológica. Heloísa de A. Duarte Valente, Rosália Maria Netto Prados, Cristina Schmidt (orgs.) Música como negócio: políticas públicas e direitos de autor. Osasco (SP), Leonardo da Vinci Editora, 2014 (no prelo). _____ et alli. Avaliação dos Programas de microcrédito do Banco do Nordeste. Revista Brasileira de Monitoramento e Avaliação n. 06, jul-dez 2013, Brasília: MDS/SAGI, 2013.

LEJANO, Raul P. Parâmetros para avaliação de políticas: fundindo texto e contexto. Campinas, SP: Editora Arte Escrita, 2012. MALINOWSKI, Bronislaw. Introdução. Os argonautas do Pacífico Ocidental. São Paulo. Abril. 1978. QUEIROZ, Maria Isaura Pereira. Variações sobre a técnica do gravador no registro da informação viva. São Paulo: T.A.Queiroz, 1991. RODRIGUES, Lea Carvalho. Propostas para uma avaliação em profundidade de políticas públicas sociais. AVAL Revista Avaliação de Políticas Públicas, ano I, vol.1, n.1, jan-jun, 2008. _____ Análises de conteúdo e trajetórias institucionais na avaliação de políticas públicas sociais: perspectivas, limites e desafios. CAOS – Revista Eletrônica de Ciências Sociais, nº 16, p. 55–73, 2011. _____ Avaliação de políticas públicas no Brasil: antecedentes, cenário atual e perspectivas. In: PRADO, Edna Cristina; DIÓGENES, Elione Nogueira Maria (Orgs). Avaliação de políticas públicas: interface entre educação e gestão escolar. 1ed. Alagoas: Editora da Universidade Federal de Alagoas – EDUFAL, 2011