AUDITORIA DE NATUREZA OPERACIONAL - ANOP

Apresentação em tema: "AUDITORIA DE NATUREZA OPERACIONAL - ANOP"— Transcrição da apresentação:

1 AUDITORIA DE NATUREZA OPERACIONAL - ANOP
TRIBUNAL DE CONTAS DO ESTADO DA BAHIA AUDITORIA DE NATUREZA OPERACIONAL - ANOP ESCOLHA E PLANEJAMENTO DE TÉCNICAS QUALITATIVAS DE COLETA E ANÁLISE DE DADOS

2 TÉCNICAS QUALITATIVAS NA AVALIAÇÃO
TÉCNICAS QUALITATIVAS NA AVALIAÇÃO ENTREVISTAS: * ABERTAS OU NÃO-ESTRUTURADAS * SEMI-ESTRUTURADAS OU FOCALIZADAS * ESTRUTURADAS - GRUPO FOCAL - OBSERVAÇÃO

3 TÉCNICAS QUALITATIVAS NA AVALIAÇÃO
TÉCNICAS QUALITATIVAS NA AVALIAÇÃO ENTREVISTAS  instrumento diferente do questionário não padroniza respostas. Tipos: * ABERTAS OU NÃO-ESTRUTURADAS * SEMI-ESTRUTURADAS OU FOCALIZADAS * ESTRUTURADAS

4 GRUPO FOCAL NÚMERO DE GRUPOS
Não busca consenso, mas a emergências de todas as opiniões, percepções e representações dos informantes  Possibilita compreensão de situações sociais complexas e heterogêneas Característica distintiva: sinergia entre os membros Não requer grandes amostras: deve-se resguardar a heterogeneidade do tecido social e, ao mesmo tempo, compor grupos homogêneos (obedecendo a critérios pre-estabelecidos) NÚMERO DE GRUPOS PONTO DE SATURAÇÃO: quando as respostas começam a se repetir, ficando claras as regularidades existentes

5 TECNICAS QUALITATIVAS:
O PAPEL DO ENTREVISTADOR/MODERADOR * DOIS PARÂMETROS: 1) OBJETIVO DA PESQUISA ROTEIRO - Roteiro deve ser flexível, mas não deve se afastar dos objetivos, das questões a serem investigadas 2) PECULIARIDADES DE CADA CONTATO AMBIENTE - E’ o entrevistado ou grupo que configura o campo: o entrevistador é um agente de provocação, controle e análise - Requer sensibilidade e flexibilidade

6 TÉCNICAS QUALITATIVAS CARACTERÍSTICAS:
Entrevistador/Moderador é o elemento crucial: requer treinamento e experiência 2) Momento e ambiente afetam os resultados e suas percepção e registro são parte da coleta de dados 3) Devem ser captados tanto os aspectos manifestos como os latentes, as expressões verbais e não verbais 4) As questões a serem investigadas devem estar o mais claras possível: o planejamento e desenho da pesquisa são fundamentais 5) O processo de análise se inicia com a própria coleta, entremeando e retroalimentando o processo de coleta.

7   ELABORAÇÃO DO ROTEIRO:
- Do tema mais genérico para o mais específico - Cuidado para cobrir todas as áreas - Definição de possíveis estratégias alternativas  DISCUSSÃO EM GRUPO: CUIDADOS ESPECIAIS Entender o grupo como um todo, um sistema interativo/iterativonão são indivíduos isolados, não é uma entrevista coletiva Atentar para a dinâmica do grupo: tipos de liderança, porta-vozes, elementos dissonantes ativos e passivos, relação estabelecida com o moderador

8 ASPECTO FUNDAMENTAL: SELEÇÃO DOS INFORMANTES
- Não se trata de pesquisa quantitativa, não permite inferência estatística, e o número de informantes necessariamente é restrito, logo, não se faz amostragem probabilística. - Mas a seleção não pode ser enviesada: é necessário ter critérios para seleção, que variam de acordo com os problemas pesquisados, com os objetivos da pesquisa e com o tipo de público envolvido. - E’ possível usar sorteios e também a lógica das amostras não-probabilísticas por cotas e por tipicidade. - Em outras ocasiões, usa-se critério reputacional ou decisional. - Há casos em que o único critério é o da acessibilidade. Ex: usuários de drogas. vítimas de violência, etc

9 Cuidados com os Grupos Focais
Local da discussão: deve ser neutro e reservado Não é admissível interferência de terceiros Não é admissível a interrupção das discussões Tempo de discussão: no mínimo uma hora, no máximo três horas.Idealmente, 100 minutos. Discussão estabelecida a partir de um roteiro testado. Pode-se flexibilizar o roteiro para incluir questões; JAMAIS para excluir Uso de estímulos externos: adequação ao público e ao tempo de reunião Controlar as participações individuais (tempo) para evitar que a discussão fique incompleta e que haja assimetrias.

10 Técnicas para a Condução do Grupo Focal
Ganhar a confiança do Grupo: esclarecer a atividade, seus objetivos; explicar o princípio da confidencialidade e do anonimato Esclarecer: após um participante ter respondido a uma pergunta, repeti-la ou desdobra-la para aprofundar Substituir: mudar a formulação da pergunta sem mudar o conteúdo, evitando que se torne enfadonha Reorientar: aproveitar a resposta dada por uma pessoa, refazendo a pergunta para outras Neutralizar: controlar membros dominantes, estimular os retraídos Controlar: evitar participações individuais demoradas demais; mediar divergências e conflitos

11 Funções do Moderador: Apresentar a atividade, explica-la, apresentar o tema; apresentar-se e ao assistente, apresentar os membros. Esclarecer as regras do jogo: gravação, confidencialidade, anonimato, não-interrupção, não-interferência externa Se for o caso, utilizar/controlar o uso de estímulos ao debate Dirigir o grupo:formular as perguntas, estar atento às reações, estimular a participação, controlar intervenções individuais, guiar a discussão segundo o roteiro Ser flexível ao surgimento de informações relevantes não previstas. Balancear o que é importante para o grupo e o que é importante para a pesquisa. Controlar o tempo e o ritmo da discussão, evitando a fuga aos temas

12 Funções do Assistente:
Preparar o material a ser utilizado na discussão: gravadores, fitas, pilhas, vídeos, cartazes, lâminas, etc Registrar informações: linguagem gestual e comunicaçao não-verbal dos membros; dados não gravados:local, número de componentes, sexo, idade; clima da reunião; existência de elementos dominantes, etc Colaborar em momentos de silêncio ou de perda de controle do grupo Retomar comentários ou perguntas que tenham escapado ao moderador Sinalizar ao moderador membros retraídos ou desejosos de participar Atuar como observador e, ao final, comentar com o moderador as principais idéias surgidas durante a discussão Elaborar relatório escrito da reunião de cada grupo.

13 Análise dos Resultados
Transcrição das fitas gravadas Identificação das variáveis (segundo o roteiro de discussão) Identificação das categorias que emergem da discussão Hierarquização das categorias segundo a frequência com que aparecem em cada grupo Comparação inter-grupos e inter-variáveis  busca de regularidades e singularidades (divergências) entre categorias de informantes Checagem: com novos grupos ou com outras bases de dados Selecionar mensagens-chave ilustrativas das regularidades e singularidades

14 Análise Depende do tipo de relatório que o projeto deve produzir: -se o GF foi usado em pesquisa exploratória, a análise é voltada para produzir instrumentos, etc se o GF é usado em pesquisa aplicada, a análise vai depender dos objetivos do contratante Se o GF vai alimentar avaliações ou auditorias, dependerá das dimensões a serem enfatizadas perante o gestor Os objetivos da análise devem estar claros antes da coleta, pois o que é coletado obedece ao que se pretende na análise e no relatório.

15 Análise: 1)definir a unidade de análise  o grupo não é uma entidade, mas os indivíduos são afetados pela sua dinâmica COMO REGRA A UNIDADE É O GRUPO 2) Se cada GF cobre os mesmos tópicos, na mesma ordem, deve-se estabelecer um grid que sumarize sistematicamente o que cada GF respondeu 3)Analise preliminar: começar com um ou dois GF, analisados por duas pessoas diferentes 4)pode-se contar categorias, mesmo sendo dados qualitativos: estatísticas descritivas podem ser usadas para observações independentes.

16 Qual a frequência com que cada tópico é mencionado em diferentes grupos?
USA-SE: Códigos de análise: são unidades de significado criados a priori ou como resultado do encontro com os dados Criação de Esquema de Códigos: 1-Definir as unidades de dados: palavras? Expressão verbal? Sentença? Parágrafo? Texto completo? Geralmente usa-se sentenças, frases que permitem contar quando palavras são encontradas juntas Permitem identificar associações que expressam referencias positivas, negativas ou neutras e avaliar sua força (ênfase, com advérbios, adjetivações, etc)

17 Só se usa parágrafos ou texto todo quando os recurso ou o tempo são muitos escassos
2-Definir as categorias, decidindo se (a) são mutuamente excludentes; (b) quão específicas ou genéricas devem ser 3-Testar uma amostra do texto para avaliar a acurácia (codificação correta, sem ambiguidades) e fidedignidade (replicação sem superposições) 4- Revisar os códigos e suas regras 5- Voltar ao passo 3 6- Codificar todo o texto 7- Reavaliar a acurácia e fidedignidade

18 Análise por “validação grupo-a-grupo”
três passos seguintes 1-Contar quantos grupos mencionaram um tópico ou manifestaram uma posição 2-Contar quantas pessoas dentro de cada grupo mencionaram um tópico ou manifestaram uma posição 3-Avaliar quanta energia um tópico provocou em cada grupo (tempo ou número de palavras gasto na discussão de um tópico ou número de intervenções) Validação grupo-a-grupo significa que sempre que um tópico se apresenta, ele produz um nível de energia em uma proporção consistente de participantes EM TODOS OS GRUPOS OU QUASE TODOS.

19 Método Observacional:
os fatos são percebidos diretamente, sem intermediação. Requer: objetivo formulado; planejamento sistemático; (c) registro sistemático; (d) verificação e controles de validade e precisão

20 Observação é uma atividade deliberada e controlada de coleta de dados.
Envolve o critério da intersubjetividade: outro observador, na mesma situação, obtém a mesma conclusão (é o recurso para controlar os vieses ou "bias" da observação).

21 Observação passiva ou simples: apenas acompanhamento dos fatos.
Usada em estudos exploratórios. Procedimentos: (1) identificar os sujeitos; (2) descrever os cenários; (3) descrever os comportamentos; (4) registro + análise; (5) levantar hipóteses.

22 Observação Sistemática:
é feita após estudo exploratório, e busca descrever com precisão os fenômenos e testar hipóteses. Requer: plano de observação; (b) definição das categorias de análise; (c) definição das hipóteses a serem testadas.

23 - Observação Participante:
a)tipo natural - o observador pertence à comunidade que investigada; b)tipo artificial - o observador é um ator externo, que se integra à situação observada. Ex: mistery shopping

24 - Inconvenientes da observação: alteração dos comportamentos dos observados.
- Erros de Observação: são compensados com controles metodológicos.

25 Controles Metodológicos:
a)observações análogas: multiplicidade de observações. b)multiplicidade de observadores c)registro das observações contrárias(não desprezar as outras possibilidades)

26 d)noção clara de que a observação "se faz" : Não se observa tudo o que há para ser visto; é preciso um bom foco, planejado, para que a seletividade seja conscientemente controlada.

27 Observação X Grupos Focais
Observação é mais vantajosa quando se pretende analisar contextos complexos e comportamentos no contexto natural e acompanhar tais comportamentos durante tempo mais longo. Grupos focais são mais vantajosos quando se quer observar a interação dos indivíduos com um perfil (atributos) específico, orientada por um tópico artificialmente introduzido (Foco)

28 Observação permite: Coletar dados tendo por base um amplo espectro de comportamentos Uma grande variedade de interações de indivíduos em situações naturais diversificadas Uma discussão mais aberta dos tópicos de pesquisa Os grupos focais: São mais limitados aos comportamentos verbais Interagem somente no contexto restrito da discussão São criados e controlados pelo pesquisador

29 Entrevistas Individuais X Grupos Focais
Entrevistas são mais vantajosas que grupos focais porque: Permitem maior controle por parte do entrevistador Permitem obter maior quantidade de informação de cada um dos informantes isoladamente Grupos focais: Permitem confronto dinâmico O pesquisador tem maior controle do foco e a sua ação é que define o resultado

30 -Construção de indicadores de desigualdade e exclusão social deve levar em consideração:
   Importância de variáveis sociais: raça, identidade étnica, gênero, etc devem ser o MAIS DESAGREGADOS POSSÏVEL  os elementos culturais da desigualdade e exclusão  o papel e o impacto das ações de diferentes níveis de governo na luta contra a pobreza, a desigualdade e a exclusão social. os indicadores sociais e as metodologias para avaliar o impacto da pobreza, desigualdade e exclusão nos programas governamentais.

31 Foco da avaliação de políticas e programas sociais:
Pobreza/riqueza; desigualdade/igualdade exclusão X inclusão/equidade Requer Distinções dos conceitos de pobreza, desigualdade e exclusão social. Avaliar a importância da pobreza, desigualdade e exclusão em esferas não materiais: acessos a direitos, instituições e processos decisórios. Compreender os impactos diferenciados da pobreza, da desigualdade e da exclusão social (vulnerabilidade)