Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse  Utilizar métodos de avaliação rigorosos.

Apresentação em tema: "Non-Experimental Methods. Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse  Utilizar métodos de avaliação rigorosos."— Transcrição da apresentação:

1 Non-Experimental Methods

2 Objetivo: Isolar o efeito das nossas intervenções sobre os resultados de interesse  Utilizar métodos de avaliação rigorosos para responder às nossas questões inicialmente propostas  Randomização (seleção aleatória) dos participantes no tratamento é o método “padrão de ouro” (simples, preciso, barato)  E se não pudermos mesmo utilizar este método? ➤ Quando faça sentido, utilizar métodos não- experimentais

3  Conseguimos encontrar um contrafatual plausível?  Experiência natural?  Métodos não-experimentais estão associados a um conjunto de premissas  Quanto maior o número de premissas, menos válida será a medida do efeito de causalidade  É importante questionar as nossas premissas ▪ Utilize o senso-comum!

4  Objetivo Principal ▪ Aumentar a produtividade e vendas da empresa  Intervenção ▪ Distribuição de subsídios ▪ Seleção de participantes não-aleatória  Grupo alvo ▪ PMEs entre 1 e 10 empregados  Principal indicador ▪ Vendas 4

5 5 (+) Impacto do programa (+) Impacto de fatores externos

6 6 (+) Medida ENVIESADA do impacto do programa “Antes-e-Depois” não gera resultados em que possamos acreditar!

7 7 Diferença final (« depois ») entre participantes e não participantes Diferença inicial (« antes ») entre participantes e não participantes >> Qual é o impacto da nossa intervenção?

8 Contrafatual: 2 opções que significam o mesmo 1. Vendas de não participantes depois da intervenção, expurgando as diferenças “anteriores” entre participantes e não participantes (a diferença inicial entre os dois grupos) 2. Vendas dos participantes antes da intervenção, expurgando a variação entre “antes/depois”para os não participantes (os fatores externos)  1 e 2 são equivalentes 8

9 Premissa subjacente: Sem o programa, as vendas dos participantes e dos não participantes evoluíriam da mesma forma (com a mesma tendência) >> Gráfico intuitivo a caminho....

10 10

11 11

12 12 NP 2008 -NP 2007 =0.8 Impacto = (P 2008 -P 2007 ) -(NP 2008 -NP 2007 ) = 0.6 – 0.8 = -0.2 Impacto = (P 2008 -P 2007 ) -(NP 2008 -NP 2007 ) = 0.6 – 0.8 = -0.2 P 2008 -P 2007 =0.6

13 13 P-NP 2008 =0.5 Impacto = (P-NP) 2008 -(P-NP) 2007 = 0.5 - 0.7 = -0.2 Impacto = (P-NP) 2008 -(P-NP) 2007 = 0.5 - 0.7 = -0.2 P-NP 2007 =0.7

14 Impacto=-0.2

15  Impacto negativo:  Muito contra-intuitivo: O aumento do financiamento não devería reduzir as vendas, a partir do momento em que os fatores externos sejam tidos em conta!  Presumir a mesma tendência é muito forte  Os 2 grupos estavam em 2007 a produzir a níveis muito diferentes  Questione a presunção de mesma tendência!  Sempre que possível, teste a presunção de mesma tendência com dados de anos anteriores

16 Rejeitamos a presunção contrafatual de mesma tendência!

17 17

18 18 NP 08 -NP 07 =0.2 Impact0 = (P 2008 -P 2007 ) -(NP 2008 -NP 2007 ) = 0.6 – 0.2 = + 0.4 Impact0 = (P 2008 -P 2007 ) -(NP 2008 -NP 2007 ) = 0.6 – 0.2 = + 0.4

19 Impacto = +0.4

20  Impacto Positivo:  Mais intuitivo  Sera que presumir a mesma tendência é razoável? ➤ Ainda precisamos de questionar a presunção contrafatual de mesma tendência! ➤ Utilizemos dados de anos anteriores

21 Parece razoável aceitar a presunção contrafatual de mesma tendência!

22  Assumir a mesma tendência é normalmente problemático  Quando não existem dados para testar a mesma tendência histórica  E mesmo se as tendências forem semelhantes no ano anterior… ▪ Foram as tendências sempre semelhantes (ou tivemos sorte)? ▪ Mais importante, serão essas tendências sempre semelhantes? ▪ Exemplo: Outro projeto intervem nas nossas empresas não participantes…

23  Que fazemos então? >> Temos de ser descritivos!  Verificar as semelhanças em características observáveis ▪ Se não são semelhantes ao nível das características observáveis, é provavel que as tendências sejam diferentes de uma forma imprevisível >> No entanto, não conseguimos verificar o que não conseguimos ver…E as características não observáveis podem ser mais importantes que as observáveis (capacidade, motivação, paciência, etc)

24 Agrupe participantes e não participantes com base em características observáveis Contrafatual:  Grupo de comparação com semelhanças em características observáveis:  Procura-se para cada participante do programa um ou mais pares de não participante(s) com base nas características observáveis >>Em média, participantes e não participantes partilham as mesmas características observáveis (por construção)  Estimar o efeito da nossa intervenção utilizando diferença das diferenças 24

25 Premissas subjacentes  Não há diferenças entre os participantes e não participantes em termos de características não observáveis E/OU  Características não observáveis não afetam a selecção para o tratamento nem o resultado de interesse

26  Criar um grupo de controle através da identificação de sub-grupos (de um ou mais) com características observáveis semelhantes aos participantes  Temos de escolher com cuidado as variáveis para agrupar os participantes com o grupo de controle  De forma a que fiquemos apenas com ▪ Grupo de tratamento: Participantes que conseguiram obter um par ▪ Grupo de controle: não-participantes parecidos com os participantes >> Em resultado deste processo, eliminamos uma parte do nosso grupo de tratamento!

27  Na maior parte dos casos, não conseguimos encontrar pares para todos os participantes  Precisamos de perceber quem fica de fora  Exemplo Pontuação não-participantes Participantes Parte combinada Riqueza Parte do grupo de tratamento excluída

28  Vantagens do metodo de combinação:  Não precisa de randomização 28

29  Desvantagens:  A premissa subjacente ao contrafatual não é plausível em todos os contextos, dificil de testar ▪ Utilize o senso comum  Necessita dados de muita qualidade ▪ Necessário controlar todos os fatores que influenciam o a alocação ao programa / resultado em análise  Necessita amostras de tamanho suficientemente grande para gerar o grupo de comparação  não se consegue sempre encontrar pares para todos... 29

30  A randomização requer premissas mínimas e gera estimativas intuitivas (médias das amostras!)  Métodos não experimentais requerem premissas que devem ser cuidadosamente avaliadas  Mais intensivo em termos de dados  Nem sempre testavel  Seja criativo:  Misture-e-combine os métodos!  Responda as perguntas relevantes com os métodos apropriados 30