Igor Steinmacher Igor Scaliante Wiese Ana Paula Chaves

Apresentação em tema: "Igor Steinmacher Igor Scaliante Wiese Ana Paula Chaves"— Transcrição da apresentação:

1 Análise da Desistência de Novatos em Projetos de Software Livre: Caso do Projeto Hadoop Common
Igor Steinmacher Igor Scaliante Wiese Ana Paula Chaves Marco Aurélio Gerosa

2 CONTEXTO “Um novato em projeto de software é como um explorador que precisa se orientar em um ambiente hostil...” [Degenais et al. 2010] ... e precisam de ajuda para dar seus passos iniciais B. Dagenais, H. Ossher, R.K.E Bellamy, M.P. Robillard and J.P. de Vries, Moving into a new software project landscape, in ICSE 2010.

3 Problema Taxa de retenção de novatos em projetos de software livre é baixa

4 PROBLEMA Bongwon Suh, Gregorio Convertino, Ed H. Chi, and Peter Pirolli The singularity is not near: slowing growth of Wikipedia. In WikiSym '09. ACM, New York, NY, USA, , Article 8 , 10 pages.  Parul Vora, Naoko Komura The n00b Wikipedia Editing Experience. In WikiSym '10. Aaron Halfaker, Aniket Kittur, and John Riedl Don't bite the newbies: how reverts affect the quantity and quality of Wikipedia work. In WikiSym '11.  Loxley Sijia Wang, Jilin Chen, Yuqing Ren, and John Riedl Searching for the goldilocks zone: trade-offs in managing online volunteer groups. In CSCW '12. Fonte: Wikimedia Editor Trends Study/Results <

5 Objetivo Questão de Pesquisa:
Ausência de resposta, polidez, utilidade ou o tipo de autor das respostas influencia na permanência de novatos em um projeto de software livre? Objetivos Específicos: Durante as primeiras interações dos novatos com o projeto OE1: Verificar se os novatos recebem respostas; OE2: Observar quem são os autores das respostas às dúvidas dos novatos; e OE3: Classificar as respostas recebidas pelos novatos.

6 Dados Coletados Projeto Hadoop Common 60 meses Lista de e-mails
9285 discussões 50128 mensagens Discussões nas tarefas (Jira) 7721 tarefas 76065 comentários

7 Método 1 2 3 3 4 Mineradores Lista e-mails Tarefas Jira
Identificação dos membros existentes no projeto (36 meses) Identificação dos “novatos” (6 meses) Verificação dos novatos que ficaram (6 meses) Verificação dos novatos que “continuaram” (+ 12 meses) Verificação dos novatos “desistentes” (6 meses) Envio de questionário 1 2 3 3 4

8 RESULTADOS (Retenção)
Novatos na Lista de s # usuários % dos existentes % dos novatos Existentes (intervalo 1) 677 Novatos (intervalo 2) 67 9,90% Ficaram (intervalo 3) 20 2,95% 29,85% Continuaram (intervalo 4) 12 1,77% 17,91% Novatos no Gerenciador de tarefas (Jira) # usuários % dos existentes % dos novatos Existentes (intervalo 1) 483 Novatos (intervalo 2) 127 26,29% Ficaram (intervalo 3) 30 6,21% 23,62% Continuaram (intervalo 4) 17 3,52% 13,39%

9 OE1: OS novatos são respondidos?
Novatos na Lista de s # pessoas Desistiram Aparecem nos intervalos 3 e 4 Sem resposta 13 11 (84,6%) 2 (15,4%) Com resposta 34 30 (88,2%) 4 (11,8%) Novatos no Gerenciador de tarefas (Jira) # pessoas Desistiram Aparecem nos intervalos 3 e 4 Sem comentários 7 6 (85,7%) 1 (14,3%) Com comentários 71 55 (77,5%) 16 (22,5%)

10 OE2: Quem responde aos novatos?
Lista de s 20 discussões de novatos que desistiram tiveram alguma resposta de outros novatos Nenhuma mensagem de novato respondida apenas por novatos. Apenas 2 discussões têm participação de outros novatos Indícios de que experiência dos autores de respostas influencia a permanência Verificou-se que alguns novatos responderam questões de maneira equivocada ou que não continham informações úteis

11 OE2: Quem responde aos novatos?
Jira 39 relatos (45%) não contaram com membros centrais. Participação heterogênea. 11 relatos (28%) não contaram com membros centrais. Participação heterogênea Discussões mais extensas (# mensagens trocadas) Maior contribuição dos membros centrais, e mais respostas de novatos Discussões mais contextualizadas, focadas, e extensas (# mensagens)

12 OE3: Que tipo de resposta os novatos recebem?
Lista de s Tipo da Resposta Desistiram Continuaram Ajuda / No Tópico 20 7 Não Útil / Outra questão 5 Não Útil / Fora do tópico 3 Indiferente 1 Outro 4 Gerenciador de Tarefas respostas no tópico, contextualizadas e com informações úteis não houve alterações ou padrões a tratar no contexto dessa questão

13 Questionário (DESISTENTES)
1. Você se lembra de ter enviado à lista hadoop-common-dev? 2. À época, você estava interessado em continuar contribuindo com o projeto Hadoop? 2a. Caso tenha respondido SIM à questão 2, por que desistiu? 2b. Caso tenha respondido SIM à questão 2, qual foi o objetivo ao enviar mensagens à lista de desenvolvedores? 3. Você contribuiu com algum projeto de software livre depois de Junho de 2009? 4. Você já havia contribuído com algum projeto de software livre antes de Junho de 2009? Questão 1 Questão 2 Questão 3 Questão 4 Sim 13 11 1 7 Não 2 12 6 11

14 Questionário (DESISTENTES)
2a. Caso tenha respondido SIM à questão 2, por que desistiu? 2b. Caso tenha respondido SIM à questão 2, qual foi o objetivo ao enviar mensagens à lista de desenvolvedores? Tipo da Resposta Resposta à questão 2 Sim (2a) Não (2b) i. Era usuário e só quis esclarecer dúvidas 2 ii. Pergunta não respondida ou resposta não agradou iii. Falta de ajuda em escolher tarefa 3 iv. Diz não ter sido aceito pelo projeto 1 v. Mudou de foco ou empresa 4 vi. Voltou depois ao projeto “... meu problema era como começar a contribuir... se eu tivesse alguém para segurar minha mão, isso poderia ter ajudado...” “eles não responderam à minha pergunta”.

15 Conclusões Ausência de resposta, polidez, utilidade ou o tipo de autor das respostas influencia na permanência de novatos em um projeto de software livre? ausência de resposta polidez da resposta  má recepção (questionário) utilidade da resposta  direcionamento / mensagens negativas tipo do autor  experiência de quem responde Adicionalmente  fatores externos As interações iniciais exercem influência na decisão de permanecer colaborando no projeto “Habilidades sociais” são requeridas

16 OPORTUNIDADES futurAs
Estender a análise para outros projetos Estabelecer uma classificação mais rigorosa Entrevistas com outros desistentes e conduzir estudos de caso específicos Estudar proposta de uma abordagem para análise automatizada do conteúdo do padrão das discussões (análise de discurso)

17 Perguntas? Igor Steinmacher igorfs@utfpr.edu.br
Igor Scaliante Wiese Ana Paula Chaves Marco Aurélio Gerosa