Sistemas de recomendação

Apresentação em tema: "Sistemas de recomendação"— Transcrição da apresentação:

1 Sistemas de recomendação
Mineração de Dados na Web Sistemas de recomendação

2 Equipe Lais Varejão (lvv) Paulo Oliveira (phslfo) Victor Lorena (vlfs)
Victor Acioli (vaca)

3 Roteiro Introdução Coleta de Informações Estratégias Técnicas
Arquitetura Passo a Passo Aplicações Conclusão

4 Introdução

5 Motivação A Era da Inteligência Coletiva

6 Motivação Sob o aspecto tecnológico, Inteligência Coletiva é o conjunto de comportamentos, preferências e ideias de um grupo de pessoas para criar novas introspecções.

7 Motivação Atualmente existe uma grande quantidade de informação disponibilizada de forma facilitada.

8 Motivação Ao mesmo tempo...

9 Motivação O usuário tem dificuldade de encontrar informações que são relevantes para ele.

10 Problema Como identificar quais conteúdos são relevantes para cada usuário em meio a um mar de informação?

11 Sistemas de Recomendação
Sistemas de recomendação realizam a filtragem da informação para recomendar itens, que possam ser interessantes para o usuário.

12 Sistemas de Recomendação
Que filme eu devo ver? Para onde eu devo sair? Qual livro eu devo ler?

13 Sistemas de Recomendação
“Muitas vezes as pessoas só sabem o que querem depois que você mostra a elas.” Steve Jobs

14 Sistemas de recomendação
Existem empresas que investem em sistemas de recomendação?

15 Sistemas de recomendação

16 Desafio Netflix Netflix
É uma locadora de DVDs online, com entrega a domicílio, que recomenda filmes de acordo com locações prévias dos clientes. Dos filmes alugados, 60% vêm de recomendações. Em 2006, ela anunciou o prêmio de 1 milhão para a primeira pessoa que melhorasse a precisão do seu sistema de recomendação em 10%.

17 Quem foram os pioneiros?
Nos anos 90, foi desenvolvido o Tapestry. Um sistema de que avaliava a relevância dos documentos recebidos. Em 1996, o My Yahoo surgiu. O primeiro website a utilizar recomendação em grandes proporções. A técnica customização era utilizada.

18 Coleta de Informações

19 Coleta de informações É indispensável conhecer quem é o usuário.

20 Coleta de informações O usuário deve ser identificado no momento em que ele acessa o sistema. Identificação no servidor É necessário fazer um cadastro. Provê maior precisão. Identificação no cliente Utiliza cookies para identificar a máquina. Menos confiável.

21 Coleta de informações As informações podem ser coletadas de forma explícita ou implícita.

22 Coleta de informações Coleta Explícita
O usuário indica o que lhe interessa.

23 Coleta de informações Coleta Implícita TURISMO
A partir do comportamento do usuário, infere-se suas necessidades e preferências. TURISMO

24 Problemas de privacidade
Informações do usuário são coletadas e armazenadas sem que ele perceba. Existem empresas que vendem esses dados.

25 Políticas de privacidade
É uma exigência legal que as políticas de privacidade dos sites sejam disponibilizadas. Aumenta a proteção do usuário.

26 Políticas de privacidade
Algumas organizações propõem selos que regulam a política de privacidade de um website.

27 Estratégias

28 Estratégias Diferentes estratégias podem ser usadas para personalizar ofertas para o usuário. Listas de Recomendação Avaliação de Usuários Suas Recomendações Produtos Similares (X Y) Associação por Conteúdo

29 Estratégias Listas de Recomendação
São mantidas listas de itens organizadas por tipos de interesse.

30 Estratégias Avaliação de Usuários
Além de comprar, o usuário deixa sua avaliação sob o item adquirido. É importante que haja veracidade na opinião.

31 Suas recomendações Itens são oferecidos de acordo com o interesse do usuário.

32 Produtos similares (X Y)
Indica itens similares ao que está sendo comprado no momento.

33 Associação por conteúdo
São utilizados os dados dos próprios produtos e não do usuário. Exemplo: Autor Editora Tema Assunto

34 Técnicas

35 FILTRAGEM DE INFORMAÇÃO
É o nome utilizado para descrever uma variedade de processos que envolvem a entrega de informação para as pessoas que realmente necessitam delas. Belvin and Croft

36 Filtragem baseada em conteúdo
É a forma mais simples de recomendação Considera que usuários sempre gostaram de coisas que gostaram no passado. Analisa apenas os itens e o perfil do usuário.

37 Filtragem baseada em conteúdo
Funcionamento: Usuários devem avaliar itens de acordo com seu interesse. O sistema correlaciona os itens em sua base de dados, considerando características de cada item. E indica novos itens que apresentem alto grau de similaridade.

38 Exemplo sim(REC, Exoc) Gostei Recomendado Usuário Atual REC Hangover
X-men O exorcista Gostei Recomendado Usuário Atual

39 Filtragem baseada em conteúdo
Dificuldades: Cálculo da similaridade Análise dos dados restrita Super Especialização Efeito Portfólio Similaridade – Roupas e brinquedos, características como: tamanho, preço, cor, marca. Até textos possue suas dificuldades. Analise de Dados Restrita – Audio e Imagem. Super Especialização - Alguém que nunca experimentou sushi, não receberá indicação de um restaurante de sushi Efeito Portfólio - Já que eu gostei de um filme do Didi (quando criança), vai me indicar todos os outros

40 Filtragem colaborativa
Fechar as lacunas que a filtragem baseada em conteúdo não soluciona. Não exige a extração de características dos itens. O sistema se baseia na troca de experiências entre usuários com gostos similares.

41 Filtragem colaborativa
Funcionamento: Usuários devem avaliar itens de acordo com seu interesse. O sistema descobre usuários com padrões similares de comportamento ao do usuário atual. Processa as avaliações feitas por esse subconjunto de usuários. E recomenda itens que o usuário atual ainda não avaliou. 1. 2. Calcular peso de cada usuário em relação a similaridade ao usuário alvo. Selecionar um subconjunto 3.

42 Exemplo Filme 1 Filme 2 Filme 3 Filme 4 Gosta: Filme A Filme B Filme C
Usuário Atual Usuário X Usuário Y Similares

43 Filtragem colaborativa
Dificuldades: Necessita de vasta base de dados Escalabilidade/estabilidade Partida fria (Usuários e itens novos) Popularidade Ovelha negra Demonstração Facebook Vasta base de dados – caso o numero de usuarios seja pequeno em relação ao numero de itens, causará problema Escalabilidade/estabilidade – Com a necessidade de muitos dados surgem alguns problemas Partida fria (Usuários e itens novos) – Usuarios: Precisam dar informações para serem relacionados com outros usuarios, itens: precisa ser avaliados Popularidade – Todo mundo gosta de harry potter Ovelha negra – Gosto incomum gera dificuldade de encontrar usuarios, tera dificuldade de encontrar novos itens

44 Filtragem híbrida Combina as duas técnicas, para obter um sistema mais eficiente. Une as vantagens e elimina as fraquezas

45 Comparativo FBC FC FH Partida fria (Item) Partida fria (Usuário)
Similaridade Dados restritos Especialização Efeito Portfólio Vasta base de dados Popularidade Ovelha negra

46 Cuidados Solicitada ou espontânea? Rodar online ou offline?
Recomendar tudo ou filtrar? Só itens novos? Explicar o motivo da escolha? Necessidade ou interesse?

47 Arquitetura

48 Arquitetura Associação por conteudo

49 Exemplo Recommender Server
Utilizado para dar acesso aos SessionsControllers e às rotinas de recomendações.

50 Exemplo SessionController
Ao entrar no site as informações do usuário são armazenadas sobre sua interação atual. E comparadas com o seu histórico dentro do site.

51 exemplo StrategyList Guarda vários modelos de recomendação.
Baseado em listas armazenadas pelo sistema. Itens mais comuns Baseado em preferências explícitas ou implícitas. Itens mais específicos Diferentes estratégias podem ser criadas e utilizadas em paralelo em um mesmo website.

52 Exemplo InterestList Mantém as preferências.
Essas preferências podem ser utilizadas em conjunto.

53 Exemplo FindingList Informações básicas sobre os usuários.
Armazena características demográficas e hábitos. Recomendação com precisão.

54 Recomendação Passo a Passo

55 Passo a passo Do que as pessoas gostam?
Preferências de produtos, serviços e interesses. Como e onde pegar essas informações.

56 Passo a passo Como as pessoas se parecem?
Grupos de pessoas com interesses em comum. Métricas de Similaridade: Coeficiente de Pearson. Distância Euclidiana.

57 Passo a passo Recomendar itens
Mostrar algum item que uma pessoa parecida com você viu e você não viu. Tabela de Pesos.

58 Passo a passo Comparação entre itens
Encontra a similaridade entre os itens. Ajuda a oferecer um item que você provavelmente queira ver.

59 Aplicações

60 Aplicações Aardwark: Sugestões de perguntas a pessoas certas.
Associação por Conteúdo.

61 Aplicações YouTube: Sugestão de vídeos. Lista de recomendação.
Associação de conteúdo.

62 Aplicações Facebook: Sugestão de pessoas que o usuário possa conhecer.
Usuários que se interessam por “X” também se interessam por “Y”.

63 Aplicações Match.com: É uma comunidade mundial de solteiros em busca de um parceiro. Lançado em 1995, foi pioneiro em sites de relacionamentos. Possui mais de 29 milhões de usuários.

64 Aplicações Match.com: Sugere pessoas através do Daily 5.
Suas Recomendações.

65 Aplicações Amazon: Inicialmente, era uma livraria online. Atualmente, é a maior empresa de comércio eletrônico dos EUA. Realiza grandes investimentos em recomendação, possuindo todas as estratégias. Cerca de 38% de suas vendas provêm de suas sugestões.

66 Aplicações Amazon: Sugestão de itens que o usuário posso querer comprar. Lista de recomendação.

67 Aplicações Amazon: Avaliação de Usuários

68 Aplicações Amazon: Suas Recomendações

69 Aplicações Amazon: Usuários que se interessam por “X” também se interessam por “Y.”

70 Aplicações Amazon: Associação por conteúdo

71 Desafios e tendências

72 Tendências Pesquisa social
Busca na web considera as redes sociais que o usuário faz parte. Ex: O sistema responde a uma consulta de um usuário com links relacionados às avaliações dadas por colegas do usuário. Suas recomendações

73 Tendências Google Social Search Suas recomendações

74 Desafios Melhoria nos algoritmos de recomendação: Eficiência
Qualidade do resultado.

75 conclusão Sistemas de recomendação podem ser usados para que se possa conhecer melhor os hábitos dos usuários. Aplicar estrategicamente o conhecimento dos hábitos dos usuários, pode melhorar a lucratividade de uma empresa. Suas recomendações

76 conclusão A tendência é que todos os programas web utilizem recomendação. Suas recomendações

77 Dúvidas

78 Obrigado!

79 Referências http://dsc.upe.br/~tcc/20092/TCC_final_AndersonBerg.pdf
Programming Collective Inteligence - OReilly Artigo 2 (Incluir) Artigo 3 (Incluir)