Sistemas de Recomendação Hilário Tomaz E Renê Gadelha

Agenda Introdução Coleta de Informações Estratégias de Recomendação Técnicas Sistemas de Recomendação Exemplos de aplicações Comentários Finais

Motivação Cenário atual Problema: Grande volume de informação é apresentado ao usuário Problema: Discernir o que é relevante dentre as opções Identificação automática das necessidades do usuário

Definição de Sistemas de Recomendação Conjunto de estratégias e técnicas destinadas a identificar e recomendar itens relevantes para usuários E.g., produtos, pessoas, informações, etc... Utiliza Filtragem de Informação para identificar informações relevantes e recomendá-las

Recomendação Processo de indicação já bastante conhecido na relação social entre seres humanos Tenta garantir satisfação dos usuários Aumenta a lucratividade das Empresas

Arquitetura Padrão (SCHAFER, 2000)

Coleta de Informação Através da coleta de dados sobre o usuário, é possível conhecer melhor suas preferências Para se recomendar itens a um usuário, primeiramente é necessário ter informações sobre Dados pessoais Dados comportamentais É necessário identificar o usuário dentro do sistema Identificação no Servidor Identificação no Cliente

Coleta de Informação Após identificar o usuário, é possível coletar dados sobre ele A coleta pode ser: Explícita (Customização) usuário indica espontaneamente o que é importante para ele Implícita através de ações (dados de navegação) do usuário, inferem-se informações sobre suas necessidades e preferências páginas consultadas, produtos visualizados, tempo de permanência, ...

Coleta Explícita de Informação

Coleta Implícita de Informação

Privacidade Para que se possa recomendar itens de forma personalizada para os usuários, é necessário constantemente coletar dados sobre eles o que muitas vezes é feita de forma implícita Isso acaba levantando questões sobre a privacidade desses dados

Privacidade Preocupações do Usuários: Medidas: Divulgação de dados fornecidos às empresas Spam Medidas: Adotar uma política de privacidade adequada à Coleta de Dados

Privacidade

Estratégias de Recomendação Diferentes estratégias podem ser usadas para personalizar ofertas para um usuário Listas de recomendação Avaliações de usuários Recomendações do Usuário "Usuários que se interessaram por X também se interessaram por Y" Associação por conteúdo

Listas de Recomendação Consiste em manter uma lista de itens organizados por interesse "Itens mais vendidos” "Idéias para presentes“ Não necessita de uma análise profunda dos dados dos usuários para montar as listas

Listas de Recomendação

Listas de Recomendação Vantagem Fácil Implementação Desvantagem Recomendação não é específica para um determinado usuário

Avaliações de Usuários Utiliza o feedback dos usuários sobre um determinado produto Usuário além de comprar um produto, deixa um comentário sobre o item adquirido Utiliza as avaliações dos usuários para estabelecer a reputação de um item, ou produto

Avaliações de Usuários

Avaliações de Usuários Vantagem Fácil Implementação Avaliação de outros clientes podem influenciar novos consumidores Desvantagem Depende que o usuário forneça sua opinião sobre o item adquirido Veracidade das opiniões fornecidas

Recomendações do Usuário Baseia-se nas sugestões feitas especificamente para um determinado usuário Dois tipos de recomendação são possíveis: Preferências Implícitas e Explícitas

Recomendações do Usuário

Recomendação por Associação “Usuários que se interessaram por X também se interessaram por Y” A recomendação é obtida através de técnicas capazes de encontrar em uma base de dados associações entre itens avaliados por usuários comprados, lidos e outros

Recomendação por Associação

Associação por Conteúdo Estratégia baseada no conteúdo de determinado item, por exemplo, um autor, um compositor, um editor, entre outros Necessário realizar uma análise mais complexa das informações dos produtos e usuários Ex: Os livros A e B de determinado autor são frequentemente vendidos em conjunto

Associação por Conteúdo

Técnicas de Recomendação Filtragem Baseada em Conteúdo Filtragem Colaborativa Filtragem Híbrida Filtragem Baseada em outros Contextos

Filtragem baseada em Conteúdo Tem por objetivo relacionar descritores dos itens com as preferências dos usuários Interesses dos usuários podem ser fornecidos pelo próprio coletados automaticamente através de ações como seleção e aquisição de itens

Filtragem baseada em Conteúdo Interesses dos usuários são transformados em vetores de termos e suas respectivas frequências nos itens Usuário JAVA SQL UML MVC LISP D1 2 3 1 D2 7 D3 5 D4 D5 8

Filtragem baseada em Conteúdo Outras abordagens Sistemas de recuperação booleanos Sistema de filtragem probabilística Processamento de linguagem natural Utilizar aprovação do usuário após cada recomendação O perfil do usuário é constantemente atualizado novas aquisições, rejeições, etc...

Filtragem baseada em Conteúdo Limitações: Alta similaridade entre itens pode confundir o mecanismo de recomendação Conteúdo desestruturado dificulta a identificação do perfil do usuário ou do item Não proporciona apresentação de conteúdo novo ao usuário

Filtragem Colaborativa Não necessita reconhecimento automático do conteúdo dos itens Baseado na troca de experiências entre usuários que possuem interesses comuns Relevância da recomendação é obtida pelo grau de “confiança” em outro usuário

Filtragem Colaborativa 1- calcular similaridade entre usuários 2- selecionar similares para predição 3- normalizar as avaliações e predizer de acordo com pesos dos vizinhos

Filtragem Colaborativa Limitações: Um novo item nunca é recomendado até que um usuário o avalie Número de usuários pequeno em relação ao número de itens implica pontuações esparsas Um usuário exótico terá dificuldades para encontrar outros usuários com gostos similares

Filtragem Híbrida Descoberta de novos relacionamentos entre usuários Recomendação de itens diretamente relacionado ao histórico Bons resultados para usuários incomuns Precisão independente do número de usuários

Filtragem baseada em outros contextos Descoberta de novas características do usuário proporciona maior acerto nas recomendações Características Preferências Competências Informações demográficas Traços de Personalidade

Descoberta de Conhecimento em Base de Dados (DCBD) “Um processo de extração não trivial de informações potencialmente úteis, as quais não são previamente conhecidas e encontram-se implícitas em grandes coleções de dados” (Zaiane, 2000) Utiliza técnicas e ferramentas de mineração de dados

Descoberta de Conhecimento em Base de Dados (DCBD) Em uma pesquisa realizada em uma grande loja de departamento nos EUA, alguns fatos foram observados: 20% dos consumidores que compram fraldas também compram cerveja 80% dos consumidores que compram fraldas e cerveja em uma compra, voltam para comprar carne e carvão na sexta-feira

Descoberta de Conhecimento em Base de Dados (DCBD) Tipos de Descoberta: Regra de Associação Classificação Agrupamento

Regras de Associação

Regras de Associação

Classificação Em um sistema de recomendação poderíamos utilizar a classificação: Identificar a classe de itens novos em categorias pré-definidas Classificar usuários pelos seus perfis

Classificação Supondo que um sistema de recomendação guarde algumas informações sobre os seus usuários (status na universidade, país e área de interesse) Prever que tipo de usuário estaria mais interessado em qual área de pesquisa

Classificação

Classificação

Classificação

Agrupamento Permitir a formação de grupos de indivíduos que possuam características em comum Um dos métodos de agrupamento mais utilizado é o k-means Um sistema de recomendação pode empregar estes agrupamentos para oferecer itens apropriados de acordo com as características de cada grupo

Agrupamento

Agrupamento

Avaliação de SR Necessário verificar se as predições são aceitáveis para o propósito do SR Principais métricas que podem ser adotadas na avaliação Precision Recall Coverage Precision: qtde de itens relevantes recomendados dentre os itens recomendados Recall: qtde de itens relevantes recomendados dentre todos os itens relevantes contidos na base Coverage: qtde de itens relevantes que podem ser recomendados dentro todos os itens da base

SR aplicado ao E-Commerce SR aumentam as vendas Auxiliam clientes na busca de produtos que ele desejaria comprar Melhoram a venda cruzada de produtos (compras adicionais) Estabelece relações de lealdade entre empresa e cliente (CRM) Recomendar produto por email é invasivo apenas se o produto for desinteressante para o cliente

Amazon Para cada item comprado e avaliado pelo usuário tenta encontrar itens similares e recomendá-los ao usuário. Algoritmo Para cada item do catálogo, I1 Para cada cliente C que comprou I1 Para cada item I2 comprado pelo cliente C Registra que o cliente C comprou I1 e I2 Para cada item I2 Calcula a similaridade entre I1 e I2

Livraria da Amazon Para cada livro, o SR elabora duas listas de recomendação para cada página de livro Livros frequentemente adquiridos pelos clientes compradores do livro selecionado Autores de livros frequentemente adquiridos pelos clientes que compraram livros do autor do livro selecionado Critérios utilizados na recomendação Itens adquiridos Taxa de satisfação dos clientes que adquiriram o item Like button

Exemplos : PTV PTV – recomendação de conteúdo na TV Problema TV com programação cada vez maior e mais diversificada Guia de TV personalizado Usa avaliação do usuário para montar o guia de outros usuários

Feedback do usuário Guias recebidos por e-mail ou celular (WAP) Para dar a nota no programa

Ringo Recomendações personalizadas de músicas e artistas Utiliza a filtragem social da informação para recomendar automaticamente musicas para usuários Disponível em Shardanand e Maes, 1995

Resultados no sistema Ringo No sistema Ringo, esses algoritmos foram avaliados por meio da média ponderada das avaliações dos artistas dentro do conjunto de artistas similares Melhores resultados foram encontrados pelo coeficiente de correlação de Pearson Apresentou o melhor custo benefício entre erro geral nas predições, erro nos casos extremos e cobertura de casos

Last fm Sistema de recomendação musical gratuito Utiliza um SR chamado "Audioscrobbler” Recomendação híbrida Conhecimento prévio fornecido pelo usuário Elabora uma lista de similaridade para cada artista baseada em avaliação dos outros usuários Permite usuários recomendarem músicas para outros usuários, ao fim pedi que o usuário avalie a recomendação Permite criar “grupos de usuários” e usa-os na recomendação também

Cenários de Aplicação Cenários de Aplicação Recomendação de Produtos Baseadas em suas Características Subjetivas Recomendação de Membros como parte de Grupos Sociais Recomendação de Novos Amigos em Redes Sociais Recomendação em Ambiente Educacional e Empresarial Recomendação de casais em Sites de Relacionamento Recomendação de pesquisadores em rede colaborativa Recomendação de pessoas para vagas de emprego (RH)- Catho Recomendação de viagens – recomenTur Comunidades virtuais de aprendizagem - AMIGOS Recomendação de artigos científicos - STAR

Comentários Finais Sistemas de recomendação possibilitam: Conhecer melhor os hábitos de consumo e interesses dos clientes Personalizar o relacionamento entre a empresa e seus consumidores

Comentários Finais Tendências e desafios: Personalização de Ambientes Virtuais Web Semântica Intensificar o uso de características comportamentais em sistemas de recomendação

Referências Berry, M. J. A.; Linoff, G. Data Mining Techniques for Marketing, Sales and Customer Support. Wiley Computer Publishing, 1997. Reategui, Eliseo B.; Cazella, Sílvio C. S. Sistemas de Recomendação. XXV Congresso da Sociedade Brasileira de Computação. São Leopoldo/RS. 2009. Herlocker, J. Evaluating Collaborative Filtering Recommender Systems. International Conference on Recommender Systems. 2004

Sistemas de Recomendação Hilário Tomaz E Renê Gadelha Perguntas ??