Olhar para o público Pensar e trabalhar as transições

Apresentação em tema: "Olhar para o público Pensar e trabalhar as transições"— Transcrição da apresentação:

1 Geração Automática de Acompanhamento Rítmico para o Violão: O Estudo de Caso Cyber-João
Olhar para o público Pensar e trabalhar as transições Escolher landmarks Ter mais punch!!!! Márcio Leal de Melo Dahia Orientador: Geber Ramalho Co-orientador: Carlos Sandroni

2 Motivação: O Violão Popular
Forma tradicional de tocar MPB: voz-e-violão

3 D´Accord Violão: Acompanhamento Rítmico
A partir do teclado do computador Liberdade ao usuário Trabalhoso Aplicando padrões rítmicos em toda a música Pouco trabalhoso Sem qualidade Violão MIDI Pouco acessível Mão direita Mão esquerda

4 Objetivos Construir um sistema de geração automática de acompanhamento rítmico para violão Fácil Rico

5 Roteiro da Apresentação
O problema da geração de ritmos Estado da Arte Abordagem Resultados Conclusões

6 Sistemas de Acompanhamento Automático (SAA)
Dados Estilo musical Grade de acordes O que o sistema já tocou Melodia+outros instrumentos Cria uma “linha musical” Melódica, harmônica ou rítmica

7 Dificuldades Modelagem de Agentes Formalização do conhecimento
Ambiente Complexo: dinâmico, não-determinístico, contínuo, não episódico e “acessível” Objetivos: não são claros Formalização do conhecimento Pouca explicação das escolhas musicais na granularidade de notas Muitos fatores subjetivos Dinâmico O ambiente continua mudando (novas notas estão sendo tocadas) enquanto o agente está deliberando (criado a linha musical) Não-determinísticos O próximo estado do ambiente não pode ser determinado apenas pelo estado atual e as ações já tomadas anteriormente (partes do acompanhamento já criadas) Contínuos Não há um número finito de ações e percepções possíveis. Não-episódicos a decisão sobre que notas devem ser tocadas depende fortemente do que foi tocado no passado. Acessíveis É possível adquirir todas as informações perceptivas contempladas pelo agente a qualquer momento.

8 Dificuldades específicas de acompanhamento rítmico
Caso do ritmo ainda mais crítico Pouco estudo teórico sobre essa dimensão Algumas perguntas... Quais os padrões rítmicos usados em um dado estilo? Como escolher um padrão específico em detrimento dos outros? Melodia, harmonia e andamento influenciam? Como? Como variar os padrões em uma música?

9 Roteiro da Apresentação
O problema da geração de ritmos Estado da Arte Abordagem Resultados Conclusões

10 Dois paradigmas principais de SAA
“Nota por Nota” Gramáticas, regras, probabilidades para escolher as notas Reuso de Fragmentos Encadeando fragmentos musicais encontrados em uma biblioteca

11 Vantagens do Reuso de Fragmentos
Minimiza o problema da formalização Fragmentos = conhecimento Escalável p/ diferentes instrumentos e estilos Leva em conta expressividade Naturalidade em relação ao acompanhamento rítmico Os próprios fragmentos incorporam um certo conhecimento de difícil formalização É possível usar o processo da mesma forma para Utilizando fragmentos capturados diretamente de performances de músicos humanos Aprende-se a tocar utilizando-se “padrões rítmicos”

12 SAA baseado em reuso de fragmentos
Band-in-a-Box Ponderado Regras...

13 SAA baseado em reuso de fragmentos
ImPact Linha de contrabaixo em Jazz Biblioteca composta por 256 fragmentos Propriedades musicais e contexto onde devem ser empregados Raciocínio Baseado em Casos para recuperação dos padrões Mapeamento direto (fragmentos = casos, propriedades musicais = atributos) k-nearest neighbors (k=1), atributos ponderados Regras para refinar a escolha Valores dos atributos!

14 Roteiro da Apresentação
O problema da geração de ritmos Estado da Arte Abordagem Resultados Conclusões

15 Abordagem Adotada Partir da abordagem do ImPact
Mais geral que BiaB Conhecimento profundo Estudo de caso: Bossa Nova Grande importância para a música brasileira Bastante conhecido e fácil de avaliar Importância do acompanhamento rítmico no estilo Estudos musicológicos importantes sobre o estilo Padrões rítmicos criados por João Gilberto Especificamente sobre os padrões rítmicos

16 Abordagem Adotada Adaptar a abordagem ImPact requer Devido as mudanças
Novos fragmentos musicais Novos atributos para descrever os fragmentos Novas regras para refinar a escolha Devido as mudanças Contrabaixo para violão Melodia para ritmo Jazz para Bossa Nova Fazer o anúncio do que vai rolar

17 Padrões rítmicos do Cyber-João
21 padrões (a partir de performances de João Gilberto) 1 principal 7 cíclicos 7 viradas 4 de início de música 2 especiais Todos duram 2 compassos binários (assinatura 2/4) Apenas dois tipos de eventos possíveis: Bordão (polegar) “Puxada” (indicador, médio e anular juntos) Em músicas lentas (< 80 spm) apenas alguns dos padrões podem ser usados important rhythm characteristic of Bossa Nova style

18 Principais Padrões Rítmicos
G7M -> C7(9)

19 Atributos dos Padrões atributo Valores? peso Ritmo Harmônico (peso 4)
Número de mudanças de harmonia em um segmento Andamento (peso 5) Lento quando < 80 spm, rápido caso contrário Início (peso 5) Se o padrão é usado no inicio de músicas Freqüência de uso (peso 2) O quanto o padrão é usado. Máximo 5 e mínimo 1 Densidade (peso 1) Contagem do número de eventos no padrão. “Alta”, “média” e “baixa” Virada (peso 3) Se o padrão é um padrão específico de virada Falar do processo de aquisição

20 Propriedades Musicais
Atributos dos Padrões Padrão Rítmico Contexto Musical Propriedades Musicais Atributo Valor Ritmo Harmônico 2º e 3º tempos Densidade Média Freqüência de uso 4 Andamento Rápido Virada Não Início C Dm Harmonic rhythm, indicating how harmony (chords) changes in a given period of time (e.g. one or two measures). This attribute can have 15 different values ranging from a single chord lasting two 2/4 measures to four chords (one per beat); Tempo, which can assume 2 values: “slow” (< 80 quarters per minute) or “fast”; The musical properties are: Anticipated, a binary attribute pointing out whether a fragment started at the down beat; Next fragment anticipation, which indicates (with “yes” or “no” values) whether the next fragment was anticipated; Fill-in, indicating whether and when the fragment has been used as a “fill-in accompaniment”, i.e., fragments commonly used when there is no melody been sung, or in turnarounds and turn backs. This attribute can assume 4 values (“first measure”, “second measure”, “both measures” or “none”); Recurrence, determining how frequently the fragment has been used (“high”, “medium”, “low”); Density, describing the number of musical events in each fragment’s measure. Some possible values are “high in the first measure, low in the second”, “very high in both measures”, etc.

21 ? Regras (6 ao todo) Grau dos acordes IIm7 V7 I Segmento
Número de ataques 3 REGRA:VIRADA SE (melodia no último compasso <= 2 notas) E (se V7-I no último acorde do segmento e o primeiro do próximo) ENTÃO virada = sim; “use as outras propriedades musicais do padrão anterior”

22 Exemplo de Regra Virada REGRA:VIRADA SE
(melodia no último compasso <= 2 notas) E (se V7-I no último acorde do segmento e o primeiro do próximo) ENTÃO virada = sim; “use as outras propriedades musicais do padrão anterior”

23 Roteiro da Apresentação
O problema da geração de ritmos Estado da Arte Abordagem Resultados Conclusões

24 Avaliação dos resultados
Criação de mais dois sistemas Crazy-João: Totalmente aleatório Patamar mínimo de qualidade João-in-a-box Semelhante ao software Band-in-a-box Aleatório ponderado Padrão com atributo freqüência de uso = 4 2 x mais chances que um com freqüência de uso = 2 Regras restringem a base de padrões Restringem grupos inteiros Cíclicos, especiais, viradas, inicio etc.

25 Avaliação dos resultados
Experimento 6 avaliadores 1 Musicólogo, 4 músicos profissionais e 1 amador 4 músicas Desafinado, Chega de Saudade, Insensatez e Lígia Total de 12 amostras “cegas” Questionário para cada música Número de erros por amostra Melhor e pior partes para cada amostra Se a amostra era estava em conformidade com a Bossa Nova Melhor das 3 amostras para cada música Excelente....

26 Resultados Música Crazy-João João-in-a-box Cyber-João Desafinado 3 5
3 5 Chega de Saudade 2 4 Insensatez 1 Lígia TOTAL 9 17

27 Resultados Resultados bastante satisfatórios Comentários
Cyber-João avaliado como excelente em mais de 40% das vezes João-in-a-box, em 25% Comentários “Cyber-João é mais estável” “Se um aluno meu tocasse essas músicas dessa maneira para mim [em busca de comentários], diria que ele havia aprendido a tocar os padrões de Bossa Nova” “Em alguns momentos um humano não faz melhor”

28 Roteiro da Apresentação
O problema da geração de ritmos Estado da Arte Abordagem Resultados Conclusões

29 Conclusões Contribuições principais Contribuições secundárias
Sistema pioneiro de acompanhamento rítmico para violão, baseado em uma abordagem generalizável Melhor compreensão sobre ritmo de violão em bossa nova Abordagem ImPact é adaptável Contribuições secundárias CBR Vai além do d’accord!!!

30 Conclusões Trabalhos Futuros Estender para o outros estilos
Integrar com a ferramenta de extração automática

31 FIM