Fundamentação Teórica Introdução Motivação Fundamentação Teórica Sistemas Multiagentes Musicais Agente Musical Raciocínio e Vida Artificial Decisões Composicionais Metodologia Técnica e Perspectiva Artística Raciocínio do Agente Decisões Computacionais Perfil do Usuário Definição dos Aplicativos Formulação de novos Raciocínios Implementações EARScript Integração com ISO Gerador de Material Eletroacústico Espacialização com Avatares Piano Preparado Conclusões Conclusões Parciais Trabalhos Futuros Cronograma

Introdução Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Motivação Introdução

O computador na composição Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Motivação Introdução O computador na composição Cálculo pré-composicional Produção de material sonoro Composição Algorítmica Controle de textura, harmonicidade e densidade de acontecimentos Novos paradigmas Interatividade Vida Artificial Sistemas Multiagentes Musicais A composição algorítmica tem como propósito combinar elementos ou abstrações musicais a partir de regras ou operações. Mais de 50 anos, Hiller, Xenakis. controlar parâmetros musicais gerais como textura, harmonicidade e densidade de acontecimentos simultâneos Um desses objetivos é a interatividade nos sistemas musicais, que permite a humanos interagir de várias formas com sistemas musicais, sistemas multiagentes musicais, que combinando a tecnologia de agentes computacionais e outras técnicas como a Vida Artificial

Valor estético questionável Perspectiva multidisciplinar Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Motivação Introdução Valor estético questionável Perspectiva multidisciplinar Whalley 2005 Surgimento de novas Ferramentas Ensemble ISO Importância da Perspectiva interna Raciocínios Ferramentas que permitam que artistas possam transpor suas idéias criativas em sistemas computacionais sem curvas de aprendizagem adotem os objetivos estéticos como primordiais para o sucesso dos sistemas musicais. abstraindo a complexidade da programação, contrastando assim com a maioria de trabalhos relacionados

Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Motivação Motivação Relevância dos Sistemas Multiagentes para o problema composicional “Espaços de busca” Divisão de funções Adaptação em tempo real Facilitar a criação de sistemas Multiagentes musicais Alternativas acessíveis e direcionadas Necessidade de aprofundamento nas novas Ferramentas Ensemble ISO Validação com iniciativas de expressão artística Utilização de Áudio Espacialidade Integração entre plataformas sucesso em diversas áreas :controle de tráfego aéreo, administração de redes, recuperação de informação, mineração de dados, administração de agendas musicais multiagentes podem ser implementados com outras tecnologias de Inteligência artificial, mas perder-se-ia a vantagem que os agentes computacionais proporcionam em termos de adaptação em tempo real. expandir funcionalidades relevantes, fornecer interfaces mais amigáveis para os usuários e principalmente validar essas iniciativas como plataformas úteis para a expressão artística. Disso vem a importância de trabalhar em aplicações que utilizem áudio, mais próximas da realidade musical contemporânea. Importância marcada na composição musical contemporânea é um dos pontos fortes do arcabouço, e como diferencial, precisa de uma atenção especial, através da exploração de sua utilização em expressões artísticas com características espaciais

Agentes Computacionais Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Sistemas Multiagentes Musicais Agente Musical Raciocínio e Vida Artificial Sistemas Multiagentes Musicais Agentes Computacionais Autonomia, Habilidade Social, Reatividade, Pro - atividade Características dos Sistemas Multiagentes Interconexão e interoperação de vários sistemas Interface cooperativa homem-máquina mais natural Aplicabilidade no Contexto musical Paradigmas diferentes de representação musical e sonora Interatividade e cooperação entre um usuário e o sistema Ambiente Virtual Representação Física Representação Ecológica agir de forma autônoma, tomando decisões, levando a realização dos seus objetivos e serem capazes de interagir com outros agentes utilizando protocolos de iteração social inspirados ou não nos protocolos humanos, e incluindo características como a coordenação, cooperação, competição e negociação. -Resolver problemas de grande dimensão demais para poder ser tratado por um único agente -Alcançar a interconexão e interoperação de vários sistemas e paradigmas diferentes -Permitir uma interface cooperativa homem-máquina mais natural em que ambos funcionam como agentes no sistema O mundo virtual é regido por leis físicas definidas Essa representação considera as características de um agente que se vinculam a técnicas de vida artificial. Pode se definir o seu ciclo de vida dos agentes, as leis que determinam nascimento, reprodução, morte e outras interações biológicas com o ambiente e com outros indivíduos.

Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Sistemas Multiagentes Musicais Agente Musical Raciocínio e Vida Artificial Agente Musical Um agente computacional especializado em processar informações musicais e sonoras. um agente computacional especializado em processar informações musicais e sonoras. capaz de perceber e analisar o som do seu ambiente, executar processos internos ou raciocínios, usando essa informação para gerar uma resposta sonora, seja com síntese simbólica, síntese de áudio ou outras técnicas. Base de Conhecimento :repositório aonde são armazenados os dados que o agente internamente Sensores componentes do agente musical que permitem a percepção do mundo virtual, Atuadores permitem a execução de ações no ambiente virtual,

Raciocínio Vida artificial Raciocínio e Vida Artificial Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Sistemas Multiagentes Musicais Agente Musical Raciocínio e Vida Artificial Raciocínio e Vida Artificial Raciocínio Mecanismo interno do agente Utiliza informação dos sensores e da base de conhecimento Processos de análise e síntese. Vida artificial Simulação de alguns aspectos biológicos Capacidade de interação social Mapeamento musical e sonoro Comportamentos extra-musicais Reprodução e sobrevivência Abordagem Cultural Comportamentos musicais e sonoros Movimentacao Vida Artificial Composição algoritmica mecanismo interno do agente que pode utilizar e manipular informações percebidas através de sensores, sejam estas sonoras ou não para decidir as suas ações, seja para responder sonoramente a um evento ou para tomar uma iniciativa que implique em ações não musicais como a movimentação no ambiente ou alguma operação de vida artificial. Estes mecanismos que utilizam tanto os dados perceptuais recentes quanto as informações contidas na base de conhecimento podem ser ferramentas de análise, técnicas de síntese ou diversas técnicas de composição algorítmica capacidade dessa disciplina de tratar problemas de alta complexidade, especificamente utilizando agentes, surge um interesse em outras áreas menos relacionadas com a biologia como as ciências sociais, a lingüística e a computação musical Renderizar em áudio Producao musical como elemento do ciclo de vida do agente Abordagem cultural

Decisões Composicionais Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Metodologia Técnica e Perspectiva Artística Raciocínio do Agente Decisões Composicionais

Metodologia Técnica e Perspectiva Artística Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Metodologia Técnica e Perspectiva Artística Raciocínio do Agente Metodologia Técnica e Perspectiva Artística Arcabouço teórico proposto por Whalley (2009) explica escolhas em sistemas multiagentes musicais.

Decisões no Raciocínio Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Metodologia Técnica e Perspectiva Artística Raciocínio do Agente Raciocínio do Agente Decisões no Raciocínio Comportamentos Musicais e sonoros Movimentação Vida Artificial

Decisões Computacionais Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Perfil do Usuário Definição dos Aplicativos Formulação de novos Raciocínios Decisões Computacionais

Importância de aproveitar e melhorar as interfaces e atalhos. Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Perfil do Usuário Definição dos Aplicativos Formulação de novos Raciocínios Perfil do Usuário Pouco interesse nas ferramentas existentes por parte de compositores e cientistas (Whalley 2009) Tipos de Usuários Interessados na computação musical com conhecimento técnico Compositores e artistas de outras disciplinas Não podemos supor que os usuários possuem conhecimentos avançados de programação. Importância de aproveitar e melhorar as interfaces e atalhos. Whalley [Wha09] nos lembra que, dada a abrangência e a quantidade de pesquisas na área de sistemas multiagentes musicais, é surpreendente a pouca atenção que essas ferramentas conseguem entre compositores e cientistas da computação interessados em criação musical e arte sonora.

Arquitetura Ensemble Middleware de sistemas multiagentes JADE Plugável Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Perfil do Usuário Definição dos Aplicativos Formulação de novos Raciocínios Arquitetura Ensemble Middleware de sistemas multiagentes JADE Plugável LifeCycle Atores Sensores e Atuadores Servidores de evento

Integração de bibliotecas externas Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Perfil do Usuário Definição dos Aplicativos Formulação de novos Raciocínios Interface Externas Integração de bibliotecas externas LibXtract - Extração de características do som Aubio - Processamento de sinais Open Sound Control(OSC) Troca de Mensagens Pure Data, CSound, LogicPro, Max/MSP, SuperCollider, Ardour, ISO Direcionamento a Interfaces de áudio JavaSound PortAudio Jack Middleware de sistemas multiagentes JADE Plugável LifeCycle Atores Sensores e Atuadores Servidores de evento

Interface desenvolvida pela Steinberg (1996) Vantagens Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Perfil do Usuário Definição dos Aplicativos Formulação de novos Raciocínios VST - Virtual Studio Technology Interface desenvolvida pela Steinberg (1996) Vantagens Reutilização SDK em várias linguagens (C++, Java, Delphi, .NET) Tipos de VST Plugins Instrumentos Virtuais (VSTi) Efeitos MIDI Sintetizadores Virtual Studio Technology (em inglês: Tecnologia de Estúdio Virtual), ou simplesmente VST, é uma interface desenvolvida pela Steinberg e lançada em 1996 que integra sintetizadores e efeitos de áudio com editores e dispositivos de gravação de som digitais.

XML de Inicialização Ambiente Servidores de Eventos Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Perfil do Usuário Definição dos Aplicativos Formulação de novos Raciocínios XML de Inicialização Ambiente <ENVIRONMENT_AGENT_CLASS NAME="ENVIRONMENT“ CLASS="ensemble.EnvironmentAgent"> <WORLD CLASS="ensemble.world.World"> <ARG NAME="dimensions" VALUE="3" /> <ARG NAME="structure" VALUE="continuous" /> <ARG NAME="form" VALUE="cube:100:loop" /> <LAW CLASS="ensemble.movement.MovementLaw"> <ARG NAME="friction_coefficient" VALUE="0.0" /> <ARG NAME="gravity" VALUE="10" /> </LAW> </WORLD> Servidores de Eventos <EVENT_SERVER CLASS="ensemble.audio.AudioEventServer" COMM="ensemble.comm.direct.CommDirect" PERIOD="40 10 30 100"> <ARG NAME="MASTER_GAIN" VALUE="10.0" /> <ARG NAME="SAMPLE_RATE" VALUE="44100" /> <ARG NAME="SPEED_SOUND" VALUE="343.3" /> <ARG NAME="INTERPOLATION_MODE" VALUE="POLYNOMIAL" /> <ARG NAME="NUMBER_POINTS" VALUE="4" /> </EVENT_SERVER> <EVENT_SERVER CLASS="ensemble.movement.MovementEventServer" COMM="ensemble.comm.direct.CommDirect" PERIOD="50 0" />

XML de Inicialização Definição do tipo de Agente Instâncias de Agentes Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Perfil do Usuário Definição dos Aplicativos Formulação de novos Raciocínios XML de Inicialização Definição do tipo de Agente <MUSICAL_AGENT_CLASS NAME="MUSICIAN" CLASS="ensemble.MusicalAgent"> <COMPONENTS> <REASONING NAME="MicInputReasoning" CLASS="ensemble.audio.jack.JACKInputReasoning" /> <ACTUATOR NAME="Mouth" CLASS="ensemble.Actuator" EVENT_TYPE="AUDIO" COMM="ensemble.comm.direct.CommDirect" /> <ACTUATOR NAME="Legs" CLASS="ensemble.Actuator" EVENT_TYPE="MOVEMENT" COMM="ensemble.comm.direct.CommDirect" /> <SENSOR NAME="Eyes" CLASS="ensemble.Sensor" EVENT_TYPE="MOVEMENT" COMM="ensemble.comm.direct.CommDirect" /> </COMPONENTS></MUSICAL_AGENT_CLASS> Instâncias de Agentes Virtual Studio Technology (em inglês: Tecnologia de Estúdio Virtual), ou simplesmente VST, é uma interface desenvolvida pela Steinberg e lançada em 1996 que integra sintetizadores e efeitos de áudio com editores e dispositivos de gravação de som digitais. <MUSICAL_AGENT NAME="Voice" CLASS="MUSICIAN"> <ARG NAME="POSITION" VALUE="(1;3;0)" /> <ARG_COMP COMP="MicInputReasoning" NAME="mapping" VALUE="Mouth-system:capture_1" /> </MUSICAL_AGENT>

Formulação de Novos Raciocínios Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Perfil do Usuário Definição dos Aplicativos Formulação de novos Raciocínios Formulação de Novos Raciocínios Uso de Java Comunicação via comandos Coordenação de raciocínios (Memória Sonora, Estados) - Necessidade de usar Java (tambem no caso de outros componentes como atuadores, sensores, servidores de eventos)- Alteração de raciocinios existentes - Comunicação via comandos - Coordenação de raciocinios (Audio Memory, Estados)

Implementações Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões EARScript Integração com ISO Gerador de Material Eletroacústico Espacialização com Avatares Piano Preparado Implementações

STEP (Scripting Technology for Embodied Persona) Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões EARScript Integração com ISO Gerador de Material Eletroacústico Espacialização com Avatares Piano Preparado EARScript Motivação Reduzir as tarefas de programação do usuário Tomar o XML de inicialização como referência STEP (Scripting Technology for Embodied Persona) Conveniência Semântica composta Redefinição Parametrização Interação Motivacao - Reduzir as tarefas de programação do usuario. - Tomar o XML de inicialização como referencia (diferenças) referência da linguagem STEP (Scripting Technology for Embodied Persona) Conveniência Semântica composta Redefinição Parametrização Interação ;; um roteiro parcial e interno de um agente, que determina como alguns comportamentos vão acontecer, isso detalhado ao nível de uma instância

Variáveis do Mundo virtual Definições de Servidores de eventos Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões EARScript Integração com ISO Gerador de Material Eletroacústico Espacialização com Avatares Piano Preparado EARScript - Estrutura da Linguagem Variáveis do Mundo virtual Definições de Servidores de eventos Variáveis do Servidor de Eventos Definições de parâmetros Motivacao - Reduzir as tarefas de programação do usuario. - Tomar o XML de inicialização como referencia (diferenças) referência da linguagem STEP (Scripting Technology for Embodied Persona) Conveniência Semântica composta Redefinição Parametrização Interação ;; um roteiro parcial e interno de um agente, que determina como alguns comportamentos vão acontecer, isso detalhado ao nível de uma instância

Definições de Ações Básicas Definições de ações compostas Scripts Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões EARScript Integração com ISO Gerador de Material Eletroacústico Espacialização com Avatares Piano Preparado EARScript Definições de Ações Básicas Definições de ações compostas Scripts Motivacao - Reduzir as tarefas de programação do usuario. - Tomar o XML de inicialização como referencia (diferenças) referência da linguagem STEP (Scripting Technology for Embodied Persona) Conveniência Semântica composta Redefinição Parametrização Interação ;; um roteiro parcial e interno de um agente, que determina como alguns comportamentos vão acontecer, isso detalhado ao nível de uma instância

Inspirado no fenômeno biológico dos enxames API modular Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões EARScript Integração com ISO Gerador de Material Eletroacústico Espacialização com Avatares Piano Preparado Integração com ISO (Interactive Swarm Orchestra) Inspirado no fenômeno biológico dos enxames API modular Ênfase na movimentação Representação Visual Integração via OSC Envio e recepção de posições Simulações no Ensemble Ambientes representados no ISO Interactive Swarm Orchestra, possui várias APIs para o uso de agentes em aplicações musicais, Enfase na movimentacao. Inspirado no fenômeno biológico dos enxames API modular, capacidade de representação Visual. Integração via OSC Envio e recepção de posicoes Simulacoes espacializadas no Ensemble Ambientes representados no ISO (Video) ;; Envio e recepção de posicoes, para simulacoes espacializadas em tempo real, ou para representar visualmente ambientes do Ensemble Swarms is a dance performance that employs several swarm simulations as interactive swarm simulation. A video tracking system allows the dancer to control the swarm via her posture and movements. The swarm visualization is projected both on the dancer's body and on the stage. Throughout the performance, the swarm progresses through several stages that are synchronized the choreography. 2047 was premiered at the Tanzhaus Wasserwerk in Zurich in 2009.

Elementos do agente gerador Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões EARScript Integração com ISO Gerador de Material Eletroacústico Espacialização com Avatares Piano Preparado Gerador de Material Eletroacústico Objetivos Explorar modos de criação sonora, texturas sonoras Composição algorítmica e vida artificial Aplicar transformações e efeitos Elementos do agente gerador Tipo de processamento sonoro Envoltória Tipo de movimentação Perfil de agente Ações Repertório arquivos sonoros curtos, com durações aproximadamente entre 0.5s e 5s.

Interesse performático Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões EARScript Integração com ISO Gerador de Material Eletroacústico Espacialização com Avatares Piano Preparado Espacialização de uma agrupação musical Interesse performático Entradas de áudio externas, com processamentos internos Controle de parâmetros em tempo real Espacialização Motivacao - Reduzir as tarefas de programação do usuario. - Tomar o XML de inicialização como referencia (diferenças) referência da linguagem STEP (Scripting Technology for Embodied Persona) Conveniência Semântica composta Redefinição Parametrização Interação ;; um roteiro parcial e interno de um agente, que determina como alguns comportamentos vão acontecer, isso detalhado ao nível de uma instância

Piano Preparado Projeto Mobile, com a compositora Michelle Agnes Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões EARScript Integração com ISO Gerador de Material Eletroacústico Espacialização com Avatares Piano Preparado Piano Preparado Projeto Mobile, com a compositora Michelle Agnes Piano como um multiplicador de timbres e ruídos (Cage) Características Experimentação sem demoradas preparações Vida Artificial Agentes abafadores e outros Cauda virtual: Divisão do mundo virtual por frequências Pitch tracking Aubio VST Motivacao - Reduzir as tarefas de programação do usuario. - Tomar o XML de inicialização como referencia (diferenças) referência da linguagem STEP (Scripting Technology for Embodied Persona) Conveniência Semântica composta Redefinição Parametrização Interação ;; um roteiro parcial e interno de um agente, que determina como alguns comportamentos vão acontecer, isso detalhado ao nível de uma instância

Conclusões Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Conclusões Parciais Trabalhos Futuros Cronograma Conclusões

Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Conclusões Parciais Trabalhos Futuros Cronograma Conclusões Parciais Necessidade de criar vínculos com artistas e usuários (Manuais, Expansões, GUI, Colaborações) Manter contatos iniciados com músicos Piano preparado Improvisação Importância do suporte a bibliotecas de áudio Portabilidade Compatibilidade Limitações da plataforma Java e do Arcabouço Relevância e desafios do EARScript Repertório arquivos sonoros curtos, com durações aproximadamente entre 0.5s e 5s.

Desenvolvimento do EARScript no Ensemble Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Conclusões Parciais Trabalhos Futuros Cronograma Trabalhos Futuros Desenvolvimento do EARScript no Ensemble Bibliotecas de Raciocínios em Java Processamentos em VST, mapeados e acessíveis Documentação mais abrangente e focada Experiências com Games, Instalações e outros formatos Estudo do Interactive Swarm Orchestra Repertório arquivos sonoros curtos, com durações aproximadamente entre 0.5s e 5s.

Introdução Fundamentação Teórica Decisões Composicionais Decisões Computacionais Implementações Conclusões Conclusões Parciais Trabalhos Futuros Cronograma Cronograma Repertório arquivos sonoros curtos, com durações aproximadamente entre 0.5s e 5s.

Obrigado