Aplicações e investigação de base – Desafios multidisciplinares

Apresentação em tema: "Aplicações e investigação de base – Desafios multidisciplinares"— Transcrição da apresentação:

1 Aplicações e investigação de base – Desafios multidisciplinares
António Teixeira Dep. Electrónica Telec. Informática, Universidade de Aveiro IEETA & SIG - IL

2 Nossa visão Centrada nos Humanos (antropomórfica) Dos Humanos
Síntese de Voz Dados Teorias Patologias Sistemas (robôs, computadores Inspira Medições usam... Nossa visão Centrada nos Humanos (antropomórfica) Dos Humanos Dados, teorias Modelos Para os Humanos sistemas Interdisciplinar Para Português essencialmente ajudam

3 Interfaces Humano-Computador Aplicações na área da Saúde
I - Aplicações Interfaces Humano-Computador Aplicações na área da Saúde

4 Desafio É crítico para a área ter exemplos de aplicações actuais e futuras que atraiam investimentos, empresas, alunos e o público em geral Exemplos de áreas de aplicação em que considero ser relevante apostar: Saúde Interfaces Humano-Máquina / Acesso Universal Incluindo Robótica

5 “Ubiquitous computing - access to all information for anyone, anywhere, at any time - relies on speech for those whose eyes or hands are directed to other tasks (such as driving ...) or for those who cannot read or type (such as children, the blind, or the disabled).” Nass & Brave, in Wired for Speech

6 Porquê Fala/Voz ? A nossa forma natural de comunicar
Interesse crescente em estender o seu uso a interacção com máquinas O HAL era fluente … em Inglês !!! Mãos e visão livre Permite interacção a alguma distância Pode ser usada mesmo sem contacto visual Não é necessário aprender a “linguagem” de interacção Permite acesso remoto através do telefone

7 Robôs de Serviço – Robôs Pessoais
A próxima geração precisa de ser: Animada Respondendo a alterações no ambiente Acessível Ex: Ser capaz de explicar as suas intenções Em muitos casos implicará o uso de interfaces usando fala Adaptável A diferentes utilizadores e ambientes Implica aquisição de conhecimento sobre ambiente, utilizadores e tarefas

8 O robô Carl Objectivo: 1.1 m de altura ~10 anos Pioneer 2-DX
Desenvolver um robô capaz de aprender através da interacção com interlocutores humanos 1.1 m de altura ~10 anos Pioneer 2-DX Da Activemedia Computador portátil Array de microfones 2 câmaras, sonares ... Infelizmente fala Inglês !

9 Outras aplicações A Fala deve desempenhar um papel principal nas “Tecnologias Assistivas” (Assistive Technologies) Ver DSAI 2009 “position paper” Exemplos: Domótica para tetraplégicos Comunicação Alternativa para Paralisia Cerebral A integração de tecnologias de fala nas interfaces em geral deve ser promovida Interfaces Multimodais

10 Ciências da Fala e da Audição
Aplicações em Audiologia Terapia da Fala

11 Desafio(s) Análise instrumental e quantitativa da voz
Criação de novos instrumentos de intervenção e avaliação Novas tecnologias para sistemas aumentativos Como Geração de Linguagem Natural para interface com sistemas de síntese Inclusão na formação profissionais desta área de conhecimentos sobre Processamento de Fala

12 Exemplo: SSW para Português
Staggered Spondaic Word Test (SSW) Teste dicótico Desenvolvido por Jorge Humberto Martins, MCFA, 2007

13 II - Estudos sobre o Português
Fonética Experimental Uso intensivo de tecnologias Muito ainda para investigar …

14 Desafio Ter informação detalhada sobre a produção do Português
Usar medição o mais directa possível Contemplar os aspectos temporais e de sincronização Muito pouco contemplados! Áreas prioritárias: Nasalidade Laterais Vibrantes Produções “patológicas” fenda palatina, problemas auditivos, doenças neurológicas …

15 Exemplo: Ressonância Magnética

16 Exemplo 2: Coarticulação nas Laterais
Lateral [l] Lateral [L] Em termos de resultados, e para finalizar apresentamos apenas as imagens (obtidas em tempo real) para os pares Ka~tu e Kato. As imagens obtidas permitem efectuar a segmentação da língua utilizando o live-wire, no entanto a zona do velo é mal visualizada devido à presença de artefactos de susceptibilidade magnética. As frames relativas a cada fone foram obtidas por comparação com imagens estáticas obtidas para a mesma falante.

17 Outro Desafio Reduzir ou eliminar a necessidade de gravação de voz de um humano para a criação de sistemas de conversão texto-fala (TTS)

18 Texto -> Gestos -> Voz
mínimo Proc. Linguístico (acento, sílaba ... (m-i1_) (n-i0_)(m-u_) Base dados Gestos Modelo Gestual Info sincronização Pauta gestual “Task dynamics” Movimento articuladores Sintetizador (articulatório)

19 Exemplo de Síntese (com SAPWindows)

20 Para além da Linguística
Emoção Identidade

21 Desafio Voz transmite informação linguística mas também emoção, identidade, dialecto … Necessidade da inclusão de reconhecimento e expressão de emoções pela voz em sistemas de interacção Humano-computador

22 Primeiro problema: falta de dados
Não existência de um corpus de voz emocional disponível para o Português Dificuldade de obter amostras de voz emocional espontânea

23 Resultados recentes para PE
Raiva Desesp Tristeza Raiva diferindo da Neutra no 4 parâmetros analisados Desespero também diferindo nos 4 parâmetros, mas menores diferenças Tristeza essencialmente diferente nas irregularidades Medo similar a desespero e com HNR próximo da Neutra Alegria, uma emoção positiva, apenas diferindo da neutra pelos valores de f0 Neutra Medo Alegria F0 média Jitter HNR Shimmer

24 III - A família da nossa língua
ISCA Special Interest Group on the Iberian Languages SIG-IL

25 Objectivos SIG-IL Fórum de discussão de investigação e aplicações na área das tecnologias da fala; Promoção a adequada referência pela comunidade internacional a trabalhos publicados pelos seus membros; Organizar/apoiar conferências, escolas e workshops; Divulgar publicações relacionadas com as línguas Ibéricas Promover a colaboração entre a indústria e academia Promover o uso de tecnologias da fala na edução

26 SIG-IL ISCA Special Interest Group on the Iberian Languages
Primeira Direcção (Board) Nestor Yoma, Rubén San-Segundo, Andréia Rauber, Plínio Barbosa, Direcção actual A. Teixeira (PT), Juan Nolasco Flores (MX), Aldebaro Klautau (BR), Rubén San-Segundo (SP) Possibilidade de ter massa critica ?

27 Membros do SIG-IL Brasil Portugal Espanha Cuba Chile Argentina
Alemanha EUA Japão Países Baixos Reino Unido

28 Ideias e próximo evento
Ter repositório de teses, artigos Ter revista com impacto Parabéns para a recém lançada linguaMatica Ter projectos conjuntos Um pouco de publicidade 

29 Prefiro usar desafios aos habituais “Problemas”
Principais desafios Prefiro usar desafios aos habituais “Problemas”

30 Desafios Arranjar formas de superar a não continuidade de financiamento Conseguir o reconhecimento efectivo por parte das diversas entidades da grande relevância do Português Ir diminuindo a incompreensão para as grandes especificidades da investigação nesta área Exemplos: Dificuldades de comparar resultados por inexistência de conjuntos de teste; Publicações ISI

31 Obrigado pela atenção!