Visualização Neural Visualizando dados neurais para a medicina

Apresentação em tema: "Visualização Neural Visualizando dados neurais para a medicina"— Transcrição da apresentação:

1 Visualização Neural Visualizando dados neurais para a medicina
Leonardo Milhomem Franco Christino

2 Cérebro Neurônios Átrios Dendritos Mas que coisa! Somos da Computação!

3 Cérebro Eyewire Segmentation: online game-like Microscópio Eletrônico
Sub-cube de 256³

4 Visualização do Cérebro
Muitos dados do EM (terabytes++) Estruturas Volumétricas (Oclusão) Estruturas complexas Pesquisas Atuais Aquisição das imagens Segmentação Proposta Análise neurocientífica eficiente Muito dado não sendo analisado bem

5 ConnectomeExplorer Integrado Guiado por Pesquisas
Connectomics (conectividade cerebral)

6 ConnectomeExplorer Petascale Microscopy data streams
data-driven modules e user-driven modules

7 ConnectomeExplorer

8 Trabalhos Relacionados
Neuroscience and connectomics Segmentation and annotation tools for neuroscience Visualization of microscopy data Neuroscience ontologies Visual analysis in neuroscience Dynamic and visual queries Volume rendering

9 Ray-Tracing Computação Gráfica

10 Ray-Tracing

11 GPU Ray-Tracing

12 Ray-Casting Versão simplificada do Ray-Tracing
Solução para alta quantidade de dados Stream de dado entre memórias

13 Renderização GPU-based Multi-Volume Rendering for the Visualization of Functional Brain Images

14 Renderização GigaVoxels: Ray-Guided Streaming for Efficient and Detailed Voxel Rendering

15 Renderização de Volumes
Características Escalabilidade Selecionar Highlighting Ligar com outras visualizações Associar com pesquisa

16 Renderização de Volumes
Construção do Volume Sub-blocos 3D a partir da imagem 2D Posição Resolução Ray-Caster nos sub-blocos Somente blocos visíveis são passados para GPU

17 Segmentação e Volume

18 Sinapses e Conectividade

19 Contectividade e Estatística

20 Comparação Sináptica

21 Dynamic Knowledge-Based Queries
Nível correto de abstração Álgebra de Conjuntos

22 Álgebra de conjuntos Simplicidade
Busca semântica (termos do usuário), e não busca em SQL

23 Álgebra de conjuntos Conceitos Básicos Formado de Tuplas com:
Objetos (id, tipo e atributo) Id, Axônio, força sináptica Conjunto Mistura de objetos de diferentes tipos Palavras chaves: all, axons, dendrites, (vazio) Outra tupla <axons,dendrites,synapses> Padrão: Conectividade

24 Algebra de conjuntos Pesquisas Predicados / Operadores
Relação Topológica (conectividade) Relação Espacial (distância) Atributos (tamanho) Predicados / Operadores [vesicleCount>50]<synapses>

25 Pedicados Agrupamento Projeção Agrupar
Grupos (união, intercessão, ...)

26 Pedicados Topológicos Espaciais Conectado Região de Interesse
Distância entre <obj1,obj2, distancia > Precisão dinâmica pela performance Distância de Threashold a partir de um objeto Mais eficiente por explorar a estrutura de dados

27 Pedicados Atributos =, !=, >, <, etc. Estatísticos Count Avg Dev

28 Construtor de Pesquisa Visual

29 Vizualizações Multi-volumes Renderizações Sinápticas Seleção
Divisão por ID Cores definidos pelo usuário Renderizações Sinápticas Topologia Esfera sombreada Seleção Lista de Objetos (ID) Ray-Casting e Buffer

30 Vizualizações Grafo de conectividade Segmentação/Fatia
Informações e estatísticas Region Of Interest Pesquisa Octree

31 Dados utilizados

32 Resultados Utilidade prática bem aceita entre neurologistas
Uso de resoluções de x x voxels Segmentação Manual Trabalho futuro: segmentação semi-automatico e automatico Axônios Dentritos Células Gliais Vesículos

33 Tempos – Análise de Axônios e Dendritos 1
Qual foi a média de vesículos de um axônio específico que foi selecionado pelo usuário na visualização 3D? 1a := [axonId=5]<axons> sel axon5 from set of axons 1b := <1a, synapses> tuples axon5 and its synapses 1c := [avg(vesicleCount)]<1b> avg ves no for axon5

34 Tempos – Análise de Axônios e Dendritos 2
Qual a média de vesículos de todos os axônios, e qual a média do número de vesículos de cada um? set of tuples for all axons and their synapses 2a := <axons,synapses> 2b := [avg(vesicleCount)]<2a> avg over all axons 2c := [group(1)]<2a> set of sets, grouped by axon 2d := [avg(vesicleCount)]<2c> avg for each axon

35 Tempos – Análise de Axônios e Dendritos 3
Todas as sinapses de um certo axônio possuem o mesmo número de vesículos? 3a := [dev(vesicleCount)]<1b> std dev of ves count

36 Tempos – Análise de Axônios e Dendritos 4
Ou o número de vesículos depende do dendrito específico que o axônio conecta? tuples of connected axons, dendrites, synapses 4a := [axonId=5]<axons, dendrites, synapses> 4b := [group(2)]<4a> set of sets grouped by dendrit 4c := [dev(vesicleCount)]<4b> std dev per dendrite

37 Tempos – Conectividade 5
Are two structures that are picked in the 3D view connected? As duas estruturas selecionadas são conectadas? 5a := [dendriteId=7]<dendrites> picked dendrite 5b := [connected]<1a,5a> empty set if not connected

38 Tempos – ROI 6 Quais são todos os dendritos dentro de um ROI? Quais são os que estão dentro do ROI que são menores de um certo volume? 6a := [ROI(cylinder c)]<dendrites> dendrites in ROI 6b := [size < 500k]<6a> small dendrites in ROI

39 Tempos – ROI 7 Quais axônios fazem um específico dendrito conectar a um cilindro? 7a := <5a, axons, synapses> all connections of dend7 7b := [ROI(cylinder c)]<7a> dend7 connections in ROI 7c := [project(2)]<7b> only keep connected axons

40 Tempos – ROI 8 Quais axônios dentro de um ROI não conectam ao dendrito? 8a := [ROI(cylinder c)]<axons> axons in ROI 8b := [relcomp]<8a,7c> ROI axonsnconnected axons

41 Tempos – ROI 9 Mas eles fazem conexões fora do ROI?
9a := [connected]<5a,8b> all connections

42 Tempos

43 Tempos

44 Feedback do Usuário Dois casos em que o usuário ganhou melhor conhecimento dos dados 1) Neurocientista interessado em axônios de multi-conexões com um ROI totalmente segmentado 2) Analisar numericamente e limpar dados de erros de segmentação

45 Feedback do Usuário Resposta muito positiva dos usuários Problemas
Pequeno período de treinamento Diferentes visualizações proporcionaram amplo conhecimento dos dados e melhor manipulação Pesquisas muito eficientes Problemas Segmentação esparsa em algumas áreas

46 Comparações Quadcore dual-CPU 3.2 GHz 12 GB RAM
NVIDIA GTX 680 GPU com 2 GB RAM Pode ser rodado remotamente

47 Comparações 12-75 fps 1024 x 768 viewport
Multi-Volume reduz em 10% - 30% a performance

48 Limitações Não óbvio para neurocientistas de início
Álgebra limitada por estar preso a um domínio Futuro Segmentação avançada Metáforas 3D mais intuitivas para navegação

49 Conclusão Aplicação direcionada, complexa e com muito potencial
Visualização direcionada a uso Quantidade de dados muito grandes Melhorar metáfora (grafo) Deixar mais intuitivo Usar gliphs ou outros elementos topológicos Oclusão

50 Suporte

51 Autores ConnectomeExplorer: Query-Guided Visual Analysis of Large Volumetric Neuroscience Data KAUST Johanna Beyer Ali Al-Awami Markus Hadwiger Center for Brain Science at Harvard University Narayanan Kasthuri Jeff W. Lichtman School of Engineering and Applied Sciences at Harvard University Hanspeter Pfister