MACM Multiliteracias, aprendizagem e comunicação multimodal Edição 2014/2015 A noção de “Multimodalidade” (Abordagem sócio semiótica)

1. Onde a questão é o significado Semiologia (de semi(o) + logo + ia): ciência geral dos signos, segundo Ferdinand de Saussure, que estuda todos os fenómenos culturais como se fossem sistemas de signos, i.e., sistemas de significação. Em oposição à linguística, que se restringe ao estudo dos signos linguísticos, ou seja, da linguagem, a semiologia tem por objecto qualquer sistema de signos (imagens, gestos, vestuários, ritos, etc.) Socio semiótica a procura de unificar todos os modos de significação sob um tecto comum, como parte de um campo específico num contexto unificado, numa teoria unificada. Semiótica (do gr. Semeiotiké): ‘a arte dos sinais’. Denominação utilizada, principalmente pelos autores norte- americanos, para a ciência geral do signo; semiologia Signo significante significado (do gr. Semeion, ‘signo’): a união de um significante (uma forma observável como uma expressão facial, uma determinada cor) e de um significado (uma expressão de desaprovação, um sinal de perigo) Recurso uso preferido a signo na sociosemiótica, na medida em que evita a impressão de que, aquilo que um signo significa é algo pré-adquirido, e não afectado pelo seu uso

1. Onde a questão é o significado Escrever Escrever nomeia o que é difícil mostrar Imagem Imagem ilustra o que leva muito tempo a ler Cor Cor acentua aspectos específicos da mensagem geral Multimodalidade como o estado normal da comunicação humana: diferentes modos exercem diferentes espécies de trabalho semiótico, cada um dispondo do seu distinto potencial para comunicar Entendido como o estado normal da comunicação humana: diferentes modos exercem diferentes espécies de trabalho semiótico, cada um dispondo do seu distinto potencial para comunicar

1. Onde a questão é o significado TEORIA SOCIOSEMIÓTICA MULTIMODAL Teoria Sociosemiótica recursos culturais mundo social Reporta-se aos signos, aos significados, à construção de signos e significados, numa permanente reformulação dos recursos culturais para lidar com o mundo social Multimodalidade Reporta-se aos recursos materiais envolvidos na construção dos significados, i.e., os modos; escrita, imagem, música, gesto, discurso, imagem animada, banda sonora, objectos em 3D,… Como são os signos construídos; como é que o significado é moldado; que discursos e géneros são adequados e como são mobilizados; qual a textualidade e como funciona; como é que a representação e a comunicação funcionam; como é que os modos podem ocorrer em associação Os potenciais de cada modo (imagem, arquitetura, discurso, gesto,…) nestes conjuntos; as acessibilidades específicas e os recursos semióticos diversos (diferentes recursos para armar, encaixilhar, dar forma, por exemplo) TEORIA DA REPRESENTAÇÃO E COMUNICAÇÃO

1. Onde a questão é o significado; uma visão satélite da linguagem Terra: Uma imagem plana, uma perspectiva de grandeza, de imensidão Terra: Uma fotografia a partir da Lua, a rude clareza dos limites; uma pequena parte de um todo muito maior Aquilo que a teoria sócio semiótica multimodal propõe é a compreensão dos limites da linguagem: a linguagem não é um receptáculo suficientemente grande para a parafernália semiótica que nós julgamos poder colocar no seu contexto

1. Onde a questão é o significado; abordagens analíticas da linguagem Linguística Linguística: explicita uma descrição das formas, da sua ocorrência e das relações entre elas. Pragmática Pragmática: diz-nos algo sobre as circunstâncias sociais, sobre os participantes, os contextos de uso e os efeitos previsíveis. Sócio semiótica e a dimensão multimodal da teoria Sócio semiótica e a dimensão multimodal da teoria: diz-nos algo sobre o interesse e a agência; sobre (produção d) os significados em contextos sociais; sobre os recursos para produzir significados e os seus potenciais enquanto significantes na produção dos signos enquanto metáforas. Separação do significado e da forma – sintaxe é o estudo da forma, semântica é o estudo do significado Estudo do uso Relaciona entidades nas quais o significado e a forma aparecem como um todo integrado, um signo Metáfora Metáfora: a essência da metáfora é a ideia de ‘transferência’, de transferir algo de um lugar para outro, na base de uma similaridade percebida entre os dois ‘lugares’

2. O contexto social da comunicação contemporânea: poder, autoria e autoridade redistribuição do poder redistribuição do poder na comunicação efeito conjunto das condições sociais e das facilidades dos dispositivos digitais, ambos conduzindo ao refazer das questões de poder reflexo nas condições de aprendizagem, do saber e, portanto, da formação da subjectividade e da identidade mudanças de estruturas de poder ‘verticalizadas’ para estruturas ‘horizontalizadas’, de relações hierarquizadas para relações (aparentemente) mais abertas e participativas Plágio? Cortar e colar? utilizador/criador de conteúdos Autoria: o utilizador/criador de conteúdos (blogues, wiki’s, YouTube, MySpace, …)

2. O contexto social da comunicação contemporânea consumo produção e participação Com as antigas estruturas de poder, a relação entre a produção dos média e a audiência dos média era uma relação de consumo. Com novas distribuições de poder, incrementou-se uma relação de produção e participação para aqueles que previamente constituíam a audiência

3. Comunicação: moldando o domínio da significação Representação práticas sociais distintas Comunicação Focaliza-se no meu interesse na minha relação com o mundo e no meu desejo de conferir materialidade aos meus significados sobre esse mundo Focaliza-se no meu desejo ou necessidade de tornar essa representação acessível a outros, na minha interacção com eles Focaliza-se em mim e no meu interesse Focaliza-se no meu interesse na relação com os outros significados signos Transformação dos significados a que atribuo uma materialidade em signos compreensíveis para os outros interesse ‘eu e o meu foco para representar adequadamente alguma entidade ou fenómeno para minha satisfação’‘eu em inter-acção com outros no meu contexto social e a minha focalização no sucesso em envolver e persuadir outros’ O interesse permanece central, mas o seu foco, a sua direcção e atenção mudam: do ‘eu e o meu foco para representar adequadamente alguma entidade ou fenómeno para minha satisfação’ para o ‘eu em inter-acção com outros no meu contexto social e a minha focalização no sucesso em envolver e persuadir outros’

Retor (propósito politico) Enquanto Retor (argumentista): o meu propósito é alinhar a posição ideológica da mensagem com a posição ideológica da audiência (propósito politico) Designer (propósito semiótico) Enquanto Designer (guionista): o meu propósito é alinhar os propósitos do retor com os recursos semióticos da audiência (propósito semiótico) Representação A perspectiva da Representação pergunta: Comunicação A perspectiva da Comunicação pergunta: 3. Comunicação: moldando o domínio da significação -‘O que é que eu quero dizer, escrever, “gestualizar”, expressar a este ponto?’ - ‘Qual é o meu interesse neste momento em materializar as minhas significações?’ - ‘Quais os melhores e mais adequados meios para dar materialidade, realização material aos meus significados?’ -‘Qual a minha relação com aqueles com quem comunico?’ - ‘São membros do meu grupo social mais imediato ou mais distantes?’ - ‘Quais as relações de poder e como torná-las reconhecíveis nos meus signos?’ - Como ajustar e moldar a minha representação em relação aos interesses dos meus interlocutores assumidos? (Crítico, orientado para o passado)(Prospectivo, orientado para o futuro)

3. Comunicação; construção do signo, construção do modo SIGNO SIGNO: uma unidade de significado na qual ‘algo a significar’ – um significado – é combinado com ‘algo que o pode significar’ – um significante O ‘significado’ não ‘existe’ a não ser quando é materializado, realizado enquanto modo ou conjunto multimodal MODOS Diferentes MODOS encerram diferentes potencialidades para a construção do significado Função ideativa Função ideativa: expressa significados sobre acções, estados, relações e acontecimentos no mundo Funções formais Função textual Função textual: ter a capacidade para formar textos, i.e., entidades semióticas complexas, capazes de projectar um mundo (social) completo, coerentes internamente e com o seu contexto Função interpessoal Função interpessoal: expressa significados sobre as relações sociais entre aqueles comprometidos na comunicação

3. Comunicação; construção do signo, construção do modo Discurso Imagem Gesto tempo O tempo e a sequência de elementos no tempo fornecem a ‘lógica (semiótica)’ subjacente ao discurso espaço O espaço e a relação de simultaneidade da presença dos elementos naquele fornecem a ‘lógica (semiótica)’ que subjaz à imagem tempo espaçosequência no tempo moldura espacial Combina a lógica do tempo e do espaço, há uma sequência no tempo através do movimento dos braços e das mãos, da cabeça, da expressão facial, bem como a sua presença contra a moldura espacial estável da parte superior do torso (…)

4. A socio semiótica dos dispositivos móveis convergentes Um efeito maior da transição do Estado para o mercado é a deslocação de uma responsabilidade em torno dos valores do social para valores de satisfação individual A identidade, outrora uma construção através da posição social, do trabalho e da profissão, solidamente localizada e firmemente fixada, exercício de escolha consumista A identidade, outrora uma construção através da posição social, do trabalho e da profissão, solidamente localizada e firmemente fixada, é hoje construída através do exercício de escolha consumista no mercado

4. A socio semiótica dos dispositivos móveis convergentes Se a elaboração da identidade e da subjectividade é um processo de elaboração de sentidos e significados, por nós e sobre nós e o nosso mundo da vida… …então os média que usamos e as acessibilidades que disponibilizam – o que eles facilitam, o que eles obstaculizam e inibem – influenciam os nossos modos de construção de sentidos e significados e, consequentemente, os modos como moldamos as nossas identidades

4. A socio semiótica dos dispositivos móveis convergentes Dispositivos que reúnem as funcionalidades de diversos dispositivos digitais, anteriormente separados: Com o uso destes dispositivos damos forma ao habitus* e ao modo como abordamos e concebemos o nosso mundo da vida Máquina fotográfica, vídeo, pc portátil, GPS, Jogos, música,… …telefone * - Bourdieu (1980) define habitus como um «sistema de disposições duráveis e transponíveis, estruturas estruturadas dispostas a funcionar como estruturas estruturantes, i.e., enquanto princípios geradores e organizadores de práticas e representações»

4. A socio semiótica dos dispositivos móveis convergentes Com o dispositivo fechado, a sua forma e opções diferem significativamente de um telemóvel tradicional Ecrã colorido relativamente espaçoso com miniaturas de imagens Secção relativamente pequena dedicada a botões para navegação Só ‘abrindo’ o dispositivo (deslizando a parte frontal) se percebe tratar-se de um telefone móvel: o teclado aparece e o ecrã torna-se proporcionalmente menos imponente prioridade atribuída ao ecrã e teclas de navegação Embora variando de modelo a modelo, a maioria partilha a prioridade atribuída ao ecrã e teclas de navegação em detrimento do teclado de escrita Prevalência determinante da imagem sobre o texto

4. A socio semiótica dos dispositivos móveis convergentes Com vista a facilitar o acesso imediato a determinados modos (imagem), outros são ocultados (texto) À produção escrita é atribuída menor prioridade em favor da navegação e do acesso à imagem e ao texto escrito (internet) e à captura de imagens A acção no e sobre o mundo é previsivelmente mais provável que aconteça entre opções e reenviando-as como ‘links’ (p. ex., captando e copiando material semiótico via internet) do que recorrendo aos recursos da escrita para descrever o que queríamos representar ou comunicar

4. A socio semiótica dos dispositivos móveis convergentes Com telemóveis tradicionais, não existe continuidade/proximidade lógica ou espacial de ação e efeito: um toque no teclado tem como efeito um elemento no ecrã - um retângulo definindo um caractere Com telemóveis de ecrã táctil existe, quer continuidade/proximidade lógica, quer espacial de ação e efeito – um toque no objeto move-o – de tal modo que o lapso percebido entre o manejo de objetos reais e virtuais é estreitado O movimento de entidades visuais no ecrã como efeito de um toque sugere controlo sobre a ação e, mais especificamente, sobre o manejo e ação dos/sobre os objetos

4. A socio semiótica dos dispositivos móveis convergentes As duas câmaras presentes no telemóvel permitem captar muito mais imagens da vida quotidiana do que com uma câmara digital. Representar a realidade seleccionando e ‘captando’ converte-se numa actividade ‘natural’ A vida vivida ‘offline’ é directamente conectada à vida vivida ‘online’, por exemplo através dos perfis do YouTube ou do MySpace, agora ‘literalmente’ vividos por meio de representações. A vida vivida offline pode, deste modo, subordinar-se à vida vivida online ou vivida para a vida online Parece evidente que uma geração habituada à imediaticidade e ubiquidade do acesso ache muito difícil lidar com instituições e regulações do modelo antigo. A este respeito, a ‘escola’ é a instituição mais ‘exposta’ e é a escola que está sob a ‘mira de fogo’

4. A socio semiótica dos dispositivos móveis convergentes Descobrir, ao invés de explorar o desconhecido, torna-se uma experiência guiada pela informação. Experienciar a vida torna-se uma actividade moldada e enquadrada pela informação acessível; e ‘aprender’ pode confundir-se com recolher informação – fidedigna ou não – sobre o contexto A educação e a escola A mobilidade, conectividade e uso sinergético em tempo real de todas as potencialidades da multifuncionalidade é privilegiada face a uma utilização fina e elaborada de cada uma delas. Esta disponibilidade de convergência dos média é homóloga a tendências sociais da vida contemporânea na mudança de habitus em termos do favorecimento do imediato, quantitativo e multifunções e em detrimento do preciso, do focalizado e do aprofundado.

4. A socio semiótica dos dispositivos móveis convergentes Que tipo de competências são privilegiadas por intermédio das acessibilidades da convergência dos média e como podem elas ser utilizadas para fins educativos? A educação e a escola Que capital cultural é menos favorecido, tendendo a perder-se e que bens culturais são mais favorecidos? sensibilidade - Confere sensibilidade à relação social com o contexto adaptação - Permite a adaptação a conhecimentos prévios desenhados a partir de fenómenos heterogéneos mobilidade - Facilita a mobilidade em tempo real e multitarefas em detrimento do detalhe, da focalização e da precisão planeamento táctico - Alimenta um planeamento táctico (local e operacional) mais do que estratégico (global) - (…) É importante pensar em que medida a aprendizagem, a formação da identidade, a subjectividade social são afectadas por estas transformações

Bibliografia BOURDIEU, Pierre (1980) Le Sens Pratique. Paris. Éditions de Minuit. CASTELLS, Manuel (2007) A Era da Informação: Economia, Sociedade e Cultura. A Sociedade em Rede. Lisboa: Fundação Calouste Gulbenkian. KRESS, Gunther (2010) Multimodality. A social semiotic approach to contemporary communication. New York: Routledge. LEEUWEN, Theo Van (2005) Introducing Social Semiotics. New York: Routledge. SAUSSURE, Ferdinand de (2005) Cours de Linguistique Générale. Paris: Éditions Payot.