DA LINGUÍSTICA SAUSSURIANA À SEMIÓTICA SOCIAL: O CONCEITO DE MULTIMODALIDADE SOB ESCRUTÍNIO

FROM SAUSSUREAN LINGUISTICS TO SOCIAL SEMIOTICS: THE CONCEPT OF MULTIMODALITY UNDER SCRUTINY

RESUMO

O objetivo deste artigo é escrutinar a noção de multimodalidade por meio de uma discussão teórica que busque reapresentar, problematizar e reformular conceitos a ela subjacentes e que lhe dão sustentação, como recurso semiótico, elemento semiótico, sistema semiótico, propiciação modal e modalidade semiótica. Para tanto, parte-se das noções de língua e linguagem, fala, signo, significante e significado, de Ferdinand de Saussure (SAUSSURE, 2006 [1916]), e de suas reapropriações por Émile Benveniste (BENVENISTE, 1976 [1966]) e Roland Barthes (BARTHES, 1990 [1982]); em seguida, discutem-se mais especificamente as contribuições de Gunther Kress e Theo van Leeuwen para a Semiótica Social (KRESS & VAN LEEUWEN, 2006 [1996]; KRESS, 2010), com o intuito de formular um conceito de multimodalidade com base em premissas que possam estabelecer critérios para as modalidades semióticas, não apenas para explicar, de alguma forma, o amplo e (não raro) uso indiscriminado de conceitos e expressões pouco esclarecedores em textos acadêmicos, mas, sobretudo, para contribuir teoricamente para o campo de estudos da linguagem e para a formulação de documentos relacionados à área de Educação, em que a multimodalidade tem estado cada vez mais presente.

Palavras-chave:
multimodalidade; construção de significados; Saussure; Semiótica Social

ABSTRACT

This article aims to scrutinize the notion of multimodality through a theoretical discussion that seeks to re-present, problematize and reformulate concepts that underlie and support it, such as semiotic resource, semiotic element, semiotic system, modal affordance and semiotic modality. To do so, one starts from the concepts of language (both língua and linguagem), speech, sign, signifier and signified, by Ferdinand de Saussure (SAUSSURE, 2006 [1916]), and their reappropriation by Émile Benveniste (BENVENISTE, 1976 [1966]) and Roland Barthes (BARTHES, 1990 [1982]); then, one discusses more specifically the contributions from Gunther Kress and Theo van Leeuwen for Social Semiotics (KRESS & VAN LEEUWEN, 2006 [1996]; KRESS, 2010), so as to formulate a concept of multimodality based on premises that can establish criteria for semiotic modalities, not just to explain, in some way, the wide and (not rare) indiscriminate use of concepts and expressions in academic texts that are not very enlightening, but, above all, to theoretically contribute to the field of language studies and to the formulation of documents related to the area of Education, in which multimodality has been increasingly present.

Keywords:
Multimodality; meaning-making; Saussure; Social Semiotics

INTRODUÇÃO

“Todos os textos são multimodais. A língua sempre tem de ser realizada por meio de, e vem acompanhada de, outros modos semióticos” (KRESS e VAN LEUWEEN, 1998, p. 186)

Desde que o mundo é mundo, ou, pelo menos, desde que passamos a viver e conviver neste mundo, construímos significados que envolvem ações ou processos multimodais. Contudo, a partir do início século XX, com o advento e consumo de tecnologias visuais e sonoras, como a fotografia, o cinema, o fonograma, o rádio e a televisão, e, muito mais incisa e fortemente, com o desenvolvimento e o uso generalizado de tecnologias digitais desde o começo deste século, passamos a construir significados multimodais de forma muito mais intensa por meio dessas tecnologias. Seria, portanto, quase que natural que essa intensificação na construção de significados multimodais nos últimos anos fizesse com que a questão da multimodalidade se tornasse também objeto de bastante interesse de pesquisa acadêmica.

No que diz respeito, mais especificamente, ao campo de estudos da linguagem e da Educação, é preciso destacar que a multimodalidade passou a ganhar um espaço muito considerável a partir do manifesto, publicado em 1996, intitulado A Pedagogy of Multiliteracies: Designing Social Futures, de autoria de um grupo de pesquisadores provenientes da Austrália, Inglaterra e Estados Unidos, conhecidos como The New London Group¹, cujo interesse comum era, então, discutir uma pedagogia direcionada para os Multiletramentos (ver Cazden et al., 1996). Para expandir a compreensão sobre o que entendiam como uma (nova) pedagogia dos multiletramentos, o grupo se apoiou em dois argumentos dentro de uma (nova) ordem global, cultural e institucional então emergente: o primeiro argumento tomava como referência a imensa diversidade linguística, cultural e social do mundo atual e como isso já vinha se tornando cada vez mais constitutivo da vida social; o segundo estava relacionado à crescente multiplicidade e integração de modos de construção de significado, devido à multiplicidade de meios de comunicação, em que o texto escrito se integra a imagens e sons, isto é, à multimodalidade (CAZDEN et al, 1996).

Contudo, é preciso destacar que não é menos natural que qualquer termo acadêmico que tenha passado a ser usado de forma tão intensa nos últimos anos acabe sofrendo de um certo mal que não é raro no meio acadêmico: a falta de clareza conceitual, que aproxima ou mesmo funde certos termos aparentemente afins, causando, assim, uma certa confusão conceitual, para dizer o mínimo. É o que vem acontecendo com o termo multimodalidade e, por extensão, com o termo multimodal, cuja falta de clareza conceitual não somente compromete sua compreensão, por meio do usos de expressões como texto multimodal/multissemiótico², mas também gera afirmações, como a de que “todos os textos são multimodais”, citada na epígrafe acima, que, ainda que imbuídas da melhor das intenções de valorizar a multimodalidade, acabam, no limite, enfraquecendo-a, tanto do ponto de vista conceitual quanto analítico. É o que acontece, por exemplo, com a Base Nacional Comum Curricular (BNCC), que não apenas se furta de apresentar os conceitos de multimodalidade e de multissemiose, como também os considera ora como termos intercambiáveis, ora como termos distintos³.

Entendo, pois, que o termo multimodalidade deveria ser submetido a um escrutínio conceitual, o que envolve a mobilização de um certo exercício epistemológico, que deve estar na base da formulação de qualquer tipo de teorização. Nesse sentido, o objetivo deste artigo é, ainda que muito comedidamente, dada a limitação de espaço de um artigo acadêmico, realizar esse exercício epistemológico, por meio de uma discussão teórica sobre a multimodalidade, procurando reapresentar, problematizar e reformular conceitos que estariam a ela subjacentes e que lhe dão sustentação, como recurso semiótico, elemento semiótico, sistema semiótico, propiciação modal e modalidade semiótica. Para tanto, na primeira seção do artigo, parto das noções de língua e linguagem, bem como dos conceitos de signo, significante e significado, de Ferdinand de Saussure, e de suas reapropriações por Émile Benveniste e, particularmente, por Roland Barthes, que os utiliza para análise além da língua (leitura de imagem); em seguida, trago mais especificamente as contribuições da Semiótica Social de Gunther Kress e Theo van Leeuwen, para, na seção seguinte, então, formular um conceito de multimodalidade que possa, de alguma forma, dar conta da crítica que levanto nesta introdução, com base em alguns pontos e premissas que constituem as modalidades semióticas e que subjazem à noção de multimodalidade com a qual lido neste artigo; por fim, faço algumas considerações finais não apenas para fornecer uma explicação para a crítica que levanto nesta introdução, mas também, de maneira mais ampla, para trazer uma contribuição teórica para o campo de estudos da linguagem e, com isso, possibilitar a (re)formulação de documentos oficiais relacionados à área de Educação, nos quais a multimodalidade tem estado cada vez mais presente.

1. O SIGNO LINGUÍSTICO EM SAUSSURE, BENVENISTE E BARTHES

Discorrer sobre a Teoria do signo linguístico proposta por Ferdinand de Saussure, assim como fazer qualquer crítica a ela, não é algo trivial, pois, antes de tudo, é preciso fazer uma importante ressalva, que muitas vezes não é feita quando se discute a teoria desse grande linguista genebrino, considerado o “pai da linguística moderna”: a famigerada obra a que sempre se recorre para se referir a Saussure, intitulada Curso de Linguística Geral, organizada por Charles Bally e Albert Sechehaye, não é exatamente de autoria de Ferdinand de Saussure. uma vez que se trata de uma obra póstuma, publicada em 1916 (três anos após a sua morte), escrita não a partir de textos deixados por Saussure, mas por meio de anotações de alguns de seus ex-alunos que participaram de, pelo menos, um dos três cursos de Linguística Geral, oferecidos por Saussure entre 1907 e 1911⁴. Assim, além da questão da autoria da obra, estaríamos diante de um outro problema, que é o tema de discussão deste artigo: haveria uma transdução⁵ entre duas modalidades semióticas envolvidas na elaboração da obra, que se iniciou com o oferecimento dos cursos de Linguística Geral por Saussure (portanto, realizado por meio da modalidade oral), e passou pela modalidade escrita, ao ter virado uma série de anotações de seus estudantes, até ser transformada em um texto escrito final, que se tornou a obra mais famosa da história da Linguística.

Feita a ressalva, começo a discussão trazendo uma diferenciação basilar que Saussure faz entre língua e linguagem, em que a primeira seria apenas uma parte determinada e essencial da segunda. E, enquanto a linguagem é “multiforme e heteróclita; o cavaleiro de diferentes domínios”, a língua é um “um produto social da faculdade de linguagem e um conjunto de convenções necessárias, adotadas pelo corpo social para permitir o exercício dessa faculdade nos indivíduos (SAUSSURE, 2006 [1916], p. 17). Como a linguagem, para Saussure, engloba tanto o fato social quanto o ato individual, em que este seria apenas um “embrião da linguagem”, só seria possível, segundo o autor, abordar teoricamente o primeiro. É justamente essa diferenciação entre o fato social e o ato individual que constitui a mais famosa dicotomia saussuriana e que está na base da sua noção de signo: língua (langue) e fala (parole), que separa, então, “o que é social do que é individual; o que é essencial do que é acessório e mais ou menos acidental” (SAUSSURE, 2006 [1916], p. 22). Ainda segundo o linguista suíço, “a língua não constitui, pois, uma função do falante: é o produto que o indivíduo registra passivamente; não supõe jamais premeditação, e a reflexão nela intervém somente para a atividade de classificação” (SAUSSURE, 2006 [1916], p. 22). A fala, ao contrário, é “um ato individual de vontade e inteligência, no qual convém distinguir: 1. As combinações pelas quais o falante realiza o código da língua no propósito de exprimir seu pensamento pessoal; 2. O mecanismo psicofísico que lhe permite exteriorizar essas combinações” (SAUSSURE, 2006 [1916], p. 22).

Chegamos aqui a um ponto que, para Saussure, é bastante caro: tudo aquilo que diz respeito ao que o indivíduo é capaz de executar e que, portanto, se encontra no âmbito individual, curiosamente, é o que, justamente, para o linguista genebrino, deve ficar de fora do escopo de estudo da Linguística. Esta, ainda segundo Saussure, deve se ocupar apenas da língua, que, ao se prestar à atividade de classificação, em que “a parte psíquica não entra tampouco totalmente em jogo”, torna-se um “objeto que se pode estudar separadamente”, pois, nesse caso, “não só pode a ciência da língua prescindir de outros elementos da linguagem como só se toma possível quando tais elementos não estão misturados” (SAUSSURE, 2006 [1916], p. 23). Assim, enquanto a fala é heterogênea e assistemática, portanto, não passível de ser submetida a um escrutínio da ciência, a língua é de natureza homogênea: “constitui-se num sistema de signos onde, de essencial, só existe a união do sentido e da imagem acústica, e onde as duas partes do signo são igualmente psíquicas” (SAUSSURE, 2006 [1916], p. 23).

Para Saussure, a associação entre uma imagem acústica e um conceito apenas se dá na língua, isto é, na parte social da linguagem, exterior ao indivíduo, que, “por si só, não pode nem criá-la nem modificá-la; ela não existe senão em virtude duma espécie de contrato estabelecido entre os membros da comunidade. Por outro lado, o indivíduo tem necessidade de uma aprendizagem para conhecer-lhe o funcionamento” (SAUSSURE, 2006 [1916], p. 23). Com efeito, a ideia de imagem acústica como a contraparte do signo linguístico está tão enraizada que, ainda segundo o autor, acaba causando uma certa ambiguidade entre a imagem acústica, a representação (visual) de uma palavra (por exemplo, a representação da palavra “árvore”), e o todo, correspondente ao signo linguístico árvore, que é a união entre a imagem acústica e o conceito. Para, então, desfazer a ambiguidade, Saussure propõe manter o termo signo, para designar o todo, e substituir os termos conceito e imagem acústica por significado e significante, respectivamente.

Após estabelecer que o signo linguístico é composto por um significante e um significado, Saussure apresenta o princípio fundante entre as duas faces do signo: a arbitrariedade do signo linguístico. Isso quer dizer que “não deve dar a ideia de que o significado dependa da livre escolha do que fala”. “[...] O significante é imotivado, isto é, arbitrário em relação ao significado, com o qual não tem nenhum laço natural na realidade” (SAUSSURE, 2006 [1916], p. 83). Portanto, para o linguista genebrino, o caráter arbitrário do signo linguístico não permite que o indivíduo possa trocar coisa alguma em um signo, uma vez que este esteja estabelecido num grupo linguístico. É nesse sentido que é a própria arbitrariedade do signo que “põe a língua ao abrigo de toda tentativa que vise a modificá-la. A massa, ainda que fosse mais consciente do que é, não poderia discuti-la”. [...] “Não existe motivo algum para preferir soeur a sister, ou a irmã, ochs a boeuf ou boi” (SAUSSURE, 2006 [1916], p. 87).

Em sua obra, intitulada Problemas de Linguística Geral, Émile Benveniste critica, entre outras coisas, o princípio saussuriano da arbitrariedade do signo linguístico, a partir de um dos exemplos que o próprio Saussure apresenta para justificar tal princípio: “ochs” e “boi”: é somente se se pensa no animal “boi” na sua particularidade “concreta e “substancial” que se tem base para julgar “arbitrária” a relação entre boi de um lado, ochs do outro, com uma mesma realidade. Há, pois, contradição entre a maneira como Saussure define o signo linguístico e a natureza fundamental que lhe atribui” (BENVENISTE, 1976 [1966], p. 54). O começo do argumento que Benveniste apresenta em relação a esse exemplo para questionar essa “natureza fundamental” atribuída ao signo linguístico por Saussure é o de que “decidir que o signo linguístico é arbitrário porque o mesmo animal se chama boi num país, ochs, noutro, equivale a dizer que a noção do luto é “arbitrária” porque tem por símbolo o preto na Europa, o branco na China” (BENVENISTE, 1976 [1966], p. 55).

Benveniste segue, então, seu argumento, ponderando que o verdadeiro problema “consiste em reencontrar a estrutura íntima do fenômeno do qual não se percebe senão a aparência exterior e em descrever a sua relação com o conjunto das manifestações” (BENVENISTE, 1976 [1966], p. 55). Assim, o linguista francês retoma os elementos que compõem o signo linguístico com base em Saussure, fazendo uso do mesmo exemplo (boi), porém, destaca que o laço que os une não é arbitrário, mas sim necessário:

Um dos componentes do signo, a imagem acústica, constitui o seu significante; a outra, o conceito, é o seu significado. Entre o significante e o significado, o laço não é arbitrário; pelo contrário, é necessário. O conceito (“significado”) “boi” é forçosamente idêntico na minha consciência ao conjunto fônico. (“significante”) boi. Como poderia ser diferente? Juntos os dois foram impressos no meu espírito; juntos evocam-se mutuamente em qualquer circunstância. Há entre os dois uma simbiose tão estreita que o conceito “boi” é como que a alma da imagem acústica boi (BENVENISTE, 1976 [1966], p. 55-56).

Com efeito, o elo entre significante e significado é necessário, pois, desde as primeiras palavras que aprendemos na infância, a relação que percebemos entre o significante e o seu significado sempre nos foi apresentada como uma coisa só, inseparável, simbiótica, em que um não existe sem o outro, daí seu vínculo de necessidade mútua. Contudo, Benveniste não questiona o outro aspecto da arbitrariedade saussuriana, que se refere à relação mais ampla entre o signo e a realidade: “o que é arbitrário é que um signo, mas não outro, se aplica a determinado elemento da realidade, mas não a outro. Nesse sentido, e somente nesse sentido, é permitido falar de contingência” (BENVENISTE, 1976 [1966], p. 56). Para defender o que chama de “problema metafísico da relação entre o espírito e o mundo”, o linguista francês, parece indicar a existência de uma outra dicotomia – o linguista e o falante:

Propor a relação como arbitrária é para o linguista uma forma de defender-se contra essa questão e também contra a solução que o falante lhe dá instintivamente. Para o falante há, entre a língua e a realidade, adequação completa: o signo encobre e comanda a realidade; ele é essa realidade. O domínio do arbitrário fica assim relegado para fora da compreensão do signo linguístico (BENVENISTE, 1976 [1966], pp. 55-56).

Contudo, tal asserção, que corrobora a dicotomia com base em duas perspectivas supostamente distintas (a do linguista e a do falante), não apenas não resolve a questão da arbitrariedade do signo, como cria papéis sociais genéricos que podem não necessariamente corresponder às realidades nas quais tanto o linguista quanto o falante estão inseridos. Isso porque Benveniste parece ver o linguista como aquele que propõe que a relação entre signo linguístico e realidade é arbitrária – ao contrário do que se poderia esperar – para se esquivar de lidar com algo que supostamente não seria de sua alçada, seja porque se trata de resolver um “problema metafísico da relação entre o espírito e o mundo” (não sendo, portanto, do âmbito da Linguística), seja porque se trata de ir contra uma solução instintiva do falante, que, a meu ver, parece ser muito mais adequada: a de que “entre a língua e a realidade, [há uma] adequação completa: o signo encobre e comanda a realidade; ele é essa realidade” (BENVENISTE, 1976 [1966], p. 56). Além disso, essa perspectiva dicotômica (linguista e falante) parece também imputar ao linguista o papel de uma entidade que não vive a realidade social da língua que estuda, isto é, ignora o simples fato de que, antes de ser linguista, ele é também um falante, que, outrossim, é capaz de se inquietar e, buscar, ainda que de forma intuitiva ou instintiva, soluções no que diz respeito à relação entre o referente (a realidade) e o signo linguístico, não sendo, portanto, somente uma função exclusiva daquele (o linguista) que a toma como seu objeto de estudo.

Uma das formas para começar a entender não apenas que a relação entre significante e significado não é arbitrária, mas necessária, como também que a relação entre o signo (linguístico) e a realidade não poderia ser também arbitrária, e sim motivada, seria, a meu ver, ir além da língua, procurando estabelecer conexão do signo linguístico com outras modalidades semióticas. Para iniciar essa conexão, penso que seja interessante analisar como a teoria saussuriana foi, de alguma forma, reapropriada por Roland Barthes para lidar com a leitura da imagem em seu texto A retórica da imagem, que é um dos ensaios mais citados do autor. Nele, Barthes faz uso da composição dos termos saussurianos significante e significado para análise de uma peça publicitária das massas Panzani, ressignificando-os na relação entre as modalidades semióticas⁶ escrita e a visual.

De início, Roland Barthes destaca em sua análise que a imagem publicitária apresenta três mensagens: a primeira, que se revela imediatamente, cuja substância é linguística; seus “suportes são a legenda, marginal e as etiquetas, inseridas no natural da cena, como an abîme, sob o código da língua francesa. Para compreendê-la, pois, é apenas necessário que se saiba ler e que se conheça o francês” (BARTHES, 1990 [1982], p. 28). Logo em seguida, o autor faz uso do termo signo para se referir especificamente à imagem em si (“a imagem apresenta uma série de signos descontínuos”), em que já exibe a relação entre o significante e o significado na análise de um dos signos: seu significante é o conjunto “formado pelo tomate e pelo pimentão e a correspondente combinação tricolor (amarelo, verde, vermelho) do cartaz, seu significado é a Itália, ou antes, a italianidade. Este signo está em relação de redundância com o signo conotado da mensagem linguística (a assonância italiana do nome Panzani)” (BARTHES, 1990 [1982], p.29). Nesse exemplo, portanto, Barthes já esboça um tipo de análise multimodal, envolvendo a relação entre o que chama de mensagem linguística, mensagem icônica e mensagem simbólica – ainda que atribuindo maior valor à primeira em relação às demais.

Ao tratar da mensagem linguística, Barthes apresenta a justificativa para a valorização da escrita (o linguístico) em detrimento da imagem, que se baseia no fato de que “somos ainda, e mais do que nunca, uma civilização da escrita, porque a escrita e a palavra são termos carregados de estrutura informacional. Na verdade, só a presença da mensagem linguística é importante” (BARTHES, 1990 [1982]. p.32). Para ratificar essa ideia, o autor, logo na sequência, assevera que “toda imagem é polissêmica e pressupõe, subjacente a seus significantes, uma “cadeia flutuante” de significados, podendo o leitor escolher alguns e ignorar outros” (BARTHES, 1990 [1982], p. 32). Para lidar com a polissemia da imagem, todas as sociedades desenvolveriam “técnicas diversas destinadas a fixar a cadeia flutuante dos significados de modo a combater o terror dos signos incertos: a mensagem linguística é uma dessas técnicas” (BARTHES, 1990 [1982]. p. 32). Nesse sentido, a mensagem linguística (a escrita) seria usada, então, para fixar ou estreitar os caminhos que levam à compreensão do significado, visto que “o texto [escrito] é realmente a possibilidade do criador (e, logo, a sociedade) de exercer um controle sobre a imagem” (BARTHES, 1990 [1982]. p. 33).

De forma específica, Roland Barthes apresenta o que chama de funções da mensagem linguística em relação à mensagem icônica, que são de dois tipos: de fixação e de relais. A esse respeito, o autor assevera que:

A fixação é a função mais frequente da mensagem linguística; é comumente encontrada na fotografia jornalística e na publicidade. A função de relais é mais rara (pelo menos no que concerne à imagem fixa); vamos encontrá-la sobretudo nas charges e nas histórias em quadrinhos. Aqui a palavra (na maioria das vezes um trecho de diálogo) e a imagem têm uma relação de complementaridade; as palavras são então fragmentos de um sintagma mais geral, assim como as imagens, e a unidade da mensagem é feita em um nível superior: o da história, o da anedota, o da diegese (o que confirma que a diegese deve ser tratada como um sistema autônomo) (BARTHES, 1990 [1982], p.33-34).

Ora, para Barthes, “a significação da imagem é seguramente intencional: são certos atributos do produto que formam a priori os significados da mensagem publicitária e estes significados devem ser transmitidos tão claramente quanto possível” (BARTHES, 1990 [1982], p. 33). Assim, tanto afixação, que teria, então, a função de “ancorar” a imagem, para manter a atenção do leitor “fixa” nos significados da imagem, quanto o relais, em que a relação entre a imagem e a mensagem linguística seria mais recíproca ou complementar, seriam, por conseguinte, o que chama de “funções de controle”, que contribuiriam para a devido direcionamento da leitura, possibilitando, com isso, compreender a intencionalidade da significação da imagem.

Em seguida, ao tratar da imagem denotada, Barthes reconhece que, na publicidade, nunca se encontra uma “imagem literal em estado puro”, pois, “mesmo que conseguíssemos elaborar uma imagem inteiramente ingênua, a ela se incorporaria, imediatamente, o signo da ingenuidade e a ela se acrescentaria uma terceira mensagem, simbólica” (BARTHES, 1990 [1982], p. 34). Com efeito, a adição da mensagem simbólica é o elemento essencial para qualquer tipo de significação, portanto, não apenas para as que estão relacionadas à publicidade. Nesse sentido, a própria ideia de “imagem literal em estado puro”, se é que ela realmente existe, estaria dependente dos contextos específicos em que se realiza⁷.

Para Barthes, são os signos da terceira mensagem (a simbólica) que constituem a Retórica da Imagem, cujos significados são conotativos, dependentes de convenções culturais. A meu ver, é justamente a mensagem simbólica a que traz a maior contribuição de Roland Barthes para a possibilidade de significação visual, por meio da relação entre o significante e o significado. Isso porque o autor considera que, embora os signos que componham a mensagem simbólica sejam extraídos de um código cultural, o que “constitui a originalidade desse sistema é que as possibilidades de leitura de uma mesma lexia (uma imagem) são variáveis segundo os indivíduos. A mesma lexia mobiliza léxicos diferentes” (BARTHES, 1990 [1982], p. 38). Em outras palavras, há, em cada pessoa, uma “pluralidade, uma coexistência de léxicos: o número e a identidade desses léxicos formam o idioleto de cada um. A imagem, em sua conotação, seria, assim, constituída por uma arquitetura de signos provindos de uma profundidade variável de léxicos (de idioletos)” (BARTHES, 1990 [1982], p. 38). Por outro lado, o próprio autor salienta que a “variabilidade das leituras não pode, pois, ameaçar a “língua” da imagem, se admitimos que essa língua é composta de idioletos, léxicos ou subcódigos: a imagem é inteiramente ultrapassada pelo sistema do sentido” (BARTHES, 1990 [1982], p. 39). Com isso, Barthes chama a atenção tanto para as possibilidades de leituras de cada indivíduo, que estariam no âmbito da parole, quanto para a “língua” da imagem⁸, no âmbito da langue.

Barthes também reconhece que a conotação tem significantes típicos, conforme as substâncias utilizadas (imagem, palavra, objetos, comportamentos)⁹, e que essa mesma conotação “coloca todos esses significados em comum”, o que não apenas contribui mais especificamente para a compreensão de qualquer estudo de natureza multimodal, mas também para a noção de que o “domínio comum dos significados de conotação é o da ideologia” (BARTHES, 1990 [1982], p. 40). Barthes chama esse conjunto de significantes típicos que estabelecem a conotação de conotadores, e, ao conjunto de conotadores, de retórica. Portanto, “a retórica da imagem” é, para o autor, “a classificação de seus conotadores”, que “aparece, assim, como a face significante da ideologia” (BARTHES, 1990 [1982], p. 40)¹⁰.

Ainda que apresente algumas noções que não seriam aplicáveis atualmente, como a de “imagem literal em estado puro”, ou a de que a imagem é sempre dependente do texto verbal ao qual está conectado, a contribuição que Roland Barthes traz acerca da relação entre o significante e o significado, sobretudo no que diz respeito à mensagem simbólica, é, de fato, muito importante não apenas para pensar a significação visual, mas também as demais modalidades semióticas. Portanto, na próxima seção, exploro mais especificamente o conceito de multimodalidade, bem como os conceitos semântica e estruturalmente a ela relacionados, tomando como base a Semiótica Social.

2. O SIGNO E A MULTIMODALIDADE NA SEMIÓTICA SOCIAL

A multimodalidade vem sendo muito (re)estudada desde o início da década de 1990, e isso se deve, mormente, aos trabalhos de Gunther Kress e Theo van Leeuwen (KRESS & VAN LEEUWEN, 1990; KRESS & VAN LEEUWEN, 2006 [1996]; KRESS & VAN LEEUWEN, 1998; KRESS & VAN LEEUWEN, 2001; KRESS, 2003; 2010; entre outros), que, fortemente influenciados pela Linguística Sistêmico-funcional de Michael Halliday (HALLIDAY, 1978), construíram as bases para a possibilidade de estudos mais aprofundados sobre o tema da multimodalidade. Dada a limitação de espaço deste artigo, tratarei especificamente de apenas duas de suas obras que considero as mais importantes sobre esse tema: Reading Images – The Grammar of Visual Design, de autoria de Kress e van Leeuwen, publicada pela primeira vez em 1996 e reeditada em 2006, e Multimodality¹¹, de autoria de Kress, publicada em 2010, focando apenas no conceito de multimodalidade e nos termos e ela relacionados.

Em Reading Images – The Grammar of Visual Design, Kress e van Leeuwen já problematizam a multimodalidade, muito embora seu foco esteja na análise visual, ao apontarem que estão preocupados tanto em trazer à tona as diferenças entre a língua e a “comunicação visual, quanto em estabelecer as conexões, os princípios semióticos mais amplos que conectam não apenas língua e imagem, mas todos os múltiplos modos na comunicação multimodal” (KRESS & VAN LEEUNWEN, 2006 [1996], p. VII). Os autores também chamam a atenção especificamente para o termo gramática, entendendo-a como um “recurso para começar a fazer incursões na compreensão do visual como representação e comunicação – de forma semiótica – e também como recurso no desenvolvimento de teorias e ‘gramáticas’ da comunicação visual” (KRESS & VAN LEEUNWEN, 2006 [1996], p. VII). Nesse sentido, Kress e van Leeuwen expandem a noção de gramática para além da ideia (tradicional) de um conjunto (prescritivo) de regras da língua, tomando-a como um recurso que pode contribuir para desenvolvimento de categorias específicas para análise de imagens, tendo em vista a importância que a comunicação visual tem na contemporaneidade.

Na expansão que propõem sobre a noção de gramática, Kress e van Leeuwen, então, retomam os termos saussurianos langue e parole, ressignificando-os na perspectiva da Semiótica Social. Para eles, a langue é vista como o potencial abstrato de um sistema da língua e a parole, como “atos individuais de produção de sentidos”, entendendo também que esses termos podem ser “utilmente estendidos a modos semióticos diferentes da língua” (KRESS & VAN LEEUNWEN, 2006 [1996], p. 9). Além disso, diferentemente de Saussure, ao incorporarem à noção de langue a ideia de potencial (o que se quer dizer e como se pode dizer em qualquer meio de comunicação), os autores não a limitam a um “sistema de formas e significados disponíveis”, por isso, preferem usar um termo menos abstrato: potencial semiótico, que é definido pelos “recursos semióticos disponíveis a um indivíduo específico em um contexto social específico” (KRESS & VAN LEEUNWEN, 2006 [1996], p. 9). Nesse sentido, “descrever uma langue é descrever um conjunto específico de recursos semióticos disponíveis para a ação comunicativa voltada para um grupo social específico” (KRESS & VAN LEEUNWEN, 2006 [1996], p. 10).

A ideia de potencial semiótico, portanto, adiciona um componente fundamental na perspectiva de Kress e van Leeuwen: o interesse dos construtores de significados (sign-makers). Nesse sentido, apesar de estarem conscientes de que as convenções e restrições são socialmente impostas à construção de signos (making of signs) em relação aos recursos semióticos disponíveis culturalmente produzidos nas nossas sociedades, os construtores de significados “também são guiados pelo seu interesse, por essa condensação complexa de histórias culturais e sociais e pela consciência das contingências presentes”, produzindo “signos a partir desse interesse, sempre como transformações de materiais semióticos existentes, portanto sempre de alguma forma novos, e sempre como conjunções motivadas de significado e forma” (KRESS & VAN LEEUNWEN, 2006 [1996], p. 12). Assim, para os autores, muito embora as convenções e restrições sociais exerçam pressão na produção de signos, isto é, na forma como os significantes são combinados com os significados na história da cultura, tal pressão, todavia, não impede a criação de novos significados.

Se o interesse do construtor de signos passa a ser considerado como um elemento fundante na produção do signo (linguístico ou não), isso provoca uma ruptura na ideia de arbitrariedade do signo proposta por Saussure, pois, enquanto para ao linguista suíço a relação entre o significante e o significado é arbitrária e convencional, para Kress e van Leeuwen essa relação é motivada e convencional:

Onde [Saussure] aparentemente atribuiu peso e poder semiótico ao social, desejamos afirmar os efeitos do papel transformador dos agentes individuais, mas também a presença constante do social: na formação histórica dos recursos, na história social do agente individual, no reconhecimento das convenções presentes, no efeito do ambiente em que a representação e a comunicação acontecem. No entanto, é a ação transformadora dos indivíduos, ao longo dos contornos dos dados sociais, que remodela constantemente os recursos e torna possível a autoconstrução dos sujeitos sociais. (KRESS & VAN LEEUNWEN, 2006 [1996], p. 13).

Ainda segundo Kress e van Leeuwen, subjacente à noção signo motivado está a ideia de que todo recurso semiótico se constitui a partir das escolhas dos construtores de signos para expressar o que têm em mente, com base nas formas que consideram mais aptas e plausíveis num determinado contexto. A esse respeito, os autores também destacam que, embora sejam também resultado das convenções e restrições históricas das instituições sociais, dentro das quais são produzidos e permeados por relações de poder, os recursos semióticos não devem ser vistos como sistemas homogêneos. Ao contrário, sustentam a ideia de que os recursos semióticos apresentam uma materialidade que possibilita a produção e compreensão de significados. Nesse sentido, “uma determinada forma de semiose – por exemplo, a “pintura” – envolve uma série de recursos significativos”, isto é, “recursos que podem ser utilizados não apenas na pintura, mas também na fotografia ou no desenho, para citar apenas alguns exemplos” (KRESS & VAN LEEUNWEN, 2006 [1996], p. 215).

Assim, a ideia, segundo Kress e van Leeuwen, de que a escolha dos recursos semióticos é, antes de tudo, motivada pelo interesse do construtor de signos, mesmo que essa escolha esteja sempre restrita a convenções e restrições sociais, parece ser, do ponto de vista epistemológico, uma contribuição fundante para a própria noção de construção de significados (meaning making). Todavia, do ponto de vista ontológico, ainda que reconheçam a materialidade dos recursos semióticos, a própria noção de recurso semiótico se pulveriza nos diferentes exemplos que os autores apresentam em sua obra. Curiosamente, Kress e van Leeuwen não apresentam um conceito de recurso semiótico, o que faz com que seu significado, de fato, flutue ao longo da obra, não apenas variando entre associações a coisas tangíveis e intangíveis (por exemplo, cor ou direcionalidade), mas também se sobrepondo a outros termos que estariam em uma categoria superordenada, como modo semiótico, cujo conceito também não é propriamente definido. Nesse sentido, os autores até reconhecem que os diferentes modos de “representação não se constituem de forma discreta, separada, como domínios autônomos fortemente delimitados no cérebro, ou como recursos comunicacionais autônomos na cultura, nem são implantados de forma discreta, seja na representação ou na comunicação” (KRESS & VAN LEEUNWEN, 2006 [1996], p. 41). Contudo, como tal afirmação não vem acompanhada do conceito do termo modo semiótico, ela pode, no limite, soar como uma declaração apofática, uma vez que estaria negando a possibilidade de estabelecer um conceito para o termo, dada a constatação de que os modos semióticos (supostamente) não se “constituem de forma discreta, separada”, apesar de os próprios autores classificarem (e oporem entre si), ao longo de todo o livro, certos modos semióticos (por exemplo, modo escrito e modo visual, ou imagem e língua como modos semióticos).

Há ainda o problema de sobreposição (ou intercâmbio) dos termos modo (mode) e meio ou suporte (medium), que não são equivalentes, mas que, em algumas partes da obra, aparecem como se fossem sinônimos, quando os autores afirmam, por exemplo, que “cada meio [medium] tem suas próprias possibilidades e limitações de significado. Nem tudo o que pode ser realizado na língua também pode ser realizado por meio de imagens, ou vice-versa. Além de uma ampla congruência cultural, há uma diferença significativa entre os dois (e outros modos semióticos [modes] é claro)” (KRESS & VAN LEEUNWEN, 2006 [1996], p.19). Ou ainda quando apontam que o “sistema da língua é aplicado tanto ao meio [medium] da fala quanto ao meio [medium] da escrita” (KRESS & VAN LEEUNWEN, 2006 [1996], p. 227). Por isso, noto que, assim como ocorre com o termo recurso semiótico, há também uma certa inconsistência, do ponto de vista ontológico, em relação ao termo modo semiótico.

No livro Multimodality, Gunther Kress avança consideravelmente em relação a sua obra anterior em parceria com van Leeuwen, sobretudo no que diz respeito à noção de multimodalidade, uma vez que seu foco não está centrado apenas na imagem, mas nas diferentes modalidades semióticas. A esse respeito, Kress assevera que:

A multimodalidade nomeia tanto um campo de trabalho quanto um domínio a ser teorizado. Qualquer pessoa que trabalhe de forma multimodal precisa ter clareza sobre qual estrutura teórica está usando; e tornar essa posição explícita. A teoria sociossemiótica está interessada no significado, em todas as suas formas. O significado surge em ambientes sociais e em interações sociais. Isso faz do social a fonte, a origem e o gerador de sentido. Na teoria aqui, “o social” é gerador de significado, de processos e formas semióticas, daí a teoria. A unidade central da semiótica é o signo, uma fusão de forma e significado. Os signos existem em todos os modos, por isso todos os modos precisam ser considerados, pois sua contribuição para o significado de um complexo de signos é social-semiótica (KRESS, 2010, p. 54).

Em relação ao termo gramática, Kress também deixa claro, logo no início da obra (assim como em outras partes), que prefere usar o termo recurso semiótico, pois este, diferentemente daquela, estaria livre de alguns significados históricos implícitos, como regras fixas ou convenção estável. Para o autor, os recursos semióticos são, por um lado, recursos culturais, porque uma dada cultura fornece os seus diversos recursos semióticos “para enquadrar (complexos de) signos: que tipos de coisas são enquadradas, como são enquadradas, que tipos de enquadramentos existem, e assim por diante, e estes variam de cultura para cultura” (KRESS, 2010, p. 10). Nesse sentido, os recursos semióticos são “construídos socialmente e, portanto, carregam as regularidades discerníveis das ocasiões e eventos sociais e, assim, apresentam certa estabilidade”, ao mesmo tempo em que são constantemente reconstruídos, “precisamente em linha com o que preciso” (KRESS, 2010, p. 8).

Com efeito, a possibilidade de construir os signos segundo as necessidades (ou interesse) do indivíduo é justamente o que aponta para o caráter motivado do signo, que Kress (2010) retoma de Kress e van Leeuwen (2006 [1996]), destacando que, na teoria da Semiótica Social, “os signos são feitos – e não usados – por um construtor de signos que traz o significado para uma conjunção adequada com uma forma, uma seleção/escolha moldada pelo seu interesse do construtor de signos” (KRESS, 2010, p. 62). Nesse sentido, uma “explicação social do significado que se baseia na importância da agência dos indivíduos está totalmente em desacordo com uma concepção de relação arbitrária entre forma e significado, estabelecida e mantida por convenção” (KRESS, 2010, p. 63). Assim, para Kress, a diferença entre a noção de arbitrariedade e a noção de interesse (motivação) do construtor de signos na produção de signos e de significado é, portanto, uma diferença epistemológica e social: enquanto a arbitrariedade aponta para a “força do poder social, assim como para a convenção, a motivação aponta para a plausibilidade e a transparência das relações de forma e significado no signo” (KRESS, 2010, p. 64). Ainda segundo o autor, olhar para o signo enquanto motivado, informado pelo interesse do construtor de signos, atribui maior valor heurístico e analítico, seja diretamente na interação cotidiana ou em formas elaboradas de pesquisa, pois se a “‘forma’ do significante sugere apropriadamente a ‘forma’ do significado, ela permite que um analista – seja na interação cotidiana ou na pesquisa – formule hipóteses sobre as características que o construtor do signo considerou como criterioso sobre o objeto que representa” (KRESS, 2010, p. 65).

No que diz respeito ao termo modo semiótico, já apresentados em Kress e van Leeuwen (2006 [1996]), Kress (2010) não apenas o mantém, mas também o explora mais aprofundadamente. Para o autor, o “modo é um recurso semiótico socialmente moldado e culturalmente dado para criar significado. Imagem, escrita, layout, música, gesto, fala, imagem em movimento, trilha sonora e objetos 3D são exemplos de modos utilizados na representação e na comunicação” (KRESS, 2010, p. 79). Assim, diferentes “modos oferecem potenciais diferentes para criar significado. Esses diferentes potenciais têm um efeito fundamental na(s) escolha(s) de modo(s) em instâncias específicas de comunicação” (KRESS, 2010, p. 79).

Os diferentes potenciais (assim como as restrições) dos modos semióticos são o que Kress chama de propiciações modais (modal affordances), que se constituem tanto em relação à “materialidade” que cada modo possui, quanto em relação ao trabalho social e histórico – que difere de cultura para cultura – para o qual um modo ou outro é utilizado num contexto específico. Assim, para o autor, a escolha por um modo ou outro para a construção de significado é, antes de tudo, uma escolha “retórica” (“política de comunicação”), isto é, “uma questão conjunta de possibilidades modais e de requisitos retóricos” (KRESS, 2010, p. 93). Nesse sentido, a multimodalidade “nomeia tanto um campo de trabalho quanto um domínio a ser teorizado” (KRESS, 2010, p. 54), isto é, apresenta tanto uma face teórica quanto aplicada, pois, por um lado, é uma “teoria que trata de questões comuns a todos os modos e às relações entre os modos” (KRESS, 2010, p. 61); por outro, são as “representações em vários modos, cada um escolhido a partir de aspectos retóricos por seus potenciais comunicacionais” (KRESS, 2010, p. 22).

Ao comparar Kress e van Leeuwen (2006 [1996]) com Kress (2010), nota-se, por exemplo, que o problema de sobreposição (ou intercâmbio) dos termos modo (mode) e meio ou “suporte” (medium), que aparecem como termos equivalentes (ou sinônimos) em Kress e van Leeuwen (2006 [1996]), não mais ocorre em Kress (2010), que, procura deixar mais claro o conceito de modo. Contudo, nota-se, outrossim, uma certa sobreposição entre os usos dos termos recurso semiótico e modo semiótico, em que ora são vistos como equivalentes (na mesma ordem de grandeza), como em “modo é um recurso semiótico socialmente moldado e culturalmente dado para criar significado” (KRESS, 2010, p. 79 – grifo meu); ora como não equivalentes, em que o recurso semiótico seria parte do modo (portanto, em diferentes ordens de grandeza), como em “diferentes sociedades continuam a selecionar de forma diferente, moldando diferentes recursos culturais/semióticos de modo. [...] “Os recursos do modo de imagem diferem daqueles da fala ou da escrita” (KRESS, 2010, p. 82 – grifos meus).

Tão importante quanto a diferença entre recurso semiótico e modo semiótico – e também consequência dessa diferença – é o problema ontológico sobre o que considerar ou não como modo semiótico, o que, no limite, afeta seu próprio conceito. Por exemplo, Kress considera cor, layout, música, trilha sonora e objetos 3D como modos semióticos, por serem usados como formas de representação e comunicação. No entanto, em relação, por exemplo, a objetos como mobília, vestimenta e alimento, o autor aponta que, embora sejam usados para construir significados em relação aos “propósitos de sua confecção e à regularidade de seu uso na vida social, como a sua função principal não é a de representação e comunicação, questiona-se se devem ser considerados modos” (KRESS, 2010, p. 79). Sobre o primeiro grupo, poderíamos questionar: cor e layout (assim como música e trilha sonora) seriam modalidades semióticas distintas ou recursos semióticos que estariam superordenados em uma única modalidade semiótica? Em relação ao segundo grupo, poderíamos perguntar: a função principal de uma roupa ou uma bebida (alcoólica) não poderia ser a de representação e comunicação?

3. POR UM CONCEITO DE MULTIMODALIDADE E DOS TERMOS ORBITANTES A PARTIR SEMIÓTICA SOCIAL

É preciso ressaltar que as inconsistências conceituais destacadas na seção anterior não são exclusivas das obras de Kress e van Leeuwen (2006 [1996]) e de Kress (2010); elas vêm se reproduzindo nos últimos anos em muitos textos acadêmicos – e, consequentemente, influenciando documentos oficiais, como é o caso da BNCC –, o que, no limite, acaba causando problemas, como a afirmação de que todo texto é multimodal, ou a de que o termo multimodal seria equivalente ao termo multissemiótico, conforme mencionei na introdução. Contudo, penso que tais inconsistências pontuais não se devem propriamente à falta de definição dos termos em questão, mas à falta de sistematização dos conceitos. Isso porque, embora alguns conceitos possam não estar devidamente claros na obra, esta, sem dúvida, fornece os subsídios epistemológicos e ontológicos para formulá-los de forma adequada e consistente. Eis o que espero fazer, a partir de três pontos que considero fiindantes para a noção de multimodalidade.

O primeiro ponto é, a meu ver, o menos complexo: diferenciar recurso semiótico de modalidade semiótica¹². Considero que os dois termos não são equivalentes, mas sim que modalidade semiótica é uma categoria superordenada em relação a recurso semiótico; este seria, então, parte constitutiva daquela. Nessa acepção, recurso semiótico equivaleria, na terminologia de Saussure – mas também usada por Kress e van Leeuwen (2006 [1996]) – à noção de significante, isto é, a entidade material do signo (que chamo de elemento semiótico, para manter o paralelismo e a coerência com a nomenclatura dos demais termos que adoto neste artigo), que carrega em si o potencial semiótico, ou seja, configura-se como aquilo que oferece as potencialidades para a instanciação do elemento semiótico (signo), que envolve tanto o que o construtor de significados considera apto para a construção de significado em um determinado contexto, quanto o que é instituído por meio de convenções e de valores sócio-historicamente construídos. Por exemplo, uma cor seria um significante (Barthes (1990 [1982]) e Kress e van Leeuwen (2006 [1996]) também consideram a cor um significante e não um significado), isto é, um recurso semiótico, que, ao ser usado para instanciar um elemento semiótico para construir significado, este, por sua vez, sempre se transforma em um novo recurso semiótico (significante) em uma “cadeia incessante da semiose, na qual remodelamos os nossos signos, dentro das limitações impostas por essa cadeia” (KRESS, 2010, p. 53). Um bom exemplo específico sobre isso é fornecido por Roland Barthes, mencionado na seção 2, em que a cor de cada vegetal (tomate e pimentão) é um recurso semiótico (um significante). A junção desses vegetais na imagem do cartaz forma uma combinação tricolor (amarelo, verde, vermelho), remetendo-se à ideia de “italianidade”. Essa combinação tricolor (elemento semiótico formado), por sua vez, torna-se um novo recurso semiótico (significante) ao ser colocado “em relação de redundância com o signo conotado da mensagem linguística (a assonância italiana do nome Panzani)” (BARTHES, 1990 [1982], p. 29), cuja integração forma um elemento semiótico multimodal¹³.

O segundo ponto diz respeito à estruturação dos elementos semióticos (signos) dentro de um determinado sistema. Em muitos casos, o potencial de significação de um recurso semiótico (significante) para a instanciação de elementos semióticos só pode ocorrer se estes formam um conjunto integrado, constituindo-se em um sistema semiótico, isto é, um sistema de símbolos abstratos, que codifica significados. Em um sistema semiótico, os elementos semióticos se encontram inter-relacionados e interdependentes, constituindo-se em um sistema de codificação simbólico, formado por meio de regras e convenções sócio-históricas e culturais específicas. Exemplos de sistemas semióticos são: a escrita alfabética, o sistema de notação musical, o sistema de codificação da Libras, ou ainda o sistema de escrita e leitura tátil do Braille. Nesse sentido, a relação entre o recurso semiótico (significante) que faz parte de um determinado sistema semiótico e o seu significado correspondente é motivada, convencional, mas também necessária, como já assinalou Benveniste (1976 [1966]).

A noção de sistema semiótico é de suma importância para a compreensão do termo modalidade semiótica, o que leva, assim, ao terceiro e último ponto, que pode ser resumido em duas questões interligadas: o que considerar como modalidade semiótica? É possível estabelecer um grupo limitado de categorias superordenadas que possa dar conta de todas as modalidades semióticas?

Em Kalantzis, Cope e Pinheiro (2020), já apresentamos uma proposta de sete padrões de significados (modalidades semióticas): oral, sonora, escrita, visual, gestual, tátil e espacial. Também apontamos que essas modalidades semióticas se relacionam a cinco elementos do design para a construção de significados: referência (a que se referem os significados); interação (como os significados conectam as pessoas na comunicação); composição (como os significados em geral se mantêm juntos); contexto (onde os significados estão situados); e propósito (a que interesses esses significados servem). Com efeito, a correlação entre modalidades semióticas e os elementos do design é fundamental, pois estes se configuram como as funções daquelas, o que significa que, sem eles, as modalidades semióticas não teriam razão de existir.

Contudo, estabelecer a relação entre as modalidades semióticas e os elementos do design, isto é, entre as formas e suas funções, não resolve o problema de o que considerar como modalidade semiótica, nem de como estabelecer um grupo limitado de categorias superordenadas que possa dar conta de todas as modalidades semióticas. Nesse sentido, é preciso estabelecer as premissas que fundamentam o seu conceito ao se conectarem às funções (referência, diálogo, estrutura, situação e intenção) das modalidades semióticas. Essas premissas seriam os princípios que constituem as modalidades semióticas, cujas características possibilitam estabelecer critérios de diferenciação entre si. Tomando como base as obras de Kress e van Leeuwen (2006 [1996]) e de Kress (2010), formulei três premissas interrelacionadas:

Premissa 1: Cada modalidade semiótica estabelece relação intrínseca com, pelo menos, um dos cinco sentidos do corpo humano (olfato, paladar, visão, audição e tato), pois, toda possibilidade de construir significados envolve, necessariamente, a presença de, ao menos, um deles.

Relação intrínseca entre a modalidade semiótica e o respectivo sentido é aquela que está presente na representação e comunicação de um determinado elemento semiótico. Por exemplo, a escrita e a imagem são recebidas através da fisiologia da visão, enquanto a fala, assim como quaisquer outros tipos de sons, através da fisiologia da audição.

Premissa 2: Cada modalidade semiótica se constitui a partir de uma lógica semiótica espacial ou temporal de representação e comunicação de significados. Os recursos semióticos (significantes) da primeira são de natureza distinta da segunda, em parte determinados pela relação que as modalidades semióticas têm com os sentidos do corpo humano.

Um exemplo que mostra muito bem como operam, de forma contrastiva, as duas lógicas é o que Kress (2010) apresenta sobre a diferença entre a lógica temporal da fala e a lógica espacial da imagem:

Na fala, uma palavra segue uma após a outra, de modo que a sequência no tempo é um princípio organizador fundamental e um meio para criar significado nesse modo [modalidade semiótica]. Isso é compartilhado por todas as culturas. Em contraste com a fala, a imagem é “exibida” numa superfície, num espaço (normalmente) enquadrado. Todos os seus elementos estão presentes simultaneamente; o arranjo de elementos nesse espaço em relação uns aos outros é um princípio organizador fundamental e um meio para construir significados. Assim, enquanto o tempo e a sequência de elementos no tempo fornecem a “lógica (semiótica)” subjacente da fala, na imagem, por contraste, o espaço e a relação dos elementos simultaneamente presentes nesse espaço (geralmente enquadrado) fornecem a sua “lógica” (semiótica) subjacente. As “lógicas” do espaço e do tempo são profundamente diferentes e oferecem potenciais distintos para uma cultura moldar significados (KRESS, 2010, p. 81).

As modalidades semióticas possuem propiciações modais materiais específicas, isto é, potencialidades e limitações, que estão relacionadas aos sentidos do corpo humano (premissa 1) e à lógica semiótica (premissa 2), que tornam a representação e a comunicação dos elementos semióticos (signos) em cada modalidade única. Nesse sentido, as propiciações modais são um conjunto de características que mostram que, embora possam estabelecer paralelos entre si, porquanto compartilham aspectos em comum (por exemplo, sistemas semióticos em comum), as modalidades semióticas são incomensuráveis, isto é, cada uma tem características específicas, que não podem ser subsumidas em uma outra modalidade semiótica. Assim, por exemplo, na escrita, costuma-se usar como recurso semiótico (significante) letras maiúsculas para simular um grito (paralelo entre a escrita e a fala). No entanto, ainda que se possa reconhecer o grito nas letras maiúsculas, estas não conseguem transduzir detalhes desse recurso semiótico, como altura, intensidade ou duração. Vale, é claro, lembrar, como bem já apontou Kress (2010), que essas características materiais distintamente diferentes dos recursos semióticos sonoros e gráficos são também moldadas socialmente.

Premissa 3: Certas modalidades semióticas são essencialmente vinculadas a sistemas semióticos que “codificam significados”, isto é, constituem-se em sistemas de símbolos abstratos, uma vez que a sua natureza e o seu propósito representacional e comunicacional dependem da existência de algum tipo de sistema semiótico.

A modalidade semiótica escrita, por exemplo, não existe sem um sistema semiótico, isto é, sem um sistema de codificação de significados. A imagem, no entanto, existe sem um sistema semiótico. Essa premissa está diretamente relacionada à premissa 2 (lógica semiótica), porém, ela se torna necessária quando o argumento da lógica semiótica não é suficiente para diferenciar modalidades semióticas. Para desenvolver a explicação sobre esse ponto, trago um outro exemplo de Kress (2010), no qual compara a escrita e a imagem do ponto de vista da lógica semiótica:

Nas línguas escritas alfabéticas, a escrita é uma espécie de categoria fronteiriça: é exibida espacialmente, mas “apoia-se” na fala, em sua lógica de sequência no tempo, que é “imitada” na escrita por uma sequência (espacial) de elementos na linha (em sistemas de script que usam a linha) na qual a escrita é exibida. Essa disposição espacial da escrita e dos seus elementos na linha, a sua “linearidade”, dá a impressão de que funciona como uma imagem. No entanto, os elementos de uma imagem podem (geralmente) ser “lidos” numa ordem moldada pelo interesse do “espectador”, enquanto a leitura da escrita é governada pela ordenação da sintaxe e pela direcionalidade – da esquerda para a direita ou da direita para esquerda – da linha. A escrita não é, dominante e finalmente, organizada pela lógica do espaço; como leitores, estamos limitados tanto pela ordenação da sintaxe quanto pela direcionalidade da linha. Culturalmente, tanto a fala como a escrita partilham – embora de formas significativamente diferentes – as características organizadoras da sintaxe e os recursos do léxico. (KRESS, 2010, p. 81-82).

Com efeito, a escrita não é organizada pela lógica do espaço, mas, ela é, em princípio, exibida espacialmente, como o próprio Kress aponta no início da citação. Há, ainda, casos mais “fronteiriços” do que a escrita alfabética que poderiam, no limite, colocar em xeque o critério da lógica semiótica como cabal para distinção entre a escrita e a imagem. Por exemplo, a nota Dó na partitura é representada espacialmente em notação musical, pois seu reconhecimento como nota depende necessariamente da posição (altura) que ocupa na partitura. Todavia, a representação de qualquer nota na partitura também está necessariamente vinculada à sua duração (tempo de execução da nota), que pode ser uma semibreve, mínima, semínima, colcheia, semicolcheia, fusa ou semifusa. Nesse sentido, a notação musical opera tanto na lógica espacial quanto na lógica temporal. Na escrita alfabética, podemos, por exemplo, usar os recursos semióticos Dó3 e semicolcheia para representar altura e duração, mas, em notação musical, a equivalência se dá por meio de recursos semióticos espaciais e temporais. Por isso, embora a escrita alfabética e a notação musical (ambos são sistemas semióticos) se realizem graficamente (por meio da escrita), os recursos semióticos instanciados (elementos semióticos) são de naturezas distintas: a primeira faz uso de palavras, enquanto a segunda, de notas musicais espacial e temporalmente representadas. Contudo, ainda que se configurem como sistemas semióticos diferentes, o que faz com que a escrita alfabética e a notação musical estejam subsumidas na mesma modalidade semiótica é justamente o fato de ambas se constituírem em sistemas semióticos que se realizam na modalidade semiótica escrita (por exemplo, ambas se valem de sinais gráficos de pontuação para marcar temporal e espacialmente pausas).

A premissa 3 também se aplica, por exemplo, ao Braille, que se constitui em um sistema de escrita por meio de pontos em relevo que permitem que pessoas cegas ou com baixa visão possam não apenas ler, como também escrever, usando os dedos. Portanto, embora faça uso do sentido humano do tato, diferindo da escrita alfabética e da notação musical, que fazem uso do sentido da visão, o Braille também se enquadra em um sistema semiótico que se realiza na modalidade escrita. Assim, a escrita alfabética, a notação musical e o Braille pertencem a uma modalidade semiótica (escrita) diferente da modalidade semiótica da imagem (visual), não apenas porque apresentam lógicas semióticas distintas (premissa 2), mas, sobretudo, porque têm um sistema semiótico como atributo de sua natureza e existência, enquanto a imagem não (premissa 3). Essa diferença é justamente o que permite, como o próprio Kress (2010, p. 81-82) aponta na citação acima, que “os elementos de uma imagem possam (geralmente) ser “lidos” numa ordem moldada pelo interesse do “espectador”, enquanto a leitura da escrita é governada pela ordenação da sintaxe e pela direcionalidade”, o que está na base da última premissa e justamente na diferença que Roland Barthes estabelece entre mensagem iconográfica e mensagem linguística (BARTHES, 1976 [1966]).

Mais um argumento que ratifica a premissa 3 é o de que um conjunto de imagens (um conjunto de desenhos, por exemplo), em si, não representa um sistema, por isso, pode ser lido numa “ordem moldada pelo interesse do “‘espectador’” (KRESS, 2010, p. 81). No entanto, se, por razões representacionais e comunicativas socioculturais, esse conjunto de desenhos se torna integrado, estabelecendo uma relação simbólica de interrelação e interdependência entre si, ele forma um sistema semiótico (por exemplo, um sistema de escrita pictográfica, ideográfica ou logográfica), cuja leitura passa, então, a ser “governada pela ordenação da sintaxe [relações que interligam seus constituintes] e pela direcionalidade” (KRESS, 2010, p. 81).

Com base nas três premissas, é possível afirmar que a proposta de modalidades semióticas que apresentamos em Kalantzis, Cope e Pinheiro (2020) são pertinentes. Contudo, é preciso fazer algumas ponderações sobre elas. A primeira é sobre a separação que os autores propõem entre as modalidades semióticas oral e sonora. Isso porque, embora as duas estejam intrinsecamente conectadas ao sentido da audição, diferem-se pelo fato de a modalidade semiótica oral estar relacionada especificamente ao sistema semiótico da língua (língua oral), enquanto a modalidade semiótica sonora lida com recursos semióticos para construção de significados por meio do som, incluindo sons da natureza e sons produzidos deliberadamente, além da música (que, em si, é multimodal).

A segunda ponderação é, na verdade, uma sugestão que proponho: a de acrescentar mais uma modalidade semiótica: olfativo-gustativa. Isso porque, em Kalantzis, Cope e Pinheiro (2020), reconhecemos a construção de significados olfativos e gustativos, porém, nós os incluímos dentro da modalidade semiótica tátil, que se configura, na referida obra, como os tipos de significados das sensações corporais do tato, do paladar e do olfato. Contudo, ao sugerir a inclusão da modalidade semiótica olfativo-gustativa (portanto, separada da tátil), estou considerando que, muito embora funcione em conjunto com o tato, ela também apresenta certa autonomia em relação a este na construção de significados. Por exemplo, apesar de poder ser percebido pela sensação tátil, o sabor de um alimento é, principalmente, percebido e influenciado conjuntamente pelo olfato e pelo paladar. Isso porque os receptores dos sentidos olfativo e gustativo são estimulados quimicamente por componentes do(s) alimento(s), atuando juntos na percepção dos sabores por meio da combinação de informações obtidas pelo nariz e pela língua.

A terceira e última ponderação diz respeito à modalidade semiótica espacial, que, segundo apontamos em Kalantzis, Cope e Pinheiro (2020, p. 274), é a “maneira como os significados são moldados por estruturas e paisagens, bem como os fluxos ou padrões de movimento humano através desses espaços”. Nesse sentido, das oito modalidades semióticas, a espacial é a mais ampla e abrangente, pois, para nos conectarmos com os lugares nos quais atuamos e com os objetos que neles se encontram, estabelecemos relação com os cinco sentidos do corpo, embora de formas e intensidades diferentes, a depender, inclusive, de como esses lugares nos possibilitam ocupá-los e, de alguma maneira, transformá-los. Por exemplo, um espaço que disponibiliza acessibilidade para pessoas com deficiências permite estabelecer uma relação maior com mais sentidos do corpo, o que, por sua vez, possibilita ocupá-lo de forma mais intensa e diversificada.

Assim, a nossa proposta apresentada em Kalantzis, Cope e Pinheiro (2020) poderia ser reformulada com oito modalidades semióticas: oral, sonora, escrita, visual, gestual, tátil e olfativo-gustativa e espacial. E, tendo em vista que o objetivo deste artigo é não apenas o de reapresentar e problematizar, mas também o de reformular o conceito de multimodalidade, bem como os conceitos dos termos a ela subjacentes, encerro esta seção, sistematizando-os, como base nos pontos e premissas anteriormente discutidos:

Recurso semiótico (significante): recurso cultural potencial de significação de uma determinada entidade material sócio-historicamente construída, pertencente a uma ou mais modalidades semióticas, que oferece potencialidades e limitações distintas para a instanciação de elementos semióticos (signos) em determinado contexto. Exemplo: o uso das cores verde e amarela como recursos semióticos para construir uma ideia de brasilidade.

Elemento semiótico (signo): recurso semiótico instanciado em um determinado contexto para construir significado, que sempre se reconfigura em um novo recurso semiótico (significante) em uma cadeia ininterrupta de significação, podendo ou não pertencer a um sistema semiótico (ou conjunto de sistemas semióticos). Exemplo: o uso do signo visual (elemento semiótico) formado pela combinação das cores verde e amarela, que instancia a ideia de brasilidade.

Sistema semiótico (langue): conjunto integrado de elementos semióticos inter-relacionados e interdependentes que formam um sistema de codificação simbólico, constituído por meio de regras e convenções sócio-históricas e culturais específicas, em uma determinada modalidade semiótica (ou conjunto integrado de modalidades semióticas). Exemplos: escrita alfabética e Braille.

Propiciação modal (modal affordance): conjunto específico de potencialidades e limitações tangíveis e intangíveis de cada modalidade semiótica, que torna a representação e a comunicação dos elementos semióticos em cada modalidade únicas e, portanto, incomensuráveis. Exemplo: uso de caixa alta na modalidade escrita para simular um grito.

Modalidade semiótica: conjunto sócio-histórico e culturalmente organizado de recursos semióticos, vinculados ou não à existência de sistemas semióticos, cujas propiciações estão intrinsecamente relacionadas a um determinado sentido do corpo humano e se constituem a partir de uma lógica semiótica espacial e/ou temporal. Exemplos: oral, gestual e olfativo-gustativa.

Multimodalidade: fenômeno semiótico que consiste na combinação de duas ou mais modalidades semióticas e de seus respectivos recursos semióticos para construção de significados integrados que transcendem as propiciações modais de cada uma das modalidades semióticas envolvidas. Exemplo: a combinação entre escrita e imagem para construir um infográfico.

TODOS OS TEXTOS SÃO MULTIMODAIS? ALGUMAS CONSIDERAÇÕES FINAIS

Ainda que premido pela limitação de espaço de um artigo acadêmico, procurei promover uma discussão teórica mais ampla sobre a construção de significados, buscando articular os conceitos de signo, significante e significado, fundantes na semiótica saussuriana, com termos da Semiótica Social de Kress e van Leeuwen que são muito caros para a compreensão da noção de multimodalidade. Com efeito, o exercício epistemológico realizado é importante, porque reconhece a grande contribuição dos conceitos saussurianos para os estudos da linguagem, possibilitando não apenas sua reapropriação para examinar outra(s) maneira(s)de construir significados – como o fez Roland Barthes ao usar tais conceitos para análise de imagem – mas, sobretudo, a ressignificação e ampliação desses conceitos, como o fiz neste texto, ao problematizar e reformular o conceito de multimodalidade, bem como os conceitos dos termos a ela subjacentes: recurso semiótico, elemento semiótico, sistema semiótico, propiciação modal e modalidade semiótica.

O último termo é, pois, central para conceituar multimodalidade e, por isso, é necessário entender que as modalidades semióticas, de fato, exercem as funções de referência, diálogo, estrutura, situação e intenção (KALANTZIS, COPE E PINHEIRO, 2020), mas essas funções, por si só, não possibilitam diferenciar cada uma das modalidades semióticas (formas) entre si. Por isso, tomando como base as obras de Kress e van Leeuwen (2006 [1996]) e de Kress (2010), procurei estabelecer alguns pontos e premissas cujas características possibilitam estabelecer critérios de diferenciação entre si ao se conectarem às funções das modalidades semióticas. Essa relação entre formas e funções estaria, a meu ver, na base da própria noção de letramentos (no plural), pois, enquanto o conceito de letramento (no singular) avança em relação ao conceito de alfabetização porque, entre outras coisas, reconhece e lida com as diferentes funções (referência, diálogo, estrutura, situação e intenção), mas se centra em uma única forma (a escrita) e na sua correlação com a fala; o conceito de letramentos (no plural) não apenas reconhece e lida com essas funções, mas também procura interrelacioná-las com as diferentes formas (modalidades semióticas): oral, sonora, escrita, visual, gestual, tátil e olfativo-gustativa e espacial.

De maneira mais ampla, penso que, o exercício epistemológico ora realizado pode contribuir teoricamente para o campo de estudos da linguagem e, como isso também, possibilitar a (re)formulação de documentos oficiais relacionados à área de Educação, em que a multimodalidade tem estado cada vez mais presente. Esse é o caso da BNCC, que, embora mencione de forma bastante expressiva a multimodalidade, sequer apresenta um conceito para o termo, além de sobrepô-lo a outro(s) termos. De forma mais específica, tal exercício epistemológico pode fornecer uma explicação que possa dar conta da crítica que levantei na introdução deste artigo acerca do (não raro) uso indiscriminado de conceitos e expressões pouco esclarecedores em textos acadêmicos, como a utilização dos termos multissemiótico e multimodal (como em texto multimodal/multissemiótico). Para explicar essa diferença entre os dois termos, é possível se valer do mesmo argumento apresentado na última seção para diferenciar a escrita alfabética da notação musical. A escrita alfabética, por exemplo, faz uso de recursos semióticos ortográficos (letras), paraortográficos (sinais de pontuação, números, negrito, itálico, sublinhado, símbolos como @ etc.) e de espaçamento (tipo de alinhamento textual, cabeçalho, título, subtítulo, nota de rodapé etc.). Contudo, se se aplicarem as três premissas sobre esse exemplo, nota-se que esses recursos semióticos: 1: possuem relação intrínseca com o mesmo sentido do corpo humano (visão); 2: operam na mesma lógica semiótica (temporal), ainda que alguns operem também, em menor medida, na lógica semiótica espacial; 3: estão inseridos em um sistema semiótico de escrita alfabética, que prevê esses tipos de recursos semióticos que, embora sejam de naturezas especificamente diferentes, estão correlacionados e se realizam, todos eles, na modalidade semiótica escrita.

Assim, é possível afirmar que todo texto escrito, por fazer uso de sistemas semióticos diferentes (por exemplo, escrita alfabética e notação musical), ou mesmo de recursos semióticos de naturezas especificamente diferentes (por exemplo, recursos ortográficos e paraortográficos) é multissemiótico, mas não necessariamente multimodal. Para se enquadrar no último caso, precisaria, conforme argumentei na última seção, cumprir as três premissas que diferenciam as modalidades semióticas. Por isso, a afirmação de que todos os textos são multimodais não apenas não é verdadeira, mas acaba sendo também tautológica (se todos os textos são mesmo multimodais, o adjetivo multimodal se torna redundante!).

Além disso, é preciso considerar outra questão, que, a meu ver, é a mais importante: a afirmação de que todos os textos são multimodais tem um peso sócio-histórico e ideológico que não é pequeno, pois – é importante sempre lembrar –, historicamente, temos vivido sob a égide de uma cultura grafocêntrica, isto é, uma cultura que se constitui a partir da postulação da centralidade da escrita em relação às demais modalidades semióticas, não apenas devido a sua suposta superioridade de construir significados, mas, sobretudo, ao fato de ela ser a modalidade semiótica dominante, utilizada por grupos hegemônicos como mecanismo de controle e de manutenção de poder. Ora, se a multimodalidade vem tendo uma importância crescente, não apenas na academia, mas também fora dela, seja em documentos oficiais, como a BNCC, seja nos diversos cursos de formação de professores que vêm sendo oferecidos por todo o Brasil, o reconhecimento da multimodalidade e dos termos a ela relacionados precisa apresentar conceitos claros e condizentes com a teoria que os embasa, mas também refletir a realidade sócio-histórica e cultural na qual está inserida, a fim de que, no limite, não venham a (re)produzir afirmações, como a de que todos os textos são multimodais, que, no afã de reconhecer a importância da multimodalidade, podem gerar um resultado não correspondente com a realidade: o não (devido) reconhecimento de uma cultura grafocêntrica (se todo texto é multimodal, logo não existe grafocentrismo!).

• 1
  O The New London Group era composto pelos seguintes membros: Allan Luke, William Cope, Carmen Luke, Courtney Cazden, Charles Eliot, Gunther Kress, Jim Gee, Martin Nakata, Mary Kalantzis, Norman Fairclough, Sarah Michaels.
• 2
  No Brasil, é possível notar uma gama de trabalhos acadêmicos publicados nos últimos anos que fazem uso de expressões (no singular e no plural) como texto multimodal/multissemiótico, gênero multimodal/multissemiótico, letramento multimodal/multissemiótico, ou ainda recurso multimodal/multissemiótico. Dada a grande quantidade de publicações encontradas que fazem uso de tais expressões, optei por não citá-las nesta introdução, mas que podem ser facilmente encontradas por meio de qualquer motor de busca na internet.
• 3
  Na BNCC, o substantivo multimodalidade aparece apenas duas vezes, sendo uma delas somente para informar, por meio de uma nota de rodapé, que “certos autores valem-se do termo multimodalidade para designar esse fenômeno [“os textos e discursos atuais que se organizam de maneira híbrida e multissemiótica”] (BRASIL, 2018, p. 486). Já o substantivo multissemiose aparece 6 vezes, ocorrendo tanto de forma isolada, quanto junto com o substantivo multimodalidade (em tese, fazendo parecer que são coisas distintas), como em: “Refletir sobre diferentes contextos e situações sociais em que se produzem textos orais e sobre as diferenças em termos formais, estilísticos e linguísticos que esses contextos determinam, incluindo-se aí a multimodalidade e a multissemiose” (BRASIL, 2018, p. 79). O adjetivo multimodal (no singular) aparece 3 vezes, qualificando formas de interação, língua e informações; no plural (multimodais), 11 vezes, qualificando as palavras gêneros, textos e elementos. Já a palavra multissemióticos (no plural) aparece 45 vezes, qualificando as palavras recursos (distinguindo recursos multissemióticos de recursos linguísticos), textos e gêneros (distinguindo gêneros e textos multissemióticos de gêneros e textos orais e de gêneros e textos escritos). Nesse sentido, a BNCC parece usar o termo multissemióticos como sinônimo de multimodais, como em: “Inferir e justificar, em textos multissemióticos – tirinhas, charges, memes, gifs etc.” (BRASIL, 2018, p. 141).
• 4
  Como bem lembra o linguista Isaac Nicolau Salum no prefácio da edição brasileira do Curso de Linguística Geral, “os apontamentos dificilmente corresponderiam ipsis verbis às palavras do mestre. Como nota R. Godel, ‘são notas de estudantes, e essas notas são apenas um reflexo mais ou menos claro da exposição oral’” (SAUSSURE, 2006 [1916], p. XVIII). Há ainda o fato de dois dos discípulos ilustres de Saussure que participaram da organização da obra terem declarado que não estiveram presentes em seus cursos. “Ajunte-se, como traço anedótico, que a frase final do Cours tão citada – “a Linguística tem por único e verdadeiro objeto a língua encarada em si mesma e por si mesma” – não é de Saussure, mas dos editores” (SAUSSURE, 2006 [1916], p. XVIII).
• 5
  Kress (2010, p. 43) faz uma diferença entre dois termos que é pertinente para o tema deste artigo: transformação e transdução. Para o autor, transformação são as “mudanças na ordenação e configuração dos elementos dentro de um modo”, enquanto transdução é a “mudança de significado expressa de um modo para o significado expresso em um outro modo”.
• 6
  Ao final deste artigo, apresento uma definição de modalidade semiótica, junto com seus termos adjacentes.
• 7
  Roland Barthes avança com a ideia de “imagem literal em estado puro”, ao atribuir apenas à fotografia o “poder de transmitir a informação literal sem a compor com a ajuda de signos descontínuos e regras de transformação” (BARTHES, 1990 [1982], p. 35). Não é o escopo deste artigo pormenorizar especificamente sobre as diferenças entre fotografia e desenho levantadas pelo autor. No entanto, vale destacar, a esse respeito, dois pontos: o primeiro é que, assim como o desenho, a fotografia também tem estilo(s). Não fosse isso, não poderíamos reconhecer a autoria das fotografias, cujas escolhas relacionadas a tema, enquadramento, ângulo, distância, luminosidade, nitidez, entre outros elementos contribuem para a composição do seu estilo. O segundo ponto – e este, por uma questão histórica, não poderia, obviamente, ter sido contemplado por Barthes – diz respeito ao fato de que, com advento das tecnologias que permitiram a imagem digital, as ferramentas de criação de imagens se sofisticaram de tal forma que possibilitam, entre outras coisas, a manipulação de fotos de todas as formas possíveis. Nesse sentido, definitivamente, não seria mais possível falar em “imagem literal em estado puro” nos tempos atuais.
• 8
  Embora a concepção de língua (como langue) seja bem empregada por Barthes para se referir ao que chama de língua da imagem, a homonímia com a ideia de língua como linguagem verbal poderia causar uma certa confusão. Conforme mostro mais à frente, em vez de língua da imagem, utilizo o termo sistema semiótico da imagem.
• 9
  Uma das coisas que faltam no ensaio de Roland Barthes é uma sistematização sobre alguns termos. Por exemplo, ora ele chama a imagem e a palavra de substância, ora de signos. Mais à frente, procuro reconceitualizar termos inicialmente propostos por Saussure (entre eles, o termo langue), tomando como base a Semiótica Social.
• 10
  Ainda que Barthes veja a ideologia de forma singular, portanto, como algo a ser “absolutamente único para uma sociedade e uma história dadas” (BARTHES, 1990 [1982], p. 40), isso, em si, sinaliza sua importante preocupação em apontar a relação entre o “domínio comum dos significados de conotação” e a ideologia, bem como as implicações que essa relação suscita para a construção de significados, seja no âmbito individual, seja no âmbito social.
• 11
  Reading Images – The Grammar of Visual Design já é, em si, uma reformulação de uma obra bem anterior dos próprios autores (KRESS & VAN LEEUWEN, 1990), o que mostra que Kress e van Leeuwen já vêm discutindo em seus textos a questão da leitura de imagem há mais de três décadas.
• 12
  A tradução literal de semiotic mode para a língua portuguesa é modo semiótico. No entanto, no lugar deste, adoto neste artigo modalidade semiótica, pois o termo modalidade é mais técnico, já sendo bastante usado especificamente para diferenciar as formas de manifestação da língua (falada, escrita, sinalizada, verbo-visual, audiovisual ou gestual-visual). Nesse sentido, como minha intenção neste texto é também a de ampliar termos já empregados no campo de estudos da linguagem, entendo, portanto, que é mais sensato manter o termo modalidade, rediscutindo-o do ponto de vista epistemológico e ontológico.
• 13
  O exemplo de Roland Barthes é típico do que Kress (2010) chama de “signo complexo” (complex sign), cuja leitura deve ser feita em conjunto, a fim de que “as contradições que inevitavelmente existam em tais conjuntos forneçam aos leitores os meios para dar sentido a qualquer signo e ao complexo de signos como um todo” (KRESS, 2010, p. 74). Em vez de signo complexo¸ que parece ser um tanto vago, prefiro chamar de elemento semiótico multimodal, que é um termo mais específico e mais coerente com a terminologia que estou adotando neste artigo. Gif e emojis são exemplos de elementos semióticos multimodais formados por recursos semióticos (significantes) de duas modalidades diferentes: escrita e visual.
• DECLARAÇÃO DE DISPONIBILIDADE DE DADOS DA PESQUISA
  Por se tratar de um estudo teórico e bibliográfico, os dados públicos que apoiam as conclusões deste estudo estão disponíveis nas próprias obras referenciadas.

REFERÊNCIAS

• BARTHES, Roland. (1982). O óbvio e o obtuso. Rio de Janeiro: Nova Fronteira, 1990.
• BENVENISTE, Émile. (1966). Problemas de Linguística GeralI. Trad. Maria da Glória Novak e Luiza Neri. São Paulo: Ed. da Universidade de São Paulo, 1976.
• BRASIL. (2018). Ministério da Educação. Base Nacional Comum Curricular. Brasília.
• CAZDEN, Courtney; COPE, Bill; FAIRCLOUGH, Norman; GEE, Jim; et al. (1996). A pedagogy of multiliteracies: Designing social futures. Harvard Educational Review; Spring, 66, n. 1.
• HODGE, Robert; KRESS, Gunther. (1988). Social Semiotics, New York: Cornell University Press.
• KALANTZIS, Mary; COPE, Bill; PINHEIRO, Petrilson. (2020). Letramentos. 1. ed. Campinas:Editora Unicamp.
• HALLIDAY, Michael. (1978). Language as Social Semiotic: The Social Interpretation of Language and Meaning, Londres: Edward Arnold.
• KRESS, Gunther. (2003). Literacy in the new media age. London, Routledge.
• KRESS, Gunther. (2010). Multimodality–A Social Semiotic Approach to Contemporary Communication, Londres: Routledge.
• KRESS, G Gunther; VAN LEEUWEN, Theo. (1990). Reading Images, Geelong, Deakin University Press.
• KRESS, Gunther; VAN LEEUWEN, Theo. (1998). Front Pages: (The critical) analysis of newspaper layout. In: BELL, Allan; GARRET, Peter. (Org.) Approaches to media discourse. Blackwell Publishing, p. 186-219.
• KRESS, Gunther; VAN LEEUWEN, Theo. (2001). Multimodal Discourse: The Modes and Media of Contemporary Communication. Arnold: London.
• KRESS, Guntheret VAN LEEUWEN, Theo. (2006 [1996]). Reading Images – The Grammar of Visual Design, London: Routdledge.
• SAUSSURE, Ferdinand. (1916). Curso de linguística geral. Trad. de A. Chelini; J. P. Paes e I. Blikstein. 27^a Ed. São Paulo: Cultrix, 2006.

Disponibilidade de dados

DECLARAÇÃO DE DISPONIBILIDADE DE DADOS DA PESQUISA

Por se tratar de um estudo teórico e bibliográfico, os dados públicos que apoiam as conclusões deste estudo estão disponíveis nas próprias obras referenciadas.

Datas de Publicação

• Publicação nesta coleção
  08 Jul 2024
• Data do Fascículo
  May-Aug 2024

Histórico

• Recebido
  30 Jan 2024
• Aceito
  10 Maio 2024
• Publicado
  13 Maio 2024