Resumo
O artigo discute os efeitos da disseminação das Tecnologias de Informação e Comunicação para a efetivação do direito social, segundo a lógica da racionalidade governamental neoliberal. O foco é na produção de normatividades pela difusão dessas tecnologias, tanto nos modos de objetivação e subjetivação quanto nas tensões de operação das técnicas jurídicas e dos sistemas de decisão assistidos por inteligência artificial. A questão final é sobre as implicações dessas mudanças para o direito enquanto prática de juízo centrada na questão da justiça. Estaríamos diante do fim do direito?
Palavras-chave:
Análise Política do Pensamento Jurídico; Direito Social; Tecnologias de Informação e Comunicação; Neoliberalismo; Inteligência Artificial; Big Data
Abstract
The article discusses the effects for the realization of social law caused by the spread of information and communication technologies (ICT), or digital technologies, according to the neoliberal governmental rationality logic. The focus is on norms production by the ICT diffusion, in the sense of both the modes of objectification and subjectivization and in the tensions of the mode of operation of legal techniques and decision systems assisted by artificial intelligence. The final question is about the implications of these changes for law as a practice of judgment centered on the question of justice. Are we facing the end of the law?
Keywords:
Political Analysis of Legal Thought; Social Law; Information and Communication Technologies; Neoliberalism; Artificial Intelligence; Big Data
Introdução1 1 Agradecemos a Sara Casare pela revisão técnica do artigo sobre as questões relacionadas à tecnologia da informação.
A combinação de neoliberalismo e do uso extensivo de artefatos produzidos pelas Tecnologias de Informação e Comunicação (TIC) provoca mudanças nos saberes e nas práticas do direito e tem suscitado questões sobre como controlar os riscos que essas ferramentas implicam para os direitos individuais e coletivos. É difícil superestimar os impactos sociais desses artefatos tecnológicos nos últimos cinquenta anos. Atualmente, a alta disponibilidade de capacidade computacional associada ao grande volume de dados produzidos, principalmente pelo uso extensivo da internet, abrem novo campo de utilização intensiva e ampliada da informática na sociedade. Aprecia-se que a disseminação massificada das TIC representa uma nova fronteira de mudanças tecnológicas e sociais, o início de uma transformação produtiva de larga escala, uma nova revolução produzida pela informática. Esta terá impactos sociais amplos que envolvem tanto trabalhos rotineiros como também todas as áreas de economia, pesquisa científica, ensino, segurança, lazer e formas de sociabilidade.
A racionalidade governamental neoliberal conforma a lógica de desenvolvimento e disseminação social das TIC. No quadro de competição geral entre sujeitos-empreendedores, empresas e Estados, a inovação tecnológica aparece como uma preocupação central nos esquemas de governo das condutas na sociedade (Barry, 2001BARRY, Andrew. 2001. Political machines: governing a technological society. London: The Athlone Press.). Os agentes são incentivados a adotarem as tecnologias e a elas se adequarem, pois são apresentadas como as melhores potencializadoras de suas capacidades de ação, a despeito dos riscos e incertezas envolvidos. Os Estados alteraram a lógica da ação pública, incentivando a inovação, a eficiência e a capacidade de adaptação. Complementarmente, investem no controle dos inaptos e na prevenção/repressão de suas reivindicações.
O uso das TIC é intensificado nos esquemas de vigilância e nas táticas de guerra. A lógica de segurança permeia os planos internacional e interno dos Estados, sendo suspensas as diferenças entre cidadão e inimigo. Para prevenir ações que provoquem danos considerados insuportáveis, a vigilância insere-se na esfera da intimidade, tenta decifrar motivações e intenções cada vez menos conscientes dos agentes (Okura de Almeida, 2015OKURA DE ALMEIDA, Álvaro. 2015. Terrorismo e direitos humanos: três ensaios críticos. Dissertação de Mestrado em Ciência Política. Campinas: Unicamp, 2015.).
O acoplamento entre artefatos tecnológicos e racionalidade governamental neoliberal suscita problemas institucionais. Em espaços tão variados como tribunais, bancos, empresas, escolas e hospitais adotam-se sistemas de decisão assistidos (SDA) por algoritmos para gerar a solução mais eficiente a partir do tratamento de grande número de casos. Mas esses algoritmos são muitas vezes opacos e enviesados, com bases de dados limitadas, que realizam inferências duvidosas e correlações espúrias, sem a possibilidade de corrigir ou verificar as informações empregadas (O’Neil, 2016O’NEIL, C. 2016. Weapons of math destruction: how Big Data increases inequality and threatens democracy. New York: Crown.).
As TIC têm múltiplas relações com o direito. Se as regras jurídicas delineiam o quadro que estabelece as formas a serem assumidas pelas TIC, estas criaram novos problemas e objetos de regulação jurídica. As práticas jurídicas vêm sendo modificadas desde a época em que seu suporte era sobretudo impresso, há pouco mais de trinta anos. Atualmente, o uso massivo de dados (big data), de algoritmos baseados em aprendizado de máquina (machine learning), levanta questões constitucionais, dentre outras, como as relativas aos elementos que compõem e caracterizam os bancos de dados (i.e., consentimento informado, princípios de qualidade, veracidade, finalidade, atualização e pertinência) e aos direitos ARCO dos cidadãos (acesso, retificação, cancelamento ou oposição). É possível ressaltar também as questões associadas ao direito das pessoas de não serem submetidas a avaliações automatizadas, além de problemas de responsabilidade de corporações e do Estado (Becerra, 2015BECERRA, Jairo et al. 2015. La responsabilidad del Estado por la utilización de tecnologías de la información y la Comunicación. Bogotá: Universidad Católica de Colombia., 2016BECERRA, Jairo et al. 2016. Derecho y big data. Bogotá: Universidad Católica de Colombia.; Lecun, Bengio e Hinton, 2015LECUN, Yan; BENGIO, Yoshua; HINTON, Geoffrey. 2015. Deep learning. Nature, v. 521, n. 7553, pp. 436-444.).
Este artigo discute as relações entre direito e TIC de um ponto de vista abrangente, buscando entender as implicações, para o direito social da ordem constitucional democrática, das normatividades que emergem da disseminação das TIC produzidas segundo a lógica da racionalidade governamental neoliberal. Parte-se da premissa de que o modelo do direito social, tal como elaborado pelo constitucionalismo democrático, e central para o projeto neocosmopolita de direitos humanos, enfrenta impactos de duas ordens inter-relacionadas: a erosão das condições políticas, econômicas e sociais de sua realização, provocada pela governamentalidade neoliberal; e a emergência de novos problemas, decorrentes das mudanças tecnológicas. Esses impactos implicam desafios inéditos para a reflexão crítica sobre o direito, porque colocam em questão os princípios, conceitos, teorias e técnicas associados à institucionalização e à prática do direito social.
A discussão combina reflexões sobre lógicas, influências mútuas, usos e implicações das TIC, de governo e do direito. Ela tem como base a análise crítica e conceitual da bibliografia acadêmica sobre o governo das condutas no neoliberalismo, a democracia constitucional e as relações entre direito e TIC. O foco é a produção de normatividades sociais pela difusão das TIC. Criam-se normatividades no sentido em que sua operação e os arranjos desses recursos produzem formas de saber e de governo dos agentes e da multiplicidade social. Portanto, a questão é analisar, primeiro, as formas de objetivação e subjetivação produzidas por essas normatividades, isto é, a maneira pela qual elas constroem novas formas de percepção e categorização da realidade, assim como os modos pelos quais os agentes conhecem, refletem e se conduzem nas relações consigo mesmos e com os outros. E, segundo, a maneira pela qual os SDA por algoritmos provocam tensões nas técnicas jurídicas.
Assim, o artigo apresenta inicialmente as noções de racionalidade governamental neoliberal, ordem constitucional democrática e regime constitucional neoliberal. Em seguida, discutem-se as implicações da combinação de neoliberalismo e artefatos tecnológicos para a produção de normatividades sociais centradas na produção de verdades e na construção das subjetividades. Enfim, analisam-se os impactos dos DAS para as técnicas jurídicas e seus efeitos sobre o jurídico na sociedade.
A indagação final é sobre as implicações dessas mudanças para o direito enquanto prática de juízo centrada na questão da justiça. Estaríamos diante do fim do direito?
A racionalidade governamental neoliberal
Dardot e Laval (2015DARDOT, Pierre; LAVAL, Christian. 2015. A nova razão do mundo. São Paulo: Boitempo.) definem a racionalidade governamental neoliberal como o conjunto de discursos, dispositivos e práticas que determinam um novo modo de governo dos seres humanos segundo o princípio universal da concorrência. Visa produzir o autogoverno dos indivíduos, uma certa relação consigo mesmos, por meio de técnicas de si que se produzem no encontro com as técnicas de governar os outros. O governo se dá por meio da liberdade dos indivíduos, para que eles se conformem com certas normas (Dardot e Laval, 2015DARDOT, Pierre; LAVAL, Christian. 2015. A nova razão do mundo. São Paulo: Boitempo., pp. 17-19; Foucault, 2004FOUCAULT, Michel. 2004. Naissance de la biopolitique: Cours au Collège de France, 1978-1979. Paris: Gallimard: Seuil.). Por essa abordagem, o neoliberalismo não seria a retirada do Estado diante do mercado, mas a universalização do modelo da concorrência por uma lógica que atravessa as esferas aparentemente autônomas da sociedade e que se exerce não só por meio do Estado, mas também sobre o próprio Estado. É uma “ordem do mundo” que objetiva relações sociais, produz subjetividades (o capital humano) e altera o modo de operação do direito, tornado instrumento de governo das condutas.
Em The good society (1937/1939), Walter Lippmann destaca que o problema não seria o de mais ou menos Estado, mas o de como governar uma big society, uma sociedade industrializada, urbanizada e com graves problemas sociais. Lippmann combinava determinismo tecnológico e relativismo histórico das formas de organização social. A crescente especialização e divisão do trabalho teria provocado uma revolução das formas de produção, tornando imperioso adequar a organização social a ela (Lippmann, 1937/1939LIPPMANN, Walter. 1939. The good society. London: George Allen & Unwin. (Obra publicada originalmente em 1937), pp. 166-168). Seria necessário reeducar o ser humano, reorganizar as relações sociais, reformar as técnicas utilizadas pelo Estado, por uma política que visasse a vida individual e social como um todo (Dardot e Laval, 2015DARDOT, Pierre; LAVAL, Christian. 2015. A nova razão do mundo. São Paulo: Boitempo., p. 90).
O direito, reformável e adaptável às mudanças, seria o instrumento central para reconstruir a sociedade e governar os seres humanos. A democracia seria um modo particular de governo pelo direito, em que se definem os direitos e deveres recíprocos das pessoas, para que cuidem dos seus assuntos, cabendo ao Estado administrar a justiça nas relações entre elas (Lippmann, 1937/1939LIPPMANN, Walter. 1939. The good society. London: George Allen & Unwin. (Obra publicada originalmente em 1937), pp. 267-268).
Nesse contexto, a nova governamentalidade se exerceria essencialmente pela forma jurídica/judiciária, por um método de controle social recíproco dos indivíduos, numa lógica horizontal em que se confia na ação privada dos indivíduos para determinar o que fazer e pensar. Todos os poderes do Estado devem julgar, cada qual no seu domínio e à sua maneira. A administração da justiça comutativa tem lugar vital num universo social em que os conflitos de interesse são inevitáveis (Dardot e Laval, 2015DARDOT, Pierre; LAVAL, Christian. 2015. A nova razão do mundo. São Paulo: Boitempo., p. 96). No trabalho, nas interações sociais, na esfera íntima, na vida cotidiana, a projeção do juízo que todos e que cada um faz sobre si e os outros se dá em função de normas de eficiência, competitividade na realização de objetivos definidos e mensuráveis. Assim, essa racionalidade coloca o direito como seu instrumento privilegiado, promove o autogoverno pelo juízo de avaliação de si e dos outros acerca de sua própria competitividade e investe na disseminação de uma forma “judiciária” de juízo nas instituições estatais.
A ordem constitucional democrática e social e o regime constitucional neoliberal
A racionalidade governamental neoliberal tem relações tensas com o discurso do direito social do constitucionalismo democrático. Por um lado, têm em comum a gestão biopolítica da multiplicidade e a racionalização do direito, que, como código baseado na distinção legal/ilegal, define as formas legítimas de interação e estabiliza expectativas para a regulação das relações sociais, dos mercados e da política de massas. Por outro lado, apresentam aspectos concorrentes e contraditórios, em que a democracia social e o neoliberalismo de mercado tornam-se duas modalidades opostas de operação do direito.
O constitucionalismo democrático do pós-Segunda Guerra pensa a Constituição como organização material da sociedade, dotada de força normativa, que orienta o ordenamento jurídico e o governo. Seu fundamento é o ser humano como ente racional e moral concreto, considerado em sua individualidade e inserido em grupos naturais e sociais. O princípio da dignidade humana traduz-se na prioridade dos direitos e garantias dos indivíduos em relação aos fins coletivos, enquanto o equilíbrio dos direitos de muitos formula-se em termos de justiça. A jurisdição assume funções positivas de assegurar o equilíbrio dos poderes e a promoção dos objetivos comuns, ao mesmo tempo que mecanismos institucionais asseguram a articulação dos juízes com os representantes políticos eleitos.
A prática jurídica é pensada como um saber de caráter construtivo sobre as relações sociais e voltado à concretização de normas, consideradas como um complexo hierarquizado que compreende regras jurídicas, diretivas governamentais e normas disciplinares conformadas por princípios (no sentido genérico de fundamentos, valores e objetivos). O papel do jurista no governo da sociedade se redefine: eis que aparece como uma espécie de censor, de guardião da Constituição, ao mesmo tempo que é investido de poderes para tornar seus mandamentos efetivos. O registro de sua atuação seria o de proteger os cidadãos contra arbitrariedades governamentais, de assegurar os princípios fundamentais, além de promover, e mesmo impulsionar, a realização de objetivos coletivos, tendo em vista a realização da dignidade humana na sociedade.
Esse modelo esteve na base da construção do direito internacional dos direitos humanos. Desde a Declaração Universal, passando pelas convenções e declarações posteriores até a Conferência de Viena de 1993, vê-se o investimento na construção de um conjunto de normas, instituições e técnicas jurídicas que têm como centro o ser humano enquanto vivente concreto.
O neoliberalismo de mercado, que emerge nos anos 1970, se opõe à direção estatal da economia a partir da pressuposição da maior eficiência dos mercados. Produziu efeitos amplos sobre a dinâmica das sociedades contemporâneas, desde o aumento da pobreza e das desigualdades até a reorganização do aparato produtivo e do Estado. Ele se objetiva em técnicas de governança, que se tornam senso comum, e reconfigura as subjetividades, esvaziando aqueles ideais e desejos dos cidadãos voltados à busca de bens públicos na democracia. Sob essa dinâmica, o direito não só dá forma à economia, mas se torna um meio para a economização da vida (Bevir, 2016BEVIR, Mark. 2016. Governmentality after Neoliberalism. London: Routledge.; Brown, 2015BROWN, Wendy. 2015. Undoing the Demos: neoliberalism’s stealth revolution. New York: Zone Books., pp. 39 e 151). Neste sentido, o neoliberalismo de mercado não se opõe à ordem constitucional democrática, mas à sua versão democrática e social. Com ele se conforma um novo regime constitucional, que redefine as modalidades pelas quais a ordem constitucional democrática opera.
O agente e destinatário das normas não é mais o ser humano concreto e social, mas o indivíduo abstrato maximizador. O conhecimento jurídico se interessa pelo aspecto operatório das normas, mas essas são definidas de forma abstrata e dedutiva. A regra de justiça é modelada a partir do comportamento estratégico do sujeito-empreendedor de si mesmo, que estabelece relações contratuais com outros e com as agências estatais.
O modelo de prática do direito torna-se o da análise econômica, segundo a qual as normas, interpretações e decisões são apreciadas do ponto de vista dos seus efeitos para a eficiência. É um método analítico de interpretação da norma, mas de caráter construtivista, porque arranja incentivos e obstáculos para influir sobre a ação futura dos indivíduos de modo a contribuir para a continuidade e fluidez equilibrada do mercado. O jurista passa a ser pensado como um gestor-calculador que deve utilizar as margens de apreciação de sua atividade para coadjuvar outros técnicos no aumento da eficiência da economia. O próprio Estado, incluindo as instituições judiciais, é encarado do ponto de vista da eficiência, o que leva a reformas de suas organizações, métodos de trabalho e objetivos. Embora o alcance dessas mudanças seja muito desigual nos diversos países, o direito social é redefinido, distanciando-se de seu propósito integrador e reformista. O direito constitucional das democracias sociais é formalmente mantido, mas sua dinâmica democrática e seu conteúdo social são esvaziados.
Tecnologias de Informação e Comunicação e produção de normatividades sociais
A difusão das TIC desperta reações contrapostas: de um lado, otimistas e visionários de uma sociedade pós-humana em que agentes super-humanos ou autômatos viriam a ser emancipados da condição biológica (More e Vita-More, 2013MORE, Max; VITA-MORE, Natasha. 2013. The transhumanist reader. West Sussex: Wiley-Blackwell.); de outro, os que alardeiam os riscos de dominação dos humanos pelas máquinas (Barrat, 2015BARRAT, James. 2015. Our final invention: artificial intelligence and the end of the human era. New York: St Martin Griffin.).
Um problema importante é o viés da utilização de algoritmos de auxílio à tomada de decisão. O critério de avaliação do desempenho dos indivíduos é o sucesso, sob o ponto de vista da organização ou do operador do sistema, diante do qual os atributos individuais se tornam fatores de risco. Algoritmos que selecionam aspectos determinados da realidade em função dos objetivos visados tornam-se produtores de verdade, objetivando os indivíduos e justificando as decisões que afetam seus interesses, direitos e oportunidades (O’Neil, 2016O’NEIL, C. 2016. Weapons of math destruction: how Big Data increases inequality and threatens democracy. New York: Crown.).
Adotam-se esquemas de vigilância que se baseiam no princípio da precaução para aumentar a segurança. Presume-se que os indivíduos agem segundo uma racionalidade estratégica, calculadora e maximadora, e que observam as leis e se conformam às normas tão somente em virtude da estrutura de incentivos e punições posta em ação por aqueles esquemas. Busca-se criar instrumentos mais refinados de predição comportamental, para que se adotem técnicas cujas premissas são a desconfiança e a suspeita. Para isso, utilizam intensivamente as TIC, que disponibilizam constantemente uma panóplia de novas técnicas e artefatos tecnológicos, tais como algoritmos baseados em aprendizado de máquina (machine learning), mineração de dados (data mining), e o uso massivo de dados (big data). Cabe ressaltar que, na maior parte das vezes, tais artefatos são probabilísticos e, portanto, os resultados por eles produzidos estão sujeitos a diferentes graus de incerteza, dependendo tanto das características da base de dados (completeza, enviesamento etc.) quanto das regras codificadas no algoritmo.
A generalização desses algoritmos, incluída a comunicação entre eles, produz um efeito de reforço mútuo de discriminação dos mais pobres, de gênero, de etnia e de padrões de comportamento não convencionais. Cria-se um agregado normativo à margem da lei - e por vezes contra ela - que codifica o passado, mas não constrói um futuro segundo valores e escolhas explicitados e deliberados (Eubanks, 2018EUBANKS, Virginia. 2018. Automating inequality: how high-tech tools profile, police, and punish the poor. New York: St. Martin’s Press.; Ferguson, 2017FERGUSON, Andrew Guthrie. 2017. The Rise of Big Data Policing: surveillance, race, and the future of law enforcement. New York: NYU Press.; Noble, 2018NOBLE, Safiya Umoja. 2018. Algorithms of oppression: how search engines reinforce racism. New York: NYU Press.).
Todavia, o determinismo tecnológico tem sido questionado por autores que evidenciam os múltiplos usos dessas técnicas e algoritmos, bem como das relações estabelecidas entres estes e os agentes (Ihde, 1990IHDE, Don. 1990. Technology and the lifeworld: from garden to earth. Bloomington: Indiana University Press., 2009IHDE, Don. 2009. Postphenomenology and technoscience: the Peking University lectures. Albany: Suny Press.). Uma proposta de saída para o dilema intelectual e normativo posto pela oposição entre dominação e emancipação seria deslocar o tema do agente autônomo para a subjetividade mediada pela tecnologia. Se o agente é imerso nas formas e relações sociais, inclusive a tecnologia, ele pode dela fazer uso refletido e responsável, buscando o melhor para constituir a si e suas relações com os outros e o mundo (Verbeek, 2011VERBEEK, Peter-Paul. 2011. Subject to technology: on authonomic computing and human autonomy. In: HILDEBRANDT, Mireille; ROUVROY, Antoinette (ed.). Law, human agency and autonomic computing. London: Routledge. pp. 27-45.). Há propostas de inserir a lógica e os procedimentos democráticos no design dos artefatos tecnológicos, mecanismos de controle governamental permanente sobre o funcionamento dos sistemas de informação, assim como princípios éticos para os agentes autômatos e outras regras para excluir resultados inaceitáveis (Bednar, Spiekermann-Hoff e Langheinrich, 2018BEDNAR, Kathrin; SPIEKERMANN-HOFF, Sarah; LANGHEINRICH, Marc. 2018. Engineering privacy by design: are engineers ready to live up to the challenge? Working Paper: WU_MIS_1_2018. Disponível em: Disponível em: https://www.tandfonline.com/doi/full/10.1080/01972243.2019.1583296 . Acesso em: 1º set. 2018. [Link indisponível]
https://www.tandfonline.com/doi/full/10....
).
De qualquer modo, essas propostas não esgotam os problemas. A difusão das TIC modifica as condições da experiência dos agentes e produz uma normatividade tecnológica que se impõe como regra objetiva, ao conformar o que é visível, válido e eficaz de maneira que não é construída nem justificada por processos discursivos e refletidos. Ademais, o desenvolvimento dos sistemas de informação segue procedimentos distintos da elaboração das regras de direito na democracia constitucional. Se estas são estabelecidas por um legislador democrático, podem ser violadas e, nesse caso, têm consequências jurídicas; aquelas não são explicitadas, visto que são incorporadas no próprio artefato tecnológico, resultam do desenho e das finalidades visadas por seus engenheiros, estabelecem padrões que possibilitam ou constrangem o comportamento dos agentes, tornando difícil ou impossível a resistência (Hildebrandt, 2016HILDEBRANDT, Mireille. 2016. Smart technologies and the end(s) of law. Northampton: Edward Elgar., p. 11) e são constantemente reajustadas. Os sistemas de informação podem ser intencionalmente desenhados para influenciar os agentes, de forma mais ou menos consciente, tendo como escopo regras legais ou outras finalidades, e produzem ainda efeitos não intencionais, implícitos e automáticos (Van den Berg e Leenes, 2013VAN DEN BERG, Bibi; LEENES, Ronald E. 2013. Abort, retry, fail: scoping techno-regulation and other techno-effects. In: HILDEBRANDT, Mireille; GAAKEER, Jeanne (ed.). Human law and computer law: comparative perspectives. Dordrecht: Springer. pp. 67-88.).
A despeito do consentimento, a presença destas tecnologias tem efeitos não desprezíveis sobre o comportamento e a subjetividade dos agentes. É o caso de quando eles sabem que seus dados e comportamentos estão sendo coletados e analisados à distância e que sua atuação está submetida a ininterrupto escrutínio, inclusive retroativo. Sob tais circunstâncias, o que se pode esperar é uma adaptação na forma da autocontenção e do autodisciplinamento, engendrando-se sujeitos que procuram se conformar a expectativas de comportamento e ameaças correcionais que eles próprios são incapazes de conhecer (Campbell, 2004CAMPBEL, Nancy D. 2004. Technologies of suspicion: coercion and compassion in post-disciplinary regimes. Surveillance and Society, v. 2, n. 1, pp. 78-92., p. 80).
Rouvroy e Berns (2010ROUVROY, Antoinette; BERNS, Thomas. 2010. Le nouveau pouvoir statistique. Multitudes, n. 1, p. 88-103., 2013ROUVROY, Antoinette; BERNS, Thomas. 2013. Gouvernementalité algorithmique et perspectives d’émancipation. Réseaux, n. 1, pp. 163-196.) consideram que está em jogo uma transformação das racionalidades, estratégias e táticas de governo na atualidade. Eles propõem o conceito de governamentalidade algorítmica para designar o tipo de racionalidade (a)normativa ou (a)política que se baseia na coleta, agregação e análise automatizada de dados em quantidade massiva, a fim de modelizar, antecipar e afetar os comportamentos possíveis (Rouvroy e Berns, 2013ROUVROY, Antoinette; BERNS, Thomas. 2013. Gouvernementalité algorithmique et perspectives d’émancipation. Réseaux, n. 1, pp. 163-196., p. 172).
A coleta e análise de dados, desde os biométricos aos mais banais traços de comportamento, conforma um campo de observação a ser objetivado. Atualmente artefatos tecnológicos permitem estabelecer correlações a partir das quais são inferidas características não observáveis. Com base em traços digitais massivos, elaboram-se perfis dotados de atributos particulares cujas respostas a determinados estímulos seriam previsíveis. Os traços que o agente deixa nos meios digitais são agregados para identificá-lo, e assim, a partir do conjunto de fragmentos infraindividuais, são produzidas identidades virtuais. Uma vez “disparados”, os estímulos destinam-se às identidades virtuais que se enquadram naqueles perfis e que responderiam da forma prevista. Se o estímulo não produzir a resposta esperada, um procedimento autocorretivo refina perfis e previsões de comportamento (Rouvroy, 2011bROUVROY, Antoinette. 2011b. Epilogue: technological mediation, and human agency as recalcitrance. In: HILDEBRANDT, Mireille; ROUVROY, Antoinette (ed.). Law, human agency and autonomic computing. London: Routledge. pp. 217-222.; Rouvroy e Berns, 2010ROUVROY, Antoinette; BERNS, Thomas. 2010. Le nouveau pouvoir statistique. Multitudes, n. 1, p. 88-103.).
O alvo dos estímulos não é o indivíduo enquanto sujeito moral, mas sua identidade virtual. Ela toma como base perfis que não têm como referente nenhum agente concreto, pois são formados a partir de dados massivos e agregam conjuntos de atributos, mesmo incoerentes, correlacionados por artefatos tecnológicos probabilísticos. A identidade virtual é o destinatário do estímulo, o ente que se estima que reagirá da forma esperada e, portanto, aquele que se adapta à influência. Não se trata, pois, do indivíduo, mas de um “divíduo”, um ente dividido, heterogêneo, fragmentado e que responderia não por ação refletida, mas como reação a estímulos. Procura-se, portanto, governar os agentes a partir dos traços que eles deixam, de modo que a governamentalidade algorítmica contorna os agentes reflexivos e visa os dados e afetos infraindividuais, a fim de suspender ou bloquear o momento de reflexividade, de crítica, de recalcitrância em que o sujeito constrói a si mesmo (Rouvroy, 2011aROUVROY, Antoinette. 2011a. Technology, virtuality and utopia: governamentality in an age of autonomic computing. In: HILDEBRANDT, Mireille; ROUVROY, Antoinette (ed.). Law, human agency and autonomic computing. London: Routledge. pp. 119-140.; Rouvroy e Berns, 2010ROUVROY, Antoinette; BERNS, Thomas. 2010. Le nouveau pouvoir statistique. Multitudes, n. 1, p. 88-103.).
Ao mesmo tempo, a lógica desses algoritmos é a da autocorreção contínua em vista da melhoria de sua performance antecipatória. Não se trata, pois, da domesticação dos sujeitos à norma, mas da regularização e correção da norma, adequada constantemente aos traços digitais produzidos pelos agentes. Os saberes assim produzidos parecem emergir dos próprios dados, que geram suas hipóteses e consequências. A normatividade que opera a partir desses processos volta-se à conformação do ambiente, a partir do qual organiza e orienta as possibilidades de ação. Desse modo, o problema atual não seria a perda da privacidade ou o atentado à liberdade, mas os efeitos da produção de perfil cambiante, que possibilita a atuação eficaz sobre nós, mesmo sem ter relação conosco, com as nossas escolhas refletidas, com as quais poderíamos ser capazes de resistir aos estímulos e de adequar o perfil. Enfim, essa racionalidade atua para eliminar a contingência ao mesmo tempo que delimita o campo aberto de virtualidades do futuro. Aquilo que é calculado a partir da agregação estatística e projetado para o perfil atribuído a cada um de nós oferece como alternativas atuais para a nossa escolha apenas o leque limitado das possibilidades do futuro, que é antecipado no presente. E esse leque se nos apresenta como resultado da projeção de nós mesmos, da nossa identidade e repetição. O efeito seria o bloqueio da produção da diferença no tempo, em face do qual a inscrição consciente de narrativas nos dados seria estratégica para introduzir a diferença na recursividade, para resistências ou contracondutas (Rouvroy e Berns, 2010ROUVROY, Antoinette; BERNS, Thomas. 2010. Le nouveau pouvoir statistique. Multitudes, n. 1, p. 88-103., 2013ROUVROY, Antoinette; BERNS, Thomas. 2013. Gouvernementalité algorithmique et perspectives d’émancipation. Réseaux, n. 1, pp. 163-196.).
Técnicas jurídicas e sistemas de decisão assistidos
Nas sociedades democráticas, o código legal orienta-se para a estabilização das expectativas normativas quanto aos comportamentos futuros (Luhmann, 1985LUHMANN, Niklas. 1985. Sociologia do Direito II. Rio de Janeiro: Tempo Brasileiro.). Suas bases são a distinção entre legal e ilegal, a lógica dedutiva do juízo jurídico e o elemento volitivo na construção da obrigação jurídica. As técnicas jurídicas associadas a essas bases são tensionadas pelos SDA. Em geral, sistemas informáticos realizam tarefas rotineiras, sistematizam dados ou analisam problemas estruturados. Por sua vez, o termo sistemas de apoio à decisão (SAD) designa suportes informatizados com capacidade de fazer a análise de grande número de dados para auxiliar a adoção de escolhas sobre problemas. Mais do que sistemas informáticos, os SAD são capazes de apresentar alternativas, propor soluções e simular seus efeitos. Este artigo utiliza o termo sistemas de decisão assistidos (SDA) para designar sistemas tanto de apoio quanto de tomada de decisão, construídos com algoritmos baseados em aprendizado de máquina e uso massivo de dados. Eles conseguem tratar um leque mais amplo de problemas, individualizar casos, predizer consequências e ajustar suas operações e regras segundo os resultados obtidos. Além de serem suportes à decisão humana, são programados para tomar decisões, isto é, produzir efeitos sobre direitos, negócios ou situações jurídicas. Esses sistemas incidem sobre as condições de possibilidade do juízo jurídico ao oferecerem soluções ou tomarem decisões, sendo capazes de antecipar os efeitos e se autocorrigir.2 2 Esses sistemas são usados nos Estados Unidos por seguradoras, serviços sociais e bancos (Eubanks, 2018; O’Neil, 2016). O software Compas (sigla de Correctional Offender Management Profiling for Alternative Sanctions) analisa as respostas dos réus a um questionário no momento da prisão e oferece um score (pontuação) de risco associado ao perfil criminoso. Com isso, auxilia a tomada de decisão do juiz no que diz respeito à duração e forma da pena, à possibilidade e ao valor da fiança e à probabilidade de reincidência criminal. Ver: http://bit.ly/2phYWxP. Acesso em 21 de setembro de 2019. Produzem normatividades que eliminam a possibilidade de contestação ou desobediência e decisões que podem implicar a desobediência sistemática da norma jurídica (Rouvroy e Stiegler, 2016ROUVROY, Antoinette; STIEGLER, Bernard. 2016. The digital regime of truth: from the algorithmic governmentality to a new rule of law. La Deleuziana, n. 3, pp. 6-29.).
Os SDA incidem sobre a operação da distinção legal/ilegal, elemento característico do jurídico. Os algoritmos ampliam a capacidade de prever eventos e corrigir ações, ainda que tal medida implique em violação da norma jurídica. As decisões de indivíduos ou autômatos passam a ser lastreadas por soluções fornecidas por sistemas de decisão assistidos, que visam otimizar resultados independentemente da sua validade jurídica. A regulação jurídica, quando se exerce, vê-se diante de decisões previamente adotadas e repetidas. Assim, a técnica jurídica enfrenta o problema de lidar com a transgressão automatizada e recursiva das normas legais, colocando-se a tensão entre legalidade e eficiência das soluções identificadas pelos algoritmos. Por outro lado, na medida em que esse embate se realiza, a lógica da eficiência explicita a ineficácia dos instrumentos jurídicos. Nesse contexto, a desobediência só deixaria de ocorrer se o sistema judicial viesse a assumir a eficiência como critério de julgamento, fazendo a legalidade se dissolver completamente na normatividade dos algoritmos.
Quanto à lógica dedutiva do juízo jurídico, a promessa do código legal de oferecer estabilidade diante das incertezas do futuro torna-se secundária ante a capacidade preditiva dos algoritmos.3 3 Por exemplo, algoritmos que procuram predizer resultados de decisões judiciais por meio da pesquisa de amplos repertórios de jurisprudência. A contingência administrada pela norma jurídica passa a ser um fenômeno residual, uma vez que a sua principal finalidade passa a ser a de dar parâmetros para a dinâmica autocorretiva dos algoritmos. A própria tentativa de controlar as TIC por meio de códigos legais seria fadada ao anacronismo, em face da capacidade de antecipação e autoajustamento desses artefatos tecnológicos.
Enfim, o contrato é colocado em segundo plano pela capacidade de preempção dos algoritmos. A antecipação das contingências e, a partir daí, a correção e reorganização preventivas das ações reduzem o espaço da mediação jurídica, pois a criação do contrato e o seu cumprimento passam-se em períodos infinitesimais de tempo.4 4 É o caso de bots que realizam operações de mercado, no sistema financeiro, por exemplo. Com isso, as TIC restringem a capacidade de os instrumentos jurídicos enquadrarem a formação das pactuações, orientarem a sua execução e contribuírem para equilibrar as relações contratuais, uma vez que a dinâmica das transações escapa àquelas formas.
O esvaziamento do elemento volitivo na produção da obrigação jurídica significa o distanciamento, na prática, entre o indivíduo abstrato maximizador - o modelo de agente do regime constitucional neoliberal - e aquele extraído pela operação dos perfis sobre a identidade virtual que se agrega como “divíduo”, fragmentado, heterogêneo.5 5 Por meio de anúncios focalizados no usuário a partir de instrumentos de predição que incentivam o comportamento compulsivo do usuário, por exemplo. Esse quadro explicita as limitações das técnicas jurídicas que falham, são insuficientes ou apresentam ruídos para construir relações jurídicas a partir desse “divíduo”. Esse cenário potencializa a gestão tecnológica dos fragmentos de sujeitos segundo a racionalidade governamental neoliberal, cujos instrumentos operam automaticamente com objetivos de maximização, apesar e mesmo contra expectativas, desejos, intenções e decisões de agentes concretos.
Assim, os sistemas de decisão assistida tendem a neutralizar as técnicas jurídicas e promovem um deslocamento significativo do modo de operação do jurídico nas sociedades contemporâneas. Coloca-se a questão: a instrumentalidade do direito na racionalidade neoliberal é esvaziada pela normatividade emergente da disseminação das TIC e pela operação dos algoritmos, ou ocorre a mudança no modo de operação das técnicas jurídicas, configurando-se uma nova versão daquele direito cambiante imaginado por Lippmann?
De modo geral, o que se indaga é se estaremos diante do absoluto desaparecimento do direito, enquanto pensamento e prática de julgamento referida ao problema da justiça. Este seria o caso se houvesse sua integral convergência com a normatividade emergente da disseminação das TIC, voltadas à maximização da eficiência, que opera de forma automática, antecipatória e autocorretiva sobre os afetos atribuídos a “divíduos” que sequer são capazes de conhecê-los.
O fim do direito?
A disseminação das TIC produz mudanças no modo de operação do direito segundo a racionalidade governamental neoliberal. Mantêm-se elementos centrais dessa racionalidade, nomeadamente a norma social da concorrência generalizada, o imperativo da eficiência, a subjetivação do homem-empresa, a operação do Estado em busca da inovação técnica e, enfim, o esvaziamento das sociabilidades e formas de ação coletiva voltadas ao comum.
As TIC produzem normatividades sociais que objetivam relações e produzem subjetividades descentradas e fragmentadas, que passam a ser governadas por processos automatizados, antecipatórios e autocorretivos. Os sistemas de decisão assistida produzem efeitos sobre as técnicas jurídicas, tornando-as inefetivas, anacrônicas e contestáveis. Globalmente, a normatividade dos algoritmos desloca o sujeito moral e o agente social concreto e visa governar o seu duplo digital, cuja forma é constantemente alterada mediante agregação e processamento de informações sequer assimiláveis pelos seres humanos.
Esses processos acentuarão a tendência de esvaziamento dos direitos sociais, ampliando a dinâmica de economização da vida. Mais do que simplesmente expelir o direito, seja o direito social seja aquele conformado pela racionalidade governamental neoliberal, a utilização generalizada das TIC provoca o tensionamento, a marginalização, mudanças e inovações das técnicas e práticas jurídicas.
Em suma, dados esses deslocamentos do direito social do constitucionalismo democrático, coloca-se o seguinte problema para o pensamento e a prática do direito: máquinas simulam as operações racionais de selecionar e arranjar os meios para alcançar de forma eficiente finalidades estabelecidas. Elas oferecem as bases para veredictos sobre personalidades, comportamentos e relações sociais. Por sua vez, humanos incorporam aparatos e técnicas para melhor se adaptarem ao ambiente, ampliarem suas perspectivas, e aumentarem seu desempenho. Ou seja, os direitos são produzidos por máquinas de julgar a respeito de humanos que se julgam máquinas.
Situa-se, enfim, o problema prático sobre a maneira como enfrentaremos o desafio de repensar as bases, os agentes, o modo de operação e os objetivos do direito e do governo da multiplicidade em nossa sociedade.
Bibliografia
- BARRAT, James. 2015. Our final invention: artificial intelligence and the end of the human era. New York: St Martin Griffin.
- BARRY, Andrew. 2001. Political machines: governing a technological society. London: The Athlone Press.
- BECERRA, Jairo et al. 2015. La responsabilidad del Estado por la utilización de tecnologías de la información y la Comunicación. Bogotá: Universidad Católica de Colombia.
- BECERRA, Jairo et al. 2016. Derecho y big data. Bogotá: Universidad Católica de Colombia.
- BEDNAR, Kathrin; SPIEKERMANN-HOFF, Sarah; LANGHEINRICH, Marc. 2018. Engineering privacy by design: are engineers ready to live up to the challenge? Working Paper: WU_MIS_1_2018. Disponível em: Disponível em: https://www.tandfonline.com/doi/full/10.1080/01972243.2019.1583296 Acesso em: 1º set. 2018. [Link indisponível]
» https://www.tandfonline.com/doi/full/10.1080/01972243.2019.1583296 - BEVIR, Mark. 2016. Governmentality after Neoliberalism. London: Routledge.
- BROWN, Wendy. 2015. Undoing the Demos: neoliberalism’s stealth revolution. New York: Zone Books.
- CAMPBEL, Nancy D. 2004. Technologies of suspicion: coercion and compassion in post-disciplinary regimes. Surveillance and Society, v. 2, n. 1, pp. 78-92.
- DARDOT, Pierre; LAVAL, Christian. 2015. A nova razão do mundo. São Paulo: Boitempo.
- EUBANKS, Virginia. 2018. Automating inequality: how high-tech tools profile, police, and punish the poor. New York: St. Martin’s Press.
- FERGUSON, Andrew Guthrie. 2017. The Rise of Big Data Policing: surveillance, race, and the future of law enforcement. New York: NYU Press.
- FOUCAULT, Michel. 2004. Naissance de la biopolitique: Cours au Collège de France, 1978-1979. Paris: Gallimard: Seuil.
- HILDEBRANDT, Mireille. 2016. Smart technologies and the end(s) of law. Northampton: Edward Elgar.
- IHDE, Don. 1990. Technology and the lifeworld: from garden to earth. Bloomington: Indiana University Press.
- IHDE, Don. 2009. Postphenomenology and technoscience: the Peking University lectures. Albany: Suny Press.
- LECUN, Yan; BENGIO, Yoshua; HINTON, Geoffrey. 2015. Deep learning. Nature, v. 521, n. 7553, pp. 436-444.
- LIPPMANN, Walter. 1939. The good society. London: George Allen & Unwin. (Obra publicada originalmente em 1937)
- LUHMANN, Niklas. 1985. Sociologia do Direito II. Rio de Janeiro: Tempo Brasileiro.
- MORE, Max; VITA-MORE, Natasha. 2013. The transhumanist reader. West Sussex: Wiley-Blackwell.
- NOBLE, Safiya Umoja. 2018. Algorithms of oppression: how search engines reinforce racism. New York: NYU Press.
- OKURA DE ALMEIDA, Álvaro. 2015. Terrorismo e direitos humanos: três ensaios críticos. Dissertação de Mestrado em Ciência Política. Campinas: Unicamp, 2015.
- O’NEIL, C. 2016. Weapons of math destruction: how Big Data increases inequality and threatens democracy. New York: Crown.
- ROUVROY, Antoinette. 2011a. Technology, virtuality and utopia: governamentality in an age of autonomic computing. In: HILDEBRANDT, Mireille; ROUVROY, Antoinette (ed.). Law, human agency and autonomic computing. London: Routledge. pp. 119-140.
- ROUVROY, Antoinette. 2011b. Epilogue: technological mediation, and human agency as recalcitrance. In: HILDEBRANDT, Mireille; ROUVROY, Antoinette (ed.). Law, human agency and autonomic computing. London: Routledge. pp. 217-222.
- ROUVROY, Antoinette; BERNS, Thomas. 2010. Le nouveau pouvoir statistique. Multitudes, n. 1, p. 88-103.
- ROUVROY, Antoinette; BERNS, Thomas. 2013. Gouvernementalité algorithmique et perspectives d’émancipation. Réseaux, n. 1, pp. 163-196.
- ROUVROY, Antoinette; STIEGLER, Bernard. 2016. The digital regime of truth: from the algorithmic governmentality to a new rule of law. La Deleuziana, n. 3, pp. 6-29.
- VAN DEN BERG, Bibi; LEENES, Ronald E. 2013. Abort, retry, fail: scoping techno-regulation and other techno-effects. In: HILDEBRANDT, Mireille; GAAKEER, Jeanne (ed.). Human law and computer law: comparative perspectives. Dordrecht: Springer. pp. 67-88.
- VERBEEK, Peter-Paul. 2011. Subject to technology: on authonomic computing and human autonomy. In: HILDEBRANDT, Mireille; ROUVROY, Antoinette (ed.). Law, human agency and autonomic computing. London: Routledge. pp. 27-45.
-
1
Agradecemos a Sara Casare pela revisão técnica do artigo sobre as questões relacionadas à tecnologia da informação.
-
2
Esses sistemas são usados nos Estados Unidos por seguradoras, serviços sociais e bancos (Eubanks, 2018EUBANKS, Virginia. 2018. Automating inequality: how high-tech tools profile, police, and punish the poor. New York: St. Martin’s Press.; O’Neil, 2016O’NEIL, C. 2016. Weapons of math destruction: how Big Data increases inequality and threatens democracy. New York: Crown.). O software Compas (sigla de Correctional Offender Management Profiling for Alternative Sanctions) analisa as respostas dos réus a um questionário no momento da prisão e oferece um score (pontuação) de risco associado ao perfil criminoso. Com isso, auxilia a tomada de decisão do juiz no que diz respeito à duração e forma da pena, à possibilidade e ao valor da fiança e à probabilidade de reincidência criminal. Ver: http://bit.ly/2phYWxP. Acesso em 21 de setembro de 2019.
-
3
Por exemplo, algoritmos que procuram predizer resultados de decisões judiciais por meio da pesquisa de amplos repertórios de jurisprudência.
-
4
É o caso de bots que realizam operações de mercado, no sistema financeiro, por exemplo.
-
5
Por meio de anúncios focalizados no usuário a partir de instrumentos de predição que incentivam o comportamento compulsivo do usuário, por exemplo.
Datas de Publicação
-
Publicação nesta coleção
28 Nov 2019 -
Data do Fascículo
Sep-Dec 2019
Histórico
-
Recebido
18 Abr 2019 -
Aceito
13 Set 2019