Tecnopolíticas da falha: dispositivos de crítica e resistência a novas ferramentas punitivas

Technopolitics of failure: modes of critique and resistance to new punitive tools

Resumo:

Forças policiais brasileiras têm sido equipadas com tecnologias de segurança que incluem câmeras corporais, sistemas biométricos e algoritmos preditivos. Gestores públicos justificam os investimentos nesse setor alegando ganhos de eficiência, transparência e accountability. No entanto, movimentos sociais e pesquisadores da área de segurança pública argumentam que muitos dos sistemas implementados falham em aprimorar a atividade policial. Multiplicam-se denúncias de que erros na identificação de suspeitos e vieses na definição de áreas prioritárias de patrulhamento ampliam padrões de violência estrutural e automatizam mecanismos de exclusão. Este artigo busca mapear o uso da “falha” enquanto dispositivo de crítica e resistência às novas tecnologias de segurança, refletindo sobre suas consequências analíticas e políticas. Em que pesem as contribuições para os debates sobre discriminação algorítmica, o artigo indica que muitas das críticas têm sido incorporadas por desenvolvedores em processos de otimização de seus sistemas. Desse modo, as denúncias podem operar, paradoxalmente, enquanto motor da inovação, legitimando a disseminação de ferramentas punitivas. Mais do que uma demanda por precisão e eliminação de vieses, a crítica a partir da falha deve funcionar como uma forma de explicitar os múltiplos atores e interesses inerentes ao processo de desenvolvimento tecnocientífico. Para isso, é preciso, contudo, repolitizar a falha.

Palavras-chave:
tecnopolítica; viés algorítmico; biometria; vigilância; falha

Abstract:

Brazilian police forces have been equipped with security technologies that include body cameras, biometric systems, and predictive algorithms. Public managers justify investments in this sector by claiming gains in efficiency, transparency, and accountability. However, social movements and public security researchers argue that many of the systems implemented fail to improve police activity. There is a growing number of complaints that errors in identifying suspects and biases in defining priority patrol areas amplify patterns of structural violence and automate exclusionary mechanisms. This article seeks to map the use of “failure” as a tool for criticism and resistance to new security technologies, reflecting on its analytical and political consequences. Despite the contributions to debates on algorithmic discrimination, the article points out that many of the criticisms have been incorporated by developers in processes to optimize their systems. In this way, complaints can paradoxically operate as an engine of innovation, legitimizing the spread of punitive tools. More than a demand for precision and the elimination of bias, criticism based on failure should function as a way of making explicit the multiple actors and interests inherent in the process of techno-scientific development. To do this, however, it is necessary to repoliticize failure.

Keywords:
technopolitics; algorithmic bias; biometrics; surveillance; failure

1. Introdução

Em 2019, a Polícia Militar do Estado do Rio de Janeiro implementou um sistema de videomonitoramento com reconhecimento facial no bairro de Copacabana e em áreas próximas ao estádio do Maracanã. O investimento nessa ferramenta foi impulsionado por sua capacidade de fazer cruzamentos em tempo real entre listas de suspeitos e imagens capturadas em espaços públicos. No período de quatro meses, os alertas do sistema levaram à 357 prisões, o que justificou a celebração do então comandante-geral da instituição, Coronel Rogério Figueiredo: “é a modernidade, enfim, chegando [...] A ferramenta é fantástica. Já passou da época de a PM se modernizar” (O Globo, 2019). Contudo, o uso dessa tecnologia tem gerado enorme controvérsia. Um relatório do Centro de Estudos de Segurança e Cidadania (CESeC) aponta que o software utilizado pela polícia produziu grande quantidade de “falsos positivos”. Ao avaliar o emprego do sistema durante uma partida de futebol, o relatório revelou que 63% dos indivíduos abordados não eram as pessoas indicadas pelo programa de verificação biométrica (Nunes et al., 2022). Em relatório sobre a importação de sistemas de vigilância, a Access Now (2021) também criticou a escolha pela tecnologia e destacou alguns casos emblemáticos em que erros de identificação levaram à prisão de inocentes. Ambas as entidades apontam que as câmeras não contribuíram para a manutenção da ordem pública, violaram direitos dos cidadãos e ainda geraram custos desnecessários para a polícia, já que recursos escassos foram empenhados em operações pouco efetivas.

O caso descrito acima não é exceção no cenário atual de investimentos em novas tecnologias de segurança. Dispositivos de monitoramento e análise criminal, incluindo sistemas de policiamento preditivo, ferramentas automatizadas de identificação e algoritmos de avaliação de risco, estão disseminados nos centros urbanos brasileiros. Plataformas digitais e sistemas de inteligência artificial afetam práticas diárias de patrulhamento (Edler, 2021), redesenham limites entre os setores de segurança pública e privada (Peron e Alvarez, 2021) e, fundamentalmente, ampliam os horizontes das políticas punitivas (Campello, 2021). Entretanto, notícias de erros em sistemas de identificação biométrica ou casos em que novas tecnologias fracassam em transformar o comportamento policial são cada vez mais comuns, de modo que um rico campo de investigação se estruturou em torno das causas e consequências de “falhas tecnológicas” (Magnet, 2011; Norris, 2011; Leese, 2015; Lisle, 2017; Broussard, 2019; Aradau e Blanke, 2021).¹

Nos últimos anos, várias iniciativas foram criadas para coletar e classificar casos de falhas em sistemas que informam ou automatizam processos de tomada de decisão. Nos Estados Unidos, o AI Incident Database compilou milhares de eventos entre 2019 e 2023, enfatizando os prejuízos para as liberdades civis e os riscos de violência física e simbólica.² No Brasil, Tarcízio Silva (2021) faz trabalho semelhante, mas voltado especificamente para casos de racismo algorítmico. O pesquisador produziu uma linha do tempo que evidencia a recorrência de vieses e erros de identificação e autenticação em ferramentas de segurança e algoritmos que utilizamos no dia a dia, como serviços de busca na internet, aplicativos de classificação de imagens e sistemas de avaliação de crédito. Muitas dessas pesquisas têm tido sucesso em ultrapassar os muros das universidades e contribuem para o debate público sobre o tema, chamando atenção especialmente para o impacto de novas tecnologias no aprofundamento de mecanismos de exclusão e na ampliação de padrões de violência estrutural (Noble, 2018; Benjamin, 2019).³

No entanto, enquanto ativistas de direitos humanos e a literatura dos campos de sociologia da violência e estudos de vigilância têm se preocupado cada vez mais com o impacto deletério das falhas tecnológicas no exercício pleno da cidadania, a forma como a crítica tem se estruturado encontra limites políticos e analíticos (Noble, 2018; Benjamin, 2019; Access Now, 2021; Campello, 2021; Edler, 2021; Silva, 2021; Nunes et al., 2022). Muitas das denúncias acerca de vieses das máquinas têm sido incorporadas pelas empresas que as desenvolvem e pelas forças de segurança que as empregam, de modo que, ao invés de barrar seu uso, a crítica, por vezes, contribui para a otimização dos sistemas punitivos e para ganhos de legitimidade das ferramentas de vigilância. Em suma, em que pesem as contribuições recentes para os debates sobre racismo algorítmico, muitas das críticas operam, paradoxalmente, enquanto força de inovação, propiciando a disseminação de tecnologias de segurança.

Assim, este artigo aponta a necessidade de repolitizar a falha. Mais do que uma demanda por precisão e eliminação de vieses, esta deve funcionar como uma forma de explicitar os múltiplos atores e interesses envolvidos no processo de desenvolvimento tecnocientífico. A falha não é simplesmente um déficit técnico, mas expressão das relações de poder inerentes à própria constituição da tecnologia (Aradau e Blanke, 2022). Desse modo, a crítica deve permitir desvelar como sistemas de segurança são desenvolvidos a partir de contextos sociais específicos e desenhados para responder aos desafios da segurança pública, carregando muitos dos pressupostos punitivistas e racistas inscritos no aparato de justiça criminal.

Para refletir sobre os sentidos e usos políticos da falha sociotécnica, este artigo está dividido em cinco partes. Após a introdução, traço um breve panorama da crítica acerca da implementação de novas tecnologias e aponto a centralidade da falha enquanto dispositivo analítico e estratégia de resistência por parte de pesquisadores e movimentos sociais. Na seção seguinte apresento alguns dos limites da crítica que se pauta na explicitação das falhas. Busco demostrar que essa estratégia, ao contrário do que pretende, pode contribuir para a disseminação de tecnologias de segurança. Na quarta parte do artigo, discuto formas de repolitizar a falha, de modo a torná-la um mecanismo eficaz de produção de ruídos e controvérsias no desenvolvimento tecnocientífico. Na última seção, apresento a conclusão do artigo.

2. Novas tecnologias de segurança e a crítica a partir da falha

Por décadas, políticos têm perpetuado dois grandes mitos sobre o crime. Aqueles à direita argumentam que somente penas mais duras vão deter potenciais malfeitores. Aqueles à esquerda argumentam que o crime só vai diminuir com reformas sociais, reduzindo a pobreza e a desigualdade. Na verdade, a criminalidade caiu drasticamente nos últimos 20 anos, não pelas respostas tradicionalmente defendidas por políticos, mas por mudanças tecnológicas que tornaram mais difícil a atividade criminal [...] A questão, portanto, não é se a tecnologia pode reduzir os crimes, mas como podemos aproveitar o melhor dos avanços tecnológicos e qual o papel de indivíduos, empresas e governos nesse importante empreendimento coletivo (Gash, 2016, n/p).⁴

Os argumentos de Tom Gash (2016) ilustram os discursos tecnocráticos cada vez mais comuns na esfera pública e no setor privado. Nessa perspectiva, as tecnologias permitiriam estados endividados a “fazer mais com menos”, implementando novas formas de governança e modernizando a administração policial com ferramentas que incluem indicadores de desempenho e gestão racional de recursos (Batitucci, 2019). De fato, desde o ciclo de megaeventos esportivos, o Brasil testemunhou rápido crescimento de investimentos em tecnologias digitais que, além de dissuadir a ação criminosa, prometem tornar as forças policiais mais eficientes, transparentes, eficazes e legítimas (Cardoso, 2016; Pauschinger, 2017; Edler, 2019). Muitas das metrópoles brasileiras já possuem centros de comando e controle, operam diferentes modelos de cerco eletrônico e equiparam suas polícias com sistemas de reconhecimento facial, câmeras corporais e programas de mapeamento, análise e previsão de crimes.

Contudo, como vimos na introdução, pesquisadores do campo e ativistas de direitos humanos têm alertado não só para os riscos que as novas tecnologias representam em termos de perda de privacidade e liberdade, mas também para as promessas infundadas de superação dos desafios do policiamento através da instalação de dispositivos de controle ou sistemas de gestão de patrulhas (Noble, 2018; Benjamin, 2019; Access Now, 2021; Campello, 2021; Edler, 2021; Silva, 2021; Nunes et al., 2022). Os diversos críticos dos novos aparatos policiais, em geral, apontam que os benefícios promovidos por empresas privadas e agentes de segurança raramente são atingidos, pois, entre a prancheta do desenvolvedor e o uso da tecnologia pela polícia, há uma série de processos que podem impedir que o objetivo final seja cumprido (Ratcliffe, 2002; Manning, 2011). Esse argumento, que se apoia na “falha” enquanto modo de crítica, se desdobra em três aspectos.

Em primeiro lugar, o processo de desenvolvimento de tecnologias é atravessado por escolhas dos agentes, que imputem subjetividade em sistemas supostamente objetivos, sendo essa a causa principal dos erros. Sistemas de predição de crimes, por exemplo, falham porque os bancos de dados usados são enviesados por padrões anteriores de atuação policial (Richardson et al., 2019). Quando patrulhas estão concentradas em determinadas áreas, elas tendem a gerar mais dados sobre criminalidade ou eventos de desordem urbana nestas mesmas áreas. Há, portanto, um padrão inicial discriminatório que é reproduzido pelos algoritmos quando estes identificam os bairros nos quais a polícia é mais ativa justamente como aqueles em que há maior demanda por sua presença.

Mecanismo semelhante ocorre com sistemas de identificação biométrica. Quando nos deparamos com discursos que apontam que tecnologias de reconhecimento facial automatizam as decisões sobre abordagem de suspeitos e tiram a discricionariedade do policial na rua, vemos acoplado a esse argumento novamente um imaginário de objetividade, como se estivéssemos falando de uma decisão pautada em fatos e não no mero “faro policial”. No entanto, se os dados usados para treinar os algoritmos não representam a diversidade da população, estes vão resultar em índices de acurácia relativamente baixos (Buolamwini e Gebru, 2018). A campanha recente pelo banimento de tecnologias de reconhecimento facial no Brasil mobiliza justamente o medo dos falsos positivos – ou seja, que pessoas inocentes sejam identificadas equivocadamente como criminosos procurados – para avançar sua pauta. Como questiona o material da campanha, o que fazer “quando a máquina erra?” (ver Figura 1).

Figura 1
– Poster da campanha “Tire Meu Rosto da Sua Mira”

A falha, portanto, estaria na relação humano/máquina. Em algum momento dessa composição de dados, algoritmos, programadores e usuários, a “objetividade maquínica” (Daston, 1992), base da autoridade epistêmica dos modelos matemáticos que compõem os algoritmos preditivos e de identificação biométrica, teria sido inundada por subjetividade humana, o que gera erros e produz vieses. A incapacidade de eliminar a subjetividade da tecnologia faz com que essa reproduza e mascare os padrões discriminatórios da polícia, ou, como argumenta Pablo Nunes (2019), “o reconhecimento facial tem se mostrado uma atualização high-tech para o velho e conhecido racismo que está na base do sistema de justiça criminal”.

Um segundo argumento sobre a falha é que os profissionais de segurança corrompem a tecnologia no dia a dia. Exemplo desse processo é a dinâmica narrada por Bruno Cardoso (2014) em sua pesquisa etnográfica sobre o uso de câmeras pela polícia militar no Rio de Janeiro. O autor acompanhou a rotina da sala de operações do batalhão de Copacabana e, ao contrário dos discursos favoráveis aos investimentos em videovigilância, observou que as câmeras raramente serviam para flagrar crimes, mas os policiais muitas vezes usavam as imagens como voyeurs. Cardoso registrou momentos em que os operadores focavam em mulheres de biquini na praia, procuravam casais fazendo sexo na areia durante a madrugada ou simplesmente direcionavam as câmeras para as janelas dos apartamentos.

Em pesquisa de campo junto às forças de segurança do Rio de Janeiro, testemunhei exemplos semelhantes. Durante visita ao Centro Integrado de Comando e Controle (CICC), um entrevistado narrou sua experiência com leitores OCR (optical character recognition) usados por algumas unidades para leitura automatizada de placas de carro.⁵ A implementação da tecnologia tinha como objetivo a rápida identificação de veículos roubados ou de motoristas procurados pela justiça. Porém, segundo meu interlocutor, ao invés de os policiais realizarem abordagens apenas para efetivar prisões, era comum o uso da ferramenta para aprimorar ganhos com propinas. Alguns de seus colegas paravam carros sem IPVA pago, por exemplo, e negociavam uma quantia para liberar o veículo sem que qualquer ocorrência fosse registrada. Nesses casos, a falha estaria no profissional de segurança, cujos interesses pessoais diferem do objetivo original da política de implementação da tecnologia.

O terceiro uso da falha enquanto dispositivo de crítica busca generalizar a partir de casos semelhantes aos descritos acima. Há uma crescente literatura que investiga a circulação de tecnologias, práticas e saberes de segurança, e que aponta que os sistemas desenvolvidos no Norte Global não se adaptam necessariamente à realidade local (Pauschinger, 2017; Gaffney e Robertson, 2018; Edler, 2019; Altenhain, 2020). Seriam, portanto, “tecnologias fora do lugar”. Nessa perspectiva, as falhas se dão no processo de importação, pois os novos aparatos não são pensados para cidades em que faltam dados públicos capazes de alimentar sistemas algorítmicos de análise de risco, onde práticas violentas estão arraigadas nas instituições policiais, ou em contextos nos quais a corrupção é endêmica e os mecanismos de controle e gestão são incapazes de induzir mudanças de comportamento.

Nessa linha, diversas análises apontam que os desafios de segurança pública no Sul Global são muito particulares e, fundamentalmente, que as polícias não são burocracias modernas (Beato e Ribeiro, 2016). Uma suposta estrutura irracional das instituições de segurança faz com que projetos de reformas sejam interrompidos, provoca desvios e impede que o “programa de ação” das tecnologias seja cumprido (Latour, 1994). Atentos aos processos de apropriação e ressignificação de tecnologias produzidas em um contexto global, críticos têm apontado que câmeras de vigilância, por exemplo, falham porque os operadores locais enfrentam dificuldades em lidar com a rotina de trabalho (Cardoso, 2014), porque não há planejamento orçamentário para garantir sua manutenção (Edler, 2019), ou porque disputas institucionais ou incertezas sobre jurisdição operacional criam obstáculos para seu uso (Pauschinger, 2017). Em conjunto, esses elementos demandariam uma pesquisa acerca da “tropicalização da vigilância” (Altenhain, 2020). Portanto, nesse terceiro grupo de críticas, a falha é culpa de um contexto social que gera novas tensões sobre práticas de segurança ou resulta de um ambiente institucional que resiste à mudança (Bottino et al., 2020).

Apesar de trazerem diferentes abordagens, esses três usos da falha levam a um mesmo argumento: os dispositivos tecnológicos não funcionam como seus desenvolvedores e as forças de segurança apregoam. Não há necessariamente ganhos de eficiência nas práticas de segurança e muitos dos sistemas se tornam rapidamente obsoletos. Em geral, os custos são subestimados e os ganhos superestimados. Além disso, os sistemas costumam ter vieses contrários a determinadas populações, de modo que as falhas sociotécnicas aprofundam o problema da discriminação racial e não o oposto (Noble, 2018; Benjamin, 2019). Como resume Gabriel Pereira (2023), mau desempenho, erros e falhas técnicas comprometem as promessas de automatização atreladas às novas tecnologias de segurança: o “‘tecnosolucionismo’ não se concretiza de fato, pois estes são sistemas com todos os tipos de imprecisões, limitações, e uma diversidade de vieses”. O discurso de transformação na segurança pública através de tecnologias digitais seria, portanto, vazio.

3. Limitações analíticas e políticas da crítica a partir da falha

As análises descritas acima representam, em muitos aspectos, contribuições relevantes para iniciativas que visam resistir à disseminação de práticas punitivas. As preocupações que levantam acerca de erros, imprecisões e desvios têm suscitado questionamentos sobre o que as tecnologias realmente fazem, onde e como elas podem ser usadas e para quais propósitos. Contudo, a forma como organizações da sociedade civil (Nunes, 2019; Access Now, 2021; Nunes et al., 2022) e parte da literatura dos estudos de vigilância e da sociologia da violência (Pauschinger, 2017; Edler, 2019; Altenhain, 2020) se apropriam do argumento da “falha” tem limitações relevantes. Nesta seção, destaco dois problemas de ordem analítica e política.

Em primeiro lugar, ainda são comuns críticas que essencializam o atraso do contexto institucional brasileiro, atribuindo erros e desvios de função à incapacidade das polícias locais de se adequarem a certos padrões de modernização (Hönke e Muller, 2012). Como vimos anteriormente, o fato de não termos burocracias racionais e impessoais explicaria o fracasso dos projetos de reforma no campo da segurança pública (Beato e Ribeiro, 2016). De fato, como aponta Koerner (2001) acerca da implementação do modelo panóptico para casas de correção no Brasil do século XIX, não são novas as leituras acerca da precariedade de tecnologias de punição enquanto “deformações de um modelo, em virtude de ter sido malfeita a cópia de instituições europeias” (Koerner, 2001, p. 2012). Quando esses argumentos são traduzidos para o debate sobre importação de aparatos de vigilância e repressão, costumam sustentar análises que enfatizam a informalidade e o “jeitinho” das polícias brasileiras, que não se submetem facilmente aos imperativos da tecnologia (Mingardi, 1992; Nascimento, 2011), além das disputas institucionais que impedem a integração de sistemas e bases de dados (Bottino et al., 2020), tornando grande parte dos investimentos em “verdadeiros elefantes brancos tecnológicos” (Costa, 2019).

No entanto, não podemos perder de vista que corporações policiais nos Estados Unidos e na Europa também contestam, resistem, desvirtuam e adaptam os múltiplos sistemas de gestão, análise de desempenho e controle (Manning, 2011). Etnografias de salas de operação no Reino Unido, por exemplo, têm apontado os limites do “determinismo tecnológico” (Norris e Armstrong, 1999; Smith, 2015). Ao analisar as interações entre operadores e destes com os vídeos, as pesquisas destacam a relevância de procedimentos operacionais rotineiros e da interpretação subjetiva das imagens – além do cotidiano de um ambiente de trabalho que envolve fadiga, desinteresse e pressão por resultados – para o funcionamento de sistemas de vigilância. Em resumo, processos de desenvolvimento e implementação de novas tecnologias, longe de serem lineares, acabam necessariamente atravessados por contradições, disputas de poder e apropriações imprevistas (Akrich et al., 2002), de modo que “erros” e “desvios” não são nossas jabuticabas tecnológicas.

O foco em um suposto caráter arcaico e pré-moderno da polícia brasileira tende ainda a negligenciar que países do Sul Global são, desde o período colonial, espaços frequentes para testes de dispositivos de controle (Barder, 2015). A gestão de populações escravizadas, por exemplo, desenvolveu formas de classificação e segregação que deram os contornos de técnicas contemporâneas de identificação biométrica (Browne, 2015). Do mesmo modo, a experiência de combate nos territórios palestinos tem servido para desenvolver e dar credibilidade às tecnologias de segurança produzidas e exportadas pelas forças israelenses (Machold, 2015). Em outras palavras, argumentos que dão conta de uma espécie de déficit crônico de instituições de países periféricos ou que ressaltam fatores individuais, como os desvios de funcionários subalternos ou mesmo a falta de vontade política de governantes, perdem de vista que esses são os “laboratórios de segurança da modernidade” (Hönke e Muller, 2012, p. 387), onde práticas, aparatos e saberes germinam antes de se somarem às estratégias de repressão das populações subalternizadas nas metrópoles europeias e norte-americanas (Graham, 2010).

A partir deste argumento, não sugiro um enfoque no caráter transnacional de tecnologias policiais em detrimento de pesquisas que deem conta de particularidades locais. A análise de inovações tecnológicas não pode prescindir de um olhar atento ao processo de convergência de trajetórias políticas específicas, resiliência de práticas sociais locais, composição de interesses diversos e tentativas de resistência (Evangelista, 2017). Busco apenas alertar para o risco de leituras etnocêntricas que naturalizam o descompasso entre a vanguarda tecnológica e as retrógradas instituições brasileiras, relegando o país à condição perene de anomalia e desvio. Apontar as particularidades e ambiguidades inerentes ao uso de dispositivos de segurança no Brasil é fundamental para problematizar as relações de poder que estes perpetuam, mas é necessário cuidado para que a análise não reproduza os estereótipos de “tropicalização” da tecnologia (Altenhain, 2020).

A segunda limitação comum a essa literatura é que a identificação de falhas ou erros em aparatos punitivos por si só não impõe barreiras à sua disseminação. No setor empresarial, especialmente nas startups de tecnologia, falhar é visto como parte normal do processo de pesquisa e desenvolvimento (Lisle, 2017). Trata-se, na maioria dos casos, de um passo instrutivo no aperfeiçoamento de design do produto. Nesse contexto, a legitimidade de novas tecnologias de segurança não passa por reivindicações de ausência de erros, mas por processos contínuos de otimização. Como resume Leese (2015), a falha não é o avesso do sucesso, mas parte do risco embutido na trajetória da inovação.

Particularmente na engenharia, a falha não é vista como uma etapa terminal, mas sim como método viável para determinar uma forma particular pela qual as coisas não vão funcionar, o que implica na necessidade de redirecionar os esforços para soluções alternativas. A falha, no enquadramento do empreendedorismo, serve como inspiração e força motriz para catar os cacos, analisar o que deu errado e se esforçar para fazer melhor da próxima vez. A falha teria que ser pensada então como um mero “soluço” em uma rota pré-determinada ao sucesso. Bastaria investir tempo, esforço e recursos suficientes que o sucesso seria eventualmente alcançado (Leese, 2015, p. 277).⁶

No campo da ciência há também a compreensão de que a falha não é necessariamente um contratempo que imobiliza o pesquisador. Esta, quando vista no sentido de um problema de hipótese ou experimento, é a própria razão de ser da ciência moderna. Robert Merton (1987) fala em “ignorância específica”, aquela que cientistas reconhecem e apontam como o espaço de incerteza a ser analisado por pesquisas futuras. Quando escrevemos um projeto em busca de financiamento, por exemplo, é fundamental saber onde estão os limites da literatura que motivam novas abordagens sobre determinado objeto. Se não reconhecemos falhas em nossos sistemas de explicação do mundo, não há razão para mais pesquisas e mais investimento. Nesse campo, a admissão da falha e da ignorância, não é um pecado que prejudica a carreira, mas pode inclusive melhorar a reputação e apontar para as virtudes da sobriedade científica. Afinal, a ciência não é sobre a inexistência de erros, mas sobre a construção de mecanismos sistêmicos de avaliação e autocorreção (Ravetz, 1993).

Ou seja, tanto a inovação tecnológica quanto a pesquisa científica trabalham com uma noção “produtiva” da falha. Pesquisadores e empreendedores privados não a veem como uma crítica paralisante, já que o progresso ocorre na medida em que identificamos e ponderamos as falhas. Desse modo, aqueles que desenvolvem e vendem as tecnologias de segurança não precisam se contrapor às críticas. Basta o esforço de traduzi-las em limitações técnicas temporárias e percalços esperados para incorporá-las no processo de otimização de seus produtos.

Portanto, o desafio para um projeto crítico é que a falha revela a potencialidade de ganhos de precisão, o que justifica mais investimentos. Nessa perspectiva, se um algoritmo de identificação biométrica produz erros porque é treinado com bases de dados pouco diversas, não é preciso banir seu uso, como demandam alguns, mas coletar e catalogar mais imagens para mitigar vieses raciais e de gênero. Não por acaso, vemos uma proliferação de pesquisas que buscam métodos para aprimorar o desempenho das ferramentas justamente em rostos negros (Yucer et al., 2020). De fato, muitas das tecnologias digitais de segurança têm se aperfeiçoado com o tempo. A produção de câmeras com mais definição, capacidade de armazenamento e processamento de dados fez com que os sistemas de reconhecimento facial tenham atingido melhores níveis de precisão.⁷ Segundo avaliações da própria indústria, os índices de erros caíram, em média, de 4% para 0.2% (NIST, 2018).⁸ Mesmo que tomemos estes números com algum grau de ceticismo, denúncias sobre a abundância de falsos positivos parecem ter prazo de validade.

Indo além, entusiastas de sistemas de inteligência artificial no campo da punição têm sido hábeis em se apropriar das críticas acerca do racismo para não apenas se livrar de qualquer responsabilidade, mas ainda propagandear as vantagens de suas ferramentas. Nessa perspectiva, os vieses do sistema de justiça criminal são apontados como fatores estruturantes das sociedades contemporâneas, alimentando um conjunto de crenças e saberes que determinam práticas policiais. No entanto, se a subjetividade é um elemento incontornável, as inovações tecnológicas são mecanismos que amenizariam injustiças. Ao defender o uso de algoritmos de avaliação de risco de reincidência criminal, Hannah Fry (2018) produz um bom exemplo desses discursos.⁹ Segundo Fry (2018):

o resultado [do algoritmo] é enviesado porque a realidade é enviesada [...] A injustiça é construída nos sistemas humanos, [mas] ter um algoritmo – mesmo que um algoritmo imperfeito – trabalhando com juízes para apoiar sua cognição defeituosa é [...] um passo na direção correta (Fry, 2018, p. 61).¹⁰

Desse modo, simplesmente denunciar erros em tecnologias punitivas pode não ser o melhor caminho para uma reflexão crítica que seja capaz de informar movimentos de resistência. Se, por um lado, o argumento da falha suscitou debates sobre racismo algorítmico e gerou ruídos no processo de desenvolvimento e implementação de novos sistemas (Buolamwini e Gebru, 2018), empresas e profissionais de segurança acomodam muitas dessas críticas, o que pode ser visto nas reformas que incluem mais diversidade nos bancos de dados usados no treinamento dos algoritmos (NIST, 2019), mas também nas equipes de programação e desenvolvimento. É comum que, após serem acusadas de discriminação, empresas criem comitês de ética e publiquem relatórios de “boas práticas” ou “declarações de princípios” para suas aplicações algorítmicas (Mittelstadt, 2019). Mesmo que os relatórios contem, em geral, com pouca participação daqueles mais afetados pelas inovações tecnológicas e delineiem medidas muito abstratas, o que reduz seu impacto, eles ainda servem para aplacar críticos, reduzir danos de imagem e, fundamentalmente, garantir o curso das inovações.

Por fim, criticar tecnologias de segurança a partir do erro implica em assumir que há uma aplicação válida desses novos equipamentos que nos aguarda do outro lado da falha. Como apontam Aradau e Perret (2022, p. 423), a noção do “erro pressupõe e fomenta um sujeito vigilante, quase-científico, considerado capaz de gerar conhecimento objetivo e válido a partir da autocorreção”.¹¹ Um aprimoramento no sistema de identificação biométrica, por exemplo, acabaria com a discriminação racial e legitimaria seu uso. Fica subjacente que sistemas algorítmicos no campo da segurança são, em última instância, desejáveis. Se hoje eles falham, basta investir em mais pesquisa para corrigi-los. Assim, os erros se tornam um defeito temporário, não mais que um glitch a ser remendado com novos dados ou códigos de programação, e o futuro do algoritmo passa a ser o da otimização infinita (Broussard, 2023).

Portanto, o desafio de pesquisadores críticos e ativistas, não é só observar desvios e apontar defeitos técnicos nas tecnologias de segurança, mas entender seus efeitos. Quais são as implicações de sistemas de reconhecimento facial muito precisos? Como algoritmos de predição de crimes afetam a prática policial? O que eles geram em termos de técnicas de governo? Talvez essas sejam as questões mais urgentes a serem enfrentadas por um projeto crítico. Apontar a falha não basta, mas podemos usá-la para mostrar que novas tecnologias são constituídas a partir de relações de poder e operam dentro dos circuitos de acumulação de riqueza e violência.

4. Repolitizando a falha sociotécnica

Como apontado na seção anterior, algumas das críticas que partem da identificação de erros e falhas veem os resultados das ferramentas digitais apenas como uma questão técnica, ou um glitch que pode ser corrigido com algumas linhas de código. Assim, deslocam o debate sobre as implicações políticas de dispositivos de segurança e sobre como eles são usados para reduzir direitos, ignorando que os meios de opressão e exclusão que se perpetuam através das falhas são inerentes a seu contexto operacional e à forma como a indústria estabelece prioridades e delineia seu modelo de negócios (Aradau e Blanke, 2022).

Há, contudo, uma crescente literatura acerca das inovações no campo de tecnologias de segurança que busca justamente se afastar dos debates sobre otimização e accountability, repolitizando a crítica a partir da falha. Identifico aqui três caminhos para tal: foco nos limites analíticos do tecno-determinismo; interesse pelo erro não como déficit (i.e., o que faltou para a correção do sistema), mas sim como resultado de relações de poder e efeito de modos de governo; e a capacidade de explorar as frestas que se abrem quando tecnologias erram, quebram ou são desvirtuadas para observá-las enquanto composições sociotécnicas.

Em primeiro lugar, analisar as falhas ajuda a desmistificar o “tecnosolucionismo” que nutre discursos acerca do potencial transformador da tecnologia (Morozov, 2013), ao mesmo tempo em que aponta limitações de narrativas distópicas sobre a inevitabilidade da opressão inscrita nos aparatos técnicos.¹² Em outras palavras, os vários estudos de caso sobre erros e desvios em inovações de segurança servem de advertência tanto contra o fetiche pela tecnologia como condutora de práticas mais eficientes, quanto contra a crítica a novos dispositivos digitais de controle que antecipa e naturaliza seu impacto. Ambos reproduzem a noção simplista de “sobredeterminação técnica”, ignorando as “incontornáveis diferenças entre os discursos sobre as capacidades da tecnologia e as dificuldades e desafios trazidos por seu funcionamento prático” (Cardoso, 2011, p. 97). Como as múltiplas etnografias de práticas de vigilância apontam, enquanto os regimes de monitoramento “são desenvolvidos tendo em mente um propósito particular, eles normalmente evoluem de forma imprevisível” (Haggerty, 2006, p. 28), de modo que não podemos pressupor que as ferramentas policiais vão se comportar conforme estipulado pelos manuais de fábrica.¹³ As falhas permitem, portanto, observar a polissemia da produção tecnológica.¹⁴

Assim, se distanciar do determinismo tecnológico passa também por evitar o que Lee Vinsel (2021) chama de “criti-hype”, que “pega os enunciados sensacionalistas de empreendedores e desenvolvedores, os inverte, e começa a falar sobre os riscos”.¹⁵ Para o autor, o criti-hype gera dois problemas: (1) cria um ambiente informacional confuso que dá credibilidade à “bobagem da indústria” (industry bullshit), reproduzindo especulações sobre o potencial de novas tecnologias, e (2) alimenta preocupações hiperbólicas sem lastro em evidências, mas que nos distraem dos problemas reais do mundo, tirando foco de questões mais ordinárias da tecnologia e da infraestrutura que têm consequências sociais profundas. Ao questionar tanto a fé incauta no progresso tecnocientífico, quanto as distopias da opressão tecnológica, a crítica a partir da falha abre espaço para o debate sobre os complexos arranjos que interferem nos usos rotineiros de novas ferramentas. Como apontam Valverde e Mopas (2004):

A criminologia do controle social tende a ver qualquer inovação no policiamento ou nas formas de punição como mais um ardil do poder, outro exemplo de “expansão da rede”, ou mais combustível para o trem apressado do controle social [...]. [É preciso, contudo,] caminhar em uma linha tênue. Por um lado, reconhecendo os circuitos do “grande poder” e, por outro, estando atento à criatividade, fluidez e dinamismo da governança no terreno (Valverde e Mopas, 2004, p. 245).¹⁶

Em segundo lugar, o argumento da falha enquanto imperfeição ou incerteza tem neutralizado alguns aspectos da crítica ao racismo algorítmico, principalmente quando este opera através da produção de ignorância sobre determinado processo ou grupo social. Enquanto a sociologia da ciência e das técnicas aprendeu com Michel Foucault (1980) a analisar o nexo poder/saber, ainda costumamos negligenciar o nexo poder/não-saber. Porém, observar sistemas sociotécnicos a partir de como eles falham em identificar ou representar um fenômeno pode ajudar a entender como modos de governo operam através da produção de conhecimento acerca do crime e do criminoso, mas também como incerteza, ambiguidade, opacidade e erros são, em si, técnicas de governo (Aradau e Perret, 2022).

A ausência de dados de qualidade sobre uma população ou território é um exemplo de “ignorância estratégica” que pode legitimar práticas discriminatórias (McGoey, 2012; Camargo et al., 2021). Dados sobre vítimas de balas perdidas ou corrupção policial, virtualmente inexistentes nas estatísticas oficiais, poderiam informar tecnologias de análise criminal e gestão de patrulhas que considerassem os efeitos negativos do uso da força repressiva. No entanto, supostas falhas em considerar variáveis relevantes sobre a dinâmica da segurança pública não expressam algo que faltou ao sistema, nem representam um estado cognitivo de desrazão, mas são construções sociais que revelam interesses e relações de poder, constituindo formas particulares de (des)conhecimento que podem operar no sentido de produzir violência contra grupos marginalizados.

Uma das expressões desse fenômeno no campo da tecnologia é que o Charles Mills (2017) chamou de “ignorância branca”, quando as relações de dominação se mantêm pelo silenciamento das origens violentas das hierarquias raciais. No caso da vigilância biométrica, esse processo se revela na normalização de algumas características físicas, ou a universalização de um fenótipo particular, o que torna a identificação de singularidade entre “corpos desviantes” (i.e., não brancos) mais difícil.¹⁷ O resultado, como Buolamwini e Gebru (2018) apresentam, é que os principais sistemas de reconhecimento facial carregam forte viés demográfico, revelando que acurácia e erro não são atributos inerentes a tecnologias de identificação, mas construções que envolvem a encenação ou performance (enactment) dos corpos e de suas diferenças. Para ser mais exato, as falhas de identificação biométrica são, fundamentalmente, fruto da “branquitude metodológica”, ou a incapacidade de reconhecer que os padrões analíticos utilizados nesses sistemas representam uma perspectiva limitada (Bhambra, 2017).

Isto nos leva ao deslocamento da investigação crítica. Ao invés de analisar erros em si, cabe nos perguntarmos “como diferenças corpóreas são produzidas, usadas, problematizadas ou tornadas (ir)relevantes em práticas biométricas, tanto durante a fase de ‘pesquisa & desenvolvimento’ quanto em seu uso” (Kloppenburg e van der Ploeg, 2020, p. 59)?¹⁸ A questão, portanto, não é só olhar para os vieses raciais e de gênero que contaminam tecnologias de segurança, mas entender como a construção de sistemas sociotécnicos envolve a construção do próprio objeto da segurança e, por consequência, também da fonte da insegurança. No que tange a sistemas de identificação biométrica, esse interesse analítico recai sobre a produção da diferença entre corpos que permite a individualização e automatização do alvo policial (i.e., o elemento suspeito).

Nesse sentido, é importante que erros sejam vistos não simplesmente como desvios, faltas ou resquícios de subjetividade em vias de serem eliminados ou otimizados, mas como os próprios produtos da construção sociotécnica. Ou seja, falhas não são descobertas, mas feitas. Por isso, precisamos enfatizar como sua produção se torna também um problema político a ser abordado coletivamente, e não apenas um defeito em via de reparo nos laboratórios das empresas. Em outras palavras, entender a falha:

como algo que gera consequências compartilhadas e que precisa de regulação pública – versus um equívoco peculiar que demanda apenas diagnósticos e reparos privados – significa ver […] os erros de uma forma que resiste à individualização e a privatização das falhas. Significa entendê-los como colapsos estruturais e sistemáticos que revelam investimentos normativos e que demandam intervenções em nome do coletivo (Ananny, 2022, p. 346).¹⁹

Essa mudança de olhar nos leva ao terceiro aspecto político da crítica a partir da falha. A perspectiva de tecnologias de segurança enquanto agregados sociotécnicos (emaranhados de pessoas, modelos matemáticos, dados, formas de classificação, instituições e valores, mais do que códigos de programação) ajuda a compreender os vários interesses e “programas de ação” que estão em jogo no momento de sua constituição (Latour, 1994).

Essa perspectiva nos ajuda a compreender a própria forma como definimos a ontologia do erro (incluindo sua natureza e causas) e as opções de correção de rumo a partir de relações de poder. O erro em determinada tecnologia de segurança decorre de incentivos institucionais questionáveis? Ele deriva da ação de profissionais corruptos? É fruto de uma cultura de inovação que privilegia impermanência e otimização? Surge como resultado de problemas estatísticos causados pela negligência sobre vieses de origem e “feedback loops”? Dependendo de como respondemos a essas perguntas, distribuímos também as responsabilidades, desenhamos as alternativas de intervenção e apontamos para um horizonte político sobre consequências aceitáveis ou não da inovação tecnológica. Desse modo, a forma pela qual definimos o erro guia nossa ação, seja em prol de mais um techno-fix (Morozov, 2013) ou de uma crítica abrangente às práticas de segurança.

É por isso também que Silva (2021) faz uma importante distinção entre “algoritmos racistas” (racismo como falha em vias de correção) e a “algoritmização do racismo” (racismo como resultado de um programa de ação). Para o autor, falar em falhas sociotécnicas não implica simplesmente em apontar desvios em processos de inovação ou o insucesso em transformar práticas policiais, mas denunciar a “reprodução e intensificação maquínica das desigualdades [...], [além do] aumento da opacidade sobre relações raciais e as opressões decorrentes delas” (Silva, 2021, p. 162). Disso emana a necessidade de nutrir uma consciência crítica sobre tecnologias de segurança que ajude a desconstruir os mitos sobre atributos técnicos e neutros dos algoritmos e que se debruce sobre seu processo social de composição.

Lamentar a prisão de um inocente a partir do reconhecimento facial pode ligar um alerta para a inadequação momentânea dessa tecnologia, mas evidenciar os contextos políticos e sociais nos quais as inovações tecnológicas operam requer o esforço de repensar estruturas de criminalização e exclusão. Como apontam Valdivia et al. (2023, p. 3), em que pesem os esforços para a construção de sistemas mais precisos e transparentes, tecnologias de segurança “não podem ser justas se são empregadas em contextos que tem a intenção de discriminar”.²⁰

5. Conclusão

Questionar a eficácia e precisão de novas tecnologias de segurança têm sido uma das estratégias centrais de contestação dos dispositivos de controle que se disseminam nas cidades brasileiras. Muitos pesquisadores e organizações da sociedade civil apontam, com razão, que decisões sobre altos investimentos são tomadas a partir da propaganda das empresas privadas ou em resposta a casos midiáticos de violência, de modo que a ansiedade gerada pelo risco de vitimização e a ilusão do controle se tornam justificativas comuns para a adoção de novas tecnologias (Pauschinger, 2017; Edler, 2019; Access Now, 2021; Nunes et al., 2022). Assim, quando se revela que as tecnologias falham em reduzir a criminalidade ou que práticas repressivas são aplicadas seletivamente, é comum encontrar análises que lamentam “efeitos colaterais”, “consequências inesperadas”, ou meros “erros de percurso”. Contudo, se o padrão histórico vale para fazer uma previsão: as novas tecnologias de segurança vão continuar falhando, mas os investimentos não vão parar. Como vimos acima, a lógica de que aprendemos com a falha está no cerne da ciência moderna e da noção de progresso que anima empreendedores privados. O pressuposto é que a “próxima falha” será diferente, será melhor (Lisle, 2017).

Nesse sentido, apontar que um sistema apresenta falhas pode ser uma crítica reducionista, pouco eficaz e com prazo de validade. O exercício mais produtivo para um projeto crítico é pensar como a falha pode ser problematizada de forma a produzir ruídos em espaços antes silenciosos, abrir rachaduras em consensos. Inspirados em Foucault (2001, p. 74), podemos dizer que uma crítica da vida política da falha tecnológica deve mostrar como esta “se torna um problema, levanta discussões e debates, incita novas reações e induz uma crise em comportamentos, hábitos, práticas e instituições até então silenciosos”.²¹

A falha, enquanto dispositivo de crítica, deve abrir espaço para analisar a composição sociotécnica de novos sistemas de segurança, o que permite revelar o apagamento de elementos tradicionais de estratificação social nos discursos de objetividade maquínica, evidenciando que novas tecnologias de controle social são marcadas pelos imaginários de classe, raça e gênero. As tecnologias não só não estão livres desses condicionantes, mas congelam relações de poder em códigos de difícil contestação, eliminando os espaços de negociação interpessoal em que valores morais e práticas discriminatórias são resistidos e transformados. Em última análise, tendências punitivas das reformas policiais ganham força quando o debate sobre inovações nos mecanismos de controle se limita a apontar erros e desvios, negligenciando como eles impactam relações de poder e respondem ao desejo por um sistema de justiça retaliativo.

Politizar o erro nos ajuda, portanto, a torná-lo um problema público, uma controvérsia sobre modos de governo, e não mais um glitch que demanda apenas pequenos ajustes. Assim, impedimos que o “problema da segurança pública” seja abordado por soluções tecnocráticas que não recuam na lógica da inovação punitiva, mas, pelo contrário, dão um passo à frente na otimização de técnicas de controle e repressão. Em resumo, pensar sobre a falha requer refletir sobre as formas pelas quais tecnologias de segurança influenciam práticas de controle de corpos e fluxos, (re)produzindo fronteiras sociais na paisagem urbana, e não só ler os manuais de instrução dos novos equipamentos e produzir elogios ou críticas. Assim, a falha pode nos ajudar a situar a infraestrutura digital das formas contemporâneas de controle dentro das disputas do campo de segurança que envolvem demandas de grupos marginalizados, discursos punitivistas, pânicos morais, interesses privados e disputas institucionais.

• 1
  No campo de estudos de ciência e tecnologia (STS) há diferentes interpretações de “erros” e “falhas”. Enquanto os erros implicam em processos de “correção e continuidade”, da falha “decorrem a cessação e, talvez, em um momento posterior, as bases para novos começos” no processo de desenvolvimento tecnológico (Roberts, 2011, p. 190). No entanto, para efeito do debate proposto neste artigo, tomo erro e falha (além de outras caracterizações semelhantes como falta de precisão, viés e desvio) como categorias “nativas” (próprias da crítica às inovações sociotécnicas no campo da segurança pública), que são, em geral, empregadas de forma intercambiável.
• 2
  O levantamento da AI Incident Database está disponível em https://incidentdatabase.ai/, consultado em 01/08/2023.
• 3
  Este artigo não tem por objetivo apresentar um levantamento exaustivo acerca da produção recente de movimentos sociais sobre inovações tecnológicas (i.e., discursos de campanha e análises de conjuntura). Tampouco o artigo tem por pretensão avançar em uma revisão de literatura que esgote todas as tendências atuais nos campos de pesquisa de estudos de vigilância e da sociologia da violência. Para tal, seria necessário aplicar metodologias de revisão sistemática e outras técnicas de mapeamento bibliométrico que fogem do escopo e do interesse central deste artigo. Aqui, busco apenas qualificar um debate específico que tem surgido em ambos os espaços. Espero que o número e a relevância das fontes citadas sirvam de indicativo da recorrência do argumento acerca da “falha” entre os textos que abordam criticamente o tema.
• 4
  Traduzido pelo autor a partir do original em inglês.
• 5
  Entrevista realizada em 2017, no Rio de Janeiro, no âmbito da pesquisa de doutorado do autor.
• 6
  Traduzido pelo autor a partir do original em inglês.
• 7
  Traduzido pelo autor a partir do original em inglês.
• 8
  Uma avaliação de 127 algoritmos conduzida pelo National Institute for Standard and Technology (NIST), dos Estados Unidos, apontou que, entre 2014 e 2018, “os sistemas ficaram 20 vezes melhores em pesquisar uma base de dados e encontrar uma fotografia correspondente” (NIST, 2018).
• 9
  Muitos dos inovadores no campo da tecnologia de segurança pública não se veem como punitivistas. Pelo contrário, em muitos casos, são profissionais ou organizações da sociedade civil cuja intenção é tão somente usar avanços tecnocientíficos recentes para reduzir as arbitrariedades cometidas pelo sistema de justiça criminal. Assim, as novas tecnologias de controle e punição integram agendas de reformas apoiadas por governos ditos progressistas e ganham capilaridade em movimentos que advogam por isonomia e métodos mais objetivos de aplicação da lei (Crawford e Paglen, 2019).
• 10
  Traduzido pelo autor a partir do original em inglês.
• 11
  Traduzido pelo autor a partir do original em inglês.
• 12
  A paranoia de controle total também ignora os espaços de contestação que se abrem e são explorados pela população. De certo modo, essas análises negligenciam as múltiplas formas pelas quais populações excluídas encontram formas de resistir e construir laços e formas de sociabilidade autônomas. Como nos lembram Pollock e Subramaniam (2016, p. 952) “poder inevitavelmente produz resistência. Atores e movimentos progressistas têm se reequipado com as técnicas do poder tecnocientífico moderno” [traduzido pelo autor a partir do original em inglês].
• 13
  Traduzido pelo autor a partir do original em inglês.
• 14
  Ao observar novos aparatos de controle enquanto composições sociotécnicas, podemos escapar ao mesmo tempo de um relativismo raso, no qual indivíduos conscientes têm sua agência reafirmada por meios técnicos, e de abordagens que entendem a tecnologia como determinante único de relações sociais e culturais. Nos últimos anos, o campo de STS avançou nesse debate enfatizando que as perspectivas acima são reducionistas. Como aponta Latour (1999, p. 178), “o mito da ferramenta neutra sob completo controle humano e mito do Destino Autônomo que nenhum humano pode dominar são simétricos”. Nessa perspectiva, a agência (e o efeito prático da tecnologia) é uma propriedade emergente do agregado sociotécnico (assemblage), resultando das tentativas de estabilizar as relações (ganhando coerência), de inscrever outros atores e objetos na rede (traduzindo e incorporando seus interesses), e evitando que as múltiplas entidades que compõem o agregado sigam seus próprios programas de ação (se tornando duráveis).
• 15
  Traduzido pelo autor a partir do original em inglês.
• 16
  Traduzido pelo autor a partir do original em inglês.
• 17
  A discrepância de precisão se dá, entre outras razões, pois o espectro de luminosidade usado nos dispositivos de monitoramento é ajustado para peles brancas, o que faz com que pixels de peles negras sejam vistos como iguais. Os sistemas identificam pequenas variações/gradações em peles brancas, mas não em peles negras, o que atrapalha a identificação desses rostos. Outra dificuldade se revela nos padrões geométricos faciais. Quando os sistemas tomam rostos caucasianos como modelo, os algoritmos carregaram parâmetros (i.e., distância dos olhos, formato da mandíbula, traços do nariz) que universalizam esses fenótipos
• 18
  Traduzido pelo autor a partir do original em inglês.
• 19
  Traduzido pelo autor a partir do original em inglês.
• 20
  Traduzido pelo autor a partir do original em inglês.
• 21
  Traduzido pelo autor a partir do original em inglês.
• DOI: 10.1590/39017/2024

Bibliografia

• ACCESS NOW. (2021), Surveillance Tech in Latin America: Made Abroad, Deployed at Home Nova Iorque, Access Now.
• AKRICH, Madeleine; CALLON, Michel; LATOUR, Bruno. (2002), “The Key to Success in Innovation Part II: The Art of Choosing Good Spokespersons”. International Journal of Innovation Management, 6, 2:207-225. DOI: https://doi.org/10.1142/S1363919602000562
  » https://doi.org/10.1142/S1363919602000562
• ALTENHAIN, Claudio. (2020), “De New York à São Paulo: ‘tropicalisation’ de la surveillance numérique”, in C. Leterme. (org.), Impasses numériques: Points de vue du Sud Paris, Éditions Syllepse.
• ANANNY, Mike. (2022), “Seeing Like an Algorithmic Error: What are Algorithmic Mistakes, Why Do They Matter, How Might They Be Public Problems?”. Information Society Project New Haven, Yale Law School.
• ARADAU, Claudia; BLANKE, Tobias. (2021), “Algorithmic Surveillance and the Political Life of Error”. Journal for the History of Knowledge, 2, 1:1-13. DOI: https://doi.org/10.5334/jhk.42
  » https://doi.org/10.5334/jhk.42
• ARADAU, Claudia; BLANKE, Tobias. (2022), Algorithmic Reason: The New Government of Self and Other Oxford, Oxford University Press.
• ARADAU, Claudia; PERRET, Sarah. (2022), “The politics of (non-)knowledge at Europe’s borders: Errors, fakes, and subjectivity”. Review of International Studies, 48, 3:405-424. DOI: https://doi.org/10.1017/S0260210522000080
  » https://doi.org/10.1017/S0260210522000080
• BARDER, Alexander. (2015), Empire Within: International hierarchy and its imperial laboratories of governance Londres, Routledge.
• BATITUCCI, Eduardo. (2019), “Gerencialismo, estamentalização e busca por legitimidade: O campo policial militar no Brasil”. Revista Brasileira de Ciências Sociais, 34, 101:1-19. DOI: https://doi.org/10.1590/3410111/2019
  » https://doi.org/10.1590/3410111/2019
• BEATO, Cláudio; RIBEIRO, Ludmila. (2016), “Discutindo a reforma das polícias no Brasil”. Civitas, 16, 4174-204. DOI: https://doi.org/10.15448/1984-7289.2016.4.23255
  » https://doi.org/10.15448/1984-7289.2016.4.23255
• BENJAMIN, Ruha. (2019), Race After Technology: Abolitionist Tools for the New Jim Code Nova Iorque, Polity Press.
• BHAMBRA, Gurminder. (2017), “Brexit, Trump, and ‘methodological white-ness’: on the misrecognition of race and class”. British Journal of Sociology, 68, 1:214-232. DOI: https://doi.org/10.1111/1468-4446.12317
  » https://doi.org/10.1111/1468-4446.12317
• BOTTINO, Thiago; VARGAS, Daniel; PRATES, Fernanda. (2020), Os desafios da integração na segurança pública do Rio de Janeiro Rio de Janeiro, Editora FGV.
• BROUSSARD, Meredith. (2019), Artificial Unintelligence: How Computers Misunderstand the World Cambridge, The MIT Press.
• BROUSSARD, Meredith. (2023), More than a Glitch: Confronting Race, Gender, and Ability Bias in Tech Cambridge, The MIT Press.
• BROWNE, Simone. (2015), Dark Matters: On the Surveillance of Blackness. Durham, Duke University Press.
• BUOLAMWINI, Joy; GEBRU, Timnit. (2018), “Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification”. Proceedings of Machine Learning Research, 81, 1-15.
• CAMARGO, Alexandre; LIMA, Renato de; HIRATA, Daniel. (2021), “Quantificação, Estado e participação social: potenciais heurísticos de um campo emergente”. Sociologias, 23, 56:20-40. DOI: https://doi.org/10.1590/15174522-113100
  » https://doi.org/10.1590/15174522-113100
• CAMPANHA TIRE MEU ROSTO DA SUA MIRA. (2022), Mini-guia para juristas sobre o uso de tecnologias de reconhecimento facial na segurança pública São Paulo, Coalizão Direitos na Rede.
• CAMPELLO, Ricardo. (2021), Curto-circuito: monitoramento eletrônico e tecnopunição no Brasil Lisboa, Etnográfica Press.
• CARDOSO, Bruno. (2011), “Vigilantes eletrônicos no Rio de Janeiro: agenciamentos sociotécnicos e pesquisa em tecnologia”. Configurações, 8:97-108. DOI: https://doi.org/10.4000/configuracoes.820
  » https://doi.org/10.4000/configuracoes.820
• CARDOSO, Bruno. (2014), Todos os Olhos: Videovigilâncias, voyeurismos e (re)produção imagética Rio de Janeiro, Editora UFRJ.
• CARDOSO, Bruno. (2016), Segurança Pública e os Megaeventos no Brasil Rio de Janeiro, Fundação Heinrich Böll.
• COSTA, Arthur Trindade. (2019), Audiência Pública - Tecnologia de reconhecimento facial. Comissão de Ciência e Tecnologia, Comunicação e Informática, Câmara dos Deputados, 03 de abril. Disponível em https://www.youtube.com/watch?v=Oj9fvSXIdSk&t=402s/, consultado 26/01/2023.
  » https://www.youtube.com/watch?v=Oj9fvSXIdSk&t=402s/
• CRAWFORD, Kate; PAGLEN, Trevor. (2019), Excavating AI: The Politics of Training Sets for Machine Learning. Disponível em https://excavating.ai, consultado 06/11/2023.
  » https://excavating.ai
• DASTON, Lorraine. (1992), “Objectivity and the Escape from Perspective”. Social Studies of Science, 22, 4:597-618. DOI: https://doi.org/10.1177/030631292022004002
  » https://doi.org/10.1177/030631292022004002
• EDLER, Daniel. (2019), Reassembling Security Technologies: Police Practices and Innovations in Rio de Janeiro Tese de doutorado, King’s College London, Londres.
• EDLER, Daniel. (2021), “The Making of Crime Predictions: Sociotechnical Assemblages and the Controversies of Governing Future Crime”. Surveillance & Society, 19, 2:199-215. DOI: https://doi.org/10.24908/ss.v19i2.14261
  » https://doi.org/10.24908/ss.v19i2.14261
• EVANGELISTA, Rafael. (2017), Capitalismo de Vigilância no Sul Global: Por uma perspectiva situada. Anais do V Simpósio Internacional da LAVITS, Santiago de Chile, 29 de novembro a 1 de dezembro. Disponível em https://lavits.org/wp-content/uploads/2018/04/08-Rafael-Evangelista.pdf, consultado em 02/08/2023.
  » https://lavits.org/wp-content/uploads/2018/04/08-Rafael-Evangelista.pdf
• FOUCAULT, Michel. (1980), Power/Knowledge: Selected Interviews & Other Writings 1992–1977. Brighton, Harvester.
• FOUCAULT, Michel. (2001), Fearless Speech. Los Angeles, Simotext(e).
• FRY, Hannah. (2018), Hello World: How to be Human in the Age of the Machine Nova Iorque, W.W. Norton and Company.
• GAFFNEY, Christopher; ROBERTSON, Cerianne. (2018), “Smarter than Smart: Rio de Janeiro's Flawed Emergence as a Smart City”. Journal of Urban Technology, 25, 3:47-64. DOI: https://doi.org/10.1080/10630732.2015.1102423.
  » https://doi.org/ https://doi.org/10.1080/10630732.2015.1102423
• GASH, Tom. (2016), “We're safer than ever before, and it's all thanks to technology”. Wired, 27 dez. Disponível em https://www.wired.com/story/technology-fuels-crime-decline/, consultado em 05/02/2023.
  » https://www.wired.com/story/technology-fuels-crime-decline/
• GRAHAM, Stephen. (2010), Cities under Siege: The New Military Urbanism. Londres, Verso.
• HAGGERTY, Kevin. (2006), “Tear Down the Walls: On Demolishing the Panopticon”, in D. Lyon. (org.), Theorizing Surveillance: The Panopticon and Beyond Cullompton, Willan.
• HÖNKE, Jana; MÜLLER, Markus-Michael. (2012), “Governing (in)security in a postcolonial world: Transnational entanglements and the worldliness of ‘local’ practice”. Security Dialogue, 43, 5:383-401. DOI: https://doi.org/10.1177/0967010612458337
  » https://doi.org/10.1177/0967010612458337
• KLOPPENBURG, Sanneke; VAN DER PLOEG, Irma. (2020), “Securing identities: Biometric technologies and the enactment of human bodily diferences”. Science as Culture, 29, 1:57-76. DOI: https://doi.org/10.1080/09505431.2018.1519534
  » https://doi.org/10.1080/09505431.2018.1519534
• KOERNER, Andrei. (2001), “O impossível panóptico tropical-escravista: práticas prisionais, política e sociedade no Brasil do século XIX”. Revista Brasileira de Ciências Criminais, 35, 211-220.
• LATOUR, Bruno (1994), “On technical mediation – philosophy, sociology, genealogy”. Common Knowledge, 3, 2:29-64.
• LATOUR, Bruno. (1999), Pandora's Hope: Essays on the Reality of Science Studies Cambridge, Harvard University Press.
• LEESE, Matthias. (2015), “‘We were taken by surprise’: Body scanners, technology adjustment, and the eradication of failure”. Critical Studies on Security, 3, 3:269–282. DOI: https://doi.org/10.1080/21624887.2015.1124743
  » https://doi.org/10.1080/21624887.2015.1124743
• LISLE, Debbie. (2017), “Failing worse? Science, security and the birth of a border technology”. European Journal of International Relations, 24, 4:887-910. DOI: https://doi.org/10.1177/1354066117738854
  » https://doi.org/10.1177/1354066117738854
• MACHOLD, Rhys. (2015), “Reconsidering the laboratory thesis: Palestine/Israel and the geopolitics of representation”. Political Geography, 65, 88-97. DOI: https://doi.org/10.1016/j.polgeo.2018.04.002 .
  » https://doi.org/10.1016/j.polgeo.2018.04.002
• MAGNET, Shoshana. (2011), When Biometrics Fail: Gender, Race and the Technology of Identity Durham, Duke University Press.
• MANNING, Peter. (2011), The Technology of Policing: Crime Mapping, Information Technology, and the Rationality of Crime Control Nova Iorque, NYU Press.
• MCGOEY, Lisa. (2012), “Strategic unknowns: towards a sociology of ignorance”. Economy and Society, 41, 1:1-16. DOI: https://doi.org/10.1080/03085147.2011.637330.
  » https://doi.org/ https://doi.org/10.1080/03085147.2011.637330
• MERTON, Robert. (1987), “Three Fragments from a Sociologist's Notebooks: Establishing the Phenomenon, Specified Ignorance, and Strategic Research Material”. Annual Review of Sociology, 13, 1-29. DOI: https://doi.org/10.1146/annurev.so.13.080187.000245
  » https://doi.org/10.1146/annurev.so.13.080187.000245
• MILLS, Charles. (2017), Black Rights/White Wrongs: The Critique of Racial Liberalism Oxford, Oxford University Press.
• MINGARDI, Guaracy. (1992), Tiras, Gansos E Trutas: Cotidiano E Reforma Na Policia Civil. São Paulo, Página Aberta.
• MITTELSTADT, Brent. (2019), “Principles alone cannot guarantee ethical AI”. Nature Machine Intelligence, 1, 11:501–507. DOI: https://doi.org/10.1038/s42256-019-0114-4.
  » https://doi.org/ https://doi.org/10.1038/s42256-019-0114-4
• MOROZOV, Evgeny. (2013), To Save Everything, Click Here: Technology, Solutionism, and the Urge to Fix Problems that Don’t Exist Londres, Penguin.
• NASCIMENTO, Andréa. (2011), “A corrupção policial e seus aspectos morais no contexto do Rio de Janeiro”. Revista Brasileira de Segurança Pública, 5, 2:58-70. DOI: https://doi.org/10.31060/rbsp.2011.v5.n2.97.
  » https://doi.org/ https://doi.org/10.31060/rbsp.2011.v5.n2.97
• NIST. (2018), NIST Evaluation Shows Advance in Face Recognition Software’s Capabilities. Disponível em https://www.nist.gov/news-events/news/2018/11/nist-evaluation-shows-advance-face-recognition-softwares-capabilities, consultado em 18/04/2023.
  » https://www.nist.gov/news-events/news/2018/11/nist-evaluation-shows-advance-face-recognition-softwares-capabilities
• NIST. (2019), NIST Study Evaluates Effects of Race, Age, Sex on Face Recognition Software: Demographics study on face recognition algorithms could help improve future tools. Disponível em https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software, consultado em 18/04/2023.
  » https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software
• NOBLE, Safya. (2018), Algorithms of Oppression: How Search Engines Reinforce Racism Nova Iorque, NYU Press.
• NORRIS, Clive. (2011), “There’s No Success like Failure and Failure’s No Success at all: Some Critical Reflections on Understanding the Global Growth of CCTV Surveillance”, in A. Doyle; R. Lippert; D. Lyon. (org.), Eyes Everywhere: The Global Growth of Camera Surveillance. Londres, Routledge.
• NORRIS, Clive; ARMSTRONG, Gary. (1999), The Maximum Surveillance Society: The rise of CCTV Nova Iorque, Berg.
• NUNES, Pablo. (2019), “Exclusivo: levantamento revela que 90,5% dos presos por monitoramento facial no Brasil são negros”. The Intercept, 21 nov. Disponível em https://theintercept.com/2019/11/21/presos-monitoramento-facial-brasil-negros/, consultado em 12/10/2023.
  » https://theintercept.com/2019/11/21/presos-monitoramento-facial-brasil-negros/
• NUNES, Pablo; SILVA, Mariah; OLIVEIRA, Samuel. (2022), Um Rio de olhos seletivos: uso de reconhecimento facial pela polícia fluminense. Rio de Janeiro, CESeC.
• O GLOBO. (2019), “‘O comando não vai compactuar com desvios de conduta’, afirma secretário de Polícia Militar”. O Globo, 21 jan. Disponível em https://oglobo.globo.com/rio/o-comando-nao-vai-compactuar-com-desvios-de-conduta-afirma-se-cretario-de-policia-militar-23387952, consultado em 12/10/2023.
  » https://oglobo.globo.com/rio/o-comando-nao-vai-compactuar-com-desvios-de-conduta-afirma-se-cretario-de-policia-militar-23387952
• PAUSCHINGER, Dennis. (2017), Global Security Going Local: Sport Mega Event and Everyday Security Dynamics at the 2014 World Cup and the 2016 Olympics in Rio de Janeiro Tese de doutorado, University of Hamburg, Hamburgo e University of Kent, Canterbury.
• PEREIRA, Gabriel. (2023), “Vigilância algorítmica: banalidade e desvirtuamento de função”. Lavits, 12 jun. Disponível em https://lavits.org/vigilancia-algoritmica-banalidade-e-desvirtuamento-de-funcao-com-gabriel-pereira/, consultado em 13/06/2023.
  » https://lavits.org/vigilancia-algoritmica-banalidade-e-desvirtuamento-de-funcao-com-gabriel-pereira/
• PERON, Alcides; ALVAREZ, Marcos. (2021), “O Governo da Segurança: Modelos Securitários Transnacionais e Tecnologias de Vigilância na Cidade de São Paulo”. Lua Nova, 114:175-212. DOI: https://doi.org/10.1590/0102-175212/114
  » https://doi.org/10.1590/0102-175212/114
• POLLOCK, Anne; SUBRAMANIAM, Banu. (2016), “Resisting Power, Retooling Justice: Promises of Feminist Postcolonial Technosciences”. Science, Technology, & Human Values, 41, 6:951-966. DOI: https://doi.org/10.1177/0162243916657879
  » https://doi.org/10.1177/0162243916657879
• RATCLIFFE, Jerry. (2002), “Intelligence-Led Policing and the Problems of Turning Rhetoric into Practice”. Policing and Society, 12, 1:53-66. DOI: https://doi.org/10.1080/10439460290006673
  » https://doi.org/10.1080/10439460290006673
• RAVETZ, Jerome. (1993), “The sin of science: Ignorance of ignorance”. Science Communication, 15, 2:157-165. DOI: https://doi.org/10.1177/107554709301500203
  » https://doi.org/10.1177/107554709301500203
• RICHARDSON, Rashida; SCHULTZ, Jason; CRAWFORD, Kate. (2019), “Dirty Data, Bad Predictions: How Civil Rights Violations Impact Police Data, Predictive Policing Systems, and Justice”. NYU Law Review, 94, 192:15-55.
• ROBERTS, John. (2011), The Necessity of Errors Londres, Verso.
• SILVA, Tarcízio. (2021), Racismo algorítmico: inteligência artificial e discriminação nas redes digitais São Paulo, SESC.
• SMITH, Gavin. (2015), Opening the Black Box: The Work of Watching. Abingdon, Routledge.
• VALDIVIA, Ana; SERRAJÒRDIA, Júlia; SWIANIEWICZ, Aneta. (2023), “There is an elephant in the room: towards a critique on the use of fairness in biometrics”. AI and Ethics, 3, 4:1407-1422. DOI: https://doi.org/10.1007/s43681-022-00249-2
  » https://doi.org/10.1007/s43681-022-00249-2
• VALVERDE, Mariana; MOPAS, Michael. (2004), “Insecurity and the dream of targeted governance”, in W. Larner; W. Walters. (org.), Global governmentality: Governing international Spaces Londres, Routledge.
• VINSEL, Lee. (2021), “You’re Doing It Wrong: Notes on Criticism and Technology Hype”. Medium, 1 fev. Disponível em https://sts-news.medium.com/youre-doing-it-wrong-notes-on-criticism-and-technology-hype-18b08b4307e5, consultado em 13/06/2023.
  » https://sts-news.medium.com/youre-doing-it-wrong-notes-on-criticism-and-technology-hype-18b08b4307e5
• YUCER, Seyma; AKÇAY, Samet; AL-MOUBAYED, Noura; BRECKON, Toby. (2020), Exploring Racial Bias within Face Recognition via per-subject Adversarially-Enabled Data Augmentation. Anais do Conference on Computer Vision and Pattern Recognition, online Disponível em https://openaccess.thecvf.com/content_CVPRW_2020/papers/w1/Yucer_Exploring_Racial_Bias_Within_Face_Recognition_via_Per-Subject_Adversarially-Enabled_Data_CVPRW_2020_paper.pdf, consultado em 02/08/2023.
  » https://openaccess.thecvf.com/content_CVPRW_2020/papers/w1/Yucer_Exploring_Racial_Bias_Within_Face_Recognition_via_Per-Subject_Adversarially-Enabled_Data_CVPRW_2020_paper.pdf

Datas de Publicação

• Publicação nesta coleção
  07 Out 2024
• Data do Fascículo
  2024

Histórico

• Recebido
  14 Nov 2023
• Aceito
  20 Maio 2024