Transparência e accountability de algoritmos governamentais: o caso do sistema eletrônico de votação brasileiro

Transparencia y accountability de algoritmos gubernamentales: el caso del sistema electoral electrónico brasileño

Resumo

Nos últimos anos, uma série de movimentos de dados abertos tem surgido ao redor do mundo, assegurando aos cidadãos mais oportunidades para acessar informações, sendo a transparência um fator associado à confiança nas organizações públicas e no governo. A transparência em algoritmos traduz-se no conhecimento dos passos realizados e critérios adotados para a obtenção de determinado resultado. O objetivo deste estudo consiste em identificar as características de transparência e accountability do sistema eletrônico de votação brasileiro. Por meio do estudo de caso, foram confrontadas recomendações e boas práticas de transparência - que propiciam controle e fiscalização por parte da sociedade em algoritmos - com as particularidades do sistema de votação eletrônico brasileiro. Este estudo avança na discussão da influência das novas tecnologias na democracia, situando o sistema eletrônico de votação brasileiro nos limites da transparência e accountability de algoritmos e do governo em geral.

Palavras-chave:
Governo eletrônico; Governança digital; Urna eletrônica; Boas práticas; Princípios

Resumen

En los últimos años, han surgido varios movimientos de datos abiertos en todo el mundo, que garantizan a los ciudadanos más oportunidades para acceder a la información, y la transparencia es un factor asociado con la confianza en las organizaciones públicas y el gobierno. La transparencia en los algoritmos se traduce en el conocimiento de los pasos realizados y los criterios adoptados para obtener un resultado determinado. El objetivo de este estudio es identificar las características de transparencia y responsabilidad del sistema electoral electrónico brasileño. A través del estudio de caso, las recomendaciones y las buenas prácticas de transparencia se confrontaron con las particularidades del sistema electoral electrónico brasileño, que proporciona control y supervisión por parte de la sociedad en algoritmos. Este estudio avanza en la discusión sobre la influencia de las nuevas tecnologías en la democracia, colocando el sistema electoral electrónico brasileño dentro de los límites de transparencia y responsabilidad de los algoritmos y del gobierno en general.

Palabras clave:
Gobierno electrónico; Gobernanza digital; Urna electrónica; Buenas prácticas; Principios

Abstract

In recent years a number of open data movements have emerged around the world, ensuring citizens more opportunities to access information, transparency being a factor associated with trust in public organizations and government. The transparency in algorithms translates into the knowledge of the steps performed and the criteria adopted to obtain a certain result. The objective of this study is to identify the characteristics of transparency and accountability of the Brazilian electronic voting system. Through the case study, recommendations and good practices of transparency in algorithms were examined with the particularities of the Brazilian electronic voting system, which provides control and oversight to society. This study advances the discussion on the influence of new technologies on democracy, placing the Brazilian electronic voting system within the limits of transparency and accountability of algorithms and the government in general.

Keywords:
Electronic governing; Digital governance; Electronic ballot; Good practices; Principles

INTRODUÇÃO

Nos últimos anos, uma série de movimentos de dados abertos tem surgido ao redor do mundo (ATTARD, ORLANDI, SCERRI et al., 2015). Os cidadãos têm tido mais oportunidades para buscar e acessar informações diretamente no governo, sendo a transparência um fator associado à confiança da população nas organizações públicas e no governo (ALBU e FLYVERBOM, 2016).

Nesse contexto, a transparência é compreendida como disponibilidade de informações, que permite aos atores externos monitorarem o desempenho, na perspectiva da participação dos cidadãos no processo, e, consequentemente, sua capacidade de avaliar as ações das autoridades (GRIMMELIKHUIJSEN e WELCH, 2012). Embora não haja consenso nas abordagens sobre o que seja transparência, o campo de pesquisa tem em comum a reflexão sobre em que medida as partes interessadas têm acesso e entendimento semelhantes às informações necessárias sem perda, ruído, atraso ou distorção (PAPENFUSS e SCHAEFER, 2015). Accountability consiste no dever de um indivíduo ou organização de responder de alguma forma sobre como eles conduziram suas ações (HOOD, 2010). Transparência e accountability são construtos que possuem estreita ligação, sendo a transparência um dos componentes do processo de accountability no setor público (VASCONCELLOS, LUNKES e TALIANI, 2018).

Discussão recente tem sido travada em relação à transparência dos algoritmos que estão sendo utilizados na tomada de decisões e incorporados em sistemas públicos, como os de transporte, saúde e de policiamento (FINK, 2018). Os algoritmos consistem em um conjunto estruturado de comandos de sistemas informatizados, destinados a processar instruções e informações para gerar um resultado, sendo certo que, nas sociedades da informação, as atividades, escolhas e decisões anteriormente tomadas por humanos estão cada vez mais sendo atribuídas a algoritmos, que podem aconselhar e, por vezes, decidir sobre como os dados devem ser interpretados e quais ações serão adotadas (MITTELSTADT, ALLO, TADDEO et al., 2016).

Os algoritmos têm se tornado cada vez mais autônomos e invisíveis, dificultando ao público o exame e a identificação de sua imparcialidade, introduzindo, por vezes, viés inadvertido, reforçando discriminações históricas, favorecendo uma orientação política ou reforçando práticas indesejáveis (JANSSEN e KUK, 2016). Segundo a World Wide Web Foundation (2017, p. 16), tornar um algoritmo mais accountable “significa garantir que os danos possam ser avaliados, controlados e corrigidos”.

Os estudos de Fink (2018) sobre a transparência dos algoritmos utilizados pelo governo americano indicaram que suas políticas e práticas relacionadas à divulgação de algoritmos são inconsistentes, sendo necessário mecanismos mais efetivos para promoção de accountability e pesquisas futuras que situem a transparência de algoritmos no debate acerca dos limites do accountability e do governo em geral. Ananny e Crawford (2018) identificaram limitações da transparência e propuseram um ponto de partida para um modelo de accountability dos algoritmos. Nota-se, portanto, a prevalência de estudos teóricos nesse campo (MACHADO, 2018), relevando a importância de se levarem a cabo pesquisas empíricas sobre transparência de algoritmos.

O objetivo deste estudo consiste em identificar as características de transparência e accountability do sistema eletrônico de votação brasileiro, que tem sido considerado uma experiência inovadora no uso de tecnologias da informação e comunicação aplicadas na gestão pública (BALBE, 2014).

Neste artigo contextualiza-se a importância do tema na moderna sociedade da informação, na perspectiva das novas tecnologias e democracia, governança digital e transparência e accountability de algoritmos. Em seguida, são descritos os passos metodológicos da pesquisa. Após o que, expõem-se o modelo e as dimensões de análise propostos, confrontando-o com as particularidades do sistema de votação eletrônico brasileiro. Por fim, são apresentados os resultados do estudo de caso, sugerindo uma agenda de pesquisa futura sobre a transparência dos algoritmos utilizados no setor público.

Governança Digital

As novas tecnologias têm o potencial de construir uma nova relação entre governantes e cidadãos, possibilitando uma administração pública mais eficiente, democrática e transparente (GUIMARÃES e MEDEIROS, 2005).

Nesse sentido, a governança no setor público pode ser definida, segundo Lane (2000), como um conjunto de teorias sobre como os governos se articulam para prover serviços à sociedade. A governança pública tem sido entendida como um processo pelo qual instituições, organizações e cidadãos se guiam, tratando da interação entre setor público e sociedade e de como esta se organiza para a tomada de decisões coletiva, a fim de que sejam providos mecanismos transparentes para que tais decisões se materializem (UNITED NATIONS, 2002).

A governança eletrônica ou digital, por sua vez, refere-se ao modo como a internet pode melhorar a capacidade do Estado de governar e formular suas políticas, sendo definida como a utilização pelo setor público de tecnologias de informação e comunicação inovadoras, como a internet, para oferecer aos cidadãos serviços de qualidade, informação confiável e mais conhecimento, visando facilitar-lhes o acesso aos processos de governo e incentivar sua participação (UNITED NATIONS, 2002).

Segundo Grande, Araujo e Serna (2002), a governança eletrônica tem sido estudada por meio de três modelos analíticos denominados (a) e-administração: relacionada à prestação de serviços; (b) e-democracia: relacionada ao incentivo à consulta e extensão de processos democráticos e (c) e-governança: relacionada à dinamização de processos de elaboração de políticas públicas. Para Okot-Uma (2000, p. 5), a governança eletrônica envolveria “[...] novos estilos de liderança, novas maneiras de acessar serviços [públicos], novas maneiras de ouvir os cidadãos [...] e novas maneiras de organizar e fornecer informações”.

As pressões para que as organizações públicas atuem com eficiência, eficácia, transparência e mecanismos de controle e prestação de contas acarretaram a adoção de modelos de gestão fundados em transparência e com foco em resultados, sendo os recursos de tecnologias da informação e comunicação (TIC) instrumentos essenciais nessa estratégia (BARBOSA, FARIA e PINTO, 2007).

Transparência e accountability

A transparência consiste na disponibilidade de informações sobre uma organização, o que permite aos atores externos monitorarem o funcionamento interno ou o seu desempenho, sendo cada vez mais vista como uma marca da boa governança (RUIJER e MEIJER, 2016). A transparência é considerada uma condição para a accountability - frequentemente associada ao conceito de responsabilidade - e requisito fundamental da boa governança (GOEDE e NEUWIRTH, 2014).

O termo accountability tem sido utilizado na literatura norte-americana, e em grande parte na nacional, para abordar questões relativas à prestação de contas dos governantes e da sua responsabilização democrática (PRADO, 2009). Abrucio e Loureiro (2004) definem accountability democrática como a construção de mecanismos institucionais por meio dos quais os governantes são constrangidos a responder por seus atos perante os governados.

Segundo a Organização das Nações Unidas, accountability é um dos pré-requisitos para a democracia e boa governança, de modo que governantes e servidores públicos respondam por seus atos e decisões. Nessa linha, accountability presta-se a identificar quem é responsável pelo que e que conduta é ilegal (UNITED NATIONS, 2006).

Raupp e Pinho (2013) apontam que o conceito de accountability pode ser percebido à luz das dimensões da transparência, participação e prestação de contas.

A transparência pode ser entendida como uma regra de conduta a ser seguida pelos agentes públicos, de forma que suas ações sejam abertas à sociedade e possibilitem o controle social por parte dos cidadãos e das instituições (FOX, 2007). Grimmelikhuijsen e Welch (2012) propõem uma definição abrangente de transparência que considere a relação entre Estado e cidadão e a possibilidade de avaliação das atividades estatais.

Ruediger (2003) aquilata a importância da participação social afirmando que o potencial democrático das novas tecnologias depende de uma exigência maior da sociedade civil por transparência e participação. Akutsu e Pinho (2002, p. 732) pontuam que “[...] sem uma sociedade civil organizada, os gestores públicos não se sentirão obrigados a promover a accountability”.

Accountability envolve “[...] responsabilidade (objetiva e subjetiva), controle, transparência, obrigação de prestação de contas, justificativas para as ações que foram ou deixaram de ser empreendidas, premiação e/ou castigo” (RAUPP e PINHO, 2014, p. 145). Para Mainwaring e Welna (2003), accountability ou a prestação de contas por parte de um agente público possui três elementos principais: (i) transparência entendida como disponibilização de informações (answerability), (ii) responsividade entendida como demandas de informações e respectiva responsabilização pelos atos (responsiveness), e (iii) capacidade de sanção e coerção para que o acesso à informação seja assegurado (enforcement).

Meijer (2014) ensina que o valor instrumental da transparência está frequentemente relacionado a accountability, servindo como pré-requisito para a fase de informação de qualquer processo seu. Nesse particular, autores como Fox (2007), Hood (2010) e Meijer (2014)propõem modelos de análise específicos para estudar a relação entre transparência e accountability.

No cenário brasileiro, Campos (1990), em artigo seminal, apontou a dificuldade na tradução do conceito de accountability para o português. Relacionou-o à necessidade de proteger os cidadãos da má conduta burocrática e constatou que a ausência de mecanismos de responsabilização pública devia-se ao padrão pouco democrático de relação existente entre Estado e sociedade. Pinho e Sacramento (2009), revisitando o texto de Campos, destacaram que o conceito de accountability envolve responsabilidade, controle, transparência, obrigação de prestação de contas. Concluem que se pôde perceber uma evolução institucional e cultural a favor do aumento de accountability. Loureiro, Teixeira e Prado (2008) indicaram a relevância do estudo empírico da transparência governamental associado ao debate sobre accountability, em um contexto de construção e aperfeiçoamento de instituições democráticas.

Neste estudo, adotaremos o escopo da definição proposta por Hood (2010): accountability consiste no dever de um indivíduo ou organização de responder de alguma forma sobre como eles conduziram suas ações.

Transparência e Accountability de Algoritmos Governamentais

Algoritmos estão cada vez mais presentes nas operações do governo e, consequentemente, nas decisões governamentais, tornando-as mais efetivas e, ao mesmo tempo, mantendo em sigilo informações em “caixas-pretas” (PASQUALE, 2015). Kroll (2015) aponta que decisões importantes sobre as pessoas estão sendo tomadas por algoritmos: contagem de votos, impugnação de votações, concessão de auxílios financeiros, seleção de contribuintes para auditoria, de passageiros para serem fiscalizados e até decisões sobre concessão de crédito.

Os algoritmos não são instruções simples e objetivas (WILLSON, 2017), são fundamentados em percepções e entendimentos decorrentes da sociedade e não em leis tangíveis, globais e fixas (EISCHEN, 2003). Os algoritmos contêm vieses que podem refletir práticas discriminatórias na sociedade, decorrer de limitações de sistemas de computação ou serem percebidos somente após a interação com os usuários (FRIEDMAN e NISSENBAUM, 1996).

Os algoritmos ou alguns de seus inputs podem ser secretos, a implementação pode ser secreta ou o processo não estar precisamente descrito, motivo pelo qual haverá dificuldade na fiscalização caso um cidadão ou uma autoridade suspeite de algo errado ou deseje verificar se as decisões estão sendo adotadas de acordo com a política em vigor. Os cidadãos e a sociedade têm interesse em tornar esses processos mais transparentes, visto que as bases em que essas decisões são tomadas raramente estão disponíveis ao público (KROLL, 2015).

Os algoritmos que amparam o processo eletrônico de votação podem ser divididos em três grupos: pré-votação, votação e pós-votação. No primeiro, os algoritmos se prestam à validação dos eleitores aptos a votar, validação das candidaturas registradas, verificação e garantia de inviolabilidade das urnas eletrônicas. No segundo, as instruções algorítmicas validam a identidade e as credenciais do eleitor e realizam a contagem e armazenamento dos votos de forma a assegurar o respectivo sigilo. Por fim, cabe aos algoritmos verificar se as urnas não foram adulteradas, comparar os votos registrados com o cadastro de eleitores e a carga de dados de cada urna, permitir a recontagem dos votos quando necessário, garantir a integridade da votação em caso de necessidade de troca da urna, totalizar os resultados e realizar os cálculos inerentes à legislação eleitoral como na representação proporcional (STOICA e GHILIC-MICU, 2016).

Assim, é fundamental tornar os algoritmos mais transparentes para a comunidade em geral, incluindo desenvolvedores, usuários e aqueles afetados pelos seus resultados, a fim de identificar e lidar com vieses, sendo certo que essa matéria ganha relevância à medida que os algoritmos são modificados e se tornam mais complexos, concentrando o poder nas mãos de pessoas que compreendem seu funcionamento (JANSSEN e KUK, 2016).

A normatização algorítmica tem incitado uma série de preocupações sobre a responsabilidade, imparcialidade e a autonomia desse processo, e tem sido agravada pela rigidez dos sistemas computacionais, responsáveis por uma grande variedade de decisões na vida das pessoas (ZIEWITZ, 2015), que tendem a aceitar que os processos automatizados são verdadeiros e precisos (CITRON, 2007).

A transparência pode corrigir erros em qualquer processo algorítmico, promovendo a eficiência e permitindo que os indivíduos corrijam dados imprecisos que foram coletados a seu respeito. Dessa forma, a transparência também traz o escrutínio que pressionará as agências a melhorarem suas práticas, pelo que os processos transparentes serão mais precisos e, portanto, eficientes (ZARSKY, 2016).

Judith Donath, da Harvard University’s Berkman Klein Center for Internet & Society, lamenta a falta de transparência dos sistemas, e adverte:

O perigo da maior dependência de algoritmos é que o processo de tomada de decisão se torne oracular: opaco e indiscutível. A solução é design. O processo não deve ser uma caixa preta na qual nós alimentamos dados e sai uma resposta, mas um processo transparente projetado não apenas para produzir um resultado, mas para explicar como surgiu esse resultado. Os sistemas devem ser capazes de produzir textos e gráficos claros e legíveis que ajudem os usuários - leitores, editores, médicos, pacientes, solicitantes de empréstimos, eleitores etc. - a entender como a decisão foi tomada (ANDERSON e RAINIE, 2017, p. 22).

Além de dar acesso a informações, para serem transparentes, as organizações precisam garantir a compreensão dos cidadãos sobre o que está acontecendo e como as informações são geradas e usadas (NUNES, CAPPELLI e RALHA, 2017).

O conceito de accountability de algoritmos começou a surgir em razão da possibilidade de danos e discriminação por eles ocasionados. O conceito de accountability já discutido, quando aplicado aos algoritmos, tem sido muitas vezes confundido com transparência. Transparência é um componente essencial para accountability, permitindo que cidadãos, consumidores, jornalistas, organizações de fiscalização verifiquem e compreendam entradas, processos e saídas de um complexo sistema algorítmico para identificar evidências de danos e adotar providências de reparação, se for o caso (DIAKOPOULOS, 2014). Segundo a World Wide Web Foundation (2017, p. 16), tornar um algoritmo mais accountable “[...] significa garantir que os danos possam ser avaliados, controlados e corrigidos”.

Método de Pesquisa

Este estudo, de abordagem qualitativa, guia-se pelo método de estudo de caso (YIN, 2001), de forma a investigar o fenômeno da interação entre as novas tecnologias e a democracia, compreendendo as características de transparência e accountability do sistema eletrônico de votação brasileiro.

A seleção do sistema eletrônico de votação brasileiro como caso a ser estudado deve-se à relevância do serviço público envolvido - eleições nacionais e regionais -, bem como ao interesse da comunidade em perceber a transparência do sistema e respectiva possibilidade de fiscalizar a lisura de seu funcionamento.

As novas tecnologias de comunicação e informação propiciaram o surgimento da chamada democracia eletrônica, ou e-democracia, cuja manifestação mais importante é o sistema de votação eletrônico (FREITAS e MACADAR, 2017). A urna eletrônica brasileira tem sido considerada uma experiência inovadora no uso de tecnologias da informação e comunicação aplicadas na gestão pública (BALBE, 2014). No entanto, muitas vezes a falta de transparência do sistema de votação reflete-se na falta de confiança do eleitor no resultado da apuração (ACHIENG e RUHODE, 2013).

A coleta de dados foi baseada em três fontes, de maneira a se traçar uma linha convergente de pesquisa entre as diversas evidências coletadas (YIN, 2001). A primeira refere-se a percepções e relatos de especialistas sobre o sistema eletrônico de votação, colhidos em entrevistas concedidas a veículos de imprensa. A segunda compõe-se de análise documental - artigos científicos, relatórios e documentos de organizações governamentais e não governamentais versando especialmente sobre transparência e accountability no contexto da governança digital no setor público. Por fim, utilizou-se como fonte de evidência documental a legislação eleitoral brasileira, que regula a unidade de análise estudada.

Dessa forma, com a prospecção de distintas fontes de evidência, foi empregada a estratégia de triangulação, no intuito de estabelecer um encadeamento de achados (FLICK, 2009; YIN, 2001). A triangulação por fontes de evidência efetiva-se quando a coleta de dados ocorre sobre o mesmo aspecto do fenômeno, permitindo a busca de convergências e divergências (BRUNING, GODRI e TAKAHASHI, 2018)bem como atribuir maior confiabilidade e fidedignidade aos Estudos de Caso e discutem-se cinco modalidades de triangulação: (i. Dessa forma, o uso de múltiplas fontes assegura maior credibilidade e reduz a possibilidade de viés na pesquisa (EISENHARDT, 1989).

O Quadro 1 consolida o elenco de especialistas (três vinculados à Justiça Eleitoral e três atores externos) cujas percepções e relatos foram considerados, em entrevistas concedidas à imprensa, abordando o sistema eletrônico de votação e suas características, especialmente quanto a aspectos de transparência, segurança e confiabilidade.

Quadro 1
Elenco de especialistas

A seleção dos artigos científicos foi realizada em três fases. A busca, conduzida em novembro de 2018, baseou-se nos diretórios disponibilizados pela CAPES e Google Scholar, utilizando como palavras-chave os termos “e-voting”, “algorithm”, “transparency”, “public services” e “accountability” no título, assunto ou palavras-chave, sem restrição quanto ao ano de publicação, haja vista se tratar de temática recente. Foram identificados 3.760 estudos. O refinamento da seleção levou em consideração os trabalhos relativos a transparência e accountability de novas tecnologias aplicadas no setor público.

Adicionalmente foram realizadas buscas com as mesmas palavras-chave, utilizando a ferramenta de busca Google, que resultou na seleção de documentos publicados por organizações que se dedicam ao estudo da transparência de algoritmos e sistemas em geral (ACM, 2017; DIAKOPOULOS, FRIEDLER, ARENAS et al., 2016; WORLD WIDE WEB FOUNDATION, 2017) e no contexto da administração pública (STATS NZ, 2018). A análise do conteúdo desses documentos conduziu à construção do modelo de análise constante da Figura 1, que contém sete dimensões descritas no Quadro 2.

Figura 1
Modelo de análise de transparência e accountability de algoritmos

Com a análise documental sobre a legislação brasileira que rege a política nacional de governança digital (BRASIL, 2016a, 2018) e dos regulamentos eleitorais que regem o processo eletrônico de votação (TSE, 2018), foram identificadas e categorizadas as práticas adotadas pelo sistema brasileiro de votação que tendem a deixá-lo mais transparente e accountable. A possibilidade de análise de leis, decretos e resoluções como fonte para esse tipo de pesquisa é elencada por May (2004). Richardson (2012, p. 228) observa que a pesquisa documental “[...] tem como objeto não os fenômenos sociais, quando e como se produzem, mas as manifestações que registram estes fenômenos e as ideias elaboradas a partir deles. Semelhante à análise de conteúdo, a pesquisa documental exige a codificação da informação e o estabelecimento de categorias”.

As práticas e características de transparência e accountability do sistema de votação eletrônico brasileiro foram analisadas e categorizadas à luz do modelo de análise descrito na Figura 1, resultando na consolidação apresentada no Quadro 4. Considerou-se que foi atendida a prática ou característica do sistema que se coadunava com o item de análise, já aquela que aborda um ou mais aspectos do item foi considerada parcialmente atendida. A inexistência de prática relativa ao item analisado foi considerada não atendida. Por fim, os itens de avaliação que não se coadunam com a unidade de análise avaliada (sistema eletrônico de votação brasileiro) foram enquadrados como “não se aplica”.

A análise dos dados foi baseada na técnica de análise de conteúdo (BARDIN, 2016), com pré-análise dos textos de documentos objetivando selecionar aspectos relevantes, estes analisados por meio de inferência e interpretação, caracterizando os elementos temáticos mais significativos.

RESULTADOS E DISCUSSÃO

Nesta seção serão discutidos os resultados do estudo de caso à luz do modelo de análise disposto na Figura 1, cujas dimensões estão sintetizadas no Quadro 2. A avaliação dos algoritmos e sistemas utilizados em serviços públicos digitais com o auxílio do modelo de análise permite verificar se o objeto analisado apresenta o comportamento esperado, livre de erros, viés ou discriminação.

Quadro 2
Dimensões de análise de transparência de algoritmos

O quadro 3 sumariza, com base nos dados consolidados no Quadro 4, as dimensões, itens avaliados e grau de adesão ao modelo de análise do sistema de votação eletrônico brasileiro. A análise da quadro 3 permite arbitrar o grau de adesão às boas práticas de transparência em algoritmo, por dimensão, em alto (A≥75%), médio (50%≤A<75%) e baixo (A<50%).

Quadro 3
Visão geral dos resultados (sistema eletrônico de votação brasileiro)

Na dimensão “consciência”, verifica-se o alto grau de adesão (100%) do caso avaliado ao modelo de análise, refletindo a preocupação da Justiça Eleitoral em promover campanhas publicitárias a fim de fortalecer a confiança da sociedade no sistema eletrônico de votação (TSE, 2017a).

As dimensões “accountability”, “explicação” e “origem dos dados, privacidade e justiça” possuem baixo grau de adesão total (25%, 33% e 33%, respectivamente) aos itens analisados.

Os esforços empreendidos pela Justiça Eleitoral em divulgar o funcionamento do sistema, percebidos na dimensão consciência, contrasta com a baixa adesão encontrada na dimensão accountability. De fato, a dificuldade do cidadão em compreender e inspecionar a atuação estatal na utilização do sistema eletrônico de votação mantém a desconfiança quanto à sua lisura, mesmo decorridos mais de 20 anos do início de seu desenvolvimento.

As dimensões “acesso e correção”, “auditoria” e “validação, precisão e teste” no sistema avaliado possuem grau de adesão médio (66% e 50%, respectivamente) aos itens analisados.

O Quadro 4, apresenta a configuração final das dimensões com seus respectivos itens de análise e sua confrontação com as evidências de transparência identificadas no sistema eletrônico de votação brasileiro.

Quadro 4
Dimensões de transparência e accountability de algoritmos e evidências do sistema eletrônico de votação brasileiro

Quadro 4
continuação

Quadro 4
continuação

Na dimensão “consciência” foram identificadas iniciativas da Justiça Eleitoral na promoção de campanhas publicitárias (TSE, 2020), de forma a esclarecer usuários da possibilidade de vieses e danos potenciais advindos do sistema (ACM, 2017). As limitações do sistema quanto às suas potencialidades (STATS NZ, 2018) são divulgadas pela Justiça Eleitoral a exemplo das restrições do voto em trânsito (possível em cidades com mais de 100 mil eleitores e fora do Estado somente para eleição presidencial) e as localidades onde somente é possível votar com a coleta dos dados biométricos. A entrega de um efetivo benefício público, priorizando as necessidades da sociedade (BRASIL, 2016b; STATS NZ, 2018), é ressaltada pela Justiça Eleitoral, que destaca que a informatização do processo eleitoral possibilitou a eliminação de vários tipos de fraudes e de erros humanos existentes no antigo processo eleitoral, como duplicidade de votos e troca de cédulas eleitorais durante a contagem, poupando tempo, energia e recursos, além de impedir adulterações e garantir o sigilo do voto (BRASIL, 2016c).

Na dimensão “acesso e reparação”, os órgãos devem incentivar a adoção de mecanismos que permitam questionamento e correção por parte daqueles que sejam afetados negativamente por decisões informadas por algoritmos (ACM, 2017; ALMEIDA e DONEDA, 2016). Nesse sentido, verificou-se a prática de realizar a publicação dos boletins de urna na internet (TSE, 2017c), permitindo a contestação de qualquer resultado enviado ao TSE que seja divergente do boletim original. Além disso, o registro digital do voto (RDV) possibilita a recontagem dos votos, de forma automatizada (BRASIL, 2016c, p. 28).

Recomenda-se, ainda, a disponibilização de vias de reparação por efeitos adversos, de contatos para que o usuário saiba como proceder nesses casos e designação de responsável pelo impacto social dos sistemas de decisão algorítmica (ALMEIDA e DONEDA, 2016; DIAKOPOULOS, FRIEDLER, ARENAS et al., 2016). No sistema eletrônico de votação, cabe à Justiça Eleitoral solucionar eventuais conflitos.

Deve-se, também, prever um plano de atuação em caso de comportamento inesperado do sistema (DIAKOPOULOS, FRIEDLER, ARENAS et al., 2016). Nesse particular, a Justiça Eleitoral prevê a adoção de procedimentos que visam sanar problemas apresentados na urna eletrônica durante a votação, apuração ou ainda falhas operacionais cometidas pelos mesários. Esses procedimentos são conhecidos como contingências de votação e apuração, e nem sempre são capazes de resolver todas as situações, daí a possibilidade de votação totalmente manual (com a utilização de cédulas e urna convencional) ou votação mista (parte eletrônica e parte manual) (TSE, 2019c).

Na dimensão “accountability”, cumpre ao governo fornecer informação tempestiva e confiável - v.g. divulgação do código fonte do sistema (DIAKOPOULOS, FRIEDLER, ARENAS et al., 2016) - para que o cidadão possa supervisionar a atuação estatal (BRASIL, 2018) e o gestor público ser responsabilizado por decisões tomadas pelos algoritmos (ACM, 2017). No sistema eletrônico de votação, os programas-fonte e programas executáveis estão sujeitos a inspeção (TSE, 2017a). Além disso, a efetividade da dimensão em análise pode ser fortalecida pela colaboração dos cidadãos em todas as fases do ciclo das políticas públicas e na criação e melhoria dos serviços públicos. (BRASIL, 2018), sendo relevante destacar que grande parte dos mecanismos de segurança e transparência incorporados ao sistema eletrônico de votação foram fruto de recomendações técnicas de entidades da sociedade civil e sugestões de agremiações partidárias (CUNHA, 2009).

Bokslag e Vries (2016) afirmam que o processo de votação eletrônica é muito menos transparente, especialmente para pessoas leigas. Isso porque é necessário um conhecimento avançado de criptografia para que as pessoas possam provar que seu voto foi levado em consideração nos resultados das eleições e que todos os votos foram contados corretamente. Apenas uma pequena quantidade de pesquisadores compreenderá isso, enquanto o resto da população terá que confiar em um sistema que eles não podem entender.

Janino (2017), secretário de Tecnologia da Informação do TSE, atribui a desconfiança da população brasileira com o voto eletrônico ao baixo nível de educação da população, que seria incapaz de compreender a tecnologia subjacente ao sistema. O especialista Rezende (2018) defende que somente o voto impresso na totalidade das urnas poderia assegurar ao eleitor uma forma de confiar no sistema por conta própria, sem a necessidade de acreditar na palavra de um especialista em tecnologia. Essa falta de compreensão corrobora o baixo grau de adesão na dimensão do accountability.

Na dimensão “explicação”, entende-se que os sistemas e instituições que usam a tomada de decisão por algoritmos devem produzir explicações relativas aos procedimentos seguidos (ACM, 2017) em termos técnicos (STATS NZ, 2018) e em linguagem comum (DIAKOPOULOS, FRIEDLER, ARENAS et al., 2016), que devem incluir exemplos e infográficos (STATS NZ, 2018). Nesse quesito, verificou-se que o TSE disponibiliza diversos materiais explicativos sobre a urna eletrônica (TSE, 2019d), estatísticas eleitorais (TSE, 2019e), além de disponibilizar documentos técnicos como os resumos digitais (hashes) que são gerados na cerimônia de lacração dos sistemas eleitorais (TSE, 2019f). Icaza (2018), diretor do Departamento para a Cooperação e Observação Eleitoral da OEA, reputou que as explicações do TSE sobre o funcionamento da urna eletrônica nas eleições de 2018 ocorreram com “total e absoluta transparência”.

A dimensão “origem dos dados, privacidade e justiça” contempla procedimentos para evitar a manipulação do sistema por atores maliciosos, impedir efeitos discriminatórios e proteger o sigilo e a privacidade do cidadão. Além disso, quando os algoritmos utilizam dados pessoais, a privacidade e o propósito para os quais os dados foram coletados devem ser considerados. Se o processo não for transparente, é menos provável que as pessoas confiem nas decisões tomadas e não continuem compartilhando suas informações pessoais. (STATS NZ, 2018). A fim de evitar que atores maliciosos manipulem o sistema, somente entidades e instituições credenciadas podem ter acesso ao código dos softwares utilizados pela Justiça Eleitoral (TSE, 2017a). A urna eletrônica deve assegurar o sigilo e inviolabilidade do voto (BRASIL, 1997), sendo sua segurança reforçada pela inexistência de ligação com a internet (BRASIL, 2016c). Almeida (2018) considera que não se pode afirmar que a urna eletrônica tem 100% de confiabilidade, mas possui mecanismos de segurança muito superiores àqueles que envolvem a manipulação de papel.

A dimensão “auditoria” consiste na possibilidade de verificação da correção do algoritmo inserido no serviço digital. Para tanto, modelos, dados e decisões devem ser armazenados para posterior análise, caso haja suspeita de dano (ACM, 2017). Deve-se, ainda, permitir que a comunidade de pesquisa realize auditorias públicas (DIAKOPOULOS, FRIEDLER, ARENAS et al., 2016). Por fim, é recomendável que as decisões informadas por algoritmos tenham a supervisão humana, preferencialmente realizada por diversos atores interessados (BRASIL, 2018), e sejam supervisionadas por grupos de governança para assegurar o atendimento de padrões éticos e de privacidade (STATS NZ, 2018). A possibilidade de auditoria do sistema eletrônico de votação está relacionada à transparência e se mostra importante na forma como o sistema é percebido pelas pessoas em geral (FREITAS e MACADAR, 2017).

Nessa dimensão em análise, identificou-se que entidades e instituições credenciadas pelo TSE podem realizar a fiscalização e a auditoria dos softwares utilizados nas eleições brasileiras (TSE, 2017c). O sistema é submetido a testes públicos de segurança com a possibilidade de participação de diversos órgãos, incluindo os departamentos de Tecnologia da Informação de universidades (TSE, 2017a). As eleições são supervisionadas, em âmbito local, pelas juntas eleitorais, que consistem em órgãos colegiados provisórios, constituídos por dois ou quatro cidadãos e um juiz de direito (BRASIL, 1965). Após a eleição, os partidos políticos e outros órgãos podem solicitar à Justiça Eleitoral cópias dos relatórios e arquivos gerados pelos sistemas utilizados nas eleições (TSE, 2017c). Weber (2018), Ministra do TSE, classifica as urnas eletrônicas brasileiras como “totalmente confiáveis”, em razão de serem auditáveis.

Por fim, a dimensão “validação, precisão e teste” informa que as instituições devem validar, testar e documentar os modelos e métodos utilizados nos sistemas, de forma a evitar danos discriminatórios (ACM, 2017). Fontes de erros e incertezas, nos algoritmos e fontes de dados, devem ser identificadas e armazenadas com o intuito de auxiliar em eventual procedimento de mitigação de danos (DIAKOPOULOS, FRIEDLER, ARENAS et al., 2016). Além disso, os sistemas e algoritmos que orientam decisões devem ser revisados periodicamente a fim de se verificar se continuam a atingir os objetivos pretendidos (STATS NZ, 2018).

Nessa última dimensão, identificou-se que o TSE realiza o Teste Público de Segurança (TPS), o qual reúne especialistas “[...] que tentam corromper a urna e seus componentes internos e externos, com o objetivo de descobrir vulnerabilidades do sistema com relação à possibilidade de violação de resultados e quebra do sigilo do voto” (BRASIL, 2016c, p. 26).

O TSE realiza, na véspera da eleição, a auditoria dos sistemas por meio da chamada votação paralela, ocasião em que determinadas urnas são sorteadas para verificação de sua conformidade por intermédio da votação de eleitores fictícios (TSE, 2017a). Após a introdução da identificação biométrica nas eleições, o especialista Rezende (2018) argumenta que a votação paralela simulada perdeu o sentido, visto que um eventual “programa trapaceiro”, irregularmente instalado na urna, conseguiria identificar que está sendo executado em uma urna com grande percentual de erros na identificação biométrica, frustando a fiscalização.

Digo Aranha (PAYÃO, 2017) aponta que o aprimoramento do sistema de votação brasileiro passa não apenas pelo incremento de segurança do software de votação e de seus processos de auditoria, mas também pela implantação de mecanismos, a exemplo do voto impresso, que permitam ao eleitor verificar se o sistema registra sua intenção corretamente.

CONCLUSÃO

O campo de estudos da transparência em algoritmos, especialmente aqueles vinculados ao interesse público, tem se debruçado sobre a importância de submissão ao escrutínio público dos “ingredientes” e dos passos seguidos para a elaboração da “receita”. Já não basta o ganho de eficiência ou maior acessibilidade dos serviços digitais, é preciso atestar sua legitimidade.

Com efeito, a demanda por transparência tem batido à porta dos serviços públicos prestados por meios digitais. Isto porque não se tem dúvida que a transparência é condição imprescindível para a promoção de accountability (GOEDE e NEUWIRTH, 2014). No entanto, ainda são incipientes os estudos destinados a identificar os critérios a serem seguidos pelos algoritmos públicos que se pretendam transparentes.

Transparência e accountability de serviços públicos digitais ganham maior relevância quando se mencionam novas tecnologias e democracia (KROLL, 2015), dada a grande adoção de sistemas eletrônicos de votação em diversos países (STOICA e GHILIC-MICU, 2016).

O estudo do sistema eletrônico de votação brasileiro à luz do modelo de análise proposto evidenciou as suas características de transparência e accountability, permitindo-se identificar fragilidades e virtudes. Um dos principais achados aponta o contraste entre o alto grau de adesão ao modelo da dimensão consciência (100%) e o baixo grau de adesão da dimensão accountability (25%). Com efeito, a dificuldade do cidadão em compreender e inspecionar a atuação estatal na utilização do sistema eletrônico de votação mantém a desconfiança quanto à sua lisura, exigindo da Justiça Eleitoral constantes iniciativas de divulgação sobre o funcionamento do sistema. Em pesquisa realizada em julho de 2018 pela empresa de segurança digital Avast, apurou-se o baixo grau de confiança do eleitor brasileiro na urna eletrônica, visto que 91,84% dos participantes acreditam que esse sistema pode ser violado (AVAST, 2018).

Enquanto alguns creditam o alto grau de desconfiança da população no sistema eletrônico de votação ao baixo nível de educação (JANINO, 2017), outros apontam a necessidade da adoção de mecanismos que permitam ao eleitor verificar se o sistema registra sua intenção corretamente (PAYÃO, 2017), abrindo a possibilidade de avaliação das atividades estatais (GRIMMELIKHUIJSEN e WELCH, 2012).

Dentre as dimensões avaliadas, também se destacou o grau de adesão da auditoria (66%), que permite a recuperação de dados em casos de suspeita de dano, sendo imprescindível para a transparência e se mostrando importante na forma como o sistema é percebido pelas pessoas em geral (FREITAS e MACADAR, 2017).

A transparência não pode ser aferida apenas por meio da mera disponibilização de dados, pois ela não é um fim em si, devendo atender a um certo propósito (KLEIN, KLEIN e LUCIANO, 2018), que, neste caso, relaciona-se à necessidade de o processo eleitoral propiciar ampla participação, transparência e prestação de contas dos envolvidos e sua responsabilização democrática (PRADO, 2009). No caso do sistema eletrônico de votação, enfocou-se accountability na perspectiva da prestação de contas governamental e para a responsabilização de agentes públicos, a fim de fortalecer a confiança no processo eleitoral.

Em 2018, as eleições gerais realizadas no Brasil contaram com a participação da Missão de Observação Eleitoral da Orga­niza­ção dos Estados Americanos (MOE/OEA), que destacou o profissionalismo e a perícia técnica com que se organizou o processo eleitoral, proporcionando à cidadania informação oficial de maneira rápida e contribuindo para a certeza do processo (CHINCHILLA, 2018a). A missão reconheceu a eficiência, segurança e transparência do sistema de votação eletrônico brasileiro, realizando recomendações para seu aprimoramento (CHINCHILLA, 2018b).

Entre as principais recomendações da missão estão a ampliação do tamanho da amostra utilizada na votação paralela, aumento da presença de técnicos dos partidos políticos nas instâncias de fiscalização das urnas, além da criação de espaços de diálogo onde autoridades e representantes partidários trabalhem conjuntamente no desenvolvimento de novas medidas que possam incrementar a confiança de todos os atores no sistema (CHINCHILLA, 2018b). A criação de tais espaços de diálogo vão ao encontro da maior necessidade de participação para a promoção de accountability (AKUTSU e PINHO, 2002; RUEDIGER, 2003).

Considerando a importância crescente da transparência das ações dos governos, o objetivo desta pesquisa foi identificar os mecanismos que promovem transparência e accountability do sistema eletrônico de votação brasileiro. Os resultados obtidos e os procedimentos adotados são relevantes para a prática dos gestores públicos que desejam avaliar a transparência e a qualidade de serviços públicos digitais. A relevância deste trabalho empírico repousa no debate da transparência governamental associado a accountability, entendida como a problemática de construção e aperfeiçoamento de instituições democráticas (LOUREIRO, TEIXEIRA e PRADO, 2008). As dimensões e itens de análise utilizados permitem esquadrinhar a transparência em algoritmos e serviços públicos digitais proporcionando a reaplicação futura e consequente comparação com outros sistemas ou serviços digitais. A contribuição teórica pode ser creditada à combinação inédita dos critérios apontados a fim de se estudar a transparência de um serviço público digital, vital para a democracia, com vistas à promoção de accountability.

Pesquisas futuras podem avaliar, de forma longitudinal, a evolução das características de segurança e transparência do sistema eletrônico de votação brasileiro desde o seu surgimento, em 1996. Propõe-se, ainda, a análise comparativa do sistema brasileiro com sistemas utilizados em eleições de outros países. Note-se, ainda, a possibilidade de expandir a análise do caso selecionado por meio da triangulação de métodos, como a utilização de grupos focais e técnicas Delphi.

REFERÊNCIAS

• ABRUCIO, F. L.; LOUREIRO, M. R. Finanças públicas, democracia e accountability. In: BIDERMAN, C.; ARVATE, P. (Orgs.). Economia do setor público no Brasil. Rio de Janeiro: Elsevier, 2004. p. 75-102.
• ACHIENG, M.; RUHODE, E. The adoption and challenges of electronic voting technologies within the South African context. International Journal of Managing Information Technology, v. 5, n. 4, 2013.
• AKUTSU, L.; PINHO, J. A. G. Sociedade da informação, accountability e democracia delegativa: investigação em portais de governo no Brasil. I Revista de Administração Pública, Rio de Janeiro, v. 36, n. 5, p. 723-745, 2002.
• ALBU, O. B.; FLYVERBOM, M. Organizational Transparency: Conditions and Consequences. I Business & Society, v. 58, n. 2, p. 268-297, 2016. Disponível em:<https://doi.org/10.1177/0007650316659851>. Acesso em: 31 mar. 2020.
  » https://doi.org/10.1177/0007650316659851
• ALMEIDA, N. F. I Analista comenta história, funcionamento e confiabilidade da urna eletrônica. 2018. Disponível em:<Disponível em:https://www2.camara.leg.br/camaranoticias/radio/materias/PAINEL-ELETRONICO/563749-ANALISTA-COMENTA-HISTORIA,-FUNCIONAMENTO-E-CONFIABILIDADE-DA-URNA-ELETRONICA.html >. Acesso em:1 jul. 2019.
  » https://www2.camara.leg.br/camaranoticias/radio/materias/PAINEL-ELETRONICO/563749-ANALISTA-COMENTA-HISTORIA,-FUNCIONAMENTO-E-CONFIABILIDADE-DA-URNA-ELETRONICA.html
• ALMEIDA, V. A. F.; DONEDA, D. What Is Algorithm Governance? I IEEE Computing Society, v. 20, n. 4, p. 60-63, jul./ago. 2016. Disponível em: <http://dx.doi.org/10.1109/MIC.2016.79>. Acesso em: 15 abr. 2020.
  » https://doi.org/10.1109/MIC.2016.79
• ANANNY, M.; CRAWFORD, K. Seeing without knowing: Limitations of the transparency ideal and its application to algorithmic accountability. I New Media and Society, v. 20, n. 3, p. 973-989, 2018.
• ANDERSON, J.; RAINIE, L. Code-Dependent: Pros and Cons of the Algorithm Age. I Pew Research Center: Internet & Tecnology, Washington, D.C., 08 fev. 2017. Disponível em:<Disponível em:http://www.pewinternet.org/2017/02/08/code-dependent/ >. Acesso em:21 mar. 2019
  » http://www.pewinternet.org/2017/02/08/code-dependent/
• ASSOCIATION FOR COMPUTING MCHINE - ACM. I Principles for Algorithmic Transparency and Accountability. 2017. Disponível em:<Disponível em:https://www.acm.org/binaries/content/assets/public-policy/2017_joint_statement_algorithms.pdf >. Acesso em:10 nov. 2018.
  » https://www.acm.org/binaries/content/assets/public-policy/2017_joint_statement_algorithms.pdf
• ATTARD, J. et al. A systematic review of open government data initiatives. I Government Information Quarterly, v. 32, n. 4, p. 399-418, 2015.
• AVAST. 91,84% dos brasileiros acreditam que o sistema eletrônico de votação pode ser violado nas eleições. I Avast, Sala de Imprensa, São Paulo, 22 ago. 2018Disponível em:<Disponível em:https://press.avast.com/pt-br/9184-dos-brasileiros-acreditam-que-o-sistema-eletrônico-de-votação-pode-ser-violado-nas-eleições >. Acesso em:01 jul. 2019.
  » https://press.avast.com/pt-br/9184-dos-brasileiros-acreditam-que-o-sistema-eletrônico-de-votação-pode-ser-violado-nas-eleições
• BALBE, R. S. Uso de tecnologias de informação e comunicação na gestão pública: exemplos no governo federal. I Revista do Serviço Público, v. 61, n. 2, p. 189-209, 27 jan. 2014.
• BARBOSA, A. F.; FARIA, F. I.; PINTO, S. L. Governança eletrônica no setor público. In: KNIGHT, P. T. et al. (Orgs.). I E-Desenvolvimento no Brasil e no mundo: subsídios e Programa e-Brasil. São Caetano do Sul: Yendis Editora, 2007.
• BARDIN, L. I Análise de conteúdo. São Paulo: Edições 70, 2016.
• BOKSLAG, W.; VRIES, M. Evaluating e-voting: theory and practice. I ArXiv, 1602.02509v1, fev. 2016. Disponível em:<Disponível em:https://arxiv.org/pdf/1602.02509.pdf >. Acesso em: 30 mar. 2020.
  » https://arxiv.org/pdf/1602.02509.pdf
• BRASIL. Lei n^o 4.737. I Código Eleitoral, 1965. Disponível em:<Disponível em:http://www.planalto.gov.br/ccivil_03/leis/l4737.htm >. Acesso em: 30 mar. 2020.
  » http://www.planalto.gov.br/ccivil_03/leis/l4737.htm
• BRASIL. I Lei n^o 9.504. 1997. Disponível em:<Disponível em:http://www.planalto.gov.br/ccivil_03/leis/l9504.htm >. Acesso em:30 mar. 2020.
  » http://www.planalto.gov.br/ccivil_03/leis/l9504.htm
• BRASIL. I Decreto n^o 8.638, de 15 de janeiro de 2016. Institui a Política de Governança Digital no âmbito dos órgãos e das entidades da administração pública federal direta, autárquica e fundacional. 2016a. Disponível em: <Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2015-2018/2016/Decreto/D8638.htm >. Acesso em:18 mar. 2019.
  » http://www.planalto.gov.br/ccivil_03/_Ato2015-2018/2016/Decreto/D8638.htm
• BRASIL. I Decreto n^o 8.638, de 15 de janeiro de 2016. 2016b. Disponível em: <Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2015-2018/2016/Decreto/D8638.htm >. Acesso em:16 mar. 2019.
  » http://www.planalto.gov.br/ccivil_03/_Ato2015-2018/2016/Decreto/D8638.htm
• BRASIL. I Urna eletrônica: 20 anos a favor da democracia. Brasília: Tribunal Superior Eleitoral, 2016c.
• BRASIL. I Estratégia de Governança Digital: Transformação Digital - cidadania e governo. Brasília: Ministério do Planejamento, Desenvolvimento e Gestão, Secretaria de Tecnologia da Informação e Comunicação, 2018.
• BRUNING, C.; GODRI, L.; TAKAHASHI, A. R. W. Triangulação em Estudos de Caso: incidência, apropriações e mal-entendidos em pesquisas da área de Administração. I Administração: Ensino e Pesquisa, v. 19, n. 2, p. 277-307, 2018.
• CAMPOS, A. M. Accountability: quando poderemos traduzi-la para o português?. I Revista de administração pública, v. 24, n. 2, p. 30-50, 1990.
• CHINCHILLA, L. Relatório Preliminar MOE - 1^o Turno. Brasília: Organización de los Estados Americanos, 2018a. Disponível em:<http://www.oas.org/eomdatabase/MoeReport.aspx?Lang=es&Id=410&MissionId=490>.
  » http://www.oas.org/eomdatabase/MoeReport.aspx?Lang=es&Id=410&MissionId=490
• CHINCHILLA, L. I Relatório Preliminar MOE - 2^o Turno. Brasília: Organización de los Estados Americanos, 2018b. Disponível em:<http://www.oas.org/eomdatabase/MoeReport.aspx?Lang=es&Id=410&MissionId=490>.
  » http://www.oas.org/eomdatabase/MoeReport.aspx?Lang=es&Id=410&MissionId=490
• CITRON, D. K. Technological Due Process. I Washington University Law Review, v. 85, n. 6, 2008. Disponível em:<Disponível em:https://openscholarship.wustl.edu/law_lawreview/vol85/iss6/2 >. Acesso em: 15 abr. 2020.
  » https://openscholarship.wustl.edu/law_lawreview/vol85/iss6/2
• CUNHA, A. A. P. I A evolução dos mecanismos de transparência no desenvolvimento do projeto de votação eletrônica no Brasil: 1996-2008. Porto Alegre: UFRGS, 2009.
• DIAKOPOULOS, N. I Algorithmic Accountability Reporting: On the Investigation of Black Boxes. New York, NY: Tow Center for Digital Journalism, Columbia School of Journalism, 2014.
• DIAKOPOULOS, N. et al. I Principles for Accountable Algorithms and a Social Impact Statement for Algorithms. FAT/ML, 2016. Disponível em:<Disponível em:http://www.fatml.org/resources/principles-for-accountable-algorithms >. Acesso em: 10 nov. 2018.
  » http://www.fatml.org/resources/principles-for-accountable-algorithms
• EISCHEN, K. Opening the ‘Black Box’ of software the micro-foundations of informational technologies, practices and environments. I Information, Communication & Society, v. 6, n. 1, p. 57-81, jan. 2003.
• EISENHARDT, K. M. Building Theories from Case Study Research. I The Academy of Management Review, v. 14, n. 4, p. 532-550, Oct. 1989.
• FINK, K. Opening the government’s black boxes: freedom of information and algorithmic accountability. Information Communication and Society, v. 21, n. 10, p. 1453-1471, 2018.
• FLICK, U. Introdução à pesquisa qualitativa. 3. ed. Porto Alegre: Artmed, 2009. v. 84.
• FOX, J. The uncertain relationship between transparency and accountability. I Development in Practicel, v. 17, n. 4-5, p. 37-41, 2007.
• FREITAS, J. L.; MACADAR, M. A. The Brazilian Electronic Voting System: evolution and challenges. In: JOINT INTERNATIONAL CONFERENCE ON ELECTRONIC VOTING, 2., 2017. Anais...Disponível em:<Disponível em:https://www.researchgate.net/publication/320805527 >. Acesso em:15 abr. 2020.
  » https://www.researchgate.net/publication/320805527
• FRIEDMAN, B.; NISSENBAUM, H. Bias in computer systems. ACM Transactions on Information Systems, v. 14, n. 3, p. 330-347, 01 jul. 1996.
• GOEDE, M.; J. NEUWIRTH, R. Good governance and confidentiality: a matter of the preservation of the public sphere. Corporate Governance: the international journal of business in society, v. 14, n. 4, p. 543-554, 29 jul. 2014.
• GRANDE, J. I. C.; ARAUJO, M. C. R.; SERNA, M. S. La necesidad de Teoría sobre Gobierno Electrónico Una Propuesta Integradora. In: CONCURSO DE ENSAYOS Y MONOGRAFÍAS DEL CLAD SOBRE REFORMA DEL ESTADO Y MODERNIZACIÓN DE LA ADMINISTRACIÓN PÚBLICA, 16., 2002, Caracas, Anais...Caracas: CLAD, 2002. Disponível em:<Disponível em:http://siare.clad.org/fulltext/0043103.pdf >. Acesso em:15 abr. 2020.
  » http://siare.clad.org/fulltext/0043103.pdf
• GRIMMELIKHUIJSEN, S. G.; WELCH, E. W. Developing and Testing a Theoretical Framework for Computer-Mediated Transparency of Local Governments. Public Administration Review, v. 72, n. 4, p. 562-572, 2012.
• GUIMARÃES, T. A.; MEDEIROS, P. H. R. A relação entre governo eletrônico e governança eletrônica no governo federal brasileiro. Cadernos EBAPE.BR, Rio de Janeiro, v. 3, n. 4, p. 1-18, 2005.
• HOOD, C. Accountability and Transparency: Siamese Twins, Matching Parts, Awkward Couple? West European Politics, v. 33, n. 5, p. 989-1009, set. 2010.
• ICAZA, G. DE. Não há motivo para desconfiar da urna eletrônica, diz especialista da OEA. Folha de São Paulo, São Paulo, 23 set. 2018. Disponível em: <Disponível em: https://www1.folha.uol.com.br/poder/2018/09/nao-ha-motivo-para-desconfiar-da-urna-eletronica-diz-especialista-da-oea.shtml >. Acesso em:01 jul. 2019.
  » https://www1.folha.uol.com.br/poder/2018/09/nao-ha-motivo-para-desconfiar-da-urna-eletronica-diz-especialista-da-oea.shtml
• JANINO, G. Entrevista com Giuseppe Janino, secretário de tecnologia da informação do TSE. YouTube [Canal Jovem Pan - 3 em 1], 25. jul. 2017. (15m27s). Disponível em:<Disponível em:https://www.youtube.com/watch?v=Am0iFvYx2Vk >. Acesso em:01 jul. 2019.
  » https://www.youtube.com/watch?v=Am0iFvYx2Vk
• JANSSEN, M.; KUK, G. The challenges and limits of big data algorithms in technocratic governance. Government Information Quarterly, v. 33, n. 3, p. 371-377, 2016.
• KLEIN, R. H.; KLEIN, D. C. B.; LUCIANO, E. M. Identificação de mecanismos para a ampliação da transparência em portais de dados abertos: uma análise no contexto brasileiro. Cadernos EBAPE.BR, v. 16, n. 4, p. 692-715, 2018.
• KROLL, J. A. Accountable Algorithms. Princeton: Princeton University, 2015.
• LANE, J.-E. New Public Management. London: Routledge, 2000.
• LOUREIRO, M. R.; TEIXEIRA, M. A. C.; PRADO, O. Construção de instituições democráticas no Brasil contemporâneo: transparência das contas públicas. Organizações & Sociedade, v. 15, n. 47, p. 107-119, 2008.
• MACHADO, H. F. S. Algoritmos, regulação e governança: uma revisão de literatura. Revista de Direito Setorial e Regulatório, v. 4, n. 1, p. 39-62, 2018.
• MAINWARING, S.; WELNA, C. Democratic accountability in Latin America. Oxford: Oxford University Press, 2003.
• MAY, T. Pesquisa social: questões, métodos e processos. Porto Alegre: Artmed, 2004.
• MEIJER, A. Transparency. In: BOVENS, M.; GOODIN, R. E.; SCHILLEMANS, T. (Eds.). The Oxford Handbook of Public Accountability. Oxford: Oxford University Press, 2014. p. 21.
• MITTELSTADT, B. D. et al. The ethics of algorithms: Mapping the debate. Big Data & Society, v. 3, n. 2, p. 1-12, 2016. Disponível em: <http://dx.doi.org/10.1177/2053951716679679>. Acesso em: 15 abr. 2020.
  » https://doi.org/10.1177/2053951716679679
• NUNES, V. T. N.; CAPPELLI, C.; RALHA, C. G. Transparency in Information Systems. In: BOSCARIOLI, C.; ARAUJO, R. M.; MACIEL, R. S. P. (Eds.). I GranDSI-BR Grand Research Challenges in Information Systems in Brazil 2016-2026. Porto Alegre: Sociedade Brasileira de Computação, 2017.
• OKOT-UMA, R. W. ELECTRONIC GOVERNANCE: Re-inventing Good Governance. Commonwealth Secretariat London, p. 1-19, 2000. Disponível em:<Disponível em:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.197.6576&rep=rep1&type=pdf >. Acesso em:15 abr. 2020.
  » http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.197.6576&rep=rep1&type=pdf
• PAPENFUSS, U.; SCHAEFER, C. Improving public accountability by aligning reporting to organizational changes in public service provision - an empirical Internet study of all Austrian, German and Swiss towns and states from an agency-theory perspective Points for practitioners. International Review of Administrative Sciences, v. 76, n. 3, p. 555-576, 2015.
• PASQUALE, F. The black box society: The secret algorithms that control money and information. Harvard: Harvard University Press, 2015.
• PAYÃO, F. Urnas eletrônicas: falhas, vulnerabilidades e fraudes do mesário. Tecmundo, São Paulo, 18 set. 2017. Disponível em: <Disponível em: https://www.tecmundo.com.br/seguranca/122152-urnas-eletronicas-falhas-vulnerabilidades-fraudes-mesario.htm >. Acesso em:1 jul. 2019.
  » https://www.tecmundo.com.br/seguranca/122152-urnas-eletronicas-falhas-vulnerabilidades-fraudes-mesario.htm
• PRADO, O. Governo eletrônico, reforma do estado e transparência: o programa de governo eletrônico do Brasil. Rio de Janeiro: Ed. FGV, 2009.
• RAUPP, F. M.; PINHO, J. A. G. Accountability em câmaras municipais: uma investigação em portais eletrônicos. Revista de Administração, v. 48, n. 4, p. 770-782, 2013.
• RAUPP, F. M.; PINHO, J. A. G. Prestação de contas nos portais eletrônicos de assembleias legislativas: um estudo após a lei de acesso à informação. Revista Gestão e Planejamento, v. 15, n. 1, p. 144-161, 2014.
• REZENDE, P. A. D. Urna pode ser fraudada. Brasília, 10 fev.2018. Disponível em: <Disponível em: https://cic.unb.br/~rezende/trabs/entrevistaGP2.html >. Acesso em:01 jul. 2019.
  » https://cic.unb.br/~rezende/trabs/entrevistaGP2.html
• RICHARDSON, R. J. Pesquisa Social: métodos e técnicas. 3. ed. São Paulo: Atlas, 2012.
• RUEDIGER, M. A. Governança democrática na era da informação. Revista de Adminsitração Pública, v. 37, n. 6, p. 1257-1280, 2003.
• RUIJER, E.; MEIJER, A. National Transparency Regimes: Rules or Principles? A Comparative Analysis of the United States and The Netherlands. International Journal of Public Administration, v. 39, n. 11, p. 895-908, 2016.
• STATS NZ. Algorithm assessment report. 2018. Disponível em:<Disponível em:https://data.govt.nz/use-data/analyse-data/government-algorithm-transparency >. Acesso em: 30 mar. 2020.
  » https://data.govt.nz/use-data/analyse-data/government-algorithm-transparency
• STOICA, M.; GHILIC-MICU, B. E-Voting Solutions for Digital Democracy in Knowledge Society. Informatica Economica, v. 20, n. 3, p. 55-65, 2016.
• TRIBUNAL SUPERIOR ELEITORAL - TSE. Resolução n^o 23.550. Brasilília, DF: TSE, 2017a.
• TRIBUNAL SUPERIOR ELEITORAL - TSE. Resolução n^o 23.509. Brasilília, DF: TSE, 2017b.
• TRIBUNAL SUPERIOR ELEITORAL - TSE. Resolução n^o 23.554. Brasilília, DF: TSE, 2017c.
• TRIBUNAL SUPERIOR ELEITORAL - TSE. Legislação - Código Eleitoral Anotado e Legislação Complementar. Brasilília, DF: TSE, 2018. Disponível em:<Disponível em:http://www.tse.jus.br/legislacao> Acesso em:01 jul. 2019.
  » http://www.tse.jus.br/legislacao>
• TRIBUNAL SUPERIOR ELEITORAL - TSE. Procedimentos de contingência. Brasilília, DF: TSE, 2019a. Disponível em: <Disponível em: http://www.tse.jus.br/eleicoes/urna-eletronica/seguranca-da-urna/procedimentos-de-contingencia >. Acesso em:21 jul. 2019.
  » http://www.tse.jus.br/eleicoes/urna-eletronica/seguranca-da-urna/procedimentos-de-contingencia
• TRIBUNAL SUPERIOR ELEITORAL - TSE. Urna eletrônica. Brasilília, DF: TSE, 2019b. Disponível em: <Disponível em: http://www.tse.jus.br/eleicoes/urna-eletronica/urna-eletronica >. Acesso em: 21 jul. 2019.
  » http://www.tse.jus.br/eleicoes/urna-eletronica/urna-eletronica
• TRIBUNAL SUPERIOR ELEITORAL - TSE. Estatísticas eleitorais. Brasilília, DF: TSE, 2019c. Disponível em: <Disponível em: http://www.tse.jus.br/eleicoes/estatisticas/estatisticas-eleitorais >. Acesso em:21 jul. 2019.
  » http://www.tse.jus.br/eleicoes/estatisticas/estatisticas-eleitorais
• TRIBUNAL SUPERIOR ELEITORAL - TSE. Resumos digitais (hashes) dos sistemas eleitorais. Brasilília, DF: TSE, 2019d. Disponível em: <Disponível em: http://www.tse.jus.br/eleicoes/urna-eletronica/seguranca-da-urna/ hash/resumos-digitais-hash-dos-sistemas-eleitorais >. Acesso em: 21 jul. 2019.
  » http://www.tse.jus.br/eleicoes/urna-eletronica/seguranca-da-urna/ hash/resumos-digitais-hash-dos-sistemas-eleitorais
• TRIBUNAL SUPERIOR ELEITORAL - TSE. Campanhas publicitárias. Brasilília, DF: TSE, 2020. Disponível em: <Disponível em: http://www.tse.jus.br/imprensa/campanhas-publicitarias >. Acesso em:01 jul. 2019.
  » http://www.tse.jus.br/imprensa/campanhas-publicitarias
• UNITED NATIONS - UN. Benchmarking E-government: A Global Perspective - Assessing the Progress of the UN Member States. New York: UN, 2002. Disponível em:<Disponível em:https://publicadministration.un.org/publications/content/PDFs/E-Library%20Archives/2002%20Benchmarking%20E-government_A%20Global%20Perspective%20-%20Assessing%20the%20UN%20Member%20States%20(2002).pdf >. Acesso em:18 out. 2018.
  » https://publicadministration.un.org/publications/content/PDFs/E-Library%20Archives/2002%20Benchmarking%20E-government_A%20Global%20Perspective%20-%20Assessing%20the%20UN%20Member%20States%20(2002).pdf
• UNITED NATIONS - UN. Definition of basic concepts and terminologies in governance and public administration. New York: UN, 2006. Disponível em:<Disponível em:http://unpan1.un.org/intradoc/groups/public/documents/un/unpan022332.pdf >. Acesso em:18 mar. 2019.
  » http://unpan1.un.org/intradoc/groups/public/documents/un/unpan022332.pdf
• VASCONCELLOS, M. L. L.; LUNKES, R. J.; TALIANI, M. T. C. Thirty Years of Studies on Transparency, Accountability, and Corruption in the Public Sector: The State of the Art and Opportunities for Future Research Public Integrity, v. 20, n. 5, p. 512-533, 2018. Disponível em:<Disponível em:https://www.tandfonline.com/doi/full/10.1080/10999922.2017.1416537 > Acesso em: 01 abr. 2020.
  » https://www.tandfonline.com/doi/full/10.1080/10999922.2017.1416537
• WEBER, R. Presidente do TSE rebateu a críticas feitas por Bolsonaro no último domingo sobre a ausência do voto impresso. Último Segundo, São Paulo, 18 set.2018. Disponível em:<Disponível em:https://ultimosegundo.ig.com.br/politica/2018-09-18/urna-eletronica-rosa-weber.html >. Acesso em: 01 jul. 2019.
  » https://ultimosegundo.ig.com.br/politica/2018-09-18/urna-eletronica-rosa-weber.html
• WILLSON, M. Algorithms (and the) everyday. Information, Communication & Society, v. 20, n. 1, p. 137-150, 02 jan. 2017.
• WORLD WIDE WEB FOUNDATION. Algorithmic accountability - Applying the concept to different country contexts. Washington, DC: World Wide Web Foundation, 2017. Disponível em: <Disponível em: https://webfoundation.org/docs/2017/07/Algorithms_Report_WF.pdf >. Acesso em: 20 mar. 2019.
  » https://webfoundation.org/docs/2017/07/Algorithms_Report_WF.pdf
• YIN, R. K. Estudo de caso: planejamento e métodos. 2. ed. Porto Alegre: Bookman, 2001.
• ZARSKY, T. The Trouble with Algorithmic Decisions: An Analytic Road Map to Examine Efficiency and Fairness in Automated and Opaque Decision Making. Science, Technology, & Human Values, v. 41, n. 1, p. 118-132, 2016.
• ZIEWITZ, M. Governing Algorithms: Myth, Mess, and Methods. Science, Technology & Human Values, v. 1, n. 1, p. 1-14, jan. 2015

Datas de Publicação

• Publicação nesta coleção
  18 Dez 2020
• Data do Fascículo
  Nov 2020

Histórico

• Recebido
  22 Fev 2019
• Aceito
  13 Out 2019