Black box e o direito face à opacidade algorítmica
| Autor | Ana Frazão e Carlos Goettenauer |
| Ocupação do Autor | Advogada e Professora de Direito Civil, Comercial e Econômico da Universidade de Brasília ? UnB/Mestre e Doutorando em Direito pela Universidade de Brasília - UnB |
| Páginas | 27-42 |
2
BLACK BOX E O DIREITO FACE
À OPACIDADE ALGORÍTMICA
Ana Frazão
Advogada e Professora de Direito Civil, Comercial e Econômico da Universidade de
Brasília – UnB.
Carlos Goettenauer
Mestre e Doutorando em Direito pela Universidade de Brasília - UnB, Mestrando
na London School of Economics, Graduando em Teoria Crítica e História da Arte na
Universidade de Brasília.
Sumário: 1. Introdução. 2. Black box e os riscos da opacidade. 3. Black box e os desaos
impostos pela tecnologia. 3.1 Imprevisibilidade. 3. Incontrolabilidade. 3.3 Distributividade.
4. Black box e o dilema jurídico. 5. Buscando uma conciliação difícil: o esforço da Comissão
Europeia consubstanciado nas Diretrizes Éticas para a Inteligência Articial Conável. 6.
Conclusão. 7. Referências.
1. INTRODUÇÃO
Em sua obra mais recente, a autora McKenzie Wark1 propõe a necessidade de re-
conhecer-se que o capitalismo, como um meio de produção baseado no valor de troca
das mercadorias2, acabou. Mais do que um simples jogo de palavras, a ideia da autora
é identificar qual sistema substituiu a hegemonia capitalista. Em seu lugar, segundo
Wark, teria surgido um novo meio de organizar a produção a partir da construção de
assimetrias informacionais.
Nesse novo sistema, a classe capitalista, anteriormente dominante, teria sido sub-
jugada por novos empreendedores que, por meio de sistemas tecnológicos, controlam os
fluxos de dados e se colocam como novos senhores da economia, organizando os meios
de produção, sem efetivamente serem seus donos. Esse controle dependeria de uma
combinação de fatores. A tecnologia precisaria se aliar ao direito para sustentar institui-
ções capazes de manter a assimetria informacional, por meio da opacidade algorítmica.
1. WARK, M. Capital is Dead. Is This something worse? Londres: Verso Books, 2019.
2. Deve-se reconhecer, todavia, que o fim do capitalismo já foi anunciada em outras profecias até agora não concre-
tizadas. Em justiça à autora, suas ideias, aqui resumidas em poucas linhas, partem de uma visão de capitalismo
muito específica, na qual uma classe dominante, dona dos meios de produção, acumula riqueza a partir da troca
de mercadorias.
DIREITO DIGITAL E INTELIGENCIA ARTIFICIAL.indb 27DIREITO DIGITAL E INTELIGENCIA ARTIFICIAL.indb 27 23/02/2021 14:54:4023/02/2021 14:54:40
ANA FRAZãO E CARLOS GOETTENAUER
28
É nesse contexto que o presente trabalho pretende, ainda que de forma preliminar,
compreender como o direito e a tecnologia se combinam para criar as chamadas black
boxes, sistemas algorítmicos que mantêm a assimetria informacional. Para tanto, inicia-se
por reconhecer como a opacidade dos algoritmos traz riscos à sociedade e ao exercício de
direitos fundamentais. Em seguida, analisa-se, por uma recuperação da literatura sobre
o tema, de que maneira os algoritmos de inteligência artificial implicam desafios parti-
culares ao direito, em razão de sua própria natureza. Em seguida, abordamos os dilemas
que o direito precisa contornar para lidar com a opacidade tecnológica, com o reconhe-
cimento da necessidade da adoção de soluções mais sofisticadas para o enfrentamento
da assimetria informacional, como a explicabilidade proposta pela União Europeia3.
Por fim, concluímos a análise reconhecendo que o direito, ao menos nas instituições
jurídicas presentes, desempenha um papel importante na consolidação dos sistemas de
black boxes, ainda que por vezes tente apresentar soluções para maior transparência das
relações informacionais.
2. BLACK BOX E OS RISCOS DA OPACIDADE
No contexto de uma sociedade de vigilância4, o Big Data tudo vê, sendo capaz de
capturar todas as pegadas digitais dos usuários para, a partir daí, utilizar seus “pode-
res” não apenas para registrar e processar o passado e o presente, como também para
antecipar e decidir o futuro das pessoas. E o mais preocupante é que faz tudo isso sem
a devida transparência e accountability, já que os algoritmos utilizados por governos e
grandes agentes empresariais são normalmente considerados segredos, respectivamente
de Estado ou de negócios.
Ora, para que se pudesse ter um mínimo de confiança e tranquilidade em relação a
tais processos, seria necessário haver algum tipo de controle tanto sobre (i) a qualidade
dos dados, a fim de se saber se atendem aos requisitos da veracidade, exatidão, precisão,
acurácia e sobretudo adequação e pertinência diante dos fins que justificam a sua uti-
lização e (ii) a qualidade do processamento de dados, a fim de saber se, mesmo a partir
de dados de qualidade, a programação utilizada para o seu tratamento é idônea para
assegurar resultados confiáveis.
Basta a descrição do problema para se observar que são muitas as variáveis sobre
as quais se precisaria ter um mínimo de supervisão e accountability para assegurar que
os outputs sejam fidedignos e confiáveis. Entretanto, não havendo transparência, não
há como avaliar nem a qualidade dos dados nem a qualidade do processamento. Daí a
triste conclusão de que os resultados algorítmicos, na atualidade, correspondem a uma
verdadeira black box.
É o que concluiu a Federal Trade Comission, ao examinar a indústria dos dados
em 2014:
3. COMISSÃO EUROPEIA. Orientações éticas para uma IA de confiança. Grupo de peritos de alto nível sobre a inte-
ligência artificial. Bruxelas. 2019.
4. ZUBOFF, S. The Age of Surveillance Capitalism. Nova York: PublicAffairs, 2019.
DIREITO DIGITAL E INTELIGENCIA ARTIFICIAL.indb 28DIREITO DIGITAL E INTELIGENCIA ARTIFICIAL.indb 28 23/02/2021 14:54:4023/02/2021 14:54:40
Para continuar a ler
PEÇA SUA AVALIAÇÃO