Na última quarta-feira, 21 de abril, a Comissão Europeia apresentou um quadro jurídico para regulamentar o uso da inteligência artificial na União. Esta é uma proposta que será avaliada pelo Conselho da Europa e pelo Parlamento nos próximos dois anos e se tornará um Regulamento não antes de 2023. A partir daquele momento, cada um dos Estados membros terá que adaptar suas legislações nacionais para respeitar seu conteúdo.

Chiara Sabelli, Settimana News / IHU-Unisinos, 30 de abril de 2021. A tradução é de Luisa Rabolini.

Contexto e finalidade

A abordagem da Comissão é regular os sistemas de IA com base no contexto e na finalidade para que são usados. Para tanto, são definidos três níveis de risco, baixo, médio e alto, e uma quarta categoria definida como “risco inaceitável”, que contém as aplicações proibidas. Entre estas estão os sistemas de pontuação social, aqueles algoritmos que coletam dados digitais dos cidadãos (por exemplo, suas compras online) e os usam para calcular uma pontuação de confiabilidade que pode influenciar o acesso à educação ou a benefícios de apoio à renda. Na China existem experiências nesse sentido.

As outras duas aplicações que se tornariam ilegais caso a proposta fosse aceita assim como está, são as que manipulam os comportamentos das pessoas explorando as suas vulnerabilidades, especialmente no campo político, e a utilização de sistemas de reconhecimento facial em locais públicos pelas forças da ordem.

O uso dessa tecnologia pelas forças da ordem tem recebido muitas críticas nos últimos anos e levado a algumas mudanças. São inúmeros os episódios de discriminação e violação dos direitos fundamentais relacionados com o reconhecimento facial automático.

Preconceitos codificados

O mais recente em ordem cronológica é o que envolveu Robert Williams, detido pela polícia de Detroit em 9 de janeiro de 2020 na entrada de sua casa na frente de sua esposa e filhas por suspeita de roubo de relógios em uma joalheria de luxo. Depois de passar a noite numa cela, ele foi interrogado e os policiais lhe mostraram o vídeo do roubo. O homem no vídeo não era Williams - a única coisa que eles tinham em comum era ser afro-americanos. Williams foi libertado.

Na semana passada, com a ajuda da Universidade de Michigan e da organização sem fins lucrativos ACLU, ele processou o Departamento de Polícia de Detroit por violar a Quarta Emenda da Constituição dos Estados Unidos (que proíbe buscas e prisões injustificadas e sem mandato) e exige que o departamento não use mais tecnologia de reconhecimento facial. O documentário Coded Bias, do qual falamos há duas semanas, conta a história de um dos primeiros estudos que mostrou que esses sistemas são menos eficazes em mulheres e pessoas não brancas.

A decisão da Comissão de banir estes sistemas parece, portanto, responder aos pedidos de muitas organizações e ativistas, mas tem sido criticada por prever exceções, tanto na utilização por instituições, por exemplo no caso de busca de crianças desaparecidas, ou durante ataques terroristas, quanto por sujeitos privados.

"As exceções para os sistemas de vigilância do estado dirigidos pela inteligência artificial criarão problemas para os direitos humanos e defensores da privacidade", escreve no The Conversation Bernd Carsten Stahl, diretor do Observatório para Pesquisa Responsável e Inovação em TIC promovido pelo Conselho de Pesquisa de Engenharia e Ciências Físicas do Reino Unido e professor da Universidade De Montfort.

A organização Algorithm Watch observa que os riscos aos direitos fundamentais que as tecnologias de reconhecimento facial representam não se limitam ao seu uso pelas autoridades policiais. "Um fato que a proposta não reflete com suficiência". Da mesma opinião, em particular no que diz respeito à utilização do reconhecimento facial em locais públicos, é a Autoridade Europeia para a Proteção de Dados, que num comunicado de imprensa escreve: "Continuaremos a defender uma abordagem mais rigorosa do reconhecimento automático em espaços públicos [.. .] independentemente de serem usados em um contexto administrativo ou comercial ou de parte das forças da ordem".

Outra limitação da proposta é identificada na linguagem utilizada para se referir às tecnologias de reconhecimento facial. Com efeito, a minuta da Comissão fala de “sistemas de identificação biométrica”, escolhendo a palavra “identificação” em vez de “reconhecimento”.

Catelijne Muller, presidente da organização independente ALLAI, escreve: “Muitas tecnologias de reconhecimento biométrico não visam identificar uma pessoa, mas sim avaliar o seu comportamento (por exemplo, estudando as características faciais, expressões, movimentos dos olhos, temperatura, frequência cardíaca, etc.)", e acrescenta "surpreendentemente, este tipo de reconhecimento biométrico é colocado no segundo nível da ‘pirâmide de risco’, exigindo simplesmente transparência na sua utilização, embora seja altamente intrusivo e cientificamente questionável. Deveria estar muito mais alto na pirâmide”.

Algoritmos de "alto risco"

Entre as aplicações que a proposta da Comissão considera de alto risco estão: avaliação automática do merecimento de crédito, algoritmos para a seleção e gestão de pessoal, para acesso à educação e para a avaliação dos exames, assistência na decisão de juízes ou em operações policiais. Em todas essas áreas, já existem muitos casos documentados em que os algoritmos têm causado discriminação contra grupos sociais minoritários, tanto por origem geográfica como por gênero ou condições socioeconômicas. As sociedades que desenvolvem estes sistemas e as que os utilizam precisam comprovar a sua segurança, avaliar os seus riscos em diferentes contextos, fornecer documentação que explique o seu funcionamento e garantir a supervisão humana.

A este respeito, Algorithm Watch assinala que: “Os sistemas de inteligência artificial classificados como de alto risco serão sujeitos à autoavaliação do fornecedor, incluindo os sistemas utilizados para o policiamento preditivo, controle das migrações e seleção do pessoal. Em nossa opinião, é inadmissível deixar uma avaliação tão importante exclusivamente para os agentes empresarias que têm grande interesse na implementação de tais sistemas”.

A proposta da Comissão é a primeira tentativa de regulamentar a utilização de IA dentro de um único quadro jurídico. Até agora, as intervenções para limitar os danos que esses instrumentos podem causar diziam respeito a casos isolados ou a tecnologias isoladas.

A Vice-Presidente da Comissão, Margrethe Vestager, sublinhou que os riscos não são atribuíveis à tecnologia em si, mas sim ao seu âmbito de aplicação, que pode ter implicações éticas diferentes de acordo com cada caso. No entanto, o artigo 3.º da proposta define um “sistema de inteligência artificial” como software desenvolvido com uma lista de técnicas e abordagens detalhadas no primeiro anexo (que inclui tanto a aprendizagem de máquina como os instrumentos estatísticos mais convencionais).

A este respeito, Virginia Dignum, professora do Departamento de Ciência da Computação da Universidade de Umeå na Suécia, destaca: “A inteligência artificial engloba diferentes abordagens, algumas mais controversas do que outras, algumas completamente transparentes, determinísticas e explicáveis, mas ainda invasivas. Eu preferiria que o regulamento se concentrasse simplesmente nas propriedades ou nos possíveis impactos, ao invés das técnicas”.

O Regulamento proposto contém implicações importantes para as grandes empresas de tecnologia, que podem enfrentar multas de até 6% de seu faturamento em nível global. O Regulamento diz respeito aos cidadãos da União Europeia e a todas as empresas que fazem negócios na UE.

Nos Estados Unidos

Também do outro lado do Atlântico foi uma semana importante para a regulamentação da inteligência artificial. Elisa Jilson, advogada da Comissão Federal de Comércio dos Estados Unidos, publicou na segunda-feira um artigo no qual chamou a atenção para o fato de que já existem leis que podem ser úteis para evitar que os sistemas automáticos de assistência à decisão sejam discriminatórios e injustos.

A FTC não tem voz nas ações de agências governamentais ou bancos, mas pode intervir nas empresas que vendem software para essas entidades. E é isso que ela pretende fazer. Escreve: “Vamos supor que um desenvolvedor de software diga aos clientes que seu produto selecionará candidatos para um novo cargo de maneira completamente imparcial, mas o algoritmo foi construído com dados que não representam a diversidade étnica e de gênero da sociedade. O resultado poderia ser uma ação legal pela FTC”.

Se a abordagem europeia for mais ambiciosa do que aquela estadunidense, esta última poderá conduzir a soluções concretas em prazos mais curtos, dado o longo percurso de discussão e negociação que a proposta europeia tem pela frente.

O ponto fraco de ambas, escreve Will Douglas Heaven na MIT Technology Review, é ter pouco poder sobre a ação de governos e instituições públicas, mas ele conclui com uma nota de otimismo: "Os anúncios desta semana refletem uma grande mudança em nível mundial em prol de uma regulamentação séria da IA, uma tecnologia que até o momento tem sido desenvolvida e implementada com pouca supervisão”.