Reconhecimento facial deve ser banido. Veja dez razões:

As tecnologias digitais baseadas em inteligência artificial para ordenação e vigilância de cidadãos no espaço público ganham mais mercado devido à evolução técnica e barateamento na última década. Vigilância e persecução de suspeitos por reconhecimento facial não é algo novo mas tem recebido mais atenção tanto por questões técnicas que aumentam o acesso a tais recursos, inclusive através de lobby das corporações de big tech, quanto pelo avanço de ideologias violentas de extrema-direita.

No Brasil, tecnologias do tipo estão sendo implementadas por governos de diferentes espectros ideológicos, como Bahia, São Paulo e Rio de Janeiro para citar alguns exemplos. A principal tecnologia que busca normalizar o estado completo de vigilância potencial é o reconhecimento facial, proposta e defendida em diversos níveis do executivo e legislativo. Estudo promovido pela Intervozes mostrou que “dentre os 26 prefeitos de capitais empossados em janeiro de 2021, 17 apresentaram propostas que, de algum modo, preveem o uso das tecnologias de informação e comunicação na segurança pública”.

O compromisso público contra a tecnologia requer urgência, uma vez que quanto mais gasto público é aplicado em infraestruturas do tipo, mais seu uso é normalizado e difícil se torna o combate à sua implementação contínua e perene.

1) Reconhecimento facial e visão computacional são técnicas altamente imprecisas, em especial sobre pessoas racializadas
Reconhecimento facial e visão computacional para identificação de objetos em imagens e vídeos são tecnologias altamente imprecisas, com amplo histórico de erros com impactos violentos que desrespeitam os direitos humanos. Os frequentes erros em tecnologias do tipo e similares levaram estudiosos de vários locais no mundo a elaborarem o conceito de “racismo algorítmico” . Sobre reconhecimento facial, alguns exemplos anedotais ou de pesquisas estruturadas: softwares da IBM, Microsoft, Amazon e outros erram mais em imagens de mulheres negras; órgão estadunidense identificou que sistemas de biometria visual erram de 10 a 100 vezes mais com imagens de pessoas negras ou asiáticas; Google marca ferramentas em mão negra como arma; Instagram bloqueia anúncio mostrando favela por “conter armas” que não existem na imagem. Veja os casos na Linha do Tempo do Racismo Algorítmico.

Especificamente sobre casos de erros do reconhecimento facial para segurança pública, campo com pouquíssima transparência, há documentação de violências ocasionadas por erros vulgares por todo o mundo, como Salvador, Rio de Janeiro, Londres, Michigan etc. Em Londres, uma das poucas implementações com auditoria e pesquisa transparentes, o público foi erroneamente identificado em 96% dos casos.

2) A seletividade penal é norma nas polícias e judiciário brasileiros
A seletividade penal é norma nas polícias brasileiras, construídas desde o seu início como ferramentas de controle de populações vulneráveis e manutenção de relações de exploração e subjugação de classe, racialmente e patriarcalmente definidas. Adicionalmente, a polícia “erra” com mais frequência contra pessoas negras e pobres. Portanto, mesmo se sequer tomarmos uma posição explicitamente abolicionista, não podemos apoiar a implementação de mais mecanismos de promoção do encarceramento. Mesmo se tivéssemos tecnologias “precisas” de reconhecimento facial, tais vão contra projetos humanos de sociedade por avançar o encarceramento de pessoas, em grande parcela através de punição por crimes sem vítima.

Os dados sobre pessoas presas por reconhecimento facial no Brasil não são transparentes, mas organizações como o Centro de Estudos de Segurança e Cidadania levantaram que 90,5% das prisões realizadas com a tecnologia foram de pessoas negras.

3) Tecnologias digitais vistas como “neutras” ou “objetivas” favorecem ainda mais excessos de policiais
Alguns estudos emergentes descobriram que a percepção popular – e errônea – de que tecnologias digitais são neutras favorecem excessos de policiais, que agem impulsivamente aos primeiros sinais ou indícios oferecidos pelas tecnologias. A mediação tecnológica também cria mais barreiras entre suspeitos e policiais, promovendo ainda mais a desumanização ao tirar possibilidades de remediação face a face na relação social.

Dois casos sobre reconhecimento que exemplificam o problema: em prisão de homem em Michigan, o suspeito precisou mostrar repetidamente aos policiais o quanto a foto do homem nas imagens da câmera de segurança em nada se parecia nem com ele nem com a sua foto da base de dados. Apesar disso, os policiais custaram a questionar a autoridade do sistema computacional .

Em etnografia realizada na implementação do sistema de reconhecimento em Londres, pesquisadores observaram que policiais desrespeitavam os protocolos construídos para decidir se a abordagem seria realizada ou não. Segundo o estudo, era comum “oficiais de rua não esperarem pelo processo de decisão na sala de controle – um claro exemplo de presunção em favor da intervenção” , reforçando o perigo da relação violenta de tais tecnologias com a cultura policial, independente da precisão ou imprecisão da análise de reconhecimento.

4) O mercado de inteligência artificial esconde o funcionamento de seus sistemas usando a defesa por “segredo de negócio” ou “inexplicabilidade algorítmica”
Técnicas de inteligência artificial cresceram em complexidade a partir de lógicas conexionistas de aprendizado profundo em aprendizado de máquina. Uma das características deste avanço é a escala de cálculo de correlações entre dados e resultados desejados no sistema que não permite auditoria humana detalhada. Apesar de não permitir a plena compreensão humana das “decisões” do sistema , são usadas assim que cumprem objetivos de negócio. Os impactos comumente são percebidos apenas muito depois da implementação, por jornalistas ou grupos de defesa de direitos humanos.

Vinculado a esta lógica, as grandes corporações de tecnologia rechaçam auditorias algorítmicas ao alegarem “segredo de negócio”. Poucas decisões judiciais buscando reparação de dados firmam a posição pela transparência.

5) Tecnologias do tipo no espaço público pressupõem e fortalecem sociedade vigilantista
Mesmo desconsiderando os fatores acima, a disseminação de tecnologias de vigilância ubíquas e pervasivas favorece uma compreensão da sociedade e espaço público como lugar de suspeição contínua e indiscriminada. O impacto da aceitação da vigilância pervasiva para a saúde do tecido social é um fator ainda desconhecido, que pode promover ainda mais a demonização do espaço público e da rua.

6) Não podemos pressupor boa-fé de corporações de tecnologia
A última década demonstrou inúmeros casos de vínculos problemáticos de corporações de tecnologia – responsáveis por sistemas de inteligência artificial, tecnologias biométricas, dispositivos digitais ou armazenamento de dados – a projetos autoritários e imperialistas. Da influência do Facebook no Brexit e eleições americanas, extremismo digital no YouTube e lobby da Google no Conselho Administrativo de Defesa Econômica, a relação de corporações big tech ou startups de tecnologia com projetos autoritários e eugenistas é comum.

Devido à incompreensão do valor dos dados e colonialismo digital, instituições públicas brasileiras recorrem a usar serviços de tais organizações, pondo não só cidadãos como a própria soberania nacional em risco. Entre exemplos recentes, estão: o relatado pela pesquisa Educação Vigiada, sobre a exportação os dados de universidades e secretarias de educação brasileiras; o uso de servidor Oracle pelo TSE nas eleições 2020; e vazamento de dados de 533 milhões de usuários de Facebook em todo o mundo .

7) Vazamentos de dados vitimam empresas de tecnologias de todos os portes
Mesmo se os argumentos anteriores não estivessem presentes, o vazamento de dados por invasão criminosa de servidores ou problemas técnicos é um risco que desencoraja a permissão do acúmulo de dados massivos, em especial se biométricos. Casos cada vez mais frequentes de vazamento de dados são descobertos e instituições brasileiras que devem abordá-los ou puni-los são coniventes com projetos de privatização do estado. Em eventuais e prováveis vazamento de dados sensíveis como biometria e informações genéticas, o dano à sociedade é irreversível e imprevisível.

8) A infraestrutura de vigilância aumenta potencial violento de projetos autoritários
A disseminação de tecnologias de vigilância estabelecida no espaço público mesmo que seja aplicada apenas para fins do que é considerado hoje socialmente adequado em termos de segurança pública e persecução penal, cria potenciais violentos em governos antidemocráticos. A infraestrutura estabelecida em contextos com alguma garantia institucional pode ser facilmente arma de potencial inédito de dano em ditaduras ou guerras civis.

9) A imprecisão da tecnologia e infrações de direitos humanos são mais intensas para pessoas trans
A ideologia de produção de sistemas de inteligência artificial, em especial o reconhecimento facial, se calca em ideologias patriarcais, eurocêntricas e normativas sobre corpo, sexualidades e gênero. Pesquisadoras da Coding Rights apontam que tecnologias do tipo “reiteram e reforçam estereótipos de gênero ao classificar os rostos a partir de critérios definidos na própria criação das bases de dados que, em geral, são enviesadas tanto nas políticas de gênero, quanto nas políticas raciais” .

10) O custo-benefício para captura de condenados não justifica a coleta massiva
Na milionária implementação de reconhecimento facial em Londres, as bases reuniam fotos de mais de 2.400 suspeitos que geraram apenas 8 prisões. Dados proporcionais ainda piores são reportados no Brasil, onde gigantesca infraestrutura de reconhecimento facial foi implementada na Micareta de Feira de Santana, Bahia, coletando e vulnerabilizando 1,3 milhões de rostos para o cumprimento de apenas 18 mandados.

Imagem do card: https://www.flickr.com/photos/electronicfrontierfoundation/39225139155

Cursos gratuitos sobre desigualdades na internet, autocuidado e direitos digitais

A Ação Educativa lançou, com apoio da Mozilla Foundation, uma trilha de cursos sobre internet, direitos digitais e tecnologia com minha curadoria. São cursos gratuitos, gravados, compostos de atividades em vídeo, texto e fóruns de interação – participantes podem fazer no seu tempo, com prazo super elástico! Serão vários cursos, dois já estão disponíveis. Confira:

INTERNET E DESIGUALDADES

O curso Internet e Desigualdades busca oferecer uma introdução sobre os debates em torno das desigualdades no acesso, uso e desenvolvimento da internet. Através da curadoria de dados, reflexões e conceitos sobre a internet como catalisadora de direitos, discute de infraestrutura e dispositivos até questões de raça, gênero e território. Realizado por Tarcízio Silva, pesquisador e Tech + Society Fellow na Mozilla Foundation.

BEM-VIVER NA INTERNET

O curso busca discutir e apresentar estratégias de autocuidado para as/os participantes refletirem sobre suas trajetórias online, indo de camadas individuais à governança da internet e direitos digitais, passando também por táticas coletivas. Baseado em princípios de autodefinição e autocuidado, o curso é composto de quatro módulos que incluem também aulas sobre infodemia em contexto pandêmico, ciberbullying, discurso de ódio e desinformação. Ao final da jornada, apresenta táticas para formação de grupos de apoio baseados em valores como compaixão, expressão, colaboração e respeito aos direitos humanos.

Formadoras: Glenda Dantas, jornalista e co-fundadora da plataforma Conexão Malunga. Pesquisa sobre cibercultura e ciberativismo. Participou do Programa Youth Brasil – Comitê Gestor da Internet 2020; e Mariana Gomes, jornalista co-fundadora da plataforma Conexão Malunga. Pesquisa sobre governança da internet e ciberativismo a partir do feminismo negro. Bolsista do Programa Youth Brasil – Comitê Gestor da Internet 2019. Liderança apoiada pelo Programa de Aceleração do Desenvolvimento Marielle Franco (Baobá Fundo para Equidade Racial) – 2020.

Colonialismo de dados é fruto e arma da supremacia branca

[O texto abaixo é a adaptação de respostas a uma entrevista para reportagem sobre colonialismo de dados. Como habitual, todas menções à Europa, branquitude e supremacia branca nas respostas foram suprimidas da reportagem final. Testemunhamos em torno do mundo um apagamento do colonialismo “histórico” na formatação das condições para emergência das big tech e também o apagamento de como as colonialidades do poder, do ser e do saber se relacionam com tecnologia na distribuição de hierarquias de humanidade nas dominações globais.]

Práticas de extração e processamento de dados reproduzem fluxos de apropriação de capital e epistemes típicas de sanhas coloniais que moldaram o mundo, em especial em torno do Atlântico. O domínio de meios informacionais de circulação de dados é realizado através da plataformização de mais e mais esferas sociais através da datificação. Comunicação e esfera pública centrada nas mídias sociais, trocas financeiras de serviços centradas em aplicativos mobile e mesmo trocas afetivo-sexuais são registradas e monetizadas em softwares dominados por grupos dominantes que tem a capacidade de selecionar, criar, adquirir ou copiar serviços de startups que se destacam nos negócios da tecnologia.

Quando o capital financeiro global consegue realizar dumping em países dominados pelas potências europeias e EUA, mercados e indústrias locais são fragilizados graças ao controle das trocas realizadas nas plataformas. Dos aplicativos de transporte até tecnologias biométricas, passando por plataformas de mídias sociais, o colonialismo de dados reproduz a dominação dos fluxos e trocas em favor dos grandes centros e de grupos demográficos específicos quanto a raça, classe e gênero. O trabalho gratuito ou precarizado de centenas de milhões em torno do mundo desemboca, ao fim e ao cabo, na concentração de recursos dos negócios bilionários da tecnologia que se reinventaram para se apresentar a público como uma miríade de milhares de marcas ou, mesmo, pela ficção da “economia compartilhada” que oculta tal concentração.

Levando os fluxos de interesse em conta, com certeza a articulação pela produção intelectual e práxis sócio-política descolonial é uma necessidade para o avanço das ciências e soberania epistemológica do país, mas em grande medida o fluxo de ideias sobre algumas chaves teórico-conceituais em torno do colonialismo de dados reproduz a direção Norte-Sul. Uma agenda de pesquisa brasileira que se coloca voluntariamente como “à margem” dos centros passa a reproduzir um olhar eurocêntrico sobre sua produção. Ao consumir de forma assimétrica as produções europeias sobre caminhos descoloniais ou, ainda, abarcar a ideia de um pós-colonial, corremos o risco de produzir, literalmente, para “inglês ver”. Acredito na possibilidade de intensificação de articulações Sul-Sul que promovam a conexão do Brasil com a diversidade da América Latina e da África para conexões intelectuais que desenvolvam imaginários que não busquem a chancela eurocêntrica.

Minha pesquisa atual especificamente gira em torno do conceito de racismo algorítmico, que o modo pelo qual a disposição de tecnologias e imaginários sociotécnicos em um mundo moldado pela supremacia branca fortalece a ordenação racializada de epistemes, recursos, espaço e violência em detrimento de grupos racializados pela branquitude detentora das epistemologias e capitais hegemônicos que moldam o horizonte de ações da inteligência artificial em sistemas algorítmicos.

As práticas em torno da base de imagens etiquetadas ImageNet formam um dos exemplos mais loquazes sobre como o colonialismo de dados molda práticas e modelos que ganham incrementalmente camadas de opacidade até o ponto de serem tomados como naturais e promovem algoritmicamente o racismo. Esta base de imagens possui milhões de fotografias extraídas sem consentimento através de web scraping em buscadores. Foi etiquetada – ou seja, marcada com categorias para permitir o aprendizado de máquina – sobretudo através de trabalho do modelo “crowdsourced” realizado por profissionais precarizados em países como Filipinas e Índia. As imagens eram provenientes em sua absoluta maioria de países europeus e EUA, hipervisibilizando pessoas e ambientes destes países e invisibilizando estéticas do Sul Global. A partir deste treinamento de máquina, competições de construção de modelos algorítmicos para identificação de imagens foram realizados por centros científicos dos países afluentes. Como resultado, isto significou a reprodução opaca de modelos algorítmicos de interpretação de imagens em visão computacional que apaga ou interpreta erroneamente pessoas e ambientes não-eurocêntricos ao mesmo tempo que transferiu trabalho e recursos reproduzíveis e escaláveis para os centros afluentes da tecnologia global.

A própria existência de um oligopólio tecnológico que domina grande fatia do tempo, produção intelectual e comunicacional dos cidadãos e o valor financeiro decorrente é um empecilho inerente ao uso construtivo da internet para o bem estar social. Avança a discussão sobre a necessidade de desmembrar oligopólios do chamado FAANG – Facebook, Amazon, Apple, Netflix e Alphabet (a detentora do Google). Cada uma dessas corporações possui amplos conglomerados de empresas em setores como comunicação, mídia, inteligência artificial, varejo, infraestrutura e muitos outros, podendo cruzar dados de cada a seu bel-prazer e desenvolver modelos de ingerência nas esferas sociais, econômicas e políticas.

Neste sentido, vimos na última década como tal oligopólio se posicionou em um local privilegiado para interpretação da realidade social através da promoção da ideologia de mensuração científica de big data. Com centenas de cientistas, contratados a partir das melhores universidades do mundo, engajados em pesquisa para fins privados, grupos como Facebook e Alphabet acabaram por ter capacidade de interferência no mundo maior do que a de muitos Estados nacionais. Quando falamos de pesquisa científica, temos um risco de diluição do potencial transformador e investigativo de projetos possibilitados por grants financeiros ou acesso apenas a dados que as plataformas julgam confortável compartilhar. Precisamos defender com todas as forças a independência das universidades a esta ingerência privada e alheia aos interesses nacionais.

Discriminação algorítmica: desafios interdisciplinares

No último 5 de maio pude fazer a mediação do debate “Discriminação algorítmica: desafios interdisciplinares“, proposto em minha curadoria no projeto Renascença do Diplomacia para Democracia. Convidei Carla Vieira (perifaCode, USP e Google Developer Expert em Machine Learning), Bianca Kremer (Doutora PUC-Rio; pesquisadora FGV-Rio; Fellow Coding Rights) e André Mintz (UFMG, R-EST/UFMG e GAIA/USP) para responder as seguintes perguntas, respectivamente: Como a Computação pode Combater a Discriminação Algorítmica? Como o Direito pode Combater a Discriminação Algorítmica? Como a Arte pode Combater a Discriminação Algorítmica?

Assista abaixo:

Da mesma série, também faz parte o debate Desafios Globais por uma Internet Saudável.