Em sociedades digitalizadas, decisões cruciais sobre a vida são tomadas por máquinas e códigos. Por que isso multiplica a desigualdade e ameaça o direito à informação e a democracia 

Vivemos todos na Era do Algoritmo. Aqui está uma história que não apenas resume a era, mas mostra como a obsessão pelo algoritmo pode dar terrivelmente errado.

Tudo começou no início de setembro, quando o Facebook censurou a foto ícone de Kim Phuch, a “menina do napalm”, símbolo reconhecido em todo o mundo da Guerra do Vietnã. A foto figurava em post no Facebook do escritor norueguês Tom Egeland, que pretendia iniciar um debate sobre “sete fotos que mudaram a história da guerra”.

Não só o seu post foi apagado, como Egeland foi suspenso do Facebook. O Aftenposten, principal jornal diário da Noruega, propriedade do grupo de mídia escandinavo Schibsted, transmitiu devidamente a notícia, lado a lado com a foto. O Facebook pediu então que o jornal apagasse a foto – ou a tornasse irreconhecível em sua edição online. Antes mesmo de o jornal responder, artigo e foto já haviam sido censurados na página do Aftenposten do Facebook.

A primeira ministra norueguesa, Erna Solberg, protestou contra tudo isso em sua página do Facebook. Também foi censurada. O Aftenposten então sapecou a história inteira em sua primeira página, ao lado de carta aberta a Mark Zuckerberg, assinada pelo diretor do jornal, Espen Egil Hansen, acusando o Facebook de abuso do poder.

Uma opinião embrulhada em códigoPassaram-se 24 longas horas até que o colosso de Palo Alto recuasse e “desbloqueasse” a publicação.

O Facebook empenhou-se ao máximo para controlar os danos depois do episódio. Isso não alterou o fato de que o inbroglio “menina da napalm” é um clássico drama do algoritmo, como ocorre na aplicação de inteligência artificial para avaliar conteúdo.

Como outros gigantes da Economia de Dados, o Facebook deslocaliza a filtragem de dados para um exército de moderadores em empresas localizadas do Oriente Médio ao Sul da Ásia. Isso foi confirmado por Monika Bickert, do Facebook.

Esses moderadores têm um papel no controle daquilo que deve ser eliminado da rede social, a partir de sinalizações dos usuários. Mas a informação é então comparada a um algoritmo, que tem a decisão final.

Não é necessário ter PhD para perceber que esses moderadores não têm, necessariamente, vasta competência cultural, ou capacidade de analisar contextos. Isso para não mencionar que os algoritmos são incapazes de “entender” contexto cultural e certamente não são programados para interpretar ironia, sarcasmo ou metáforas culturais.

Os algoritmos são literais. Em poucas palavras, são uma opinião embrulhada em código. E no entanto, estejamos atingindo um estágio em que a máquina decide o que é notícia. O Facebook, por exemplo, conta agora apenas com o algoritmo para definir quais hstórias coloca em destaque.

Pode haver um lado positivo nessa tendência – como o Facebook, o Google e o YouTube usarem sistemas para bloquear rapidamente vídeos do ISIS e propaganda jihadista semelhante. Logo estará em operação eGLYPH – um sistema que censura vídeos violam supostos direitos autorais por meio  “hashing”, ou codificação para busca rápida. Uma única marca será atribuída a vídeos e áudios considerados “extremistas”, possibilitando assim sua remoção automática em qualquer nova versão e bloqueando novos uploads.

E isso nos traz para um território ainda mais turvo; o próprio conceito de “extremista”. E os efeitos, sobre todos nós, de sistemas de censura baseados em lógica algorítmica.

Como as Armas de Destruição Matemática controlam nossa vida

É neste cenário que um livro como Armas de Destruição em Math [ou “Armas de Destruição Matemática”] de Cathy O’Neil (Crown Publishing), torna-se tão essencial quanto o ar que respiramos.

O’Neil lida com a coisa real; é PHD em matemática em Harvard, ex-professora do Barnard College, ex-analista quantitativa num fundo de hedge antes de reconverter-se a pesquisadora, e blogueira no mathbabe.org.

Modelos matemáticos são o motor de nossa economia digital. Isso leva O’Neil a formular seus dois insights decisivos – que podem surpreender legiões de pessoas que veem as máquinas como simplesmente “neutras”.

1) “Aplicações baseadas em matemática e que empoderam a Economia de Dados são baseadas em escolhas feitas por seres humanos falíveis”.

2) “Esses modelos matemáticos são opacos, e seu trabalho é invisível para todos, exceto os cardeais em suas áreas: matemáticos e cientistas computacionais. Seus vereditos são imunes a disputas ou apelos, mesmo quando errados ou nocivos. E tendem a punir pobres e oprimidos, enquanto tornam os ricos mais ricos em nossa sociedade”.

Daí o conceito de Armas de Destruição Matemática (WMDs), de O’Neil; ou de o quanto modelos matemáticos destrutivos estão acelerando um terremoto social.

O’Neil detalha extensivamente  como modelos matemáticos destrutivos microgerem vastas faixas da economia real, da publicidade ao sistema prisional, sem falar do sistema financeiro (e dos efeitos posteriores à interminável crise de 2008).

Esses modelos matemáticos são essencialmente opacos; não responsáveis; e miram acima de toda “otimização” das massas (consumidoras).

A regra de ouro é – o que mais seria? – seguir o dinheiro. Como diz O’Neil, para “as pessoas que executam os WMDs”, o “feedback é a grana”; “os sistemas são construídos para devorar mais e mais dados, e afinar suas análises de modo a despejar nele mais e mais dinheiro”.

As vítimas – como nos ataques de drone na administração Obama – são mero “dano colateral”.

Paralelos entre o cassino financeiro e os Big Data são inevitáveis – e é útil o fato de que O’Neil tenha trabalhado nos dois setores.

O Vale do Silício segue o dinheiro. Vemos nele os mesmos bancos de talentos das universidades de elite norte-americanas (MIT, Stanford, Princeton), a mesma obsessão por fazer o necessário para juntar mais e mais dinheiro para a empresa empregadora.

As Armas de Destruição Matemática favorecem a eficiência. “Justiça” não passa de um conceito. Computadores não entendem conceitos. Programadores não sabem codificar um conceito – como vimos na história da “menina do napalm”. E também não sabem como ajustar algoritmos para refletir equidade.

O que temos é o conceito de “amizade” sendo medido por likes e conexões no Facebook. O’Neil soma tudo; “Se você pensa no WMD como indústria, injustiça é o que está sendo expelido pela fumaça da chaminé. É uma emissão tóxica.”

Mande um fluxo de caixa, já

No fim, é a Deusa do Mercado que regula tudo – premiando eficiência, crescimento e fluxo de caixa sem fim.

Mesmo antes do fiasco da “menina do napalm”, O’Neil já apontara o fato crucial de que o Facebook determina, na realidade, e segundo seus próprios interesses, o que todos veem – e aprendem – na rede social. Nada menos que dois terços dos norte-americanos adultos têm perfil no Facebook”. Quase a metade, afirma relatório do Centro de Pesquisa Pew, conta com o Facebook para parte, ao menos, das notícias que leem.

A maioria dos norte-americanos – para não falar da maioria dos 1,7 bilhão de usuários do Facebook espalhados pelo mundo – ignora que o Facebook canaliza o feed de notícias. As pessoas de fato acreditam que o sistema compartilha instantaneamente, com sua comunidade de amigos, qualquer coisa que é postada.

O que nos traz, mais uma vez, à questão chave no front das notícias. Ao ajustar seus algoritmos para modelar as notícias que as pessoas veem, o Facebook tem agora tudo o que é necessário para jogar com todo o sistema político. Como observa O’Neil, “Facebook, Google, Apple, Microsoft, Amazon têm todos uma vasta quantidade de informação sobre grande parte da humanidade – e os meios para nos dirigir para onde queiram”.

Estrategicamente, seus algoritmos não têm preço, é claro; segredo comercial supremo, não transparente.; “Eles fazem seus negócios nas sombras”.

Em sua recente e propagandeada viagem a Roma, Mark Zuckerberg disse que o Facebook é “uma empresa high-tech, não uma empresa jornalística”. Não é bem isso. O aspecto mais intrigante do fiasco da “menina do napalm” pode ser o fato de que Shibsted, o grupo de mídia escandinavo, está planejando investir um dinheiro enorme na criação de um novo forum social para derrotar – quem? – o Facebook. Prepare-se para uma guerra novinha em folha no fronte do  WMD.