“Os privilegiados são analisados por pessoas; as massas, por máquinas”

Doutora em Matemática pela Universidade Harvard luta para conscientizar sobre como, segundo ela, o ‘big data’ aumenta a desigualdade

Por Ana Torres Menárguez, em El País

Cathy O’Neil (Cambridge, 1972), doutora em matemática pela Universidade Harvard, trocou o mundo acadêmico pela análise de risco de investimento dos bancos. Achava que esses recursos eram neutros do ponto de vista ético, mas sua ideia não tardou a desmoronar. Percebeu como a matemática poderia ser “destrutiva” e empreendeu uma mudança radical: somou-se ao grupo de finanças alternativas do movimento Occupy Wall Street, que nasceu em 2011 em Nova York para protestar contra os abusos do poder financeiro, e começou sua luta para conscientizar sobre como o big data “aumenta” a desigualdade e “ameaça” a democracia.

A autora do livro Weapons of Math Destruction (“armas de destruição matemática”, um trocadilho com a expressão “armas de destruição em massa”, inédito no Brasil), que também assessora start-ups, defende que os algoritmos geram injustiças porque se baseiam em modelos matemáticos concebidos para reproduzir preconceitos, equívocos e vieses humanos. “A crise financeira deixou claro que a matemática não está apenas envolvida em muitos dos problemas do mundo, como também os agravam”, considera.

O’Neil, que participou há algumas semanas de um fórum sobre o impacto dos algoritmos nas democracias, organizado pelo Aspen Institute da Espanha e pela Fundação Teléfonica, respondeu às perguntas do EL PAÍS.

Pergunta. Você afirma em seu livro que a matemática é mais importante do que nunca nos assuntos humanos.

Resposta. Não acho que seja a matemática, e sim os algoritmos. Essa é parte do problema; estamos transferindo nossa confiança da matemática para certos modelos que não entendemos como funcionam. Por trás deles há sempre uma opinião, alguém que decide o que é importante. Se olharmos as redes sociais, há vieses. Por exemplo, os conteúdos são ordenados em função de quem fala mais no Twitter ou no Facebook. Isso não é matemática, são discriminações feitas por humanos. A pessoa que desenvolve o algoritmo define o que é o sucesso.

P. Por trás dos algoritmos há matemáticos. Eles têm consciência do sistema de vieses que estão criando?

R. Não são necessariamente matemáticos, e sim especialistas capazes de lidar com fórmulas lógicas e com conhecimentos de programação, estatística e matemática. Sabem traduzir a forma de pensar dos humanos para os sistemas de processamento de dados. Muitos deles ganham muito dinheiro com isso e, embora do ponto de vista técnico sejam capazes de detectar essas falhas, preferem não pensar nisso. Em empresas como o Google, há quem se dê conta, mas, se manifestarem seu compromisso com a justiça, os advogados da companhia lhes farão se lembrar do compromisso com os acionistas. É preciso maximizar os lucros. Não há incentivos suficientes para transformar o sistema, para torná-lo mais justo. O objetivo ético não costuma ir acompanhado de dinheiro.

Não é preciso ter formação matemática para entender que uma decisão tomada por um algoritmo é injusta

P. Você denuncia que os algoritmos não são transparentes, que não prestam contas do seu funcionamento. Acha que os Governos deveriam regulamentá-los?

R. São opacos inclusive para os que os desenvolvem, que, muitas vezes, não são suficientemente pagos para entender como funcionam. Tampouco comprovam se cumprem as leis. Os Governos devem legislar e definir, por exemplo, o que torna um algoritmo racista ou sexista.

P. Em seu livro, você menciona o caso de uma professora norte-americana que foi demitida por decisão de um algoritmo. Acha possível medir a qualidade humana com um sistema informático?

R. O distrito escolar de Washington começou a usar o sistema de pontuação Mathematica para identificar os professores menos produtivos. Foram demitidos 205 docentes depois que esse modelo os considerou maus professores. Atualmente não temos como saber apenas com dados se um trabalhador é eficiente. O dilema se você é ou não um bom professor não pode ser resolvido com tecnologia, é um problema humano. Muitos desses professores não puderam reclamar, porque o secretismo sobre como o algoritmo funciona lhes priva desse direito. Ao esconder os detalhes do funcionamento, fica mais difícil questionar a pontuação ou protestar.

P. Qual é a chave para poder fazer isso no futuro?

R. É um experimento complicado. Primeiro é preciso haver um consenso na comunidade educacional sobre quais elementos definem um bom professor. Se a intenção é avaliar se ele gera suficiente curiosidade nos alunos para que aprendam, qual é a melhor fórmula para medir isso? Se entrarmos numa classe e observarmos, poderemos determinar se o docente está incluindo todos os alunos na conversa, ou se consegue que trabalhem em grupo e cheguem a conclusões, ou se só falam entre si em aula. Seria muito difícil programar um computador para isso. Os especialistas em dados têm a arrogância de acreditar que podem resolver essas questões. Ignoram que primeiro é preciso um consenso no campo educacional. Um algoritmo estúpido não vai resolver uma questão sobre a qual ninguém está de acordo.

Seria muito difícil programar um computador para que o determine se um professor faz bem o seu trabalho

P. As administrações usam cada vez mais os algoritmos pela falta de perfis suficientemente formados?

R. Por um lado, economizam custos em pessoal. Mas o mais importante é: evitam a responsabilidade. Quando você usa um algoritmo, o fracasso não é sua culpa. É da máquina. Trabalhei para a Prefeitura de Nova York enquanto pesquisava para escrever meu livro. Estavam desenvolvendo um sistema de ajudas para os sem-teto, mas percebi que não queriam melhorar suas vidas, e sim não fracassar em suas políticas. Aconteceu o que queriam evitar: o The New York Times publicou um artigo sobre a morte de uma criança em consequência de uma falha nessa rede de ajuda. A culpa era do algoritmo, que não tinha calculado bem. Acho que não deveríamos deixar as administrações usarem algoritmos para se esquivar da responsabilidade.

P. O uso de algoritmos para a contratação está se espalhando. Quais são os preconceitos?

R. A automatização dos processos de seleção está crescendo entre 10 e 15% ao ano. Nos Estados Unidos, já são usados com 60% dos trabalhadores em potencial, e 72% dos currículos não chegam a ser analisados por pessoas. Os algoritmos costumam castigar os pobres, enquanto os ricos recebem um trato mais pessoal. Por exemplo, um escritório de advocacia renomado ou um colégio privado de elite se basearão mais em recomendações e entrevistas pessoais durante os processos de seleção do que uma rede de fast food. Os privilegiados são analisados por pessoas, e as massas, por máquinas.

Se você quiser trabalhar num call center ou como caixa, tem que passar por um teste de personalidade. Para um cargo no Goldman Sachs há uma entrevista. Sua humanidade é levada em conta para um bom trabalho. Para um emprego de salário baixo, você é simplesmente analisado e categorizado. Uma máquina lhe etiqueta.

P. Acha que é necessária uma melhor formação em matemática para nos conscientizarmos dessa manipulação?

R. Isso é ridículo. As pessoas precisam entender que se trata de um problema de controle político. É preciso ignorar a parte matemática e exigir direitos. Não é preciso ter formação matemática para compreender o que é injusto. Um algoritmo é o resultado de um processo de tomada de decisões. Se você for demitido porque um algoritmo assim determinou, tem que exigir uma explicação. Isso é o que tem que mudar.

P. Em que outros aspectos os algoritmos estão prejudicando os direitos trabalhistas?

R. Há um fenômeno chamado clopenning (“abre-fecha”). São horários irregulares que afetam cada vez mais funcionários com salários baixos. Esses calendários são o resultado da economia dos dados, são algoritmos desenvolvidos para gerar eficiência, ao mesmo tempo em que trata os trabalhadores como meras engrenagens. Segundo dados do Governo dos Estados Unidos, dois terços dos trabalhadores do setor serviços e mais de 50% dos vendedores recebem informações sobre suas escalas de trabalho com uma semana ou menos de antecedência.

Essa é uma das situações extremas que o uso de algoritmos provoca no âmbito trabalhista. Há uma lei que estipula que, se você trabalhar pelo menos de 35 horas na semana, deve receber benefícios. Pois há um algoritmo que garante que nenhum empregado faça mais de 34 horas. Como não há nenhuma lei que determine que você deve trabalhar no mesmo horário todos os dias, o algoritmo não se preocupa com a sua vida e lhe atribui as horas de trabalho em função das necessidades da empresa. Se há previsão de chuva num dia, as vendas aumentam, e os turnos mudam. Só decidem na última hora. Essas pessoas não conhecem seu horário com antecedência, não podem organizar seu tempo livre, estudar ou cuidar de seus filhos. Sua qualidade de vida se deteriora, e os computadores são cegos a isso. A regulação governamental é a única solução.