image/svg+xmlDe ranking universitário a eleições: Como os algoritmos estão modificandonossavidaEstud. sociol., Araraquara, v.27, n.00, e022015, jan./dez. 2022.e-ISSN: 1982-4718DOI:https://doi.org/10.52780/res.v27i00.150931DE RANKING UNIVERSITÁRIO A ELEIÇÕES: COMO OS ALGORITMOSESTÃO MODIFICANDO NOSSA VIDA1DE LAS CLASIFICACIONES UNIVERSITARIAS A LAS ELECCIONES: CÓMO LOS ALGORITMOS ESTÁN CAMBIANDO NUESTRAS VIDASFROM UNIVERSITY RANKINGTO ELECTIONS: HOW ALGORITHMS ARE CHANGING OUR LIVESLuciano Lopes QUEIROZ2Atualmente, vivemos em uma sociedade digital. No Brasil, estima-se que existam cerca de 234 milhões de celulares inteligentes, apesar de a conexão com a internet ser limitada em várias regiões do país. Atualmente, a maior parte das nossas atividades são realizadason-line. Todos estamos produzindo dados constantemente quando procuramos algo no Google ou marcamos um amigo em uma foto do Facebook. A partir dos dados, podemos determinar padrões comportamentais das pessoas e até mesmo mensurar o que estão sentindo e desejando. Esse grande volume de dados, associado à maior capacidade de processamento e aos avanços dos modelos matemáticos e algoritmos,gera um grande impacto em nossas vidas. Entretanto, a maioria de nósconhece pouco ou nada de como os algoritmos funcionam. Cathy O’Neil, em Weapons of Math Destruction, How Big Data Increases Inequality and Threatens Democracy (publicado em português como Algoritmos de Destruição em Massa), traz à tona a discussão de comoos modelos matemáticos, algoritmos e Big Datatêm sido utilizados de forma indiscriminada. Segundo o livro, esses componentes estão presentes em quase todos os momentos de nossas vidas nas plataformas digitais, nos processos de contratação de funcionários, na publicidade on-line, nas políticas públicas, nasfinanças, no sistema prisional e em vários outros exemplos. O’Neildemonstra, por meio de uma série de exemplos ao longo dos dez capítulos de seu livro, como a falsa ideia de imparcialidade dos algoritmos pode levar a um aumento da desigualdade e dasinjustiças.O’Neil, uma doutora em matemática e ex-cientista de dados de Wall Street, pôde observar durante a crise econômica de 2008 (crise do subprime) como os modelos 1Resenha da obra: O’NEIL, C. Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. New York: Crown, 2016. ISBN: 978-0553418811.Publicado em português como Algoritmos de Destruição em Massapela Editora Rua do Sabão, 2020.2Universidadede São Paulo(USP), São Paulo SP Brasil.Departamento de Microbiologia.Doutorado em Ciências Biológicas.ORCID: http://orcid.org/0000-0002-5260-0628.E-mail: lqueiroz@usp.br
image/svg+xmlLuciano Lopes QUEIROZEstud. sociol., Araraquara, v.27, n.00, e022015, jan./dez. 2022.e-ISSN: 1982-4718DOI:https://doi.org/10.52780/res.v27i00.150932matemáticos e os algoritmos podem influenciar a vida das pessoas. No primeiro capítulo, ela explica o que são modelos matemáticos e como os utilizamos em nosso dia a dia. Durante o ensino médio, aprendemos que modelos matemáticos são simplificações da realidade. O’Neildescreve um modelo comonada mais que uma representação abstrata de algum processo, seja ele uma partida de beisebol ou a cadeia de suprimentos de uma companhia de petróleo. Ela conclui que, se o modelo está rodando em um computador ou na cabeça, ele considera as informações quesabemos e as utiliza para predizer respostas emvárias situações. Alguns modelos são saudáveis e objetivos, como os criados a partir de estatísticas esportivas; outros são prejudiciais e subjetivos, como os utilizados para calcular as chances de reincidência de prisioneiros em algumas prisões dos Estados Unidos. Esse segundo tipo de modelo é o que ela classifica como “Armas de Destruição em Matemática” ou, em inglês, Weapons of Math Destruction” (WMD). O’Neillista três perguntas para identificar se um modelo matemático é uma WMD: 1) o modelo é opacoou invisível?; 2) o modelo é injusto ou causa danos?; e 3) o modelo tem a capacidade de crescer exponencialmente? Em resumo, ela define que os três elementos de uma WMD são opacidade, escalae dano. Ainda iremos retomar esses três elementos nesta resenha.Antes, vamos nos aprofundar nos conceitos de algoritmo e Big Data.Algoritmos têm ganhado cada vez mais importância em nossas vidas e, por isso, entender sua definição é de fundamental importância. Segundo Lupton (2014),algoritmos são sequências de comandos decomputador que dizem à máquina como prosseguir com uma série de instruções para chegar a um resultado específico. Com outras palavras, Gillespie (2014)define algoritmos como procedimentos codificados para transformar os dados de entrada (input) em uma saída (output) desejada por meio de cálculos específicos. Uma analogia frequentemente utilizada para explicar o que é um algoritmoé a da receita de bolo. Uma sequência de comandos que irá utilizar os inputs (farinha, ovos, manteiga), realizar transformações(misturar todos os ingredientes, bater e colocar no forno) e entregar um output (bolo). Todavia, apesar de uma simples sequência de comandos ser considerada um algoritmo, aqui estamos tratando de algoritmos complexos, que realizam uma série de cálculos, análises, fazem escolhas e aprendem (algoritmos de machine learning). Esses algoritmos, em sua maioria, utilizam do Big Datacomoinput.O termo Big Data, talvez até mais que algoritmo, tornou-se muito popular, principalmente entre empresários e na mídia. Contudo, o conceito de Big Data não é tão simples quanto o termo nos leva a deduzir. De acordo com Kitchin (2014),a definição comumente utilizada envolve os 3Vs: volume, velocidade e variedade. Uma quantidade
image/svg+xmlDe ranking universitário a eleições: Como os algoritmos estão modificandonossavidaEstud. sociol., Araraquara, v.27, n.00, e022015, jan./dez. 2022.e-ISSN: 1982-4718DOI:https://doi.org/10.52780/res.v27i00.150933enorme de dados (volume) é gerada e armazenadadiariamente (velocidade), com grande diversidade (variedade) em tipos de dados. Além dessas três características, Kitchin (2014)também lista outras que têm sido atribuídas a Big Data, como ser exaustiva, flexível, escalonável, ter alta resolução e relações com outros dados. Como já foi dito no início desta resenha, estamos constantemente conectados e gerando dados em atividades simples, como curtir uma foto no Instagram ou enviar uma mensagem para um amigo no WhatsApp. Entretanto, também estamos gerando dados em nosso dia a dia off-line. Por exemplo, ao informarmos nosso número de Cadastro de Pessoas Físicas (CPF)ao caixa do supermercado para a nota fiscal, ao fazermos a matrícula em um curso de inglês ou ao respondermos a um funcionário do censo da população brasileira. Todos esses dados são armazenados e podem ser utilizados no futuro como inputs de algoritmos produzidos por empresas privadas ou pelo Estado. Sendo assim, dados e algoritmos estão intimamente conectados. A forma como os modelos matemáticose os algoritmos são produzidos, bem como os dados utilizados nas análises serão tratados, pode definir se eles serão classificados como WMD ou não.Agora que definimos modelos matemáticos, algoritmos e Big Data, podemos retomar os três elementos que definem um algoritmo como WMD: opacidade, escalae dano. Cathy O’Neiltem uma grande capacidade de criar analogias para exemplificar esses três elementos e demonstra de forma clara e objetiva as várias formascomo os algoritmos afetam nossas vidas. Vamos utilizar alguns dos exemplos apresentados por ela e adicionar casos semelhantes da realidade brasileira.Uma editora de revistas brasileira criou um ranking das universidades e faculdades do país. As instituições eram classificadas entre uma e cinco estrelas. Essas estrelas refletem a média aritmética das notas dadas pelos avaliadores, que são professores e coordenadores de cursos de graduação. Eles recebem um questionário para realizar a avaliação dos cursos euniversidades, sendo que o mesmo avaliador podeavaliar até 35 cursos. Muitos estudantes entraram em contato com esse ranking e muitos devem ter escolhido onde iriam estudar baseados nessa avaliação. Apesar dos critérios de inclusão de um curso e da escolha dos avaliadores estarem claras, será que as perguntas que compõem o formulário são justas e refletem a realidade? Além disso, a partir do momento em que os coordenadores de curso conhecem os critérios de avaliação, isso poderia influenciar suas escolhasadministrativas para o curso e para a universidade com o objetivo de subir a nota? Algo semelhante aconteceu nos Estados Unidos nos anos 1980, e O’Neildemonstra como os critérios utilizados para o desenvolvimento desse modelo criaram uma “corrida armamentista” entre as universidades americanas.
image/svg+xmlLuciano Lopes QUEIROZEstud. sociol., Araraquara, v.27, n.00, e022015, jan./dez. 2022.e-ISSN: 1982-4718DOI:https://doi.org/10.52780/res.v27i00.150934No anode 1983, a revista U.S. News & World Reportdecidiu avaliar 1800 universidades dos Estados Unidos e classificá-las por excelência. Semelhante ao ranking brasileiro, eles enviavam um formulário para os presidentes das universidades, os quais avaliavam outras instituições com base em critérios definidos pela revista. O’Neilargumenta que os jornalistas da U.S. Newsnão possuíam uma formadireta de quantificar como o processo de formação superior afetava um estudante, muito menos milhões deles. Ao invés de escolher variáveis objetivas correlacionadas ao sucesso dos estudantes, eles decidiram selecionar variáveis como os resultados do SAT (Scholastic Aptitude Test), a razão estudante-professor e as taxas de aceitação dos estudantes que entraram e saíram das universidades num ano específico. A partir do conhecimento das variaveis utilizadas pelo ranking, muitos dos quais facilmente manipuláveis, algumas universidades começaram a manipular o algoritmo com o objetivode aumentarem suas notas. O algoritmo criado ealimentado pela U.S. Newspara classificar as universidades norte-americanas cumpre todos os critérios para ser considerado uma WMD. Ele é opaco, ou seja, poucas pessoas possuem conhecimento completo de comoo algoritmo é construído, quais variáveis são levadasem consideração e quais controles são realizados para evitar vieses. Algoritmos com essas características são considerados black-box(caixas-pretas) por terem um sistema ser misterioso. Sabemos quais são os inputs e outputs, mas não sabemos como um étransformado no outro (PASQUALE, 2015). O algoritmo da U.S. Newstambém é escalável, isto é, ele não afeta um pequeno grupo de pessoas e determina, a partir de critérios imprecisos, quais são as “melhores” universidades dos EUA, impactando a decisão de milhõesde estudantes. Por fim, ele também é danoso, pois molda o comportamento das universidades para obterem melhores avaliações, impedindo, por exemplo, o acesso de estudantes de baixa renda por serem bolsistas ou terem menores notas no SAT. Além disso, gera um ciclo vicioso em que as universidades que obtiveram notas baixas continuam sendo mal avaliadas e não conseguem esquivar-se dessa situação, tendo menor procura pelos estudantes, recebendo menos recursospúblicos ou privados e aumentando a desigualdade entre estudantes e universidades.Em um outro exemplo, a questão da desigualdade e injustiça dos algoritmos WMD fica ainda mais evidente. No capítulo cinco de seu livro, Cathy O’Neilexplica como modelos que computam risco de reincidência são utilizadoscomoguias de sentenças judiciais e para a patrulha policial. Um ponto importante que a autora traz no decorrer do livro em relação aos modelos e algoritmos é que eles são baseados no passado, ou seja, os algoritmos utilizam
image/svg+xmlDe ranking universitário a eleições: Como os algoritmos estão modificandonossavidaEstud. sociol., Araraquara, v.27, n.00, e022015, jan./dez. 2022.e-ISSN: 1982-4718DOI:https://doi.org/10.52780/res.v27i00.150935como inputs dados já coletadossobreuma realidadecomo a incidência de crimes em uma determinada região da cidadee procuram por padrões, assumindo que eles irão se repetir.Muitos motoristas de aplicativos de transporte, como Uber e99, relatam casos de violência, furto e se sentem inseguros para realizar viagens em áreas consideradas perigosas. Por isso, a Uber definiu, a partir de dados de segurança pública das cidades brasileiras, como o seu algoritmo deveria responder às chamadasvindas desses locais. Em São Paulo, por exemplo,quando um usuário do bairro de Heliópolis tentava solicitar um veículo, ele recebia a seguinte mensagem: “Infelizmente, a Uber não está disponível na suaárea no momento”(SOUZA, 2017). Dessa forma, essas empresas limitam as possibilidades de acesso ao serviçopelo simples local ou Código de Endereçamento Postal (CEP) da pessoa que está fazendo a solicitação. Sabemos da grande desigualdade presente na sociedade brasileira, e as cidades refletem isso, levandoas pessoas pobres às regiões periféricas dos municípios com menor infraestrutura, qualidade de vida e maior suscetibilidade à criminalidade. No caso dos aplicativos de transporte citados acima, as pessoas que vivem nessas regiões podem ser ainda mais excluídas, o que aumenta a desigualdade social. Agora, imagine utilizar o mesmo princípio para definir o policiamento de uma cidade. Cathy O’Neilexplica que o chefe de polícia de uma cidade no interior da Filadélfia, em decorrência da diminuição de seu esquadrão por cortes de verba, decidiu implantar um programa de predição de crimes da PredPol, uma startup sediada na Califórnia, para auxiliar as tomadas de decisões do distrito policial. Este programa é capaz de predizer as possibilidades da ocorrência de diferentes tipos de crimes em várias regiões da cidade apartir de dados históricos. Ou seja, o departamento de polícia da região inclui no sistema todos os dados de crimes já registrados, executa os algoritmos e prediz em quais regiões podem ocorrer novos crimes. A partir desse output, o chefe de polícia pode decidir onde posicionar seus agentes. Apesar de esses programas de predição de crimes realmente aumentarem a eficiência do policiamento, eles podem incorrer em uma série de vieses, principalmente devido àescolha dos dados que serão incluídos. O’Neilargumenta que muitos dos crimes registrados não são graves, como, por exemplo, pessoas em situação de rua agressivas, cometendo pequenos furtos ou venda e consumo de pequenas quantidades de drogas que, normalmente, não seriam registradas se os policiais não estivessem no local. Ela classifica esses crimes de menor gravidade como crimes de “incômodo” (nuisance). Geralmente, regiões maispobres das cidades têm uma grande taxa de ocorrência desse tipo de crime.Ao incluí-los nos modelos de predição de crimes,maispoliciais são destinados a esses locais. Eles irão registrar mais casos que serão novamente incluídos no sistema, e os policiais continuarão sendo
image/svg+xmlLuciano Lopes QUEIROZEstud. sociol., Araraquara, v.27, n.00, e022015, jan./dez. 2022.e-ISSN: 1982-4718DOI:https://doi.org/10.52780/res.v27i00.150936enviados a esses bairros, gerando um ciclo vicioso. Apesar de o algoritmo não ser necessariamente racista, aescolha da localização geográfica como variável é. Poderíamos afirmar, também, que os algoritmos dos aplicativos de transporte reforçam o racismo da nossa sociedade ao excluírem regiões pobres e com maiores taxas de criminalidade das cidades brasileiras,povoadas, em sua maioria, por pessoas negras.A partir do exposto nos parágrafos anteriores, fica mais visível como algoritmos baseados na localização geográfica causam danos para as pessoas. Além disso,esse tipo de algoritmo é opaco, pois pertence aumaempresa privada, e os usuários não podem modificá-lo eles unicamente incluem o inpute recebem o output. Por fim, esses algoritmos são escalonáveis, uma vez que grandes cidades dos estados da Califórnia, Carolina do Sul, Washington, Tennessee, Flórida, Pensilvânia e Nova Iorque já estão utilizando sistemas de policiamento preditivo (FERGUSON, 2017).No último capítulo do livro, Cathy O’Neilexplica como o algoritmo do Facebook tem sido utilizado nas campanhas eleitorais, bem como ocorre a segmentaçãode público. Em 2012, um grupo de cientistas de dados do Facebook conduziu um experimento com 689 mil pessoas e demonstrou que as mesmas emoções sentidas por uma pessoa podem ser transferidas (contagiosas) para outras, sem que elas tenham consciência disso(KRAMER; GUILLORY; HANCOCK, 2014). Ou seja, o algoritmo do Facebook pode ser utilizado para modificar as emoções de milhões de pessoas e, quem descobrir como manipulá-lo, pode tirar vantagem em campanhas publicitárias, petições ou em eleições. A utilização dasredes sociais para campanhas eleitorais ganhou força a partir da campanha presidencial de Barack Obama, em 2012. Conteúdos eramcriados de forma direcionada para segmentos sociais, despertando maior interesse de um grupo e gerando maior engajamento emocional, ou seja, conteúdo microssegmentado. Entretanto, a microssegmentação de conteúdo teve muito impacto nas eleições presidenciais dos EUA, em 2016, quando Donald Trump foi eleito. Aqui no Brasil, a campanha de Jair Bolsonaro, em 2018, utilizou as redes sociais da mesma forma: conteúdo segmentado, provocando emoções diversas em grupos sociais distintos e alcançando grande engajamento. No caso dos dois últimos exemplos, as campanhas foram fortemente associadas a conteúdos falsos (fake news).Cathy O’Neiloclassifica os algoritmos das grandes empresas de tecnologia (big techs) como WMD, mas indica que eles têm grande potencial de serem manipulados e utilizados de forma abusiva. Sabemos que os algoritmos são opacos por representarem um segredo vital dosnegócios dessas empresas. Também são escalonáveis porque as redes sociais têm bilhões de usuários em todo o mundo. O Facebook, somando suas três redes sociais
image/svg+xmlDe ranking universitário a eleições: Como os algoritmos estão modificandonossavidaEstud. sociol., Araraquara, v.27, n.00, e022015, jan./dez. 2022.e-ISSN: 1982-4718DOI:https://doi.org/10.52780/res.v27i00.150937Facebook, WhatsApp e Instagram, tem cerca de3 bilhões de usuários. No Brasil, mais de 127 milhões de pessoas são usuárias do Facebook; cerca de 120 milhões do WhatsApp, e 69 milhões do Instagram. Elas também podem causar dano, uma vez que afetam as emoções de seus usuários e, como já demonstrado, podem levar a casos de depressão e suicídio, principalmente entre jovens de 13 a 18 anos que passam mais tempo nas redes sociais (TWENGE et al