image/svg+xml
De ranking universitário a eleições:
C
omo os algoritmos
estão modificando
nossa
vida
Estud. sociol.,
Araraquara
,
v.
27
, n.
00
,
e0220
15
,
jan./
dez
. 20
22
.
e
-
ISSN: 1982
-
4718
DOI:
https://doi.org/
10.52780/res.v27i00.150
9
3
1
DE RANKING UNIVERSITÁRIO A ELEIÇÕES: COMO OS ALGORITMOS
ESTÃO
MODIFICANDO NOSSA VIDA
1
DE LAS CLASIFICACIONES UNIVERSITARIAS A LAS ELECCIONES: CÓMO LOS
ALGORITMOS ESTÁN CAMBIANDO NUESTRAS VIDAS
FROM UNIVERSITY RANKING
TO ELECTIONS: HOW ALGORITHMS ARE
CHA
N
GING OUR LIVES
Luciano Lopes QUEIROZ
2
Atualmen
t
e
, vivemos em uma sociedade digital. No Brasil, estima
-
se que existam
cerca de 234 milhões de celulares inteligentes, apesar de a cone
xão com a internet ser limitada
em várias regiões do país. Atualment
e
, a maior parte das nossas atividades são realizadas
o
n
-
line. Todos estamos produzindo dados constantemente quando procuramos algo no Google ou
marcamos um amigo em uma foto do Facebook.
A partir dos dados, podemos determinar
padrões comportamentais das p
e
ssoas e até mesmo mensurar o que estão sentindo e
de
s
e
jando. Esse grande volume de dados, associado à maior capacidade de processamento e
aos avanços dos modelos matemáticos e algoritmos,
gera um grande impacto em nossas vidas.
Entretanto, a maioria de nó
s
conhece pouco ou nada de como os algoritmos funcion
a
m
. Cathy
O’Neil
, em
Weapons of Math Destruction, How Big Data Increases Inequality and Threatens
Democracy
(publicado em português com
o
Algoritmos de Destruição em Massa
), traz à tona
a discussão de com
o
os modelos matemáticos, algoritmos e
Big Data
têm s
i
d
o utilizados de
forma indiscriminada. Segundo o livro, esses componentes estão presentes em quase todos os
momentos de nossas vidas n
as plataformas digitais, nos processos de contratação de
funcionário
s
, na publicidade on
-
line, nas políticas públicas, na
s
finanças, no sistema prisional
e em vários outros exemplos.
O’Neil
demonstra, por meio de uma série de exemplos ao longo
dos de
z capítulos de seu livro, como a falsa ideia de imparcialidade dos algorit
m
os pode levar
a um aumento da desigualdade e da
s
inj
u
stiças.
O’Neil
, uma doutora em matemática e ex
-
cientista de dados de
Wall Street
, pôde
observar durante a crise econômica de 200
8 (crise do
subprime
) como os modelos
1
Resenha da obra: O’NE
IL, C
.
Weapons of Math Destruction
: How Bi
g Data Increases Inequality and
Th
r
eate
ns Democracy.
N
ew York: Crown, 2016. I
SB
N: 978
-
0553418811
.
P
ublicado em português co
mo
Algoritmos de Destruição em Massa
pela Editora Rua do Sabão
, 2020
.
2
Universidade
de São Paulo
(USP), São Paulo
–
SP
–
Brasil.
Departamento de Microbiologia
.
Doutor
a
do e
m
Ciências Biol
ógicas.
ORCID:
http://o
rc
id.org/0000
-
0002
-
5260
-
0628
.
E
-
mail:
lqueiroz@usp.br
image/svg+xml
Luci
ano Lopes QUEIROZ
Estud. sociol.,
Araraquara
,
v.
27
, n.
00
,
e0220
15
,
jan./
dez
. 20
22
.
e
-
ISSN: 198
2
-
4
718
DOI:
https://doi.org/
10.52780/res.v27i00.15093
2
matemáticos e os algoritmos podem in
f
luenciar a vida das pessoas. No primeiro capítu
l
o, e
l
a
explica o que são modelos matemáticos e como os utilizamos em nosso dia a dia. Durante o
ensino médio, aprendemos que modelos
matemáticos são simplificações da realidade.
O’Neil
descreve um modelo com
o
nada mais que uma representação abstrata de al
g
um p
r
ocesso, seja
ele uma partida de beisebol ou a cadeia de suprimentos de uma companhia de petróleo. Ela
conclui que, se o modelo e
stá rodando em um computador ou na cabeça, ele considera as
informações qu
e
sabemos e as utiliza para predizer respostas e
m
vár
i
as situações.
Alguns modelos são saudáveis e objetivos, como os criados a partir de estatísticas
esportivas; outros são prejudi
ciais e subjetivos, como os utilizados para calcular as chances de
reincid
ê
ncia de prisioneiros em algumas prisões dos Est
a
dos
U
nidos. Esse segundo tipo de
modelo é o que ela classifica como “Armas de Destruição em Matemática” ou, em inglês,
“
Weapons of Ma
th Destruction” (WMD)
.
O’Neil
lista três perguntas para identificar se um
m
odelo matemático é uma WMD: 1) o modelo é opaco
ou i
n
visível?; 2) o modelo é injusto ou
causa danos?; e 3) o modelo tem a capacidade de crescer exponencialmente? Em resumo, ela
defi
ne que os três elementos de uma WMD são
opacidade
,
escala
e
dano
. Ainda ir
e
mos
retomar esses três elementos nesta resenha.
Ante
s
, vamos nos aprofundar nos conceitos de
algoritmo e
Big Data
.
Algoritmos têm ganhado cada vez mais importância em nossas vidas e
, por isso,
entender sua definição é de fundamental importância. Segundo
L
u
pton (2014
),
algoritmos são
sequências de coman
d
os d
e
computador que dizem à máquina como prosseguir com uma série
de instruções para chegar a um resultado específico. Com outras pa
lavras,
Gillespie (2014)
define algoritmos como procedimentos codificados
p
ara transformar os dados de entrada
(
input
) em
u
ma s
a
ída (
output
) desejada por meio de cálculos específicos. Uma analogia
frequentemente utilizada para explicar o que é um algoritmo
é a da receita de bolo. Uma
sequência de comandos que irá utilizar os
inp
u
ts
(farinha, ovos, manteiga), realizar
transfor
m
açõe
s
(misturar todos os ingredientes, bater e colocar no forno) e entregar um
output
(bolo). Todavia, apesar de uma simples sequênci
a de comandos ser considerada um algoritmo,
aqui estamos tratando de algor
i
tmos complexos, que realizam uma série de cálcu
l
os,
a
nálises,
fazem escolhas e aprendem (algoritmos de
machine learning
). Esses algoritmos, em sua
maioria, utilizam do
Big Data
como
input
.
O termo
Big Data
, talvez até mais que algoritmo, tornou
-
se muito p
o
pular,
principalmente entre empresários e na mí
d
ia.
C
ontudo, o conceito de
Big Data
não é tão
simples quanto o termo nos leva a deduzir. De acordo com
Kitchin (2014),
a definição
co
mumente utilizada envolve os 3Vs: volume, velocidade e variedade. Uma quan
t
idade
image/svg+xml
De ranking universitário a eleições:
C
omo os algoritmos
estão modificando
nossa
vida
Estud. sociol.,
Araraquara
,
v.
27
, n.
00
,
e0220
15
,
jan./
dez
. 20
22
.
e
-
ISSN: 1982
-
4718
DOI:
https://doi.org/
10.52780/res.v27i00.150
9
3
3
enorme de dados (volume) é gerada e armaz
e
nada
diariamente (velocidade), com grande
diversidade (variedade) em tipos de dados. Além dessas três características,
Kitchin (2014)
também lista outras que têm sido atribuídas a
Big Data
, como ser exaustiv
a
, flexível,
escalonável, ter alta resolução e r
e
laçõ
e
s com outros dados. Como já foi dito no início desta
resenha, estamos constantemente conectados e gerando dados em atividades si
mples, como
curtir uma foto no Instagram ou enviar uma mensagem para um am
i
go no WhatsApp.
Entretanto, também estamos gera
n
do d
a
dos em nosso dia a dia off
-
line. Por exemplo, ao
informarmos nosso número de
Cadastro de Pessoas Físicas (
CPF
)
ao caixa do super
mercado
para a nota fiscal, ao fazermos a matrícula em um curso de inglês
o
u ao respondermos a um
funcionário do censo da
p
opul
a
ção brasileira. Todos esses dados são armazenados e podem
ser utilizados no futuro como
inputs
de algoritmos produzidos por empr
esas privadas ou pelo
Estado. Sendo assim, dados e algoritmos estão intima
m
ente conectados. A forma como os
modelos matemá
t
icos
e os algoritmos são produzidos, bem como os dados utilizados nas
análises serão tratados, pode definir se eles serão classificad
os como WMD ou não.
Agora que definimos modelos matemáticos, algoritmos e
B
ig Data
, podemos retomar
os três elementos que
d
efin
e
m um algoritmo como WMD:
opacidade
,
escala
e
dano
. Cathy
O’Neil
tem uma grande capacidade de criar analogias para exemplificar e
sses três elementos e
demonstra de forma clara e objetiva as várias formas
como os algoritmos afetam nossas vidas.
Vamos u
t
iliz
a
r alguns dos exemplos apresentados por ela e adicionar casos semelhantes da
realidade brasileira.
Uma editora de revistas brasil
eira criou um ranking das universidades e faculdades do
país. As instituiç
õ
es eram classificadas entre uma e cinco estrela
s
. Es
s
as estrelas refletem a
média aritmética das notas dadas pelos avaliadores, que são professores e coordenadores de
cursos de grad
uação. Eles recebem um questionário para realizar a avaliação dos cursos e
universidades, sendo que o mesmo avaliador pode
aval
i
ar até 35 cursos. Muitos estudantes
entraram em contato com esse ranking e muitos devem ter escolhido onde iriam estudar
baseado
s nessa avaliação. Apesar dos critérios de inclusão de um curso e da escol
h
a dos
avaliadores estarem claras, será que as p
e
rgun
t
as que compõem o formulário são justas e
refletem a realidade? Além disso, a partir do momento em que os coordenadores de curso
conhecem os critérios de avaliação, isso poderia influenciar suas escolhas
administrativas para
o curso e para a universid
a
de c
o
m o objetivo de subir a nota? Algo semelhante aconteceu nos
Estados Unidos nos anos 1980, e
O’Neil
demonstra como os critérios u
tilizados para o
desenvolvimento desse modelo criaram uma “corrida armamen
t
ista” entre as universidades
americanas.
image/svg+xml
Luci
ano Lopes QUEIROZ
Estud. sociol.,
Araraquara
,
v.
27
, n.
00
,
e0220
15
,
jan./
dez
. 20
22
.
e
-
ISSN: 198
2
-
4
718
DOI:
https://doi.org/
10.52780/res.v27i00.15093
4
No an
o
de
1
983, a revista
U.S. News & World Report
decidiu avaliar 1800
universidades dos Estados Unidos e classificá
-
las por excelência. S
emelhante ao ranking
brasileiro, eles enviavam um formulário para os presi
d
entes das universidades, os quais
avaliavam out
r
as i
n
stituições com base em critérios definidos pela revista.
O’Neil
argumenta
que os jornalistas da
U.S. News
não possuíam uma forma
direta de quantificar como o
processo de formação superior afetava um est
u
dante, muito menos milhões deles. Ao invés de
e
s
colh
e
r variáveis objetivas correlacionadas ao sucesso dos estudantes, eles decidiram
selecionar variáveis como os resultados do SAT (
Scholastic Aptitude Test
), a razão estudante
-
professor e as taxas de aceit
a
ção dos estudantes que entraram e saíram das un
i
vers
i
dades num
ano específico. A partir do conhecimento das variaveis utilizadas pelo ranking, muitos dos
quais facilmente manipuláve
is, algumas universidades começaram a manipular o algoritmo
com o objetivo
de aumentarem suas notas.
O algoritmo criado e
alim
e
ntado pela
U.S. News
para classificar as universidades
norte
-
americanas cumpre todos os critérios para ser considerado uma WMD.
Ele é opaco, ou
seja, poucas pessoas possuem conhecimento completo de como
o algoritmo é construído,
quais variáveis são l
e
vada
s
em consideração e quais controles são realizados para evitar
vieses. Algoritmos com essas características são considerados
blac
k
-
box
(caixas
-
pretas) por
terem um sistema ser misterioso. Sabemos quais s
ã
o os
inputs
e
outputs
, mas não sabemos
como um
é
tra
n
sformado no outro (
PASQUALE, 2015).
O algoritmo da
U.S. News
também é
escalável, isto é, ele não afeta um pequeno grupo de pesso
as e determina, a partir de critérios
imprecisos, quais são as “melhores”
u
niversidades dos EUA, impactando a decisão de
m
i
lhõe
s
de estudantes. Por fim, ele também é danoso, pois molda o comportamento das
universidades para obterem melhores avaliações, imp
edindo, por exemplo, o acesso de
estudantes de baixa renda por serem bolsi
s
tas ou terem menores notas no SAT. Além disso,
g
era
u
m ciclo vicioso em que as universidades que obtiveram notas baixas continuam sendo
mal avaliadas e não conseguem esquivar
-
se des
sa situação, tendo menor procura pelos
estudantes, recebendo menos recurso
s
públicos ou privados e aumentando a desigualda
d
e
en
t
re estudantes e universidades.
Em um outro exemplo, a questão da desigualdade e injustiça dos algoritmos WMD
fica ainda mais evi
dente. No capítulo cinco de seu li
vro, Cathy
O’Neil
explica como
modelos
q
u
e computam risco de reincidência são utilizados
como
guias de sentenças judiciais e para a
patrulha policial. Um ponto importante que a autora traz no decorrer do livro em relação a
os
modelos e algoritmos é que eles são baseados no passado, ou seja, os al
g
oritmos utilizam
image/svg+xml
De ranking universitário a eleições:
C
omo os algoritmos
estão modificando
nossa
vida
Estud. sociol.,
Araraquara
,
v.
27
, n.
00
,
e0220
15
,
jan./
dez
. 20
22
.
e
-
ISSN: 1982
-
4718
DOI:
https://doi.org/
10.52780/res.v27i00.150
9
3
5
como
inputs
dados já coletados
sobr
e
uma realidade
–
como a incidência de crimes em uma
determinada região da cidade
–
e
procuram por padrões, assumindo que eles ir
ão se repetir.
Muitos motoristas de aplicativos de transporte, como Uber e
99, relatam casos de
violência, furto e se sent
e
m in
s
eguros para realizar viagens em áreas consideradas perigosas.
Por isso, a Uber definiu, a partir de dados de segurança pública d
as cidades brasileiras, como
o seu algoritmo deveria responder às chamadas
vindas desses locais. Em São Paulo, por
exemplo
,
qua
n
do um usuário do bairro de Heliópolis tentava solicitar um veículo, el
e recebia
a seguinte mensagem: “
Infelizmente, a Uber não e
stá disponível na sua
área no momento”
(
SOUZA, 2017
). Dessa forma, essas e
m
presas limitam as possibilidades de acesso ao s
e
rviç
o
pelo simples local ou
Código de Endereçamento Postal (
CEP) da pessoa que está fazendo a
solicitação. Sabemos da grande desigual
dade presente na sociedade brasileira, e as cidades
refletem isso, levando
as pessoas pobres às regiões periféricas dos mu
n
icíp
i
os com menor
infraestrutura, qualidade de vida e maior suscetibilidade à criminalidade. No caso dos
aplicativos de transporte ci
tados acima, as pessoas que vivem nessas regiões podem ser ainda
mais excl
u
ídas, o que aumenta a desigualdade social.
Ago
r
a, i
m
agine utilizar o mesmo princípio para definir o policiamento de uma cidade.
Cathy
O’Neil
explica que o chefe de polícia de uma c
idade no interior da Filadélfia, em
decorrência da diminuição de seu esqua
d
rão por cortes de verba, decidiu implantar um
p
r
ogra
m
a de predição de crimes da PredPol, uma
startup
sediada na Califórnia, para auxiliar
as tomadas de decisões do distrito policial
. Este programa é capaz de predizer as
possibilidades da ocorrência de dif
e
rentes tipos de crimes em várias regiões da cid
a
de a
partir
de dados históricos. Ou seja, o departamento de polícia da região inclui no sistema todos os
dados de crimes já registrad
os, executa os algoritmos e prediz em quais regiões podem ocorrer
novos cr
i
mes. A partir desse
output
, o chefe de polícia
p
ode
d
ecidir onde posicionar seus
agentes. Apesar de esses programas de predição de crimes realmente aumentarem a eficiência
do polici
amento, eles podem incorrer em uma série de vieses, principalmente devido
à
escolha
dos dados que serão incluídos.
O’Neil
a
rgum
e
nta que muitos dos crimes registrados não são
graves, como, por exemplo, pessoas em situação de rua agressivas, cometendo pequen
os
furtos ou venda e consumo de pequenas quantidades de drogas
–
que, norm
a
lmente, não
seriam registradas se os policiais
n
ão e
s
tivessem no local. Ela classifica esses crimes de
menor gravidade como crimes de “incômodo” (
nuisance
). Geralmente, regiões mais
pobres
das cidades têm uma grande taxa de ocorrência desse tipo de crime.
Ao incluí
-
los nos
modelos de predição de crimes
,
mai
s
policiais são destinados a esses locais. Eles irão registrar
mais casos que serão novamente incluídos no sistema, e os policiai
s continuarão sendo
image/svg+xml
Luci
ano Lopes QUEIROZ
Estud. sociol.,
Araraquara
,
v.
27
, n.
00
,
e0220
15
,
jan./
dez
. 20
22
.
e
-
ISSN: 198
2
-
4
718
DOI:
https://doi.org/
10.52780/res.v27i00.15093
6
enviados a esses bairros, gerando um ciclo vicioso. Ap
e
sar de o algoritmo não ser
necessariamente raci
s
ta,
a
escolha da localização geográfica como variável é. Poderíamos
afirmar, também, que os algoritmos dos aplicativos de transporte
reforçam o racismo da nossa
sociedade ao excluírem regiões pobres e com ma
i
ores taxas de criminalidade das cidades
brasile
i
ras,
povoadas, em sua maioria, por pessoas negras.
A partir do exposto nos parágrafos anteriores, fica mais visível como algoritmos
b
aseados na localização geográfica causam danos para as pessoas. Além disso
,
esse tipo de
algoritmo é opaco, pois pertence
a
uma
empresa privada, e o
s usuários não podem modificá
-
lo
–
eles unicamente incluem o
input
e recebem o
output
. Por fim, esses algori
tmos são
escalonáveis, uma vez que grandes cidades dos estados da Califórn
i
a, Carolina do Sul,
Washington, Tennessee, Flór
i
da,
P
ensilvânia e Nova Iorque já estão utilizando sistemas de
policiamento preditivo
(FERGUSON, 2017).
No último capítulo do livro, C
athy
O’Neil
explica como o algoritmo do Facebook tem
sido utilizado nas ca
m
panhas eleitorais, bem como ocorre a segmentaçã
o
de
p
úblico. Em
2012, um grupo de cientistas de dados do Facebook conduziu um experimento com 689 mil
pessoas e demonstrou que as mes
mas emoções sentidas por uma pessoa podem ser
transferidas (contagiosas) p
a
ra outras, sem que elas tenham consciência diss
o
(
KR
A
MER;
GUILLORY; HANCOCK, 2014)
. Ou seja, o algoritmo do Facebook pode ser utilizado para
modificar as emoções de milhões de pesso
as e, quem descobrir como manipulá
-
lo, pode tirar
vantagem em campanhas pu
b
licitárias, petições ou em eleições. A utilizaç
ã
o da
s
redes sociais
para campanhas eleitorais ganhou força a partir da campanha presidencial de Barack Obama,
em 2012. Conteúdos eram
criados de forma direcionada para segmentos sociais, despertando
maior in
t
eresse de um grupo e gerando maior engajamento
e
moci
o
nal, ou seja, conteúdo
microssegmentado. Entretanto, a microssegmentação de conteúdo teve muito impacto nas
eleições presidencia
is dos EUA, em 2016, quando Donald Trump foi eleito. Aqui no Brasil, a
cam
p
anha de Jair Bolsonaro, em 2018, utilizou as re
d
es s
o
ciais da mesma forma: conteúdo
segmentado, provocando emoções diversas em grupos sociais distintos e alcançando grande
engajamen
to. No caso dos dois últimos exemplos, as campanhas foram fortemente assoc
i
adas
a conteúdos falsos (
fake news)
.
Cathy
O’Ne
i
l
nã
o
classifica os algoritmos das grandes empresas de tecnologia (
big
techs
) como WMD, mas indica que eles têm grande potencial de s
erem manipulados e
utilizados de forma abusiva. Sabemos que os algoritmos
s
ão opacos por representarem um
segredo vital do
s
neg
ó
cios dessas empresas. Também são escalonáveis porque as redes sociais
têm bilhões de usuários em todo o mundo. O Facebook, soman
do suas três redes sociais
–
image/svg+xml
De ranking universitário a eleições:
C
omo os algoritmos
estão modificando
nossa
vida
Estud. sociol.,
Araraquara
,
v.
27
, n.
00
,
e0220
15
,
jan./
dez
. 20
22
.
e
-
ISSN: 1982
-
4718
DOI:
https://doi.org/
10.52780/res.v27i00.150
9
3
7
Facebook, WhatsApp e Instagram
–
, tem cerca d
e
3 bilhões de usuários. No Brasil, mais de
127
m
ilhõ
e
s de pessoas são usuárias do Facebook; cerca de 120 milhões do WhatsApp, e 69
milhões do Instagram. El
a
s também podem causar dan
o, uma vez que afetam as emoções de
seus usuários e, como já demonstrado,
p
odem levar a casos de depressão e suicídio,
pri
n
cipa
l
mente entre jovens de 13 a 18 anos que passam mais tempo nas redes sociais
(TWENGE
et al
., 2018).
A manipulação das emoções por
meio das redes sociais, a importância e o poder das
big techs
estão ganhan
d
o cada vez mais destaque nas discussões sobre o
s
ris
c
os à democracia
(MOROZOV, 2018). Runciman (2018)
elenca a revolução da informática, a dependência de
formas de comunicação e o c
ompartilhamento de informações
–
cada vez mais controlado por
empresas pri
v
adas
–
, como um dos três fatores que distinguem
a cr
i
se atual das democracias
daquelas enfrentadas no passado.
Runciman (2018
)
também expõe, de forma contundente, o
controle das
big
techs
sobre a sociedade ao comparar o Facebook a um Leviatã (no sentido
h
o
bbesiano), indicando um possível confronto entr
e
Fac
e
book e os Estados. Apesar de o
Facebook não ter a prerrogativa do uso da força, ele dispõe de capacidade para alterar nossos
háb
itos, sentimentos e nos persuadir a agir da forma como ele deseja. Por exe
m
plo, moldando
o tipo de conteúdo produzido, com
o
as
p
essoas se expõem nas redes sociais e os dados que
estão gerando a partir da modificação de seus algoritmos. Apesar de
O’Neil
não
adentrar tanto
nessas discussões, levantar a discussão sobre o uso das re
d
es sociais e a microssegmentação
foi uma grande
cont
r
ibuição dela para o debate em 2016.
A leitura do livro de
O’Neil
abre nossos olhos para a importância de inspecionarmos
os
mais distintos algoritmos presentes em nossas vidas, evitando, assim, que se to
r
nem WMD.
Como vimos nesta resenha, os mod
e
los matemá
t
icos e os algoritmos podem se tornar WMD
ao serem opacos, escalonáveis e danosos à sociedade. Ela não advoga pelo baniment
o dos
algoritmos, mesmo porque isso seria impossível dado o estágio dos avanços
t
ecnológicos que
estamos vivenciando. Mas
s
im, por um
a
maior regulamentação e transparência. Os modelos
não podem sacrificar a realidade e a justiça pelo simples fato de serem
e tornarem nossas
vidas mais eficientes. Eles podem tornar nossas vidas melhores
,
auxiliando em tarefas que
seres humanos
n
ão poderia
m
executar, mas devemos selecionar quais variáveis serão
escolhidas, quais dados entrarão e analisar, também, se os resulta
dos condizem com a
realidade. As decisões políticas que impactam a sociedade dev
e
m continuar sendo tomadas
por nós, seres
h
umanos, de
forma democrática e transparente, reforçando a democracia e
lutando por sociedades mais justas e menos desiguais.
image/svg+xml
Luci
ano Lopes QUEIROZ
Estud. sociol.,
Araraquara
,
v.
27
, n.
00
,
e0220
15
,
jan./
dez
. 20
22
.
e
-
ISSN: 198
2
-
4
718
DOI:
https://doi.org/
10.52780/res.v27i00.15093
8
REFERÊN
CIAS
FERGUSON, A
.
G
.
Policing predictive policing.
Washington University Law R
e
view
,
v.
94
,
n. 5
,
p.
1109
-
1189,
20
17
.
Dispon
ível em
:
https://openscholarship.wustl.edu/law_lawreview/vol94/iss5/5/
. A
cesso em: 14 abr. 2021.
GI
LLESPIE, T
.
The relevance of algorithms.
In
:
GILLESPIE, T
.
; BOCZKOWSKI, P
.
J.;
FOOT, K
.
A.
Media Technolo
gies
:
Essays on Communication, Materiality, and Society.
C
a
mbridge: MIT Press,
2014
.
KITCHIN, R
.
Big Data, new epistemol
ogies and paradi
gm shifts.
Big Data & Society
,
v. 1,
n. 1,
p.
1
-
12, jul.
2014
.
Disponível em:
https://journals.sagepub.com/doi/pdf/10.1177/2
0
53951714528481
.
Acesso em: 25 out. 2020.
KRAMER,
A
.
D. I.; GUILLORY, J
.
E.; HANCOCK, J
.
T
. Experimental evidence of massive
-
scale emotional contagion through social networks.
Proceedings of the National Acade
my
of Sciences
,
v. 1
11,
n. 24,
p.
8788
-
8790, j
u
n.
2014.
Disponível
em:
https://www.pnas.org/doi/10.
1
073/pnas.1320040111
. Acesso em? 8 jun. 2021.
LUPTON
, D
.
Digital Sociology
. New York: Taylor & Francis,
2014
.
MOROZO
V, E
.
Big Tech
: A ascensão dos dados e a morte da política.
São Paulo: Ubu
Editora,
2
0
18
.
O’NEIL, C
.
Weapons of Math Destruction
: How
Big Data Increases Inequality and
Threatens Democracy.
New York: Crown
,
2016
.
O’NEIL, C
.
Algoritmos d
e Destruição em Massa
:
C
omo o Big Data
aumenta a destruição
em massa e ameaça a democracia
.
1. ed.
São P
a
ulo
:
Editora Rua do Sabão
,
2
020
.
PASQUALE
, F
.
Th
e Black Box Soc
iety
:
The Secret Algorithms That Control Money and
Information.
Cambridge
: Harvard Uni
versity Press,
2015
.
RUNCIMAN, D
.
Como a democracia chega ao fim
. São Paulo: Todavia,
2018
.
SOUZA, F
.
U
b
er veta
bairros de SP e moradores da periferia
cr
iam a Ubra
.
BBC Brasil
,
mar
.
2017. Disponível em:
https://www.bbc.com/portuguese/bras
il
-
39225699
.
Acesso em: 07 dez.
2020
.
TWENGE, J
.
M.
et al
. Increases
in Depressive Symptoms, Suicide
-
Related Outcomes, a
n
d
Suicide Rates Among U.S. Adolescents After 20
10
an
d Links to Increased New Med
ia Screen
Time.
Clinical Psychological Science
,
v. 6,
n. 1,
p
.
3
-
17, jan.
2018
.
Disponível em:
https://journals.sagepub.com/doi/abs/10.1177/2167702617723376?journalCode=cpxa
.
A
ces
so
em: 07 dez. 2020.
image/svg+xml
De ranking universitário a eleições:
C
omo os algoritmos
estão modificando
nossa
vida
Estud. sociol.,
Araraquara
,
v.
27
, n.
00
,
e0220
15
,
jan./
dez
. 20
22
.
e
-
ISSN: 1982
-
4718
DOI:
https://doi.org/
10.52780/res.v27i00.150
9
3
9
Como referenciar e
st
e artigo
Q
UEIROZ, L
. L
.
De ranking universitário a eleições: Como os algoritmos est
ão
modificando
nossa
vida
.
Estudos de Soc
iologia
, Araraquara, v. 27, n. 00, e0220
16
, jan./dez.
2022. e
-
ISSN:
1982
-
4718.
DOI
:
https://doi.org/10.52780/res.v27i00.15093
Submetido em
:
02
/
07
/
2021
Revisões requerid
as em
:
30
/
07
/
2021
Aprovado em
:
13
/
01
/
2022
Publicado em
:
30/06
2022
image/svg+xml
From university ranking to elections:
How
algorithms are changing our lives
Estud. sociol.,
Araraquara
,
v.
27
, n.
00
,
e022015
,
Jan
./
Dec
. 20
22
.
e
-
ISSN: 1982
-
4718
DOI:
https://doi.org/10.52780/res.v27i00.15093
1
FROM UNIVERSITY RANKING TO ELECTIONS: HOW ALGORITHMS ARE
CHANGING OUR LIVES
1
DE RANKING UNIVERSITÁRIO A ELEIÇÕES: COMO OS ALGORITMOS ESTÃO
MODIFICANDO NOSSA VIDA
DE LAS CLASIFICACIONES UNIVERSITARIAS A LAS ELECCIONES: CÓMO LOS
ALGORITMOS ESTÁN CAMBIANDO NUESTRAS VIDAS
Luciano Lopes QUEIROZ
2
We currently live in a digital society. In Brazil, it is estimated that there are around 234
million smart cell phones, despite the fact that the internet connection is limited in several
regions of the country. Currently, most of our activities are carrie
d out online. We are all
constantly producing data when we Google something or tag a friend in a Facebook photo.
From the data, we can determine people's behavioral patterns and even measure what they are
feeling and desiring. This large volume of data, as
sociated with greater processing capacity and
advances in mathematical models and algorithms, has a great impact on our lives. However,
most of us know little or nothing about how algorithms work. Cathy O'Neil, in
Weapons of
Math Destruction
,
How Big Data
Increases Inequality and Threatens Democracy
(published in
Portuguese as
Algorithms of Mass Destruction
), brings up the discussion of how mathematical
models, algorithms and Big Data have been used in indiscriminately. According to the book,
these componen
ts are present in almost every moment of our lives in digital platforms, in
employee hiring processes, in online advertising, in public policy, in finance, in the prison
system and in several other examples. O'Neil demonstrates, through a series of example
s
throughout the ten chapters of his book, how the false idea of
fairness in algorithms can lead to
an increase in inequality and injustice.
O'Neil, a PhD in mathematics and former Wall Street data scientist, was able to observe
during the 2008 economic
crisis (subprime crisis) how mathematical models and algorithms
can influence people's lives. In the first chapter, she explains what mathematical models are and
how we use them in our daily lives. During high school, we learned that mathematical models
1
Review of the work: O’NEIL, C.
Weapons of Math Destruction
: How Big Data Increases Inequality and
Threatens Democracy.
New York: Crown, 2016. ISBN: 978
-
0553418811. Published in Portuguese as
Algoritmos
de Destruição em Massa
by Editora Rua do Sabão, 2020.
2
University of
São Paulo
(USP), São Paulo
–
SP
–
Brazil
.
Department of Microbiology. PhD in Biological
Sciences
.
ORCID: http://orcid.org/0000
-
0002
-
5260
-
0628
.
E
-
mail: lqueiroz@usp.br
image/svg+xml
Luciano Lopes QUEIROZ
Estud. sociol.,
Araraquara
,
v.
27
, n.
00
,
e022015
,
Jan
./
Dec
. 2022
.
e
-
ISSN: 1982
-
4718
DOI: https://doi.org/10.52780/res.v27i00.15093
2
ar
e simplifications of reality. O'Neil describes a model as nothing more than an abstract
representation of some process, be it a baseball game or an oil company's supply chain. She
concludes that whether the model is running on a computer or in the head, it
takes the
information we know and uses it to predict responses in various situations.
Some models are healthy and objective, such as those created from sports statistics;
others are harmful and subjective, such as those used to calculate prisoners' chance
s of
recidivism in some US prisons. This second type of model is what she classifies as “
Weapons
of Math Destruction
” (
WMD
). O'Neil lists three questions to identify whether a mathematical
model is a WMD: 1) is the model opaque or invisible?; 2) is the mod
el unfair or causes harm?;
and 3) does the model have the ability to grow exponentially? In short, it defines that the three
elements of a WMD are opacity, scale and damage. We will return to these three elements in
this review. First, let's delve into the
concepts of algorithm and Big Data.
Algorithms have gained more and more importance in our lives and, therefore,
understanding their definition is of fundamental importance. According to Lupton (2014),
algorithms are sequences of computer commands that te
ll the machine how to proceed with a
series of instructions to reach a specific result. In other words, Gillespie (2014) defines
algorithms as coded procedures to transform input data into a desired output through specific
calculations. An analogy often us
ed to explain what an algorithm is is that of the cake recipe.
A sequence of commands that will use inputs (flour, eggs, butter), perform transformations (mix
all the ingredients, beat and place in the oven) and deliver an output (cake). However, although
a simple sequence of commands is considered an algorithm, here we are dealing with complex
algorithms, which perform a series of calculations, analyses, make choices and learn (machine
learning algorithms). These algorithms mostly use Big Data as input.
Th
e term Big Data, perhaps even more than an algorithm, has become very popular,
especially among entrepreneurs and in the media. However, the concept of Big Data is not as
simple as the term leads us to deduce. According to Kitchin (2014), the commonly used
definition involves the 3Vs: volume, speed and variety. A huge amount of data (volume) is
generated and stored daily (speed), with great diversity (variety) in data types. In addition to
these three characteristics, Kitchin (2014) also lists others that h
ave been attributed to Big Data,
such as being exhaustive, flexible, scalable, having high resolution and relationships with other
data. As already stated at the beginning of this review, we are constantly connected and
generating data in simple activities
such as liking a photo on Instagram or sending a message
to a friend on WhatsApp. However, we are also generating data in our day to day offline. For
example, when informing our Individual Taxpayer Identification Number (
Cadastro de Pessoas
image/svg+xml
From university ranking to elections:
How
algorithms are changing our lives
Estud. sociol.,
Araraquara
,
v.
27
, n.
00
,
e022015
,
Jan
./
Dec
. 20
22
.
e
-
ISSN: 1982
-
4718
DOI:
https://doi.org/10.52780/res.v27i00.15093
3
Físicas
-
CPF)
to the supermarket cashier for the invoice, when registering for an English course
or when responding to a Brazilian population census official. All this data is stored and can be
used in the future as inputs to algorithms produced by private companies or
the State. Thus,
data and algorithms are intimately connected. The way in which the mathematical models and
algorithms are produced, as well as the data used in the analyzes will be treated, can define
whether they will be classified as WMD or not.
Now th
at we've defined mathematical models, algorithms, and Big Data, we can go back
to the three elements that define an algorithm like WMD:
opacity
,
scale
, and
damage
. Cathy
O'Neil has a great ability to create analogies to exemplify these three elements and d
emonstrates
clearly and objectively the many ways that algorithms affect our lives. We will use some of the
examples presented by her and add similar cases from the Brazilian reality.
A Brazilian magazine publisher created a ranking of the country's univer
sities and
colleges. Institutions were rated between one and five stars. These stars reflect the arithmetic
mean of the scores given by the evaluators, who are professors and coordinators of
undergraduate courses. They receive a questionnaire to evaluate c
ourses and universities, and
the same evaluator can evaluate up to 35 courses. Many students came into contact with this
ranking and many must have chosen where they would study based on this assessment.
Although the criteria for inclusion in a course and
the choice of evaluators are clear, are the
questions that make up the form fair and reflect reality? Furthermore, once the course
coordinators know the evaluation criteria, could this influence their administrative choices for
the course and for the unive
rsity in order to raise the grade? Something similar happened in the
United States in the 1980s, and O’Neil demonstrates how the criteria used to develop this model
created an “arms race” among American universities.
In 1983, the U.S. News & World Report
decided to evaluate 1800 universities in the
United States and rank them for excellence. Similar to the Brazilian ranking, they sent a form
to university presidents, who evaluated other institutions based on criteria defined by the
magazine. O'Neil argues
that U.S. News did not have a direct way of quantifying how the higher
education process affected one student, let alone millions of them. Rather than choosing
objective variables correlated with student success, they decided to select variables such as SA
T
(Scholastic Aptitude Test) scores, student
-
faculty ratio, and acceptance rates of students
entering and leaving universities in a particular year. From the knowledge of the variables used
by the ranking, many of which are easily manipulated, some univers
ities began to manipulate
the algorithm in order to increase their grades.
image/svg+xml
Luciano Lopes QUEIROZ
Estud. sociol.,
Araraquara
,
v.
27
, n.
00
,
e022015
,
Jan
./
Dec
. 2022
.
e
-
ISSN: 1982
-
4718
DOI: https://doi.org/10.52780/res.v27i00.15093
4
The algorithm created and powered by the U.S. News to rank North American
universities meets all the criteria to be considered a WMD. It is opaque, that is, few people have
complete
knowledge of how the algorithm is built, which variables are considered, and which
controls are performed to avoid bias. Algorithms with these characteristics are considered
black
-
box because they have a mysterious system. We know what the inputs and outp
uts are,
but we do not know how one is transformed into the other (PASQUALE, 2015). The U.S.
algorithm News is also scalable, that is, it does not affect a small group of people and
determines, based on imprecise criteria, which are the “best” universities
in the US, impacting
the decision of millions of students. Finally, it is also harmful, as it shapes the behavior of
universities to obtain better evaluations, preventing, for example, the access of low
-
income
students because they are scholarship holders
or have lower SAT scores. In addition, it
generates a vicious cycle in which universities that obtained low grades continue to be poorly
evaluated and cannot avoid this situation, having less demand from students, receiving less
public or private resource
s and increasing inequality between students and universities.
In another example, the issue of inequality and injustice of WMD algorithms becomes
even more evident. In chapter five of her book, Cathy O'Neil explains how models that compute
risk of recidiv
ism are used as guides to court sentences and for police patrol. An important point
that the author makes throughout the book in relation to models and algorithms is that they are
based on the past, that is, the algorithms use as inputs data already collec
ted about a reality
-
such as the incidence of crimes in a certain region of the city
–
and look for patterns, assuming
they will repeat.
Many drivers of transportation apps, such as Uber and 99, report cases of violence, theft
and feel unsafe to travel in
areas considered dangerous. Therefore, Uber defined, based on
public safety data from Brazilian cities, how its algorithm should respond to calls from these
places. In São Paulo, for example, when a user from the Heliópolis neighborhood tried to
request a
vehicle, he received the following message: “Unfortunately, Uber is not available in
your area at the moment” (SOUZA, 2017). In this way, these companies limit the possibilities
of accessing the service by the simple location or Postal Address Code (Códig
o de
Endereçamento Postal
-
CEP) of the person making the request. We are aware of the great
inequality present in Brazilian society, and cities reflect this, taking poor people to peripheral
regions of municipalities with less infrastructure, quality of l
ife and greater susceptibility to
crime. In the case of the transport apps mentioned above, people living in these regions can be
even more excluded, which increases social inequality.
image/svg+xml
From university ranking to elections:
How
algorithms are changing our lives
Estud. sociol.,
Araraquara
,
v.
27
, n.
00
,
e022015
,
Jan
./
Dec
. 20
22
.
e
-
ISSN: 1982
-
4718
DOI:
https://doi.org/10.52780/res.v27i00.15093
5
Now, imagine using the same principle to define the policing of a city.
Cathy O'Neil
explains that the chief of police in an inner city in Philadelphia, as a result of his squad's
downsizing due to budget cuts, decided to implement a crime prediction program from PredPol,
a California
-
based startup, to help police department
decision
-
making. This program is capable
of predicting the possibilities of the occurrence of different types of crimes in various regions
of the city from historical data. That is, the region's police department includes all data on
crimes already recorde
d in the system, runs the algorithms and predicts in which regions new
crimes may occur. From this output, the chief of police can decide where to place his agents.
While these crime prediction programs do increase policing efficiency, they can incur a num
ber
of biases, mainly due to the choice of data that will be included. O'Neil argues that many of the
crimes recorded are not serious, such as aggressive homeless people committing petty theft or
selling and using small amounts of drugs
-
which would norma
lly not be recorded if police
officers were not on site. It classifies these lesser crimes as nuisance crimes. Generally, poorer
regions of cities have a high rate of occurrence of this type of crime. By including them in crime
prediction models, more poli
ce officers are assigned to these locations. They will register more
cases that will be re
-
entered into the system, and the police will continue to be sent to these
neighborhoods, creating a vicious cycle. While the algorithm is not necessarily racist, the
choice
of geographic location as a variable is. We could also say that the algorithms of transport apps
reinforce the racism of our society by excluding poor regions with higher crime rates from
Brazilian cities, populated mostly by black people.
From what was exposed in the previous paragraphs, it becomes more visible how
algorithms based on geographic location cause harm to people. Furthermore, this type of
algorithm is opaque, as it belongs to a private company, and users cannot modify it
–
they
only
include the input and receive the output. Finally, these algorithms are scalable, since large cities
in the states of California, South Carolina, Washington, Tennessee, Florida, Pennsylvania and
New York are already using predictive policing systems
(FERGUSON, 2017).
In the last chapter of the book, Cathy O'Neil explains how Facebook's algorithm has
been used in election campaigns, as well as audience segmentation. In 2012, a group of
Facebook data scientists conducted an experiment with 689,000 peopl
e and demonstrated that
the same emotions felt by one person can be transferred (contagious) to others, without them
being aware of it (KRAMER; GUILLORY; HANCOCK, 2014). In other words, the Facebook
algorithm can be used to modify the emotions of millions
of people and, whoever discovers
how to manipulate it, can take advantage of advertising campaigns, petitions or elections. The
use of social networks for electoral campaigns gained strength from Barack Obama's
image/svg+xml
Luciano Lopes QUEIROZ
Estud. sociol.,
Araraquara
,
v.
27
, n.
00
,
e022015
,
Jan
./
Dec
. 2022
.
e
-
ISSN: 1982
-
4718
DOI: https://doi.org/10.52780/res.v27i00.15093
6
presidential campaign in 2012. Content was cr
eated in a way that was targeted to social
segments, arousing greater interest in a group and generating greater emotional engagement,
that is, micro
-
segmented content. However, content micro
-
segmentation had a lot of impact in
the US presidential election
in 2016, when Donald Trump was elected. Here in Brazil, Jair
Bolsonaro’s campaign in 2018 used social media in the same way: segmented content,
provoking different emotions in different social groups and achieving great engagement. In the
case of the last
two examples, the campaigns were strongly associated with false content (fake
news).
Cathy O'Neil does not classify the algorithms of large technology companies (big techs)
as WMD, but indicates that they have great potential to be manipulated and misused
. We know
that algorithms are opaque because they represent a vital business secret for these companies.
They are also scalable because social networks have billions of users worldwide. Facebook,
adding its three social networks
–
Facebook, WhatsApp and In
stagram
–
has about 3 billion
users. In Brazil, more than 127 million people are Facebook users; about 120 million from
WhatsApp, and 69 million from Instagram. They can also cause harm, as they affect the
emotions of their users and, as already demonstrat
ed, can lead to cases of depression and
suicide, especially among young people aged 13 to 18 who spend more time on social media.
(TWENGE
et al
., 2018).
The manipulation of emotions through social networks, the importance and power of
big tech are gaining
more and more prominence in discussions about the risks to democracy
(MOROZOV, 2018). Runciman (2018) lists the information technology revolution, dependence
on forms of communication and information sharing
–
increasingly controlled by private
companies
–
as one of the three factors that distinguish the current crisis of democracies from
those faced in the past. Runciman (2018) also forcefully exposes the control of big tech over
society by comparing Facebook to a Leviathan (in the Hobbesian sense), indica
ting a possible
confrontation between Facebook and the States. Although Facebook does not have the
prerogative to use force, it does have the ability to change our habits, feelings and persuade us
to act the way it wants. For example, shaping the type of c
ontent produced, how people expose
themselves on social networks and the data they are generating from modifying their
algorithms. Although O’Neil does not delve much into these discussions, raising the discussion
about the use of social networks and micro
-
segmentation was her great contribution to the
debate in 2016.
Reading O'Neil's book opens our eyes to the importance of inspecting the most distinct
algorithms present in our lives, thus preventing them from becoming WMD. As we have seen
image/svg+xml
From university ranking to elections:
How
algorithms are changing our lives
Estud. sociol.,
Araraquara
,
v.
27
, n.
00
,
e022015
,
Jan
./
Dec
. 20
22
.
e
-
ISSN: 1982
-
4718
DOI:
https://doi.org/10.52780/res.v27i00.15093
7
in this review,
mathematical models and algorithms can become WMD by being opaque,
scalable and harmful to society. She does not advocate the banning of algorithms, if only
because that would be impossible given the stage of technological advances that we are
experiencing
. But yes, for greater regulation and transparency. Models cannot sacrifice reality
and justice for the simple fact of being and making our lives more efficient. They can make our
lives better, helping with tasks that human beings could not perform, but we
must select which
variables will be chosen, which data will enter and also analyze if the results match reality.
Political decisions that impact society must continue to be taken by us, human beings, in a
democratic and transparent way, strengthening demo
cracy and fighting for fairer and less
unequal societies.
REFERENCES
FERGUSON, A. G. Policing predictive policing.
Washington University Law Review
, v.
94, n. 5, p. 1109
-
1189, 2017.
Available
:
https://openscholarship.wustl.edu/law_lawreview/vol94/iss5/5/.
Access
: 14
Apr
. 2021.
GILLESPIE, T. The relevance of algorithms.
In:
GILLESPIE, T.; BOCZKOWSKI, P. J.;
FOOT, K. A.
Media Technologies
: Essays on Communication, Materiality, and Society.
Camb
ridge: MIT Press, 2014.
KITCHIN, R. Big Data, new epistemologies and paradigm shifts.
Big Data & Society
, v. 1,
n. 1, p. 1
-
12, jul. 2014.
Available
:
https://journals.sagepub.com/doi/pdf/10.1177/2053951714528481.
Access
: 25
Oct
. 2020.
KRAMER, A. D. I.; GUILLORY, J. E.; HANCOCK, J. T. Experimental evidence of massive
-
scale emotional contagion through social networks.
Proceedings of the National Academ
y
of Sciences
, v. 111, n. 24, p. 8788
-
8790, jun. 2014.
Available
:
https://www.pnas.org/doi/10.1073/pnas.1320040111.
Access:
8
June
2021.
LUPTON, D.
Digital Sociology
.
New York: Taylor & Francis, 2014.
MOROZOV, E.
Big Tech
: A ascensão dos dados e a morte
da política.
São Paulo: Ubu
Editora, 2018.
O’NEIL, C.
Weapons of Math Destruction
: How Big Data Increases Inequality and
Threatens Democracy.
New York: Crown, 2016.
O’NEIL, C.
Algoritmos de Destruição em Massa
: Como o Big Data aumenta a destruição
em mas
sa e ameaça a democracia.
1. ed.
São Paulo: Editora Rua do Sabão, 2020.
PASQUALE, F.
The Black Box Society
: The Secret Algorithms That Control Money and
Information.
Cambridge: Harvard University Press, 2015.
image/svg+xml
Luciano Lopes QUEIROZ
Estud. sociol.,
Araraquara
,
v.
27
, n.
00
,
e022015
,
Jan
./
Dec
. 2022
.
e
-
ISSN: 1982
-
4718
DOI: https://doi.org/10.52780/res.v27i00.15093
8
RUNCIMAN, D.
Como a democracia chega ao fim
.
São Paulo: Todavia, 2018.
SOUZA, F. Uber veta bairros de SP e moradores da periferia criam a Ubra.
BBC Brasil
, mar.
2017.
Available
: https://www.bbc.com/portuguese/brasil
-
39225699.
Access
: 07
Dec
. 2020.
TWENGE, J. M.
et al
. Increases in Depressive Symptoms, Suicide
-
Related Outcomes, and
Suicide Rates Among U.S. Adolescents After 2010 and Links to Increased New Media Screen
Time.
Clinical Psychological Science
, v. 6, n. 1, p. 3
-
17, jan. 2018.
Available
:
https://journals.sage
pub.com/doi/abs/10.1177/2167702617723376?journalCode=cpxa.
Access
: 07
Dec
. 2020.
How to reference this article
QUEIROZ, L. L
.
From university ranking to elections:
How
algorithms are changing our lives
.
Estudos de Sociologia
, Araraquara, v. 27, n. 00
, e0220
16
,
Jan
./
Dec
. 2022.
e
-
ISSN: 1982
-
4718
.
DOI: https://doi.org/10.52780/res.v27i00.15093
Submitted
:
02
/
07
/
2021
Required revisions
:
30
/
07
/
2021
Approved
:
13
/
01
/
2022
Published
:
30/06
2022