Atualizado em
A inteligência artificial é neutra? Este documentário da Netflix mostra que um algoritmo é tão imparcial quanto as pessoas e os dados que o criaram. Se você assistir uma segunda vez, verá um documentário ainda melhor.
Ficha Resumida
– Título Original: Coded Bias
– Duração: 90 minutos
– Ano: 2020
– País: Estados Unidos
– Direção: Shalini Kantayya
– Distribuição: Netflix
Do que trata Viés Codificado?
Viés Codificado parte de uma cena que, sozinha, resume o documentário inteiro: a pesquisadora do MIT Joy Buolamwini precisou colocar uma máscara branca para ser reconhecida pelo algoritmo que ela mesma programava.
O sistema simplesmente não enxergava o seu rosto.
Se Privacidade Hackeada mostrou como seus dados podem ser usados para manipular sua vontade, este documentário dá o passo seguinte: mostra como esses mesmos sistemas podem distorcer a percepção de quem você é.
E o fazem sem que ninguém perceba – porque a máquina é tratada como se fosse neutra.
Repare que o filme não trata o problema como bug.
O que Buolamwini descobriu ao testar os sistemas das maiores empresas de tecnologia – IBM, Microsoft, Amazon – foi que o reconhecimento facial errava sistematicamente ao identificar rostos de mulheres e pessoas de pele escura.
O motivo é direto: os dados de treinamento ignoravam essas pessoas.
Por que o reconhecimento facial erra mais com pele escura?
Para entender o problema, é preciso entender como uma IA “aprende”. Um sistema de reconhecimento facial é treinado com milhares de imagens.
Se a base de dados usada nesse treinamento for composta majoritariamente por rostos de homens brancos, o algoritmo simplesmente não desenvolve a capacidade de reconhecer com precisão rostos diferentes desse padrão.
O computador não discrimina por maldade. Ele discrimina porque foi treinado com dados incompletos – e depois vai ao mundo tomar decisões como se fosse imparcial.
Quem acompanha como funciona o aprendizado por camadas na inteligência artificial percebe que a qualidade do dado de entrada define tudo: o que entra enviesado, sai enviesado.
E aqui vale prestar atenção num segundo problema que o documentário expõe: muitos desses sistemas operam como caixas-pretas – nem os próprios criadores conseguem explicar, passo a passo, como o algoritmo chegou a determinada decisão.
Quando questionadas, as empresas se protegem sob o argumento do segredo industrial.
Quem leu sobre a opacidade dos sistemas de IA e o paralelo com Frankenstein reconhece o padrão: um sistema que toma decisões que afetam vidas sem que ninguém precise se responsabilizar por elas.
Para uma leitura mais aprofundada sobre transparência algorítmica, o relatório do AI Now Institute é uma referência internacional no tema.
Quando o algoritmo vira juiz
Repare que a escala do problema muda quando esses sistemas saem do laboratório e entram no cotidiano: o viés técnico começa a produzir injustiça concreta, com nome e endereço.
O documentário acompanha casos reais em áreas especialmente sensíveis:
- Em segurança pública, prisões indevidas motivadas por falhas no reconhecimento facial – em que o algoritmo identificou erroneamente suspeitos negros como autores de crimes.
- Em acesso a crédito e moradia, algoritmos usados por bancos e plataformas que negavam oportunidades com base em padrões históricos de discriminação, perpetuando desigualdades em vez de corrigi-las.
- Em contratação e educação, sistemas automatizados de triagem de currículos e de avaliação estudantil que penalizavam candidatos por características associadas a grupos historicamente marginalizados.
Em todos os casos, a pessoa sequer sabia que havia sido julgada por um algoritmo – muito menos como contestar essa decisão. Os casos estão aqui; o problema geral por trás deles, o de saber quem responde quando a decisão automatizada causa dano, é uma discussão à parte.
Quem acompanha o debate sobre liberdade e escolha mediada por algoritmos percebe que o problema extrapola o reconhecimento facial: a lógica é a mesma em qualquer sistema automatizado que distribui oportunidades ou penalidades sem transparência.
O que aconteceu depois de Viés Codificado
Rever o filme hoje mostra o raro caso de documentário que ajudou a mudar o que denunciava. Vale conhecer o saldo antes de dar play.
- As três empresas do filme recuaram em junho de 2020, meses depois da estreia. A IBM encerrou de vez o produto de reconhecimento facial, a Microsoft parou de vender para polícia até que exista lei federal, e a Amazon anunciou uma moratória de um ano para o uso policial do Rekognition, de longe a concessão mais tímida das três.
- O caso que o filme temia aconteceu. Em janeiro de 2020, Robert Williams foi preso em Detroit diante das duas filhas por causa de uma identificação facial equivocada, e ficou trinta horas detido. Foi o primeiro caso publicamente conhecido nos Estados Unidos de prisão indevida provocada por reconhecimento facial.
- E esse caso virou regra. Em 28 de junho de 2024, o acordo judicial obrigou a polícia de Detroit a exigir prova independente antes de qualquer prisão baseada em reconhecimento facial, a treinar agentes sobre os riscos da tecnologia e a auditar todos os casos desde 2017.
- A Europa legislou. O AI Act entrou em vigor em 1º de agosto de 2024 e proíbe identificação biométrica remota em tempo real em espaços públicos, com exceções para segurança, além de banir a pontuação social de pessoas.
Repare no que isso diz sobre o gênero. Documentário de denúncia costuma envelhecer mal porque o mundo segue igual. Este envelheceu bem porque o mundo se mexeu, e a pesquisa de Joy Buolamwini que está no centro do filme é citada até hoje como o estudo que começou a virada.
Vale a pena assistir Viés Codificado?
- São 90 minutos e a primeira cena já entrega a tese. A máscara branca que Buolamwini precisa vestir para o algoritmo enxergá-la é uma das melhores aberturas de documentário sobre IA já filmadas.
- É o melhor dos três da trilha para quem é da educação. Trata de triagem de currículos e de avaliação estudantil automatizada, e cabe direto numa aula sobre avaliação.
- A parte do Reino Unido se arrasta. O trecho com a polícia britânica testando câmeras na rua repete o que o filme já mostrou. Dá para atravessar sem perder nada.
Vale, sobretudo para quem trabalha com qualquer sistema que classifique gente. Três observações de quem já assistiu:
- Toda decisão automatizada que afeta uma vida – emprego, crédito, liberdade – precisa ser questionável, auditável e contestável.
- Um algoritmo treinado com dados incompletos reproduz desigualdade em escala industrial – e a velocidade do sistema amplifica o dano.
- Exigir transparência algorítmica e regulação real sobre esses sistemas não é ser contra a tecnologia. É reconhecer que tecnologia sem freio ético funciona como ferramenta de controle.
Este texto faz parte da trilha Manipulação, Viés e Vício – 3 Documentários da Netflix.
O documentário seguinte, O Dilema das Redes, mostra o modelo de negócios que sustenta toda essa engrenagem: a economia da sua atenção.
Se fizer sentido para você, comente e compartilhe – você já foi julgado por um sistema que não sabe explicar como decidiu?