Frankenstein, de Mary Shelley, não é uma história sobre inteligência artificial. Mas ajuda a pensar um problema que aparece repetidamente na tecnologia: o que acontece quando uma criação produz consequências que seu criador não previu — e quem responde por isso?
SÉRIE · Poder e controle
4 de 6
Frankenstein não é uma história sobre IA — mas…
Publicado em 1818, Frankenstein; or, The Modern Prometheus conta a história de Victor Frankenstein, um jovem cientista que consegue dar vida a uma criatura construída a partir de matéria orgânica.
É tentador tratar o romance como uma previsão da inteligência artificial. Mary Shelley escrevia em outro contexto, muito antes de computadores, algoritmos ou redes neurais.
O valor da comparação está em outro ponto.
Victor cria algo que não compreende plenamente, perde o controle sobre as consequências e tenta se afastar da responsabilidade por aquilo que produziu.
E esse problema continua bastante atual.
O erro não está apenas na criação
Uma leitura superficial costuma resumir a história assim: o cientista criou um monstro e perdeu o controle. Mas o romance é bem mais interessante.
Victor não apenas cria — ele também abandona.
Ao ver a criatura ganhar vida, reage com horror e foge. A criatura passa a aprender sozinha, observa pessoas, desenvolve linguagem, percebe sua própria exclusão e tenta estabelecer vínculos.
O conflito não nasce apenas do fato de Victor ter produzido algo poderoso. Nasce também daquilo que ele deixa de fazer depois:
- Não acompanha;
- Não orienta;
- Não assume responsabilidade;
- Não considera as consequências sociais de sua criação.
Esse deslocamento é importante para pensar tecnologia.
Criar não encerra a responsabilidade
Quando uma empresa desenvolve um sistema de IA, o trabalho não termina no momento em que o modelo funciona.
Ainda existem perguntas sobre:
- como será usado;
- quem terá acesso;
- quais limites serão estabelecidos;
- como falhas serão identificadas;
- quem corrigirá danos;
- quando o sistema deverá ser retirado de uso.
Isso se conecta diretamente ao que vimos no texto sobre alinhamento de IA. Não basta criar um sistema capaz.
É preciso pensar o que ele fará quando estiver em contato com situações que não estavam completamente previstas durante o desenvolvimento.
A criação pode produzir efeitos não planejados
Sistemas complexos podem gerar consequências que seus criadores não anteciparam. Isso não exige consciência, rebeldia ou vontade própria.
Um algoritmo de recomendação pode ampliar determinado comportamento porque foi otimizado para engajamento. Um modelo pode encontrar atalhos inesperados para cumprir um objetivo.
Uma ferramenta automatizada pode produzir efeitos diferentes quando usada fora do contexto para o qual foi testada.
Como mostra o exemplo specification gaming, um sistema pode cumprir exatamente a métrica definida e, ainda assim, produzir algo diferente da intenção original.
O problema não é necessariamente: “a criação se voltou contra o criador”. Pode ser mais simples: o criador não previu tudo aquilo que sua criação tornaria possível.
Frankenstein ajuda, mas também pode atrapalhar
A metáfora tem limites. A criatura de Shelley é consciente, sofre, deseja reconhecimento e toma decisões morais. Sistemas atuais de IA não precisam possuir nada disso para produzir riscos.
Quando tratamos qualquer problema tecnológico como “Frankenstein”, existe o perigo de transformar questões concretas em uma história sobre máquinas rebeldes.
Isso pode esconder problemas bem menos cinematográficos:
- dados ruins;
- objetivos mal definidos;
- incentivos econômicos;
- falta de supervisão;
- uso inadequado;
- decisões institucionais.
A imagem do “monstro fora de controle” é forte. Mas muitas falhas tecnológicas não acontecem porque a máquina ganhou vontade própria.
Acontecem porque pessoas e organizações fizeram escolhas ruins, incompletas ou insuficientemente supervisionadas.
O problema do criador ausente
Talvez a parte mais atual do romance não seja a criação. É o abandono.
Victor quer o êxito científico de criar vida, mas não assume as responsabilidades que surgem depois.
Essa tensão reaparece em tecnologia quando os benefícios são atribuídos ao criador, enquanto os danos são tratados como efeitos imprevisíveis do sistema.
Uma empresa pode dizer: “o algoritmo decidiu”. Mas algoritmos não aparecem sozinhos:
- Alguém os construiu;
- Alguém escolheu dados;
- Alguém definiu objetivos;
- Alguém decidiu onde implantá-los.
É por isso que discutir controle exige discutir também responsabilidade.
Quando ninguém parece ser responsável
Aqui aparece o problema seguinte da série. Se uma decisão envolve:
- o desenvolvedor do modelo;
- a empresa que oferece o sistema;
- a organização que o contratou;
- o profissional que utilizou a ferramenta;
- os dados empregados;
- e o usuário final,
quem responde quando algo dá errado?
Essa pergunta é especialmente difícil porque a responsabilidade pode se espalhar por uma cadeia inteira. E quanto mais complexo o sistema, mais fácil fica cada participante apontar para outro.
E é justamente essa cadeia que precisamos examinar no próximo texto.
Quem responde quando a IA erra?
PODER E CONTROLE
Próximo: Quem responde quando a IA erra? A cadeia de responsabilidade
4 de 6 — Frankenstein e a IA
Anterior: O que é alinhamento de IA e por que ele é difícil?