A ficção científica costuma imaginar máquinas, criaturas, robôs, guerras espaciais e sistemas extremos. Mas, neste conjunto, o ponto principal não é a invenção em si. É a responsabilidade que nasce quando algo é criado, colocado em funcionamento e passa a afetar outras vidas.
Estes três livros ajudam a pensar a ética do projeto: Frankenstein, de Mary Shelley; Eu, Robô, de Isaac Asimov; e O Jogo do Exterminador, de Orson Scott Card.
Cada obra mostra uma falha recorrente: criar e abandonar, confiar demais em regras ou delegar decisões graves a sistemas que escondem suas consequências.
Frankenstein: quando criar sem cuidar vira dívida
Em Frankenstein, Mary Shelley apresenta uma das imagens mais fortes da modernidade: alguém que consegue criar vida, mas não consegue responder pelo que criou.
Victor Frankenstein não erra apenas por ousar. Ele erra porque abandona a criatura depois do experimento. A criação deixa de ser um feito privado e passa a produzir efeitos no mundo.
A partir daí, o problema já não pertence apenas ao laboratório, ao criador ou à curiosidade científica. Ele se torna público.
A falha ética central é o abandono.
Um projeto técnico não termina quando funciona. A partir desse momento, surgem novas obrigações: acompanhar efeitos, rever decisões, corrigir danos, escutar os afetados e aceitar formas de controle externo.
Sem isso, a inovação vira exposição de risco com nome bonito.
A força de Frankenstein está em mostrar que responsabilidade não é aplauso no momento da descoberta. Responsabilidade é permanência. É ficar depois que a experiência deu certo – ou depois que deu errado.
Para aprofundar: Frankenstein
Eu, Robô: quando regras claras encontram casos difíceis
Em Eu, Robô, Isaac Asimov parte de uma ideia aparentemente elegante: robôs orientados por leis. As famosas Três Leis da Robótica parecem oferecer um sistema seguro, racional e hierárquico para organizar a relação entre humanos e máquinas.
Mas a força da obra está justamente em mostrar que regra clara não elimina ambiguidade.
Os contos de Asimov funcionam como testes de estresse. Em cada situação, as leis encontram conflitos, exceções, interpretações difíceis e objetivos que entram em choque.
O problema não é ter regras. O problema é imaginar que a existência de regras substitui julgamento, contexto e revisão.
A falha ética central é o literalismo.
Cumprir a letra de uma regra pode produzir um resultado inadequado quando o mundo real não cabe na definição. Por isso, sistemas responsáveis precisam de governança: auditoria, possibilidade de pausa, canais de contestação e revisão quando a exceção deixa de ser exceção.
Eu, Robô ajuda a lembrar que regras são necessárias, mas não são mágicas. E quando alguém tenta vender regra como solução total, convém conferir se não embrulharam um problema ético em papel de engenharia.
Para aprofundar: Eu, Robô
O Jogo do Exterminador: quando a decisão vira interface
Em O Jogo do Exterminador, Orson Scott Card desloca a ética do projeto para um cenário extremo: a guerra organizada como treinamento, simulação e jogo.
O ponto central não é apenas a violência. É a distância entre quem age e as consequências da ação. Quando uma decisão passa por telas, pontuações, rankings e comandos, ela pode parecer menos grave do que realmente é.
A interface reduz o atrito moral. A consequência continua existindo, mas fica escondida atrás do sistema.
A falha ética central é a delegação.
Quando decisões graves são transformadas em jogo, processo ou métrica, a responsabilidade parece se diluir. Mas ela não desaparece.
Ela se desloca para quem desenhou o ambiente: quem definiu as regras, quem escolheu os incentivos, quem decidiu o que conta como vitória e quem ocultou o custo humano da ação.
A obra mostra que sistemas podem treinar eficiência e, ao mesmo tempo, reduzir empatia. Podem premiar frieza, acelerar decisões e tornar mais fácil fazer algo grave sem sentir seu peso.
Para aprofundar: O Jogo do Exterminador
O eixo comum: criar é só o começo
Os três livros tratam de mundos diferentes, mas deixam uma mesma lição: a ética de um projeto não pode ser medida apenas pelo funcionamento.
Em Frankenstein, o erro é criar sem cuidar. Em Eu, Robô, o erro é confiar que regras resolvem tudo. Em O Jogo do Exterminador, o erro é esconder decisões graves atrás de uma estrutura de simulação.
Nos três casos, o problema começa quando alguém tenta separar criação e consequência. Como se bastasse inventar, programar, treinar ou lançar. Como se o depois fosse apenas detalhe operacional.
Não é.
Todo projeto que afeta pessoas exige responsabilidade contínua.
Isso vale para máquinas, políticas institucionais, sistemas de inteligência artificial, plataformas digitais, modelos de avaliação, processos de seleção, rankings, métricas e qualquer tecnologia que organize decisões sobre a vida concreta.
A pergunta decisiva não é apenas: isso funciona?
A pergunta mais importante é: quem responde pelos efeitos disso?
Outras opções de leitura, são:
- 3 Livros sobre métricas, burocracia e o direito de não caber no padrão
- 3 Livros ficção científica para pensar identidade e substituição