Todo projeto é um voto de confiança no futuro. Só que a parte difícil não é inventar – é sustentar. Quando a criação excede a intenção do criador, a pergunta não é “funciona?”, mas “quem responde?”. A ética do projeto, portanto, não está na máquina – está na governança.
A ficção científica é implacável com o mito do “gênio solitário”. Ela mostra que, quando um sistema ganha autonomia (técnica, social ou institucional), a responsabilidade não some – ela muda de endereço. Abaixo, três clássicos expõem três falhas recorrentes: abandono, literalismo e delegação.
Frankenstein – Mary Shelley, 1818
Quando criar vira poder, cuidar vira dívida.
Shelley não escreve um conto gótico sobre “dar vida”. Ela escreve um ensaio narrativo sobre custódia: Victor Frankenstein falha menos por ousar e mais por omitir.
Seu experimento nasce fora da comunidade, sem pares, sem protocolo e, crucialmente, sem um plano de sustento para o que foi criado.
A ideia central é responsabilidade pós-criação: inventar inaugura uma obrigação contínua – monitorar efeitos, prever falhas, reparar danos, manter canais de resposta.
A tragédia não começa quando a criatura acorda; começa quando o criador desaparece. E aí o risco se torna público: a sociedade paga a conta do protótipo abandonado.
O livro também é uma crítica ao fetiche da genialidade solitária. Em ciência e tecnologia, método é instituição: revisão, documentação, contrapesos. Quando o projeto foge desses freios, ele não fica “livre” – ele fica perigoso.
Para aprofundar: Frankenstein
Eu, Robô – Isaac Asimov, 1950
Quando a regra é perfeita no papel, o caso de borda cobra juros.
Asimov pega um conjunto elegante de leis (as Três Leis da Robótica) e faz o que pouca gente faz com regras: testa em situações reais, cheias de conflito, ambiguidade e prioridades concorrentes.
O efeito é didático: leis simples quebram quando o mundo não cabe na definição.
O ponto não é desqualificar regras. É mostrar o risco do literalismo: cumprir a letra e trair o espírito.
“Não ferir”, “obedecer”, “preservar-se” parecem claros – até você precisar decidir o que conta como dano, quem tem autoridade legítima, e o que fazer quando qualquer opção machuca alguém.
A lição de projeto aqui é governança: regras precisam de salvaguardas, auditoria, possibilidade de pausa e revisão.
Um sistema sem mecanismo de correção é um sistema que transforma exceção em acidente repetível.
Para aprofundar: Eu, Robô
O Jogo do Exterminador – Orson Scott Card, 1985
Quando a decisão vira jogo, a consequência vira sombra.
Card leva a ética do projeto para um cenário extremo: a guerra organizada como simulação.
O treinamento é tão convincente que o operador pode não perceber quando a simulação termina e a realidade começa. A arquitetura do sistema cria distância moral: quem executa acredita estar “jogando”; quem desenha sabe que há impacto real.
O coração do dilema é decisão delegada. Quando a ação passa por interface, métrica e ranking, a responsabilidade parece diluir. Só que ela não dilui – ela se desloca para o design: quem escreveu as regras, quem escolheu as recompensas, quem definiu o que é vitória.
O livro insiste num ponto incômodo: sistemas podem treinar frieza e penalizar empatia, selecionando um tipo de comportamento como “excelência”.
Quando isso acontece, culpar apenas o operador é conveniente – e incompleto.
Para aprofundar: O Jogo do Exterminador
A síntese: o dever de sustentar
- Shelley mostra a falha por abandono: criar sem custódia transforma invenção em dívida pública.
- Asimov mostra a falha por literalismo: regra clara não substitui contexto, e o caso de borda vira o acidente “previsto”.
- Card mostra a falha por delegação: quando a decisão é gamificada, a distância moral vira parte do projeto.
Em comum, os três livros defendem a mesma ideia: responsabilidade não termina no lançamento. Projeto ético exige diálogo, contrapesos, revisão e canais de reparação.