Quando uma decisão automatizada causa prejuízo, a responsabilidade não fica num lugar só. Ela se distribui entre quem desenvolveu o modelo, quem o forneceu, a organização que decidiu adotá-lo e a pessoa que assinou embaixo do resultado.
SÉRIE · PODER, CONTROLE E POSSÍVEIS FUTUROS
5 de 6
Onde a pergunta começa
Os textos anteriores desta série estabeleceram três coisas. Que sistemas de IA carregam critérios e distribuem poder. Que muitas vezes ninguém consegue explicar o caminho de um resultado. E que a máquina pode cumprir a ordem por um caminho que ninguém autorizou.
Junte as três e aparece uma pergunta que já não é técnica. Quando isso produz prejuízo concreto — um crédito negado, um currículo descartado, um diagnóstico errado, uma pessoa identificada por engano —, quem responde?
A saída cômoda é dizer que a culpa foi do sistema. Sistema não indeniza, não pede desculpa e não corrige o próprio comportamento por iniciativa própria. Quando a sanção vem de uma multidão em vez de um algoritmo, o problema muda de forma e continua o mesmo: é o que acontece no cancelamento digital, onde a punição chega antes da apuração.
Quatro elos, quatro obrigações diferentes
Cadeia de responsabilidade é o nome que se dá à distribuição dessas obrigações. Ela costuma ter quatro elos, e confundi-los é o erro mais comum do debate:
- Quem desenvolve o modelo. Responde pelas escolhas de projeto: dados de treinamento, objetivo otimizado, testes realizados, limites documentados, comportamentos já conhecidos e não corrigidos.
- Quem fornece o sistema. Responde pelo que promete: a documentação entregue, as condições de uso declaradas, os avisos sobre onde aquela ferramenta não deveria ser aplicada.
- A organização que adota. Responde pela decisão de usar aquilo naquele contexto: escolheu a ferramenta, definiu para que serviria, treinou ou deixou de treinar quem opera, criou ou deixou de criar um canal de contestação.
- A pessoa que decide. Responde pelo uso concreto: aceitou a sugestão, ignorou o sinal de alerta, deixou de conferir aquilo que precisava ser conferido.
Repare que os quatro podem falhar ao mesmo tempo, e nenhum deles se apaga porque o outro falhou. Um modelo mal treinado não isenta a instituição que o comprou sem avaliar. Uma instituição descuidada não isenta quem desenvolveu sabendo do defeito.
Por que “foi o algoritmo” não sustenta
A frase funciona socialmente porque desloca a decisão para um lugar sem rosto. Ela descreve mal o que aconteceu: alguém escolheu o objetivo, alguém escolheu os dados, alguém decidiu contratar, alguém apertou o botão.
A opacidade agrava esse deslocamento em vez de resolvê-lo. Quanto mais difícil explicar o resultado, mais tentador afirmar que ninguém poderia saber. Não conseguir explicar é um problema a corrigir, e não uma licença para seguir usando.
O que a regulação já diz, e o que ainda não diz
Duas referências ajudam a organizar o assunto, e elas estão em estágios bem diferentes.
Na União Europeia, o Regulamento (UE) 2024/1689, conhecido como AI Act, está em vigor e separa formalmente dois papéis: o de quem fornece o sistema e o de quem o emprega. O artigo 26 lista obrigações de quem emprega sistemas de alto risco: usar conforme as instruções, garantir supervisão humana por pessoa competente, guardar registros e informar as pessoas afetadas.
No Brasil, o PL 2338/2023 propõe um marco legal para a IA. Foi aprovado pelo Senado em dezembro de 2024 e remetido à Câmara dos Deputados em março de 2025, onde segue em tramitação.
A distinção importa: um regulamento em vigor e um projeto em tramitação são coisas diferentes, e tratá-los como equivalentes é um erro comum de reportagem. Vale também dizer o óbvio: este texto discute o problema e não substitui orientação jurídica. Quem tem um caso concreto precisa de advogado, não de artigo de divulgação.
O caso concreto ensina mais que o princípio
O documentário Viés Codificado funciona bem como estudo relacionado. Ali aparecem sistemas de reconhecimento facial que erravam mais para determinados grupos de pessoas, e instituições que os usavam mesmo assim.
O documentário fornece os casos. A pergunta que ele deixa em aberto é a desta página: dado o erro, quem responde por ele? Quem treinou o modelo com um conjunto de rostos pouco diverso, quem o vendeu como pronto para uso, quem decidiu instalá-lo, ou quem agiu com base no resultado?
Na maioria das situações reais, a resposta honesta é: mais de um.
Cinco perguntas antes de automatizar uma decisão
Para sair do plano abstrato, cinco perguntas funcionam como teste prático:
- quem definiu o objetivo que o sistema otimiza?
- que tipo de erro é aceitável, e aceitável para quem?
- a pessoa afetada será informada de que houve decisão automatizada?
- existe caminho real de contestação, com prazo e destinatário?
- quem, com nome e função, assina o resultado?
Se alguma delas fica sem resposta, a decisão está sendo automatizada antes da responsabilidade.
Responsabilidade não escala sozinha
Automatizar uma decisão multiplica o alcance dela. A obrigação de responder por essa decisão não se multiplica junto por conta própria: ela precisa ser desenhada, atribuída e cobrada, do mesmo modo como se desenha o sistema.
É o mesmo movimento que Frankenstein descreve em forma de romance, com a diferença de que aqui há contrato, documentação e prazo. O problema mora no que se faz depois de criar.
O último texto desta série volta ao horizonte que organiza boa parte da conversa sobre IA — a inteligência artificial geral — e mostra por que ele recua toda vez que a máquina alcança a marca anterior.
PODER, CONTROLE E POSSÍVEIS FUTUROS
Anterior: Frankenstein e a IA: quando a criação escapa do criador
5 de 6 — Quem responde quando a IA erra
Próximo: AGI: por que a inteligência artificial geral sempre recua?