Atualizado em
Quando uma decisão envolve desenvolvedores, fornecedores, empresas, profissionais e usuários, um erro de IA raramente nasce de um único ponto. O problema é descobrir quem tinha poder para evitar o dano – e quem deve responder quando isso não acontece.
SÉRIE · Poder e controle
5 de 6
Quando o erro não tem um único autor
No texto anterior, vimos que Frankenstein ajuda menos como história sobre uma criatura rebelde e mais como uma história sobre responsabilidade depois da criação.
Com inteligência artificial, essa questão se torna mais complicada.
Imagine um sistema usado para selecionar candidatos a uma vaga. O modelo pode ter sido desenvolvido por uma empresa.
Outra organização o contratou.
Uma equipe configurou os critérios; um profissional utilizou o resultado; dados anteriores influenciaram a decisão…
E uma pessoa acabou prejudicada. Quem responde?
- A empresa que desenvolveu o modelo?
- Quem decidiu comprá-lo?
- Quem configurou o sistema?
- Quem aceitou a recomendação?
A resposta dificilmente cabe em uma única pessoa.
Uma cadeia, não um culpado automático
Sistemas de IA fazem parte de processos maiores.
O NIST trata justamente desse caráter distribuído ao afirmar que a gestão de riscos em IA exige papéis e responsabilidades claramente definidos ao longo do ciclo de vida do sistema.
Isso significa que responsabilidade não deveria começar depois do erro. Ela precisa existir desde antes:
- quem aprova o uso;
- quem testa;
- quem monitora;
- quem supervisiona;
- quem recebe reclamações;
- quem decide interromper o sistema.
Quanto mais essas funções ficam indefinidas, mais fácil aparece a conhecida resposta: “foi a IA”.
Mas IA não assina contrato, não escolhe onde será implantada e não decide sozinha quais riscos uma organização aceitará.
“O algoritmo decidiu” não encerra a questão
Dizer que “o algoritmo decidiu” pode esconder uma sequência de decisões humanas anteriores.
Alguém escolheu:
- o sistema;
- os dados;
- os objetivos;
- os limites;
- o contexto de uso;
- o nível de supervisão.
Mesmo quando o resultado específico não era previsível, a decisão de colocar aquele sistema em funcionamento foi humana e institucional.
Isso se conecta diretamente ao problema discutido em Artefatos têm política? Como a IA distribui poder.
Se uma tecnologia recebe poder para classificar, recomendar ou restringir, alguém também precisa assumir responsabilidade pela maneira como esse poder será usado.
A caixa-preta complica a responsabilidade
O problema aumenta quando nem sempre é simples reconstruir por que determinado resultado surgiu.
Como vimos em Caixa-preta da IA: por que algumas decisões são difíceis de explicar?, opacidade pode surgir de complexidade técnica, sigilo ou dificuldade de acesso.
Isso pode criar uma situação bastante complicada: a pessoa afetada precisa explicar por que a decisão foi injusta, mas não consegue ver os critérios que a produziram.
Por isso, responsabilidade e explicabilidade caminham juntas. Não basta dizer quem é formalmente responsável.
É preciso que essa pessoa ou organização tenha condições de investigar, justificar e corrigir o sistema.
A responsabilidade muda conforme o papel
Essa distinção já aparece de maneira clara na regulação europeia.
O AI Act diferencia, entre outros atores, fornecedores e responsáveis pela implantação dos sistemas de IA.
As obrigações variam conforme o papel desempenhado e o nível de risco da aplicação.
Em julho de 2026, a Comissão Europeia publicou novas orientações justamente para esclarecer obrigações de transparência de fornecedores e responsáveis pela implantação.
Essa lógica é importante independentemente do lugar.
Quem constrói um sistema possui responsabilidades diferentes de quem decide utilizá-lo em determinada situação.
Porém, uma responsabilidade não apaga a outra.
Supervisão humana não pode ser decorativa
Uma solução comum é dizer: “a decisão final é humana”. Isso parece resolver o problema, mas… nem sempre resolve.
Se o profissional recebe centenas de decisões automatizadas por dia, sem tempo ou informação suficiente para avaliá-las, sua supervisão pode se tornar apenas formal.
Ele clica em “aprovar”.
A responsabilidade permanece humana no papel, enquanto a decisão prática já foi delegada. Por isso, supervisão exige mais do que colocar uma pessoa no fim do processo.
Ela precisa ter:
- tempo;
- informação;
- autoridade;
- capacidade real de discordar do sistema.
Sem isso, “humano no circuito” (Human-in-the-loop) pode virar apenas uma assinatura.
Nem todo erro é culpa da IA
Também é importante não transformar IA em explicação automática para qualquer falha.
Um sistema pode funcionar exatamente como esperado e ainda assim ser usado num contexto inadequado.
Pode receber dados ruins, ser interpretado incorretamente, produzir apenas uma recomendação que alguém decidiu seguir sem questionar, ou pode falhar por qualquer outro motivo humano.
E justamente por isso a responsabilidade precisa acompanhar o processo, não apenas a saída final.
E se os sistemas ganharem muito mais autonomia?
Hoje, já é difícil distribuir responsabilidade entre desenvolvedores, empresas, usuários e instituições.
Agora imagine sistemas capazes de:
- planejar tarefas longas;
- usar ferramentas;
- agir em diferentes ambientes;
- adaptar estratégias;
- executar decisões com pouca supervisão.
Quanto maior a autonomia, mais difícil fica responder apenas: “quem apertou o botão?” E é aqui que a série chega à sua última pergunta.
Durante décadas, pesquisadores imaginaram uma forma de inteligência artificial com capacidades gerais comparáveis às humanas.
Essa ideia recebeu um nome: AGI – inteligência artificial geral.
Mas há algo curioso nessa história. Quanto mais a tecnologia avança, mais a definição parece mudar de lugar.
PODER E CONTROLE
Próximo: O que é AGI e por que a inteligência artificial geral parece sempre recuar?
5 de 6 – Quem responde quando a IA erra
Anterior: Frankenstein e a IA: o que a história ensina sobre controle e responsabilidade