Atualizado em
Alinhamento de IA é o problema de fazer sistemas de inteligência artificial perseguirem objetivos compatíveis com aquilo que realmente queremos. A dificuldade começa quando uma instrução aparentemente simples admite caminhos inesperados para ser cumprida.
SÉRIE · Poder e controle
3 de 6
O que significa alinhar uma IA?
No texto anterior, vimos que um sistema pode produzir resultados difíceis de explicar.
Mas mesmo que conseguíssemos entender perfeitamente seu funcionamento, ainda restaria outra pergunta: ele está perseguindo o objetivo certo?
O alinhamento de IA trata justamente disso.
De forma simples, um sistema está alinhado quando seu comportamento permanece compatível com os objetivos, intenções ou valores que deveriam orientar sua atuação.
O problema parece fácil até tentarmos transformar intenções humanas em regras precisas.
- “Faça um bom trabalho.”
- “Ajude o usuário.”
- “Evite causar dano.”
- “Escolha a melhor alternativa.”
Todas parecem instruções razoáveis. Porém, nenhuma delas é completamente objetiva.
O problema do desejo mal formulado
Essa dificuldade não nasceu com a IA atual.
Em 1960, Norbert Wiener já advertia que, ao confiar objetivos a máquinas automáticas, precisávamos ter certeza de que o objetivo colocado na máquina era realmente aquele que desejávamos.
A observação parece quase escrita para o debate atual. Humanos trabalham bem com intenções incompletas.
Se alguém pede: “arrume esta sala”, normalmente entendemos que isso não significa jogar tudo pela janela para deixar o chão vazio.
Grande parte do sentido está no contexto.
Máquinas precisam receber algum tipo de representação operacional do objetivo.
E aí começa o problema: como colocar em regras aquilo que nós mesmos costumamos deixar implícito?
Quanto mais capaz o sistema, maior pode ser o problema
Um sistema pouco competente talvez nem encontre brechas na especificação. Um sistema melhor pode encontrar soluções que o projetista nunca imaginou.
A própria DeepMind chama atenção para essa ironia: quanto melhor um agente se torna em otimizar um objetivo, mais importante passa a ser especificar corretamente aquilo que realmente queremos.
É uma inversão interessante. Mais capacidade não resolve automaticamente o problema do alinhamento. Pode tornar seus erros mais eficientes.
Um sistema otimizado para aumentar engajamento, por exemplo, pode descobrir estratégias extremamente eficazes para manter pessoas conectadas.
Mas maximizar engajamento não é necessariamente o mesmo que oferecer informação de qualidade ou melhorar o bem-estar do usuário.
O problema está na diferença entre métrica e intenção.
E se a recompensa estiver correta?
Existe uma dificuldade ainda mais sutil.
Mesmo quando a especificação usada durante o treinamento parece adequada, o sistema pode aprender um objetivo diferente daquele esperado e só revelar essa diferença em novas situações.
Pesquisadores da DeepMind chamam isso de goal misgeneralisation. Nesse caso, as capacidades aprendidas funcionam bem, mas o objetivo não se generaliza como desejado.
Imagine um agente treinado em ambientes nos quais “seguir determinada rota” e “chegar ao destino” sempre coincidem.
Durante o treinamento, não existe diferença prática entre as duas estratégias. Num ambiente novo, porém, as duas podem divergir.
A pergunta, então, passa a ser: o sistema aprendeu realmente o objetivo ou apenas um atalho que funcionava nos exemplos anteriores?
Alinhamento não significa perfeição
Também é importante não transformar o termo em promessa absoluta. Um sistema alinhado não é necessariamente um sistema que nunca erra.
- Ele pode falhar por falta de informação;
- Pode interpretar mal uma situação;
- Pode produzir uma resposta estatisticamente improvável;
- Pode enfrentar um contexto para o qual não foi preparado.
Alinhamento trata de outra questão: quando o sistema possui capacidade para agir, seus objetivos e incentivos apontam na direção que esperamos?
Essa pergunta se torna especialmente importante à medida que sistemas ganham mais autonomia.
Alinhamento não é apenas obedecer ao usuário
Há ainda uma dificuldade política e moral. Alinhar com quem?
- Com o usuário?
- Com a empresa que criou o sistema?
- Com a legislação?
- Com valores sociais mais amplos?
- Com aquilo que a maioria prefere?
Essas respostas podem entrar em conflito.
Um usuário pode pedir algo prejudicial; uma empresa pode ter interesses diferentes dos seus clientes; sociedades discordam sobre valores; normas mudam entre países e ao longo do tempo.
Por isso, alinhamento não é apenas um problema de engenharia. Também envolve decidir quais objetivos merecem ser incorporados ao sistema.
Isso conecta diretamente este texto ao primeiro da série, Artefatos têm política? Como a IA distribui poder.
Quem define aquilo com que a máquina será alinhada também exerce poder.
Quando a criação faz exatamente o que pedimos – e ainda assim dá errado
Existe uma velha estrutura narrativa por trás desse problema.
Alguém cria algo para cumprir determinado objetivo. A criação funciona, mas o resultado escapa da intenção original.
O perigo não aparece porque a criação “ficou malvada”. Aparece porque existe distância entre: aquilo que foi pedido e aquilo que realmente se desejava.
É um tema muito anterior aos computadores. E poucas histórias o representam tão bem quanto Frankenstein.
No próximo texto, sairemos momentaneamente dos laboratórios de IA para uma obra publicada em 1818 – e veremos por que a história de Mary Shelley continua sendo usada para pensar responsabilidade, criação e controle tecnológico.
PODER E CONTROLE
Próximo: Frankenstein e a IA: o que a história ensina sobre controle e responsabilidade
3 de 6 – Alinhamento de IA
Anterior: Caixa-preta da IA: por que algumas decisões são difíceis de explicar?