Quando sistemas de inteligência artificial classificam, recomendam, priorizam ou bloqueiam, eles não apenas executam tarefas. Também ajudam a distribuir atenção, oportunidades e restrições. Uma pergunta formulada por Langdon Winner em 1980 ajuda a entender por quê.
SÉRIE · Poder e controle
1 de 6
O que significa dizer que um artefato tem política?
Em 1980, o cientista político Langdon Winner publicou o ensaio Do Artifacts Have Politics?.
A pergunta era provocadora: objetos e sistemas técnicos podem ter propriedades políticas?
Winner não dizia que uma ponte, uma máquina ou um computador possuem opinião.
Seu argumento era que tecnologias são projetadas e implantadas dentro de relações sociais e, ao fazer isso, podem favorecer determinadas formas de organização e autoridade:
- Uma catraca controla passagem.
- Um sistema de permissões define quem acessa determinada informação.
- Uma plataforma organiza aquilo que aparece primeiro.
A tecnologia, portanto, não apenas executa uma função. Ela também ajuda a definir quem pode fazer o quê.
Quando essa pergunta chega à inteligência artificial
Com a IA, essa discussão ganha outra dimensão.
Como vimos em Inteligência artificial no cotidiano: onde ela já está?, sistemas já participam de decisões rotineiras antes mesmo de serem percebidos como inteligência artificial.
Eles podem:
- ordenar conteúdos;
- classificar candidatos;
- atribuir pontuações;
- recomendar produtos;
- identificar transações suspeitas;
- selecionar informações prioritárias.
Não é necessário que o sistema tenha intenção própria.
Basta que seus critérios produzam efeitos sobre pessoas.
Uma ferramenta de recrutamento pode definir quais currículos aparecem primeiro. Um sistema de recomendação pode ampliar a visibilidade de alguns conteúdos e reduzir a de outros.
A decisão parece técnica. O efeito pode ser social.
Classificar também é escolher
Toda classificação depende de critérios.
Se um sistema precisa indicar o “melhor candidato”, alguém precisa definir o que significa melhor.
Experiência?; Formação?; Desempenho anterior?; Alguma combinação dessas variáveis?
O mesmo vale para uma plataforma que organiza conteúdos. Ela pode priorizar probabilidade de clique, tempo de permanência, popularidade ou outro objetivo.
Por isso, sistemas de IA não devem ser analisados apenas como modelos matemáticos isolados.
O AI Risk Management Framework, do NIST, trata sistemas de IA como sociotécnicos: seus efeitos dependem também de pessoas, instituições, dados e do contexto em que são utilizados.
O algoritmo não precisa mandar
Poder tecnológico nem sempre aparece como uma ordem. Às vezes aparece como prioridade:
- Aquilo que fica no topo recebe mais atenção;
- Aquilo que recebe uma pontuação maior pode avançar primeiro;
- Aquilo que é classificado como risco pode receber tratamento diferente.
O sistema não precisa dizer: “faça isto”.
Pode apenas organizar as opções de maneira que algumas se tornem mais prováveis.
Essa forma de mediação também apareceu quando discutimos a inteligência alienígena de Harari: sistemas podem participar da organização das escolhas sem controlar diretamente quem decide.
Quando números parecem neutros
Resultados apresentados como pontuações, rankings ou probabilidades podem transmitir uma impressão de objetividade.
Mas antes do cálculo alguém definiu:
- quais dados entram;
- qual resultado interessa;
- que erro é aceitável;
- que métrica indica sucesso.
A matemática executa essas escolhas. Não as elimina.
Na área de emprego, por exemplo, a Equal Employment Opportunity Commission dos Estados Unidos já alertou que sistemas automatizados podem reproduzir vieses ou criar novas barreiras discriminatórias.
Isso se conecta diretamente ao que vimos em Inteligência artificial no trabalho: como a IA está mudando as funções?: a tecnologia pode alterar não apenas quem executa uma tarefa, mas também quem supervisiona, quem decide e quem pode contestar o resultado.
Code is law
Lawrence Lessig levou uma discussão semelhante para os ambientes digitais ao popularizar a expressão: “code is law”.
A ideia não era dizer que código de programação é literalmente lei.
Lessig usava a frase como metáfora para mostrar que software e hardware também podem regular comportamentos: permitem algumas ações e impedem outras.
Com a IA, surge uma camada adicional. O sistema pode não apenas permitir ou bloquear.
Pode prever, classificar, recomendar e priorizar.
O poder passa a aparecer também naquilo que ganha visibilidade, no que recebe atenção e no que é apresentado como melhor alternativa.
Tecnologia não determina tudo
Isso não significa que a IA determine automaticamente nossas escolhas.
- Usuários ignoram recomendações;
- Instituições podem estabelecer supervisão;
- Modelos podem ser substituídos;
- Critérios podem ser auditados;
- Resultados podem ser contestados.
A pergunta mais útil é outra:
que relações de poder surgem ou se fortalecem quando determinado sistema passa a organizar uma atividade?
Ela evita dois extremos: imaginar que a tecnologia é completamente neutra ou acreditar que ela determina sozinha aquilo que acontece.
Quando precisamos perguntar “por quê?”
Se um sistema recomenda uma música, talvez uma explicação detalhada não pareça essencial.
Mas a situação muda quando estão em jogo:
- emprego;
- crédito;
- saúde;
- educação;
- segurança;
- acesso a serviços.
Nesses casos, queremos saber: por que esse resultado foi produzido?; quais informações pesaram?; é possível contestá-lo?
É nesse ponto que o problema do poder encontra outro problema da inteligência artificial.
Mesmo quando sabemos quem construiu um sistema e para que ele foi criado, pode ser difícil explicar por que uma saída específica apareceu.
Essa dificuldade tem um nome conhecido: a caixa-preta da IA.
PODER E CONTROLE
Próximo: Caixa-preta da IA: por que algumas decisões são difíceis de explicar?