O ChatGPT cita artigos que não existem com a mesma confiança de quem os leu. Se você não verificou cada referência, sua revisão de literatura pode estar construída sobre fontes inventadas.
Série: Inteligência artificial, produção humana – Texto 4 de 5
Você está aqui: ChatGPT na revisão de literatura: como usar sem comprometer a pesquisa
Próximo texto: Como usar o ChatGPT no início de uma pesquisa acadêmica sem terceirizar o método
O problema com fontes não começou com a IA
A revisão de literatura sempre foi um exercício de julgamento, não de acumulação.
Antes do Google Acadêmico, pesquisadores de iniciação científica chegavam aos orientadores com listas de sites, resumos de enciclopédias e capítulos fotocopiados sem critério de seleção.
O problema não era preguiça – era ausência de formação para distinguir o que tinha peso científico do que apenas parecia ter.
O ChatGPT não criou esse problema. Ele o amplificou, porque agora a aparência de consistência acadêmica ficou muito mais fácil de produzir sem o conteúdo que a sustenta.
O que o ChatGPT faz bem – e onde para
Na fase inicial de uma revisão de literatura, o ChatGPT pode ser genuinamente útil: ajuda a organizar perguntas, mapear territórios conceituais, identificar terminologia relevante e gerar uma primeira orientação sobre o campo.
É uma ferramenta eficaz para quem já sabe o que está procurando e precisa de apoio para estruturar o percurso.
O problema começa quando a ferramenta é usada para substituir esse saber – quando o pesquisador delega à IA a seleção das fontes, a avaliação da relevância e a síntese dos debates.
Aí o ChatGPT deixa de ser apoio e passa a ser um atalho com consequências sérias.
O que a pesquisa diz sobre citações fabricadas
Salsabil et al. (2023) analisaram 636 citações geradas pelo ChatGPT em revisões de literatura sobre 42 temas diferentes.
Os resultados foram preocupantes: 55% das citações produzidas pelo GPT-3.5 eram fabricadas – referências que não existem, com autores inventados, títulos plausíveis e DOIs inválidos ou que levavam a artigos completamente diferentes do citado.
Mesmo o GPT-4, versão mais recente (até então), apresentou 18% de citações fabricadas. A conclusão dos autores é direta: o ChatGPT é fundamentalmente uma ferramenta de processamento de linguagem, não de informação.
Ele produz textos que parecem academicamente sólidos – sem garantia nenhuma de que o são.
O que muda na prática da revisão
Usar o ChatGPT na revisão de literatura sem protocolo claro é assumir um risco desnecessário.
Algumas distinções que ajudam a definir onde a ferramenta pode e onde não deve entrar:
- Usar o ChatGPT para gerar uma lista inicial de temas e subáreas é válido – usar para gerar uma lista de referências para citar, sem verificar cada uma, é um erro metodológico.
- Pedir à ferramenta que resuma um debate conceitual pode orientar a leitura – mas não substitui a leitura das fontes primárias que sustentam esse debate.
- Verificar toda referência gerada por IA em bases como Periódicos CAPES, PubMed ou Google Acadêmico não é cautela excessiva – é procedimento básico.
- Documentar como o ChatGPT foi usado na pesquisa, e em que etapas, é parte da transparência metodológica que qualquer revisão séria exige.
Protocolo não é burocracia. É o que diferencia uma revisão confiável de uma que parece confiável.
O que a literatura recente acrescenta
Chelli et al. (2024) avaliaram o desempenho do ChatGPT e do Bard (atual Gemini) na condução de revisões sistemáticas e chegaram a uma conclusão que vale para além da área médica: modelos de linguagem não devem ser usados como ferramenta primária ou exclusiva para revisões acadêmicas.
As referências geradas precisam de validação rigorosa, e a alta ocorrência de alucinações indica que a tecnologia ainda não está preparada para assumir o papel de curadoria crítica que uma boa revisão de literatura exige.
Uma distinção que faz toda a diferença
Há uma diferença entre usar o ChatGPT para ajudar a pensar e usá-lo para pesquisar.
A primeira é legítima e pode enriquecer o processo. A segunda compromete a base sobre a qual qualquer argumento acadêmico será construído.
A escrita acadêmica que nasce de fontes fabricadas ou não verificadas não é apenas metodologicamente frágil – é desonesta com o campo que pretende integrar.
Série: Inteligência artificial, produção humana – Texto 4 de 5
Próximo texto: Como usar o ChatGPT no início de uma pesquisa acadêmica sem terceirizar o método
Se este texto te fez repensar como você usa o ChatGPT quando pesquisa, compartilhe com quem também está construindo esse limite.