O ChatGPT pode inventar uma referência com a mesma segurança com que explicaria uma real. Numa revisão de literatura, essa fluência é perigosa: se a fonte não foi verificada, o argumento pode estar apoiado em chão falso.
Texto 4 de 5
Série: ChatGPT na educação – autoria, avaliação e pesquisa
Próximo texto: Como usar o ChatGPT no início de uma pesquisa acadêmica sem terceirizar o método
O problema com fontes não começou com a IA
A revisão de literatura sempre foi um exercício de julgamento, não de acumulação.
Antes do Google Acadêmico, pesquisadores iniciantes já chegavam aos orientadores com listas de sites, resumos de enciclopédias e capítulos fotocopiados sem critério claro de seleção.
O problema não era apenas preguiça. Era ausência de formação para distinguir o que tinha peso científico daquilo que apenas parecia ter.
O ChatGPT não criou esse problema.
Ele o amplificou, porque agora a aparência de consistência acadêmica ficou muito mais fácil de produzir sem o conteúdo que a sustenta.
O que o ChatGPT faz bem – e onde para
Na fase inicial de uma revisão de literatura, o ChatGPT pode ser genuinamente útil. Ele ajuda a organizar perguntas, mapear territórios conceituais, identificar termos de busca e sugerir caminhos de aproximação com o tema.
É uma ferramenta eficaz para quem já sabe que precisa verificar tudo depois.
O problema começa quando a ferramenta deixa de apoiar o percurso e passa a substituir o julgamento do pesquisador: escolher fontes, avaliar relevância, sintetizar debates e indicar referências como se fosse base acadêmica confiável.
Aí o ChatGPT deixa de ser apoio. Vira atalho para caminhos errados.
O que a pesquisa diz sobre citações fabricadas
Em “Fabrication and errors in the bibliographic citations generated by ChatGPT”, Walters e Wilder analisaram 636 citações geradas pelo ChatGPT em revisões de literatura sobre 42 temas diferentes.
Os resultados foram preocupantes: 55% das citações produzidas pelo GPT-3.5 eram fabricadas – referências inexistentes, com autores inventados, títulos plausíveis e dados bibliográficos incorretos.
Mesmo o GPT-4, com desempenho melhor, apresentou 18% de citações fabricadas.
A conclusão é direta: o ChatGPT pode ajudar a escrever, organizar e reformular. Mas não deve ser tratado como base confiável de recuperação bibliográfica.
Ele produz textos que parecem academicamente sólidos.
Sem garantia de que sejam.
O que muda na prática da revisão
Usar o ChatGPT na revisão de literatura sem protocolo claro é assumir um risco desnecessário.
Algumas distinções ajudam:
- Mapear temas: usar o ChatGPT para levantar subáreas, palavras-chave e relações conceituais pode ajudar no início da revisão; pedir referências prontas para citar, sem checagem, é erro metodológico.
- Orientar a leitura: solicitar um resumo inicial de um debate pode servir como aproximação; substituir a leitura das fontes primárias por essa síntese compromete a pesquisa.
- Verificar referências: conferir toda fonte sugerida em bases como Periódicos CAPES, SciELO, PubMed ou no site da revista não é excesso de cautela. É procedimento básico.
- Registrar o uso: documentar como o ChatGPT foi usado, em quais etapas e com quais limites faz parte da transparência metodológica.
Protocolo não é burocracia.
É o que diferencia uma revisão confiável de uma que apenas parece confiável.
O que a literatura recente acrescenta
Em “Hallucination Rates and Reference Accuracy of ChatGPT and Bard for Systematic Reviews”, Chelli e colaboradores avaliaram o desempenho do ChatGPT e do Bard (atual Gemini) na produção de referências em revisões sistemáticas.
A conclusão reforça o alerta: esses modelos conseguem gerar referências com aparência convincente, mas também produzem trabalhos inexistentes, informações imprecisas e resultados que não respeitam plenamente critérios de elegibilidade definidos pelos próprios pesquisadores.
Por isso, os autores recomendam que ferramentas como ChatGPT e Bard não sejam usadas como meio primário ou exclusivo para conduzir revisões de literatura.
A validação humana continua indispensável.
E aqui “indispensável” não é palavra decorativa. É o alicerce que segura a casa.
Uma distinção que faz toda a diferença
Há uma diferença entre usar o ChatGPT para ajudar a pensar e usá-lo para pesquisar no lugar do pesquisador.
A primeira possibilidade pode enriquecer o processo.
A segunda compromete a base sobre a qual qualquer argumento acadêmico será construído.
Uma revisão de literatura feita sobre fontes fabricadas ou não verificadas não é apenas metodologicamente frágil. É desonesta com o campo que pretende integrar.
O ChatGPT pode ajudar a organizar o caminho.
Mas quem percorre, verifica e responde por ele continua sendo o pesquisador.
Para ampliar a discussão
Este texto conversa com O quarto chinês: a IA entende ou apenas manipula símbolos?, porque revisar literatura com ChatGPT exige distinguir fluência textual de validação científica.
Próximo texto da série:
Como usar o ChatGPT no início de uma pesquisa acadêmica sem terceirizar o método
Se este texto provocou alguma reflexão, deixe seu comentário ou compartilhe com alguém que também pensa a revisão de literatura para além da aparência de fonte confiável.