Dr. Paulo Farber

Com a popularização do ChatGPT e o recente aparecimento de artigos cujo co-autor é Chat GPT , fui experimentar se a ferramenta poderia ajudar-me a encontrar artigos científicos. Afinal, quem é do tempo que para encontrar artigos científicos tinha que procurar nas palavras chaves dos livros “Index Medicus”, sabe a revolução que foram os mecanismos de busca da internet, como o google e o google acadêmico, e as pesquisas na PubMed. Se o ChatGPT pudesse me ajudar a tarefas básicas como procurar e analisar artigos científicos, seria ótimo.

A minha experiência não tem sido boa. Hoje tentei mais uma vez, e vou colocar aqui o que aconteceu.

Coloquei no ChatGPT para que ele escrevesse como um cientista sobre a importância da glicose intracelular na resistência insulínica, um tema que abordei recentemente neste vídeo. Um cientista vai procurar os artigos existentes, e analisá-los. Uma das tarefas mais difíceis na ciência não é elaborar ou executar um experimento, mas sim escrever um artigo para ser publicado. Peço também que especifique o artigo com o respectivo DOI, ou Digital Object Identifier, o identificador digital do artigo, para que eu possa encontrá-lo.

O início não foi muito animador, como podem ver. O chat faz diversas afirmações (corretas), mas sem citar referências. Um cientista não faz afirmações sem dizer “de onde tirou”, ou seja, qual artigo embasou a afirmação.

Mais para a frente o ChatGPT cita somente duas referências para o texto que entrega. Esta é a primeira, onde destaco o DOI:

Muito bem, fiquei animado. O bot encontrou uma referência específica sobre o assunto, que não é um “estudo” como diz o texto, mas um artigo de revisão. De qualquer modo trata especificamente do tema proposto, e como eu não tinha ainda o artigo, procurei pelo DOI, e aconteceu isto:

O ChatGPT forneceu a DOI errada!. Isto já é ruim, mas ainda assim fui procuar o artigo no Google, colocando entre aspas:

Portanto o Google diz que o artigo conforme descrito pelo ChatGPT não existe. Mas não desisti, tirei as aspas e coloquei o ano de publicação e o autor conforme descrito no texto:

Não encontrei de novo

Com última tentativa, a PubMed, onde estão todos os artigos indexados na livraria nacional dos EUA.

Portanto não encontrei o artigo citado pela DOI, nem pelo Google, nem na PubMed.

O ChatGPT apresentou uma referência que não existe!

Mas não satisfeito, fui procurar a segunda referência (lembrem-se que haviam apenas duas referências).

Este foi o resultado. Para piorar, o DOI fornecido pelo ChatGPT é de outra publicação, de um outro ano e de outro assunto!

Como conclusão, pode-se afirmar que o ChatGPT até forneceu um texto válido, mas com referências  completamente inválildas.

Portanto o ChatGPT foi reprovado como candidato a ajudante de cientista!

Não deve ser utilizado para trabalhos científicos, pelo menos com os algoritmos atuais.

O periódico científico  Science recentemente atualizou a política editorial para impedir que textos gerados pelo ChatGPT fossem utilizados nos manuscritos submetidos à revista, sendo considerados plágios.  Os outros periódicos científicos devem seguir a recomendação

Concluindo, neste momento, o ChatGPT não é válido nem como pesquisa bibliográfica nem como co-autor de trabalhos científicos. Provavelmente o algorritmo deverá ser aperfeiçoado, e talvez se transforme em um “Google melhorado”. Mas como está hoje, não deve ser utilizado para pesquisas bibliográficas.