然而，根據普渡大學在人機互動會議上發表的研究，ChatGPT 並不是最事實證明，他的程 德國商務傳真列表 式設計答案有一半以上都是錯的。
科學家從 Stack Overflow 上收集了超過 517 個問題，要求他們使用 ChatGPT 並分析其答案。這是他們的發現。
52% 的答案包含錯誤訊息。
與人類回應相比，詳細了 77%。
78% 的答案在某種程度上與人類的答案不符。
研究人員還採訪了 12 名程式設計師，發現他們在 35% 的情況下更喜歡 ChatGPT，在 39% 的情況下沒有註意到他的答案中的錯誤。一個可能的原因是聊天機器人的通訊方式。
語言分析的結果是，2000隨機選擇的 ChatGPT 回應被發現“更正式、更具分析性”，並反映“更少的負面情緒”。
研究人員寫道：「後續的半結構化訪談顯示，禮貌的語言、措辭清晰的教科書回答和完整性是ChatGPT 的回答似乎更有說服力的主要原因，因此參與者放鬆了警惕，忽視了錯誤訊息。
結果顯示ChatGPT仍存在嚴重缺陷。然而，對於被 Stack Overflow 解僱的人以及必須修復人工智慧程式碼中的錯誤的程式設計師來說，這並不能算是一種安慰。
