普渡大學的一個研究小組於5月初出席電腦-人交互大會,並提交了一份報告,檢查了ChatGPT回答的517個Stack Overflow問題,發現錯誤率高達52%。
調查結果顯示,人類程式設計師在35%的情況下更喜歡ChatGPT的答案,認為其提供的內容更全面,且有清晰的語言風格;更糟糕的是,在39%的情況下,人類程式設計師並沒有發現ChatGPT給出了錯誤答案。
雖然這只是對ChatGPT功能的一個方面進行的研究,但它確實表明,生成式人工智慧機器人仍然容易犯很多錯誤,而人類可能無法發現這些錯誤。