人類優勢在寫長篇文章
AI代替人類寫研究摘要已滲透權威期刊,一項研究發現,一些研究摘要連全球頂尖語言學專家也無法識別,判斷AI是否正確率僅38.9%,但研究人員認為,人類作家的一線生機是寫長文,因AI寫長文時容易自曝其短。
發表在《應用語言學研究方法》期刊的研究披露AI產生文章與人類寫作有極高相似度。作者想知道,是否語言學家能識別人類或AI,與72名頂尖語言學專家審查各種研究摘要,確認這些摘要是AI還是人類寫的。
每位專家檢查四個寫作樣本,結果居然沒有人正確識別四個樣本,甚至有13%全部認錯。語言學家利用熟悉的語言基本原理判斷文章,如識別某些語言和文體特徵,但都失敗了,總體正確率只有38.9%。
研究作者也問語言學家,區分AI或人類寫作的原則是什麼,都分享非常合邏輯的理由,但結果顯示理由不準確或不一致。作者擔憂,若專業語言學家都無法識別AI或人類,老師更無法區分學生作業是自己寫的或AI代勞。
即使有AI文章檢測工具,如OpenAI檢測AI產生內容的工具,但都沒有證明能可靠區分AI或人類。華頓商學院教授表示,到目前為止,AI寫作無法檢測,且很可能持續一段時間,他還呼籲市面上所謂AI文章檢測工具錯誤率很高,不應該使用。
作者認為,AI通常不會犯語法錯誤,ChatGPT可像多數人寫短文,甚至比人類更好。但人類也不必停筆,因人類的一線希望在於長文,AI只要處理長篇文章就容易產生自編自導內容,更容易識破。
除了編造內容,AI產文也不是完全沒有破綻。某些權威期刊接受AI內容,但要求作者公開透明,然最近越來越多研究員用ChatGPT寫論文,卻未據實以報。某法國研究員發現許多論文是電腦寫的,出版商Springer和IEEE因此從訂閱服務刪除120多篇論文。經同行評審的期刊也撤下未如實稟報使用AI工具撰寫的論文。
這些文章都是因特定用語被發現。專家認為,AI內容通常會留下足跡,如含特定語言模式或奇怪措辭,如使用假意識、深刻的神經組織和海量消息等術語代替人工智慧、深度神經網路和大數據等詞,還有人連ChatGPT提示詞「Regenerate response」都忘記刪除,若有這些痕跡,就明顯不是人類寫作。但專家也承認,如果研究員刪除光光機器破綻,AI機器人寫的文章就幾乎不可能發現。
(首圖來源:Pixabay)