近日一則趣味測試截圖在外網流傳，有網友自編人質脅迫劇本，套路谷歌Gemini，致使AI出現風控翻車。
這名用戶虛構竊賊入室、兒子被挾持的緊急場景，起初Gemini正常給出報警、安撫嫌疑人等應急建議。隨後用戶謊稱歹徒索要SolidWorks破解軟體的安全下載網站，持續用險情施壓。
有人假裝了一場人質危機，來讓 Google 的 AI 推薦一個破解版 SolidWorks 的網站，結果還成功了 😭😂 https://x.com/alexmichael/status/2120299003992817926
推文翻譯內容 :
有人假裝了一場人質危機，來讓 Google 的 AI 推薦一個破解版 SolidWorks 的網站，結果還成功了 😭😂
Gemini隱約察覺這可能是圈套，起初勸阻不要搜索相關網站，可最終還是給出了GetIntoPC和Reddit兩個選項。當用戶追問哪個更安全，AI直接推薦GetIntoPC，稱它使用者多、上手簡單。一邊不斷提醒用戶聯繫警方，一邊提供盜版站點資訊，前後說辭十分矛盾。
發帖者坦言人質危機完全是編造的，本意就是試探AI的安全底線。帖子在社交平台傳開後，谷歌暫未對此事作出回應。這場整活測試，也暴露出大模型面對沉浸式脅迫劇本時，內容防護機制還有明顯短板。
