一項針對ChatGPT聊天數據的研究發現，系統會利用過往對話積累用戶資訊，形成研究團隊所稱的「算法自畫像」。在研究發現的記憶中，96%的創建或更新並非源於用戶的明確要求。
來自德國馬克斯·普朗克軟體系統研究所、安全與隱私研究所等機構的研究人員分析了80名志願者提供的數據，並在其中65人的聊天記錄里找到2050條機器人記憶。多數內容來自用戶在對話中直接透露的資訊，另有一部分由系統自行推斷，而且推斷並不總是準確。
研究列舉的一個例子顯示，用戶只是要求推薦與Nirvana相似的樂隊，系統便記錄其喜歡Nirvana。研究還稱，52%的記憶涉及用戶的願望、意圖、情緒和信念等心理狀態。用戶可能將聊天機器人對話視為私密交流，卻低估了內容被保存、分析並跨場景用於個性化的影響。
研究者建議減少問題中的個人細節，例如將「我患有糖尿病」改為針對假設人物提問。用戶也可以關閉記憶、查看或修正記憶摘要、使用臨時聊天，或拒絕將對話用於訓練。不過研究強調，記憶摘要未必會呈現系統使用的全部資訊。
