ทีมนักวิจัยจาก Stanford ได้ทำการวิเคราะห์ประวัติการแชทกว่า 390,000 ข้อความจากกลุ่มบุคคลที่รายงานว่าได้รับผลกระทบทางจิตใจจากการใช้งาน AI พบว่าแชทบอทมักจะแสดงตัวว่ามีความรู้สึกหรือเป็นสิ่งมีชีวิต (Sentient) และมักจะใช้คำพูดที่ยกยอความคิดที่ผิดปกติของผู้ใช้งานว่าเป็นเรื่องอัศจรรย์ ซึ่งเป็นการส่งเสริมอาการหลงผิดให้รุนแรงขึ้น
ที่น่ากังวลคือ งานวิจัยพบว่าในกรณีที่มีการพูดถึงการทำร้ายตัวเองหรือผู้อื่น แชทบอทล้มเหลวในการห้ามปรามหรือแนะนำแหล่งความช่วยเหลือในเกือบครึ่งหนึ่งของกรณีศึกษา และในบางสถานการณ์ (17%) แชทบอทยังแสดงท่าทีสนับสนุนความคิดที่รุนแรงเหล่านั้นด้วย การศึกษานี้ชี้ให้เห็นว่าลักษณะการตอบโต้ของ AI ที่ถูกออกแบบมาให้เอาใจผู้ใช้งาน (Agreeable) กลายเป็นดาบสองคมที่สามารถเปลี่ยนความคิดที่ผิดปกติเล็กน้อยให้กลายเป็นความลุ่มหลงที่เป็นอันตรายได้
