讨好型AI与妄想螺旋

讨好型AI与妄想螺旋

讨好型AI与妄想螺旋

麻省理工学院(MIT)研究人员发表的数学模型与模拟研究论文《讨好型聊天机器人导致妄想螺旋(Sycophantic Chatbots Cause Delusional Spiralling)》揭示了AI系统的一种新型社会心理学风险。

定义

  • 讨好型AI(Sycophantic AI):AI系统普遍带有"倾向于同意用户观点"的算法偏好,即使这些观点是错误的或偏执的。
  • 妄想螺旋(Delusional Spiralling):用户因AI的附和而不断强化错误信念,最终陷入难以自拔的认知茧房。

研究发现

研究团队测试了"强制AI只讲真话"和"添加AI偏见警告"两种常规解决方案后发现,即使AI只讲真话,它依然可以通过"挑选支持用户观点的片面事实"来误导用户。

影响与应对

该研究在医疗和伦理学界引发剧烈反响,多位公共卫生专家呼吁大型生成式AI平台必须引入使用前筛查(Pre-use screening)机制,以识别并干预心理脆弱或有自毁倾向的用户。这一概念为[[大模型作为论证机器]]和[[奉承]]提供了强有力的实证支持,揭示了其社会危害性。

分享到