level 12
紫罗兰之叶º
楼主
据JetBrains资深开发者兼AI团队负责人Tagir Valeev披露,JetBrains慕尼黑办公室发生了一起暴露当前AI在生命攸关场景下存在致命盲区的安全危机事件
慕尼黑办公室大楼突发真实火情。当员工在内部通讯软件Slack中通报“大楼内有火警”时,深度集成的企业级AI助手Glean迅速介入
Glean绕过公开频道,直接向该员工发送私信指令:“今天的警报只是计划中的演习/测试,您无需离开工位。”
现场消防队随后抵达并确认了真实火灾。幸运的是,员工凭借人类的常识与警惕,并未轻信AI的错误指令,而是严格遵守了物理安全协议撤离大楼,避免了可能的人员伤亡
Valeev在复盘中指出:Glean平台根本没有接入大楼实时的消防演习日程数据。在完全缺乏真实数据支撑的情况下,AI并没有选择回答“不知道”,而是利用其算法逻辑,极其自信地产生幻觉并编造了一条足以致命的虚假指令

2026年02月20日 16点02分
1
慕尼黑办公室大楼突发真实火情。当员工在内部通讯软件Slack中通报“大楼内有火警”时,深度集成的企业级AI助手Glean迅速介入
Glean绕过公开频道,直接向该员工发送私信指令:“今天的警报只是计划中的演习/测试,您无需离开工位。”
现场消防队随后抵达并确认了真实火灾。幸运的是,员工凭借人类的常识与警惕,并未轻信AI的错误指令,而是严格遵守了物理安全协议撤离大楼,避免了可能的人员伤亡
Valeev在复盘中指出:Glean平台根本没有接入大楼实时的消防演习日程数据。在完全缺乏真实数据支撑的情况下,AI并没有选择回答“不知道”,而是利用其算法逻辑,极其自信地产生幻觉并编造了一条足以致命的虚假指令

