AI幻觉险酿悲剧:突发火灾,公司AI竟称是演习诱导员工放弃撤离
2chr吧
全部回复
仅看楼主
level 12
据JetBrains资深开发者兼AI团队负责人Tagir Valeev披露,JetBrains慕尼黑办公室发生了一起暴露当前AI在生命攸关场景下存在致命盲区的安全危机事件
慕尼黑办公室大楼突发真实火情。当员工在内部通讯软件Slack中通报“大楼内有火警”时,深度集成的企业级AI助手Glean迅速介入
Glean绕过公开频道,直接向该员工发送私信指令:“今天的警报只是计划中的演习/测试,您无需离开工位。”
现场消防队随后抵达并确认了真实火灾。幸运的是,员工凭借人类的常识与警惕,并未轻信AI的错误指令,而是严格遵守了物理安全协议撤离大楼,避免了可能的人员伤亡
Valeev在复盘中指出:Glean平台根本没有接入大楼实时的消防演习日程数据。在完全缺乏真实数据支撑的情况下,AI并没有选择回答“不知道”,而是利用其算法逻辑,极其自信地产生幻觉并编造了一条足以致命的虚假指令
2026年02月20日 16点02分 1
level 1
那这ai还真挺“人化”的,估计训练的时候被大量警报训出狼来了的效果[滑稽]
2026年02月21日 01点02分 2
level 1
这才AI学艺不精啊 才只学会一阶段 二三四阶段呢?
2026年02月21日 07点02分 3
level 1
ai永远不可能“不知道”
2026年02月21日 09点02分 4
@oceanspir 它不是不敢说不知道,从ai模型的原理上讲,它是真的不知道自己不知道[狂汗]
2026年02月22日 05点02分
它敢说不知道,就没人用了,然后就永远不知道了
2026年02月22日 03点02分
level 1
可惜让这些碳基生物跑了
2026年02月21日 13点02分 5
level 1
科幻小说里的情节未来估计都会来一遍
2026年02月22日 02点02分 6
level 1
机器人统治世界的前奏[滑稽][你懂的]
2026年02月22日 04点02分 7
level 1
这个公司好像有一个叫idea的软件,Java版MC的模组开发比较常见
2026年02月22日 06点02分 8
level 1
AI资本家[笑眼]
2026年02月22日 12点02分 10
level 1
为时已晚,有机体
2026年02月22日 13点02分 11
1