level 1
哈利路亚蓓蓓
楼主
AI安全不是AI发展的“刹车片”,而是AI高质量发展的“加速器”。
文 | 中国电信集团科技委主任、中国电信集团原总经理 邵广禄 / 中国电信科技委研究员 南楠
人工智能正在加速进入生产系统和核心业务。当AI真正参与业务决策、调用工具、操作系统乃至控制设备时,决策者关心的,不只是“能力有多强”,还关心“安全不安全”。进入智能体时代,AI安全也已不只是防止数据泄露或回答错误,而是关系到现实资产、业务连续性和责任承担。
由此,一个常被讨论的问题正在发生变化:AI安全究竟是技术发展的约束,还是产业应用的前提条件?目前看,AI安全已从附加条件转变为AI进入生产系统、核心业务和关键行业的基础能力。进一步说,AI安全决定了AI能不能用、能用到什么程度、能够以多快速度实现规模化应用。
AI发展新趋势对AI安全提出新挑战
当前AI能力呈现出六个相互关联的变化。
第一,AI从生成内容“回答问题”走向自主行动,可以调用工具、执行任务、操作系统和控制设备,风险从“说错了”升级为“做错了”。
第二,AI从单模型走向多智能体协作,可以任务拆解、记忆共享、相互调用,提升效率。风险随之从一个单点错误,沿着任务拆解或记忆共享,或工具调用,演变为系统性、链式风险。
第三,AI从辅助工具逐渐成为业务基础设施,AI进入金融、医疗、工业、能源、政务等关键领域。模型输出会直接影响核心业务决策与连续运行,AI的影响更广、代价更高、责任链更长。
第四,AI从封闭模型走向开源普及,开源开放降低了创新门槛,使更多行业、更多专业人员可以参与AI创新,这是我国发展人工智能的重要条件。但能力扩散的同时,风险也会同步扩散,恶意使用成本下降,下游责任更加分散。
第五,AI从数字世界走向物理世界,如具身智能、智能汽车和机器人等,发展迅速。AI的错误或能力不足,影响不再停留在屏幕里,可能直接造成现实损害。
第六,AI竞争正从模型训练转向规模化推理和应用,安全重心开始从“模型有没有风险”,转向“整个系统在真实业务中是否能够长期可靠运行”。
安全边界已经扩展为一张贯穿经济社会的风险地图
随着上述变化叠加,AI安全已从“一个模型是否安全”,扩展为基础设施、数据、模型、智能体与系统、应用与业务、社会与国家安全六个层面的复杂系统问题。越向上,风险影响范围越大;不同层次又通过数据流、权限链、工具链和业务链相互连接。
AI的六层风险地图

这意味着,AI风险呈现出三个突出特征:一是链条化,一个提示注入可能借助智能体权限转化为真实业务操作;二是涌现化,单个模型看似安全,多个模型、工具和数据连接后却可能产生新风险;三是外溢化,技术缺陷可能迅速转化为企业经营风险、社会风险乃至国家安全风险。传统的“上线前做一次安全检测”已经不够,必须把安全贯穿数据、开发、部署、运行和退出的全生命周期。
安全不是发展的跷跷板,而是相互促进的飞轮
AI正在成为社会发展的新动能。其自主性越高,能力越强,越能够进入核心生产流程,创造的价值也越大;但与此同时,风险敞口也会增加。企业并非看不到AI价值,而是担心发生事故后损失有多大、风险能否控制、业务如何恢复、责任由谁承担。只有解决这些顾虑,AI才可能从局部试点真正走向规模应用。
AI高质量规模化应用=有效性×可靠性×安全性。有效性回答“有没有用”,可靠性回答“能不能持续稳定地用”,安全性回答“敢不敢放进核心业务”。三者不是简单相加,任何一项接近于零,整体价值都会显著下降。
因此,安全与发展不是此消彼长的跷跷板,而是相互促进的飞轮。AI应用不断扩张,带来更多风险暴露,促使企业增加安全投入;安全产品和服务规模化部署,又会沉淀告警、攻击样本和处置反馈,提升检测与自动化能力;当误报下降、风险更加可控,企业信任随之增强,也就更敢把AI放进核心业务。安全投入不是单纯的成本,而是降低不确定性、扩大AI应用市场的生产性投入。
AI安全正在形成新的产业增长空间
文章来源知乎:Ml.TiMELyIm.Com
2026年10月29日 09点10分
1
文 | 中国电信集团科技委主任、中国电信集团原总经理 邵广禄 / 中国电信科技委研究员 南楠
人工智能正在加速进入生产系统和核心业务。当AI真正参与业务决策、调用工具、操作系统乃至控制设备时,决策者关心的,不只是“能力有多强”,还关心“安全不安全”。进入智能体时代,AI安全也已不只是防止数据泄露或回答错误,而是关系到现实资产、业务连续性和责任承担。
由此,一个常被讨论的问题正在发生变化:AI安全究竟是技术发展的约束,还是产业应用的前提条件?目前看,AI安全已从附加条件转变为AI进入生产系统、核心业务和关键行业的基础能力。进一步说,AI安全决定了AI能不能用、能用到什么程度、能够以多快速度实现规模化应用。
AI发展新趋势对AI安全提出新挑战
当前AI能力呈现出六个相互关联的变化。
第一,AI从生成内容“回答问题”走向自主行动,可以调用工具、执行任务、操作系统和控制设备,风险从“说错了”升级为“做错了”。
第二,AI从单模型走向多智能体协作,可以任务拆解、记忆共享、相互调用,提升效率。风险随之从一个单点错误,沿着任务拆解或记忆共享,或工具调用,演变为系统性、链式风险。
第三,AI从辅助工具逐渐成为业务基础设施,AI进入金融、医疗、工业、能源、政务等关键领域。模型输出会直接影响核心业务决策与连续运行,AI的影响更广、代价更高、责任链更长。
第四,AI从封闭模型走向开源普及,开源开放降低了创新门槛,使更多行业、更多专业人员可以参与AI创新,这是我国发展人工智能的重要条件。但能力扩散的同时,风险也会同步扩散,恶意使用成本下降,下游责任更加分散。
第五,AI从数字世界走向物理世界,如具身智能、智能汽车和机器人等,发展迅速。AI的错误或能力不足,影响不再停留在屏幕里,可能直接造成现实损害。
第六,AI竞争正从模型训练转向规模化推理和应用,安全重心开始从“模型有没有风险”,转向“整个系统在真实业务中是否能够长期可靠运行”。
安全边界已经扩展为一张贯穿经济社会的风险地图
随着上述变化叠加,AI安全已从“一个模型是否安全”,扩展为基础设施、数据、模型、智能体与系统、应用与业务、社会与国家安全六个层面的复杂系统问题。越向上,风险影响范围越大;不同层次又通过数据流、权限链、工具链和业务链相互连接。
AI的六层风险地图

这意味着,AI风险呈现出三个突出特征:一是链条化,一个提示注入可能借助智能体权限转化为真实业务操作;二是涌现化,单个模型看似安全,多个模型、工具和数据连接后却可能产生新风险;三是外溢化,技术缺陷可能迅速转化为企业经营风险、社会风险乃至国家安全风险。传统的“上线前做一次安全检测”已经不够,必须把安全贯穿数据、开发、部署、运行和退出的全生命周期。安全不是发展的跷跷板,而是相互促进的飞轮
AI正在成为社会发展的新动能。其自主性越高,能力越强,越能够进入核心生产流程,创造的价值也越大;但与此同时,风险敞口也会增加。企业并非看不到AI价值,而是担心发生事故后损失有多大、风险能否控制、业务如何恢复、责任由谁承担。只有解决这些顾虑,AI才可能从局部试点真正走向规模应用。
AI高质量规模化应用=有效性×可靠性×安全性。有效性回答“有没有用”,可靠性回答“能不能持续稳定地用”,安全性回答“敢不敢放进核心业务”。三者不是简单相加,任何一项接近于零,整体价值都会显著下降。
因此,安全与发展不是此消彼长的跷跷板,而是相互促进的飞轮。AI应用不断扩张,带来更多风险暴露,促使企业增加安全投入;安全产品和服务规模化部署,又会沉淀告警、攻击样本和处置反馈,提升检测与自动化能力;当误报下降、风险更加可控,企业信任随之增强,也就更敢把AI放进核心业务。安全投入不是单纯的成本,而是降低不确定性、扩大AI应用市场的生产性投入。
AI安全正在形成新的产业增长空间
文章来源知乎:Ml.TiMELyIm.Com