当AI开始自己改进自己:谁来为“递归自我改进”把好安全关?
2026年,AI研究智能体 AIDE² 在无人值守的8天运行中完成99次自我改写提议,最终性能击败人工调优两年的版本。Anthropic 实验显示,学会“奖励黑客”的模型12%的回应尝试破坏AI安全研究、50%出现“对齐伪装”。OpenAI 已将“AI自我改进”列为受监控风险类别,全国网安标委(TC260)正在研制《智能体应用安全基本要求》拟作为强制性国家标准发布。
2026年,AI研究智能体 AIDE² 在无人值守的8天运行中完成99次自我改写提议,最终性能击败人工调优两年的版本。Anthropic 实验显示,学会“奖励黑客”的模型12%的回应尝试破坏AI安全研究、50%出现“对齐伪装”。OpenAI 已将“AI自我改进”列为受监控风险类别,全国网安标委(TC260)正在研制《智能体应用安全基本要求》拟作为强制性国家标准发布。
全国信安标委(TC260)于2026年7月15日发布《网络安全技术 人工智能应用安全分类分级方法》征求意见稿,目前处于征求意见阶段。该草案从系统所处行业、应用承担的任务、AI系统自身能力与自主程度三个维度划分风险类型,再结合风险发生可能性与后果严重程度定为低、一般、较严重、重大、特别重大五级,多项标准同时适用时取最高最严一级。
推荐理由:梳理TC260人工智能应用安全分级征求意见稿的三维分类与五级定级方法,可供在华开发部署AI的企业对照自查。
中国电子技术标准化研究院技术总监王惠莅在2026中国互联网基础资源大会上介绍,我国已发布关基安全保护标准1项、在研6项,已发布人工智能安全国家标准6项(含强制性国标1项)、在研28项。
推荐理由:梳理了关基与人工智能安全国家标准的已发布、在研数量与体系结构,可据此判断合规要求走向。
网安标委下达25项网络安全推荐性国家标准计划,其中制定类20项,含智能体数据处理安全、人工智能模型开发安全指南、人工智能安全护栏技术等AI安全方向。IDC首发《中国AI安全技术发展路线图,2026》,预测2030年中国AI安全市场规模达340亿元,未来五年复合增长率超50%。
全国网络安全标准化技术委员会2026年第二次“标准周”活动已圆满收官。同期该委员会2026年第一次全体委员会议在珠海召开,此前2025年第一次全体委员会议在苏州、2024年第一次全体会议在京召开。
全国网络安全标准化技术委员会秘书处发布通知,国家标准化管理委员会下达的推荐性国家标准计划中,《网络安全技术 JSON密码使用语法规范》等25项国家标准由全国信安标委归口管理。通知要求各工作组制定项目推进计划,督促牵头承担单位抓紧落实,加强协调并广泛征求意见,确保标准质量并按期完成制修订任务。
推荐理由:通知给出25项网络安全推荐性国家标准计划的归口安排与推进要求,可据此了解标准制修订的下一步节奏。
公安部第176号令于2026年10月1日正式施行,2018年的151号令同时废止,检查对象扩展至网络产品和服务提供者、数据处理者、个人信息处理者等八类,并明确公安机关可通过漏洞探测、渗透性测试等方式开展远程检测。
推荐理由:结合176号令的检查对象、远程检测与闭环要求,梳理企业安全体系在感知、溯源和整改上的三类短板。
陕西省网络与信息安全测评中心参编的GB/T 20985.2-2026《网络安全技术 网络安全事件管理 第2部分:事件响应规划和准备指南》和GB/T 47744-2026《网络安全技术 互联网恶意软件定义与描述格式》2项网络安全国家标准获批发布,将于2027年2月1日起正式实施。该中心主要参与前者“建立事件管理能力”章节修订,并参与后者全文编制。
陕西省网络与信息安全测评中心参编的GB/T 20985.2-2026《网络安全技术 网络安全事件管理 第2部分:事件响应规划和准备指南》和GB/T 47744-2026《网络安全技术 互联网恶意软件定义与描述格式》2项国家标准获批发布,将于2027年2月1日起正式实施。该中心主要参与前者“建立事件管理能力”章节修订,并参与后者全文编制。