Google DeepMind 发布 AI Control Roadmap 与智能体安全技术框架
Google DeepMind 发布 AI Control Roadmap，用于在 Google 内部构建和管理高级 AI 的防御纵深框架，将内部智能体视为可能未对齐的潜在内部威胁，并基于 MITRE ATT&CK 拆解攻击战术与技术。
推荐理由：Google DeepMind 公开内部 AI 控制路线图，给出分级检测与响应机制，可供部署智能体的团队参考。
安全对齐
全部主题AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
最新精选
第 21–40 条 · 共 48 条Google DeepMind精选AI 评分6262
OpenAI News精选AI 评分6060 OpenAI 报告披露与中国相关的账号利用 AI 影响美国技术议题
OpenAI 发布新报告，披露与中国相关的账号利用 AI 影响美国技术议题，涉及数据中心叙事、关税以及对 ChatGPT 的不实说法。
推荐理由：OpenAI 官方披露与中国相关的账号利用 AI 影响美国技术议题，读者可了解平台方如何界定此类行动。
OpenAI News精选AI 评分6262 OpenAI 以 GPT-5.5 和 GPT-5.5-Cyber 扩展网络安全可信访问计划
OpenAI 扩展 Trusted Access for Cyber 计划，新增 GPT-5.5 和 GPT-5.5-Cyber，面向经过验证的防御方，帮助其加速漏洞研究并保护关键基础设施。
推荐理由：OpenAI 将 GPT-5.5 与 GPT-5.5-Cyber 纳入可信访问计划，读者可了解其面向漏洞研究的开放范围。
OpenAI News精选AI 评分6262 OpenAI 在 ChatGPT 中推出 Trusted Contact 安全功能
OpenAI 在 ChatGPT 中推出可选安全功能 Trusted Contact，当检测到严重的自伤相关担忧时，会通知用户指定的可信任联系人。
推荐理由：OpenAI 为 ChatGPT 增加可选安全功能，读者可了解其在自伤风险场景中的通知机制。
Google DeepMind精选AI 评分6666 Google DeepMind 发布 AI co-clinician 医疗研究计划
Google DeepMind 宣布 AI co-clinician 研究计划，探索 AI 智能体在医生临床监督下协助患者诊疗。
推荐理由：Google DeepMind 公布 AI co-clinician 研究计划，给出医生盲评与远程问诊模拟中的具体对比结果。
Google Research精选AI 评分6666 Google 发布白皮书：量子计算机破解加密货币加密所需资源大幅降低
Google Quantum AI 发布白皮书，估算未来量子计算机破解保护加密货币的椭圆曲线密码（ECDLP-256）所需的量子资源比此前认为的更少。
推荐理由：Google Quantum AI 给出破解 ECDLP-256 的最新量子资源估算，并用零知识证明披露漏洞，读者可了解量子威胁与后量子迁移的紧迫性。
OpenAI News精选AI 评分6262 OpenAI 宣布收购 AI 安全平台 Promptfoo
OpenAI 宣布收购 AI 安全平台 Promptfoo。Promptfoo 帮助企业在开发阶段识别并修复 AI 系统中的漏洞。
推荐理由：OpenAI 收购 AI 安全平台 Promptfoo，读者可了解其在 AI 系统开发期漏洞检测上的布局。
OpenAI News精选AI 评分6060 OpenAI 提出 CoT-Control：推理模型难以控制自身思维链
OpenAI 提出 CoT-Control，发现推理模型难以控制自己的思维链，这反而强化了可监控性作为 AI 安全防护手段的价值。
推荐理由：OpenAI 提出 CoT-Control 并观察到推理模型难以控制自身思维链，为可监控性作为安全手段提供了依据。
OpenAI News精选AI 评分6060 OpenAI 公布与美国国防部合作协议
OpenAI 公布其与美国国防部（Department of War）的合同细节，内容涵盖安全红线、法律保护条款，以及 AI 系统在涉密环境中的部署方式。
推荐理由：OpenAI 官方披露与国防部门合同的边界条款，可了解 AI 进入涉密环境的合规与安全约束。
OpenAI News精选AI 评分6060 OpenAI 在 ChatGPT 中推出 Lockdown Mode 与 Elevated Risk 标签
OpenAI 在 ChatGPT 中推出 Lockdown Mode 和 Elevated Risk 标签，帮助组织防御提示词注入和 AI 驱动的数据外泄。
推荐理由：OpenAI 为 ChatGPT 加入面向企业的提示词注入与数据外泄防护选项，读者可了解其安全边界的新变化。
OpenAI News精选AI 评分6060 OpenAI 推出 Trusted Access for Cyber 可信访问框架
OpenAI 推出 Trusted Access for Cyber，一个基于信任的框架，在扩大前沿网络能力访问范围的同时加强对滥用的防护。
推荐理由：OpenAI 推出面向网络安全的可信访问框架，读者可了解前沿网络能力开放与滥用防护之间的平衡思路。
Google Research精选AI 评分6060 Google 与 Included Health 合作开展全国性随机研究，评估真实虚拟诊疗中的对话式 AI
Google 宣布与 Included Health 合作，待 IRB 批准后启动一项全国性前瞻性随机对照研究，评估对话式 AI 在真实虚拟诊疗工作流中的表现。
推荐理由：Google 与 Included Health 将开展全国随机对照研究，读者可了解医疗对话 AI 从模拟走向真实临床的评估路径。
OpenAI News精选AI 评分6060 OpenAI 持续加固 ChatGPT Atlas 抵御提示词注入
OpenAI 正在用强化学习训练的自动化红队加固 ChatGPT Atlas，抵御提示词注入攻击。这一发现与修补的循环能更早识别新型攻击手法，在 AI 智能体能力增强的同时强化浏览器智能体的防御。
推荐理由：OpenAI 披露用强化学习训练的自动化红队持续发现并修补 Atlas 的提示词注入漏洞，可了解浏览器智能体的安全加固思路。
OpenAI News精选AI 评分6060 OpenAI 封禁与俄语犯罪团伙相关的恶意软件工具账号
OpenAI 封禁了一批可能与俄语犯罪团伙有关的账号，这些账号利用 AI 构建恶意软件加载器、规避层、凭据窃取脚本和 C2 基础设施。
推荐理由：OpenAI 披露封禁与俄语犯罪团伙相关的账号，可了解 AI 被用于恶意软件开发的具体环节。
Hugging Face Blog精选AI 评分6060 Meta 发布 Llama Guard 4 与 Llama Prompt Guard 2
Meta 发布 Llama Guard 4，一个从 Llama 4 Scout 剪枝而来的 12B 稠密多模态安全模型，可检测图像与文本输入输出中的不当内容，单张 24GB 显存 GPU 即可运行。
推荐理由：Meta 发布 12B 多模态安全模型与两款提示注入分类器，并给出可直接运行的 transformers 示例。
OpenAI News精选AI 评分6262 OpenAI 发布 Operator 系统卡
OpenAI 发布 Operator 系统卡，说明其基于既有安全框架采用多层防护方案。文档涵盖针对提示词工程与越狱的模型和产品缓解措施、隐私与安全保护，并披露外部红队测试、安全评估以及持续完善这些防护的后续工作。
推荐理由：OpenAI 公开 Operator 的系统卡，说明其在提示词攻击、隐私与红队测试上的多层防护设计。
OpenAI News精选AI 评分6262 OpenAI 发布 o1 系统卡
OpenAI 发布 o1 系统卡，说明在发布 o1 和 o1-mini 之前开展的安全工作，包括外部红队测试以及依据其 Preparedness Framework 进行的前沿风险评测。
推荐理由：OpenAI 官方披露 o1 与 o1-mini 发布前的安全评估流程，可了解其 Preparedness Framework 下的风险评测方式。
Hugging Face Blog精选AI 评分6262 Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 发布 SynthID Text 文本水印
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text，可通过 logits processor 为 AI 生成文本加水印，并用分类器检测。
推荐理由：Google DeepMind 与 Hugging Face 把文本水印做成 Transformers 里的生成配置，读者可据此了解其接入方式与检测流程。
Hugging Face Blog精选AI 评分6262 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充 Gemma 模型系列，新增 2.6B 参数的 Gemma 2 2B（含 base 与指令微调版）、安全分类器 ShieldGemma 以及稀疏自编码器套件 Gemma Scope。
推荐理由：Gemma 2 新增 2B 小模型、安全分类器和可解释性工具，读者可据此判断端侧部署与安全过滤的可用选项。
OpenAI News精选AI 评分6262 OpenAI 称已阻断国家关联威胁行为者对 AI 的恶意使用
OpenAI 发布公告，称已阻断国家关联威胁行为者对 AI 的恶意使用。原文正文未能抓取，仅标题可用。