-
年薪55.5万美元！OpenAI 急招安全防范负责人，挑战AI风险！
近日，OpenAI 发布了一则引人注目的信息，急需一位新的安全范负责人，年薪高达 55.5 万美元（约合 389.4 万元人民币），并附带股权分红。这一职位的核心职责是帮助公司评估其 AI 模型可能带来的风险，尤其是滥用和潜在危害。在 2025 年即将结束之际，OpenAI 临的挑战愈发严公司因其 ChatGPT 模型对用户心理健康的影响而饱受指，甚至还涉及数起非正常死亡的相关诉讼案。OpenAI…- 0
- 0
-
OpenAI 悬赏55.5万美金招聘“准备主管”，应对 AI 灾难性风险与心理健康挑战
面对日益严峻的人工智能安全挑战，OpenAI 正式发布高管招聘启事，寻找一位年薪高达55.5万美元（另加股权）的“准备主管”(Head of Preparedness)。该职位将直接负责执行公司的准备框架，监控并应对可能造成严重危害的新前沿 AI 能力。核心使命:从网络安全到心理健康OpenAI 首席执行官 Sam Altman 在社交平台 X 上坦言，AI 模型已开始带来“真正的挑战…- 0
- 0
-
Lima v2.0 重磅发布：从容器利器进化为安全 AI 工作流的“隐形盾牌”
知名开源项目 Lima 正式发布了其2.0重大版本。这款最初为 Mac 用户提供 Linux 虚拟机环境以运行容器的工具，在本次更新中实现了华丽转身，将战略重心全面扩展至 AI 领域。Lima v2.0的核心亮点在于为 AI 开发构建了一套坚实的“沙箱”机制。针对日益普及的 AI 编码代理（如 Claude Code 或 GitHub Copilot CLI），Lima 通过在虚拟机内隔离运行，有…- 0
- 0
-
利用 AI 网关中的安全护栏，确保 AI 交互安全无风险
本文介绍了 Cloudflare AI 网关中的安全护栏，旨在帮助开发者安全且自信地部署 AI 应用。它解决了不同 AI 模型之间安全功能不一致以及缺乏对不安全内容可见性的问题。安全护栏提供了一个标准化的、独立于供应商的通用解决方案，可提供全面的可观察性和精细的内容管控。它利用 Workers AI 上的 Llama Guard 来检查用户提示和模型响应中潜在的有害内容，允许开发者标记或阻止不当交…- 0
- 0
-
编程助手对软件供应链的威胁
Martin Fowler 的文章探讨了自主代理型编程助手（如 GitHub Copilot、Cursor）如何通过其交互能力扩大攻击面，从而在软件开发中引入新的安全特性。文章对比了传统风险与 ReAct（推理-行动）循环引入的新漏洞，包括通过 Model Context Protocol(MCP)服务器/规则文件进行的上下文污染和权限提升。作者详细说明了特定威胁，如'直觉式编码…- 0
- 0
-
2025 年的 AI prompt 工程：哪些有效，哪些无效
本文深度分析了 AI 提示工程的当前重要性及未来趋势，驳斥了“提示工程已死”的观点，并引入“人工社交智能”概念。作者详细介绍了如少样本提示、任务分解、自我批判和附加信息等提升提示效能的核心技巧，并指出角色提示等技巧在准确率任务上已不再有效。文章重点探讨了 AI 安全领域的提示注入问题，通过其大规模红队竞赛经验揭示了混淆、故事诱导等常见攻击手段的有效性，并强调了智能体安全是未来更大挑战。同时，文章分…- 0
- 0
-
AprielGuard：现代大型语言模型（LLM）系统安全与对抗鲁棒性的守护者
本文介绍了 AprielGuard，一个由 ServiceNow AI 开发的 80 亿参数安全保障模型。AprielGuard 专为现代大型语言模型系统，特别是智能体化的系统设计，提供了一种统一的方法来检测 16 类安全风险（例如，毒性、错误信息、非法活动），以及广泛的对抗性攻击（例如，提示注入、越狱、记忆投毒）。它支持多样的输入格式，包括单独提示、多轮对话和复杂的智能体化工作流（工具调用、推理…- 0
- 0
-
AI 安全危机迫在眉睫（及应对之策）| 桑德·舒尔霍夫
桑德·舒尔霍夫在莱尼播客中深入探讨了 AI 安全中的关键漏洞，例如提示注入和越狱。他认为，广泛采用的防御机制，如 AI 护栏和自动化红队测试，在面对坚决的攻击者时大多无效。舒尔霍夫强调，AI 安全与传统的网络安全有着根本性的区别，因为 AI 模型容易受到难以修补的攻击。讨论强调了随着 AI 智能体获得更多自主权和广泛采用，风险正在升级，这可能导致数据泄露、经济损失，甚至是物理伤害。他敦促组织重新评…- 0
- 0
-
Notion 3.0 AI 智能体中潜藏的风险：当网页搜索工具被滥用为数据窃取后门
文章深入分析了 Notion 3.0 AI 智能体中潜藏的数据窃取风险。随着 AI 智能体被广泛集成到 SaaS 平台，其结合了 LLM、工具使用权和长期记忆的“致命三要素”特性，使得传统的访问控制（RBAC）体系不再完全有效。作者指出 Notion AI 智能体的网页搜索工具`functions.search`存在重大安全漏洞，其输入格式允许攻击者构造恶意查询，从而将用户 Notion 实例中的…- 0
- 0
-
当 AI 智能体学会“欺骗”，我们如何自保？来自火山的 MCP 安全答卷
文章深入探讨了 AI 智能体与外部工具交互中关键的模型上下文协议（MCP）的安全问题。首先介绍了 MCP 的核心概念、技术原理和快速发展的生态系统。随后，通过具体的时序交互案例，详细解析了 MCP 的工作流程。文章的核心部分在于对 MCP 面临的七种主要安全风险进行了深入分析，包括传统 Web 服务风险以及工具描述投毒、间接提示词注入等新型威胁，并辅以真实案例进行说明。最后，文章提出了火山引擎针对…- 0
- 0
-
Anthropic 联创曼恩：超级智能可能最早 2028 年出现
文章是 Anthropic 联合创始人本杰明·曼恩在《Lenny's Podcast》播客节目中的访谈精华。他离开 OpenAI 创立 Anthropic，正是出于将 AI 安全置于最高优先级的考量。曼恩预测超级智能可能最早在 2028 年出现，并提出“经济图灵测试”作为衡量 AGI 实现的关键标准，即 AI 能通过 50%高薪岗位的盲测。他认为 Scaling Law 仍在加速发挥作用…- 0
- 0
-
Docker：运行时保护 AI 智能体
本文探讨了 AI 原生开发中日益增长的安全挑战，其中 AI 智能体和 LLM 生成的代码引入了传统静态分析无法检测到的新攻击面。文章强调，诸如权限提升、数据渗漏或未经授权的 API 调用等风险通常仅在运行时才会暴露。作者提供了实际案例，说明了由于未受监控的 AI 智能体操作而导致的意外数据删除和敏感文档上传。核心论点是将运行时安全转移到开发者工作流程中，从而使用容器化沙箱实现实时检测、策略执行、可…- 0
- 0
-
生产数据库泄露、P0 重大事故！我劝你不要把 AI 用在 DevOps 上……
文章通过一个生产数据库因 AI 生成代码而泄露的真实 P0 事故开篇，深刻揭示了 DevOps 工程师在使用 ChatGPT、Claude、GitHub Copilot 等 AI 工具时可能犯下的五大致命错误。这些错误包括：AI 生成代码不等于安全、以开发人员而非 DevOps 工程师思维提问、盲目信任 AI 输出带来的虚假信心、未教导 AI 像 SRE 一样思考，以及盲目信任 AI 生成的 YA…- 0
- 0
AI安全
扫码打开当前页
-
✈优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×