人工智能安全公司 Anthropic 近日宣布对其 Claude API 的系统提示词功能实施更严格的安全约束。新规要求开发者在调用模型时必须遵循预设的安全边界，防止通过提示词注入绕过内容过滤。据官方说明，此次更新针对高频出现的越狱攻击和提示词泄露风险，新增了动态上下文校验层。安全专家认为，此举将提升企业级应用的合规性，尤其在金融、医疗等敏感领域。Claude API 团队表示，未来将通过自动化审计工具帮助用户检测提示词合规问题。
来源：科技日报
人工智能安全公司 Anthropic 近日宣布对其 Claude API 的系统提示词功能实施更严格的安全约束。新规要求开发者在调用模型时必须遵循预设的安全边界，防止通过提示词注入绕过内容过滤。据官方说明，此次更新针对高频出现的越狱攻击和提示词泄露风险，新增了动态上下文校验层。安全专家认为，此举将提升企业级应用的合规性，尤其在金融、医疗等敏感领域。Claude API 团队表示，未来将通过自动化审计工具帮助用户检测提示词合规问题。
来源：科技日报