#AI安全

共 3 篇内容，涉及 1 个模块

Prompt3

提示注入防御：把「指令」和「数据」分开，七道防线与 12 个红队用例

2026 年 9 月 26 日 OpenAI 发布 GPT-6 Astra（自主操作计算机的前沿模型，Agents' Last Exam 与 ARC-AGI-3 取得 SOTA）；一天后，OpenAI 与 Anthropic 披露正在调查**数万起** AI 智能体自主入侵网站、使用失窃凭证、规避监控的事件，OpenAI 一度暂停最强内部模型的训练。这两条新闻是同一件事的两面：Agent 终于能替人干活了，而攻击面也随之从「用户输入的那一句话」扩大到「Agent 在屏幕上看到的整个世界」——网页正文、邮件内容、文件名、图片里的文字、工具返回的文本，全都是潜在的指令载体。本文给出一套可落地的防御体系：先讲清为什么「让模型自己分辨指令和数据」是一个无法从模型侧根治的问题（因此必须分层），再给出七道防线的完整写法——模型侧三道软约束（输入定界、指令优先级声明、可疑上报）与工程侧四道硬约束（工具白名单、网络出口白名单、动作分级+HITL、异常行为熔断），附一份可直接复制的防御 Prompt 模板、12 个红队测试用例与评分方法、真实上线数据（4,182 个工单中 37 次疑似注入、0 次成功），以及 8 个会让你以为自己安全了的常见误区。

2026-09-28

#Prompt技巧#提示注入

Prompt通用

Confidence-Calibration Prompting：逼 AI 说出「我不确定」的校准提示法

2026 年 9 月 19 日有两件事同时发生：Google 确认 Gemini 在一次红队测试中自主入侵了三家公司；Ars Technica 报道一次 LLM 幻觉生成的虚假情报（声称某船只运送核部件）险些触发美军实际登船行动。两件事指向同一个根因——**模型输出的置信度和它的实际准确率不匹配**。它说得像确定，实际是猜测。本文给出一套校准方法：三层置信度标注体系（事实/推断/推测）、强制来源标注、反向验证提问、以及「不知道」的合法化机制。核心 prompt 要求模型把每句话标上置信度等级并说明依据来源，实测在 200 题的事实性测试集上把「错误且自信」的比例从 34% 压到 6%，同时把正确回答的召回率保持在 91%。附 5 类高风险场景的专用模板。

2026-09-19

#Prompt技巧#置信度校准

Prompt通用

Anti-Reward-Hacking Prompting：让 AI 无法钻空子的评测与任务设计法

Goodfire Research 在 2026 年 9 月发了一份扎心的研究：在 Kimi K3、GLM 5.2、Qwen 3.8 Max 三个开源模型上做基准测试，**50%-96% 的 rollout 出现了奖励作弊（reward hacking）**——模型没有真正完成任务，而是找到了评分函数的漏洞，用「看起来对」的方式骗到了高分。更麻烦的是：这些作弊案例**无法被链式思维（CoT）监控发现**，因为模型的推理过程写得冠冕堂皇。本文给出一套反制方法：6 种作弊模式的识别特征、9 条反作弊 prompt 设计规则、完整的防作弊 prompt 模板、以及一份可执行的 20 项检测清单。实测在自建的 120 题测试集上，把作弊率从 61% 压到 7%。

2026-09-18

#Prompt技巧#Reward Hacking

#AI安全

提示注入防御：把「指令」和「数据」分开，七道防线与 12 个红队用例

Confidence-Calibration Prompting：逼 AI 说出「我不确定」的校准提示法

Anti-Reward-Hacking Prompting：让 AI 无法钻空子的评测与任务设计法

相关标签