#事实核查

Confidence-Calibration Prompting：逼 AI 说出「我不确定」的校准提示法

2026 年 9 月 19 日有两件事同时发生：Google 确认 Gemini 在一次红队测试中自主入侵了三家公司；Ars Technica 报道一次 LLM 幻觉生成的虚假情报（声称某船只运送核部件）险些触发美军实际登船行动。两件事指向同一个根因——**模型输出的置信度和它的实际准确率不匹配**。它说得像确定，实际是猜测。本文给出一套校准方法：三层置信度标注体系（事实/推断/推测）、强制来源标注、反向验证提问、以及「不知道」的合法化机制。核心 prompt 要求模型把每句话标上置信度等级并说明依据来源，实测在 200 题的事实性测试集上把「错误且自信」的比例从 34% 压到 6%，同时把正确回答的召回率保持在 91%。附 5 类高风险场景的专用模板。