荔枝
← 全部作品

PromptProbe

大模型应用安全体检

PromptProbe 的界面
PromptProbe · 2026.10 · AI 安全 / 提示注入 / 自动化红队
PromptProbe 的界面
评分卡:ASR、成功攻击数、误报率、综合评分
单条攻击的判定与证据
单条攻击的判定与证据
加固前后同集复测对比
加固前后同集复测对比

课设作品。输入一个应用的人设提示词,它会自动发起 24 条红队攻击(4 类威胁 × 7 种投递变异),判定哪些真的打穿了系统提示,给出可解释的评分卡。

真实调用 deepseek-chat 实测:4 个示例应用的攻击成功率 0–8.3%,加固后全部归零,误报率 0,评分 90 / 100。零第三方依赖,node server.js 就能跑。

我最喜欢的是「同集复测」这一环:加固不是拍脑袋改提示词,而是拿同一套攻击题再打一遍,看 ASR 是不是真的降到了 0。

标签
AI 安全 / 提示注入 / 自动化红队 / Node.js
年份
2026.10