某条提示词在一篇文章上表现很好,不代表它能稳定处理下一篇。本文把 Prompt Engineering Guide 作为继续阅读入口,设计一套可在表格中完成的原创练习。你不需要写自动评测程序,也能有依据地选择提示词。
把“效果好”变成明确任务
选择一个固定用途,例如从软件教程里提取软件名、系统要求和安装步骤。不要把写广告、翻译和分类混在同一次测试。为每条材料手动写出应当提取的内容,缺失项的正确答案也要写清楚。
准备 10 条有差异的输入
- 四条正常材料:长短不同,但信息完整。
- 三条缺失材料:分别不写系统、版本或步骤。
- 两条干扰材料:同时提到旧版本和新版本。
- 一条无关材料:完全没有软件使用信息。
这些数量只是本站练习规模,不是通用评测标准。每条记录标一个编号,修改提示词时保持材料不变。
建表并比较两个版本
记录编号 | 提示词版本 | 工具/模型 | 事实正确 | 缺失项处理 | 格式正确 | 备注
T01 | A | 实际名称 | 是/否 | 是/否 | 是/否 | 错误原句- 用最简单的版本 A 跑完十条,保留原始输出。
- 只针对最常见的问题改一个条件,保存为 B。
- 用同一批材料测试 B,比较逐条结果。
- 隔一次对话再测容易出错的条目,观察波动。
若工具允许调整生成参数,尽量保持设置一致;工具升级或模型改变后,应当注明时间,不能把差异全部归因于提示词。
不要只看总通过数
假设 B 多答对一条,却把“没有价格”变成了虚构价格,仍可能不适合发布场景。把事实编造、格式错误和语气问题分别记录。优先修复会误导读者的错误,再处理表达。这个判断是练习中的取舍,不是对任何模型的性能承诺。
常见问题
能让 AI 给自己的答案打分吗?
可以辅助定位疑点,但关键字段仍要对照人工参考答案。否则同一种误解可能同时出现在生成和评分环节。
十条够不够?
适合入门比较;实际业务应加入真实错误案例,并留出从未用于调提示词的材料,检查是否只适应了旧题。
动手做一张可以打分的表
新建表格,第一行填“编号、材料、参考答案、A 输出、B 输出、事实错误、格式错误”。复制以下三条作为第一轮样例,先跑通,再自己扩充到十条。
01:软件 A 支持 Windows,免费版每周备份一次。
参考:系统 Windows;频率每周;价格未说明。
02:软件 B 支持 macOS;材料未提供备份频率。
参考:系统 macOS;频率未说明;价格未说明。
03:旧版支持 Windows;新版支持 Windows 和 macOS。问题只问新版。
参考:新版支持 Windows、macOS;频率未说明。提示词 A:从材料提取系统、备份频率、价格。提示词 B:从材料提取系统、备份频率和价格,缺失时写“未说明”,不要根据软件常识猜测;区分新旧版本。用相同工具和模型分别发送 A、B,填写每条输出。
怎样记录一次通过
对样例 02,如果回答“每天备份”,标记事实错误;如果频率写“未说明”但漏了价格,标记格式错误。每题按字段逐项比对,最终分别统计事实错误数和格式错误数。若一次对话可能继承上下文,每次新建对话,避免上一条材料影响下一条。
再写一条不参与修改的新材料,测试最终提示词是否适用于新输入。这里比较的是具体任务下的表现,不等于模型通用能力排名。
项目来源与许可
原项目:dair-ai/Prompt-Engineering-Guide。许可说明:MIT,详见原仓库许可与说明。仓库与许可核验于 2026-10-31。本文为本站编写的中文导读与练习设计,不是原教程逐字翻译;未在读者环境执行,运行结果需自行核对。