知识库能够回答一个问题，还不足以判断是否可用。本文以 RAG From Scratch 的分阶段学习思路为阅读背景，设计一组本站验收题。无需自动评分平台，表格和原始资料即可开始。
先写参考答案和证据位置
选择已有的五份说明文档，人工列出问题、正确结论、文档编号和小节。参考答案允许是“资料未提供”。先完成这一步再调用问答工具，避免看到模型结果后反过来修改评分标准。
把 12 题分成四组
- 四道直接问题：答案在某个小节中明确出现。
- 三道缺失问题：例如文档从未说明的价格、上线日期。
- 三道版本问题：新旧文档步骤不同，问题明确指定版本。
- 两道组合问题：答案需要结合两份资料。
这个分组用于练习，不是行业统一基准。若你的实际读者常问故障排查，还应加入对应场景；测试题应随着真实错误持续补充。
每题同时记录检索和回答
题号 / 问题 / 期望证据 / 实际片段
结论是否正确 / 引用是否支持 / 是否混用版本
缺少资料时是否说明 / 首个失败阶段 / 备注检索阶段检查正确证据是否出现；生成阶段检查是否忠实使用证据。引用链接打不开、引用段落不支持答案，也要单独记错。不要仅按答案包含了多少关键词评分。
根据失败阶段决定改哪里
找不到证据时，检查文档是否进入索引、元数据是否保留、切分是否破坏步骤，以及查询是否过于宽泛。证据已出现而答案错误时，再检查回答要求、版本约束和引用规则。一次只改一个因素，重跑同一组题，确认旧问题没有重新出现。
保留未参与调试的题目
另外写几道同类新问题，最后再测试。只在熟悉的十二题上提高分数，可能只是迎合了样例。记录资料更新日期；文档变更后，旧答案与旧索引都应重新核对。本文不对任何模型给出通过率或可靠性承诺。
常见问题
全部答对就能自动发布吗？
小测试集只能验证已覆盖情形。公开内容仍应按业务需要核验事实、引用和版本。
要不要把错误答案删掉？
保留错误样例和对应版本，便于比较修改效果；含个人信息的材料应先按实际权限处理。
照着做：建立第一张验收表
先使用五份说明与引用练习里的 A、B、C 资料，建立三列：题目、参考答案、预期证据。填入下面三题后，再依同样方式扩充。
| 题目 | 参考结论 | 预期证据 |
|---|---|---|
| 版本 2 怎样导出 PDF？ | 先保存文档；设置 → 导出 → PDF → 保存 | A、C |
| 版本 1 从哪里进入？ | 文件菜单 → 打印 → 保存为 PDF | B |
| 版本 2 免费额度是多少？ | 资料未说明 | C |
- 在你的知识库导入 A、B、C，确认三个片段的编号和版本信息仍可见。
- 逐题查询，先复制实际检索片段，再保存回答，不要只截取最后一句答案。
- 新增三列：证据找对了吗、回答受证据支持吗、版本是否混淆。每列记录是、否或不适用，并保存错误原文。
- 例如第二题找到了 B，但回答使用 A 的设置菜单：检索可能正确，生成结论仍错误，应分别记录。
- 修改切分、检索配置或提示词时一次只改一项，重跑全部三题，再用之前未用过的问题检查。
版本不足、证据不全时，主动说明“资料不足”可以是正确结果。正式部署前还应加入与你的数据类型和使用者问题相符的案例；这个小例子只能说明验收方法。
项目来源与许可
原项目：langchain-ai/rag-from-scratch。许可说明：仓库未声明统一许可；本文仅提供原创练习与阅读链接，详见原仓库许可与说明。仓库与许可核验于 2026-10-31。本文为本站编写的中文导读与练习设计，不是原教程逐字翻译；未在读者环境执行，运行结果需自行核对。