同一个知识库，有的问题答得很好，有的问题却总是答偏。此时直接换模型，往往难以说明改善来自哪里。更有效的做法是把一次问答拆开检查：系统拥有哪些资料，检索到了什么，哪些内容可以展示，最后又如何组织成答案。
先保留一次能够复现的错误
记录完整提问、提问时间、使用账号的权限范围、答案和引用来源。还要说明“正确”具体指什么：事实错误、遗漏条件、引用无关，还是内容虽然正确但用户看不懂。涉及业务信息的样本应按内部管理要求脱敏，不要把原始客户资料随意复制到外部调试工具。
例如，用户问某产品能否在特定环境使用，答案只复述通用介绍，却没有说明限制条件。这种情况可能是资料本身没有写清，也可能是检索没有找到限制条款。两种问题需要不同的修复动作。
第一层：资料是否存在且仍然有效
先由业务负责人在原始资料中找到可支持答案的段落。如果找不到，就需要补资料或调整回答边界。若同时存在多个版本，应明确适用时间、型号与客户范围，不能默认最新上传的文件一定最权威。表格的单位、脚注和附件也要一起核对。
第二层：正确内容有没有被检索到
能够在原文找到答案，却没有出现在检索结果中，就应检查文档解析、切分和检索策略。段落被切得过短，可能丢失条件；切得过长，也可能混入无关主题。业务简称、产品编码与自然语言表达之间没有建立对应关系，同样可能影响召回。
此阶段可把代表性问题与对应证据段落组成小型样本集，逐次比较改动前后的检索结果。微软关于 RAG 分块的指南也强调，分块需要结合文档结构及具体任务选择。不要同时改切分、检索和提示词，否则难以判断哪一项起作用。
第三层：证据正确，答案是否仍然走样
如果检索已经提供了正确证据，再检查回答是否引用了不相关片段、把建议写成了确定规则，或省略了关键前提。可以要求答案先说明适用范围，再给出步骤，并附上可定位的依据。对于证据不足或资料相互冲突的情况，应输出明确的待确认项。
引用链接的存在不等于结论可靠。验收人员要点开引用，确认它支持的是当前这句话，而不只是同一主题。涉及访问限制时，还要用不同权限账号复查，确保答案和引用都不会泄露不可见资料。
修复后，用一组问题验证而不是只试原题
- 原问题：确认已发现的错误得到修复。
- 同义问法：检查换一种表达后是否仍能得到正确处理。
- 边界问题：加入资料没有覆盖、条件不足或权限不足的情况。
- 历史正确问题：确认这次调整没有破坏原有回答。
将失败原因归类并跟踪关闭，比单独记录一个总分更有助于后续维护。每次资料更新或检索策略调整后，都应复查关键问题。知识库质量来自资料、检索、回答与业务验收的持续配合。