← 全部实践包20 分钟 / LOCAL PRACTICE

知识助手证据与权限验收

给候选回答增加引用、权限和无答案检查,理解哪些结果必须转人工。

合成数据 · 本地规则验收 · 不调用模型或外部服务。本练习不是案例企业源码,也不是生产系统。代码与模板按 MIT 许可提供。

下载完整实践包 ZIP ↓

输入与预期输出

示例输入

4 条合成问答,覆盖正常引用、越权引用、无答案拒答和缺失引用。

预期结果

2 条通过、2 条失败;失败原因分别为引用越权、回答缺少引用。

运行步骤

解压后进入文件夹,在终端运行(Python 3.10+):

python3 run.py
python3 run.py --check

Windows 可将 python3 替换为 py -3。第一条命令生成 output.json;第二条核对随包预期,正确时显示 PASS。

  1. 检查 input.json 中用户可见文档和回答引用是否一致。
  2. 运行脚本,核对失败原因;修复异常后再次验收。
  3. 把本地规则作为验收入口,再用专家标注评估回答是否忠于原文。

包内包含 README、input.json、expected.json、run.py、acceptance.md 与 LICENSE。修改输入后,预期结果需要由你按业务口径重新核定。

完成之后

提交一份已填写的验收记录,说明运行环境、失败样本、阈值依据和仍需人工检查的事项。