← 全部实践包20 分钟 / LOCAL PRACTICE
知识助手证据与权限验收
给候选回答增加引用、权限和无答案检查,理解哪些结果必须转人工。
合成数据 · 本地规则验收 · 不调用模型或外部服务。本练习不是案例企业源码,也不是生产系统。代码与模板按 MIT 许可提供。
下载完整实践包 ZIP ↓输入与预期输出
示例输入
4 条合成问答,覆盖正常引用、越权引用、无答案拒答和缺失引用。
预期结果
2 条通过、2 条失败;失败原因分别为引用越权、回答缺少引用。
运行步骤
解压后进入文件夹,在终端运行(Python 3.10+):
python3 run.py
python3 run.py --checkWindows 可将 python3 替换为 py -3。第一条命令生成 output.json;第二条核对随包预期,正确时显示 PASS。
- 检查 input.json 中用户可见文档和回答引用是否一致。
- 运行脚本,核对失败原因;修复异常后再次验收。
- 把本地规则作为验收入口,再用专家标注评估回答是否忠于原文。
包内包含 README、input.json、expected.json、run.py、acceptance.md 与 LICENSE。修改输入后,预期结果需要由你按业务口径重新核定。
完成之后
提交一份已填写的验收记录,说明运行环境、失败样本、阈值依据和仍需人工检查的事项。