开发验证与测试证据
Orisumi.Dev 组织验证并保存证据,原生测试报告是测试结果的权威来源
背景
人和 Agent 都会修改代码。说“测试通过”时,要能查到实际运行了什么、结果是什么,测试说明和测试结果也要能对应。
决定
- Orisumi.Dev 组织构建、测试、质量扫描和证据保存。
- 构建失败、测试失败或扫描未完成时,验证失败。质量扫描的发现只供评审,不使验证失败。
- 每次运行都在独立目录中保存证据,包括失败和取消的运行。
- 文档站的 Case 定义验证目的,测试通过稳定的
caseId关联 Case。 - 原生测试报告是测试结果的权威来源,文档站只读取报告。
理由
保存每次运行的清单和日志,“验证过什么”就可以查证。质量扫描常有误报,所以只供评审。
用 caseId 关联,重构测试时 Case 页面的关联不会断开。没有报告或没有匹配结果时,页面不显示通过。
放弃的方案:
- 按测试方法名关联 Case。 重命名方法就会断开关联。
- 文档站运行测试或把结果写入实体数据库。 文档站会依赖测试环境,测试结果也会混进用户数据。
代价
- 每个测试都要标注
caseId,否则 Case 页面看不到结果。 - 文档站显示的是最新的报告,不是实时结果。
- 证据目录会持续增长,需要按保留规则清理。
规则位置
tools/Orisumi.Dev/README.md- Testing