Orisumi

开发验证与测试证据

Orisumi.Dev 组织验证并保存证据,原生测试报告是测试结果的权威来源

背景

人和 Agent 都会修改代码。说“测试通过”时,要能查到实际运行了什么、结果是什么,测试说明和测试结果也要能对应。

决定

  • Orisumi.Dev 组织构建、测试、质量扫描和证据保存。
  • 构建失败、测试失败或扫描未完成时,验证失败。质量扫描的发现只供评审,不使验证失败。
  • 每次运行都在独立目录中保存证据,包括失败和取消的运行。
  • 文档站的 Case 定义验证目的,测试通过稳定的 caseId 关联 Case。
  • 原生测试报告是测试结果的权威来源,文档站只读取报告。

理由

保存每次运行的清单和日志,“验证过什么”就可以查证。质量扫描常有误报,所以只供评审。

用 caseId 关联,重构测试时 Case 页面的关联不会断开。没有报告或没有匹配结果时,页面不显示通过。

放弃的方案:

  • 按测试方法名关联 Case。 重命名方法就会断开关联。
  • 文档站运行测试或把结果写入实体数据库。 文档站会依赖测试环境,测试结果也会混进用户数据。

代价

  • 每个测试都要标注 caseId,否则 Case 页面看不到结果。
  • 文档站显示的是最新的报告,不是实时结果。
  • 证据目录会持续增长,需要按保留规则清理。

规则位置

  • tools/Orisumi.Dev/README.md
  • Testing

贡献者

页面历史