7. 关键检验指标#

性能相关指标需作为关键检验项贯穿阶段 3-5: 阶段 3 关注算子性能,阶段 4 关注推理精度与端到端表现;阶段 5 关注 FlagRelease 发布与镜像上线结果。

阶段

核心检验指标

通过标准

涉及硬件

阶段 0

MOU 签署

双方盖章生效

—

阶段 1

环境就绪

芯片被 OS + PyTorch 识别

开发板 1 台

阶段 2

Triton kernel 编译通过率

≥95%,CI 机器可用性 ≥99%

CI 1 台

阶段 3

FlagGems 算子测试通过率

≥80%,核心算子 100%

CI 2 台 + 调试机 1 台

阶段 4

模型精度偏差

<2%(相对 NVIDIA 基线)

CI 2 台 + 调试机 1 台

阶段 5

CTS 核心测试项通过

100% 或豁免获批

CI 2 台 + SVT 2 台

阶段 6

FlagRelease 上线模型数

≥10 个

FR 专机 1 台