# 模型上线审查清单(15 项检查点)

> 一份从 PoC 到生产环境的 15 道关卡
> 来源:AI 进化知识库 · `/agent/` + `/compliance/` + `/business/` 章节
> 更新:2026-07

## 🎯 适用对象

- **算法工程师 / ML 工程师**:模型上线前自查
- **产品经理**:跟技术对齐上线标准
- **运维 / SRE**:评估生产部署成本和稳定性

## ✅ 15 项检查点

### 一、模型与算法(4 项)

- [ ] **1. 模型选型有依据**:为什么选 GPT-4o / Claude 4.6 / Qwen3-Coder 而不是其他?做了 ≥ 2 个候选模型的 benchmark 对比(推理、成本、上下文、速度)。

- [ ] **2. Prompt 版本化管理**:Prompt 是不是用 Git 管理?每次更新有 changelog?有 AB 测试结果?

- [ ] **3. 关键场景覆盖**:正面、负面、边界、攻击(prompt injection / jailbreak)四类用例都跑过,且通过率 ≥ 95%?

- [ ] **4. 幻觉率量化**:核心任务上的"事实型幻觉率"是否 < 5%?(用 TruthfulQA、HaluEval 等基准,或自建测试集)

### 二、性能与成本(3 项)

- [ ] **5. 响应时延 P95 < 用户可接受值**:聊天类 < 2s,生成类 < 10s,Agent 类 < 60s(可配置)。如果超了,有没有降级方案(改用更小模型、流式输出、提前返回)?

- [ ] **6. Token 成本可预测**:单次任务平均消耗多少 token?日活 / 月活下月成本是多少?是否有熔断机制(单用户 / 全局)?

- [ ] **7. 缓存与去重**:高频问题是否做了语义缓存?命中率 ≥ 30%?能否节省 30%+ 成本?

### 三、安全与合规(4 项)

- [ ] **8. 数据落盘策略**:用户输入 / 模型输出 / 中间过程哪些存?存哪里?保留多久?(参考 [`/compliance/`](/compliance/))

- [ ] **9. PII 自动脱敏**:身份证、手机号、银行卡、地址等敏感字段在进入模型前是否被识别 + 脱敏?用了 Presidio / 自建规则 / LLM 自身?

- [ ] **10. 越狱与注入测试**:在 OWASP LLM Top 10 列表上至少跑过 7 项,有专项报告。

- [ ] **11. AI 生成内容标识**:根据《标识办法》,对外发布的 AI 生成内容是否**显式 + 隐式**双重标识?

### 四、可观测与回滚(2 项)

- [ ] **12. 监控指标齐全**:QPS、P50/P95/P99 延迟、错误率、Token 用量、用户反馈(👍/👎)、成本/日 都有 dashboard 和告警?

- [ ] **13. 灰度与回滚预案**:能否按 1% → 10% → 50% → 100% 灰度?10 分钟内回滚到上个版本?回滚是否会引起数据不一致?

### 五、用户体验(2 项)

- [ ] **14. 错误兜底友好**:超时 / 限流 / 模型宕机时,用户看到的是"系统维护中,请稍后再试"而不是"500 Internal Server Error"?

- [ ] **15. 用户反馈闭环**:用户能否对每次回答给"赞/踩"?踩的回答是否进入人工复核 + 训练数据回流?

## 🚦 上线门禁(Go / No-Go 决策)

| 检查项 | 必过项 | 建议项 |
| --- | --- | --- |
| 模型与算法(1-4) | ✅ 全过 | |
| 性能与成本(5-7) | ✅ 5,6 必过 | 7 |
| 安全与合规(8-11) | ✅ 9,11 必过 | 8,10 |
| 可观测(12-13) | ✅ 12 必过 | 13 |
| 用户体验(14-15) | ✅ 14 必过 | 15 |

**Go 标准**:所有"必过项"通过 + 至少 3 项"建议项"通过。

## 📋 上线 Checklist(可直接复制)

```markdown
# 模型上线审查清单 v1.0

## 项目信息
- 项目名称:_______
- 模型:_______ (如 GPT-4o / Claude 4.6 / Qwen3-Coder-480B)
- 上线日期:_______
- 负责人:_______

## 一、模型与算法
- [ ] 1. 选型对比报告
- [ ] 2. Prompt 仓库链接
- [ ] 3. 四类用例测试报告
- [ ] 4. 幻觉率 < 5%

## 二、性能与成本
- [ ] 5. P95 延迟 < ____s
- [ ] 6. 月成本估算 ¥____
- [ ] 7. 缓存命中率 ____%

## 三、安全与合规
- [ ] 8. 数据落盘策略文档
- [ ] 9. PII 脱敏方案
- [ ] 10. 安全测试报告
- [ ] 11. AI 内容标识方案

## 四、可观测
- [ ] 12. Grafana 面板链接
- [ ] 13. 灰度方案 + 回滚 SOP

## 五、用户体验
- [ ] 14. 错误兜底文案
- [ ] 15. 反馈入口

## 决策
- [ ] Go (上线)
- [ ] No-Go (阻塞项:_______)
- [ ] Conditional Go (条件:_______)

## 签字
- 技术负责人:_______ 日期:_______
- 产品负责人:_______ 日期:_______
- 合规负责人:_______ 日期:_______
```

## 🎯 3 个最常被忽略的"必过项"

1. **第 9 项 PII 脱敏**:90% 的 AI 项目上线后才发现,用户输入里全是身份证号。
2. **第 11 项 AI 标识**:2025 年 9 月后是法定要求,2024 年底很多公司匆忙改版。
3. **第 12 项监控**:上线后才补,故障复盘时被反复提及的"如果早知道"。

## 🔗 相关资源

- 商业化 ROI:见本页《AI 项目 ROI 计算表》
- 数据合规:见本页《数据合规自查清单》
- Agent 性能优化:[`/agent-deep/`](/agent-deep/) - Agent 技术深解