- 持续监测
- 异常处置
START WITH A QUESTION
上周通过验收，这周为什么突然不好用？
新制度上线、用户开始问新问题、上游服务变慢，都可能让过去合格的系统失效。开发阶段的测试是一次快照，运行监测才让团队知道现在发生了什么。
监测不能只看服务有没有响应。系统能返回文字，却可能返回无依据答案。需要记录效果、边界处理、等待时间和用户纠错，同时限制日志中的敏感信息。
BUILD YOUR VOCABULARY
先把三个概念讲清楚
漂移与版本
漂移指输入或任务等条件随时间变化。资料、提示、模型和检索配置的版本共同决定结果，应能追溯。
员工开始询问新制度，而索引还停在旧版本。
告警与处置
告警是超过约定条件时提醒负责人；处置包括调查、降级、暂停或回退。阈值要结合样本量和风险事先约定。
短时无依据回答增多时，先转人工并定位版本变化。
降级与回退
降级用更有限但可控的功能维持服务；回退恢复经过验证的旧版本。旧版本也可能不适合新资料，不能盲目恢复。
生成环节异常时，只展示原文检索结果和来源。
FOLLOW THE PROCESS
把原理放进完整流程
- 01
记录必要事件
保存版本、时间、错误类型与脱敏反馈，避免在日志中复制全部敏感输入。
- 02
按窗口观察
在一定请求数量或时间范围内计算失败率与时延。
- 03
结合风险响应
高风险泄露不必等平均数变差；普通波动可先调查样本。
- 04
验证后恢复
在评估集与小范围验证修复，再恢复功能并记录原因。
| 窗口 | 失败 / 请求 | 教学处置 |
|---|---|---|
| A | 1 / 20 | 继续观察 |
| B | 2 / 20 | 抽样调查 |
| C | 7 / 20 | 暂停生成，转资料检索 |
| D | 1 / 20 | 修复验证后恢复，不仅看回落 |
CHANGE ONE THING & OBSERVE
读懂监测记录，选择下一步
切换观察窗口，查看样本量、失败率和延迟，再选择继续、调查或降级。模拟回退只改变本页状态，不影响网站或任何服务。
KNOW THE LIMITS
哪些结论不能直接推出？
只有差评才能发现错误
用户不一定知道答案错了。需要主动抽样核验和专门边界测试。
回退就一定恢复正常
数据或外部服务也可能改变。回退后仍应验证，保留安全的人工处理路径。
READ, RUN & EXPLAIN
依据窗口结果生成告警
以下示例仅使用 Python 3 标准库，可复制到本地 Python 环境运行。先看每一行的作用，再修改一个输入观察结果；无需网络或密钥。
requests, failures = 20, 7
rate = failures / requests if requests else 0
critical_event = False
if critical_event or (requests >= 20 and rate >= 0.2):
status = '暂停生成并转人工核查'
else:
status = '继续观察并抽样检查'
print(status)复制或下载只获取本课示例，不会自动执行。
逐行解释（8 行）
- 第 1 行
requests, failures = 20, 7分别记录当前窗口请求数和已确认失败数。
- 第 2 行
rate = failures / requests if requests else 0计算失败率，并避免除以零。空窗口应另报无数据。
- 第 3 行
critical_event = False记录是否发生需要立即处理的严重事件。
- 第 4 行
if critical_event or (requests >= 20 and rate >= 0.2):严重事件直接触发；普通阈值还要求最少样本量。门槛仅为教学设定。
- 第 5 行
status = '暂停生成并转人工核查'输出处置建议，不直接操控线上服务。
- 第 6 行
else:未触发时继续监测。
- 第 7 行
status = '继续观察并抽样检查'不把没有告警误认为零风险。
- 第 8 行
print(status)当前 7/20 等于 35%，触发教学告警。
暂停生成并转人工核查
CHECK YOUR UNDERSTANDING
换一个角度，检查自己是否理解
已回答 0 / 3 题 · 当前答对 0 题
TAKE IT WITH YOU
带走三个判断，再做一次迁移练习
- 效果、时延、版本和事件一起监测。
- 阈值结合风险和样本量设定。
- 降级、回退与修复都需要验证和负责人。
参考与延伸阅读
本课例子、代码和模拟数据为教学设计。以下一手文档用于延伸核对，不代表对本示例的认证。
- Python 官方教程：数据结构列表、集合与队列等示例语法参考。
- scikit-learn：模型评估评估指标与预测、决策的区别。
- IBM：检索增强生成检索与生成组合的进一步说明。
- NIST：AI 风险管理框架可靠性与风险管理的延伸阅读；不是特定项目的合规结论。