- 方案选择
- 成本取舍
START WITH A QUESTION
制度更新，应该换模型还是更新知识库？
同事提出三个需求：把已有文字改成统一语气、回答每周更新的制度、让模型持续按特定格式分类。看起来都能用大模型，但所需数据、成本和维护方式不同。
选型不是技术越复杂越好。先用明确任务和评估集建立基线，再判断不足来自知识、表达行为还是能力。微调指在已有模型基础上继续训练参数，并不是把知识库换个名字。
BUILD YOUR VOCABULARY
先把三个概念讲清楚
现成模型与提示
用已有能力加清晰任务说明完成工作。资料足够短时可以直接放入上下文，适合先建立低成本基线。
对给定公告做语气改写，无需先建设大型知识库。
检索增强
当答案依赖可更新资料时，检索把当前信息送入上下文。维护资料与索引，比让模型记住每次更新更易追溯。
每周变化的内部制度先更新资料，再评估检索覆盖。
微调
用训练样例调整模型参数，常用于行为、风格或特定任务适配。需要质量可靠的数据、独立测试集与后续维护。
大量稳定标签的分类任务，可在基线不足时比较微调收益。
FOLLOW THE PROCESS
把原理放进完整流程
- 01
定位缺口
区分模型不知道资料、提示不清、输出行为不稳或任务本身超出能力。
- 02
建立简单基线
比较规则、现成模型和直接提供资料，不提前承诺必须训练。
- 03
计算整体代价
考虑数据准备、调用、时延、权限、维护和错误处置。
- 04
用独立样例比较
同一标准测试候选方案，不在训练样例上宣布泛化成功。
| 需求 | 先尝试 | 需要检查 |
|---|---|---|
| 改写给定短文 | 现成模型＋提示 | 信息是否被改错 |
| 回答最新制度 | RAG 或直接提供资料 | 版本、权限、引用 |
| 稳定领域分类 | 规则与提示基线，再比较微调 | 标注质量与独立测试 |
CHANGE ONE THING & OBSERVE
为三个需求选择方案
选择业务场景和方案，查看为什么适合或暂时不适合。建议来自公开的任务约束，不是自动采购建议。
资料已完整提供，目标是统一语气，先验证内容不被改错。
KNOW THE LIMITS
哪些结论不能直接推出？
微调不能保证记住全部事实
参数中的知识难以逐条更新和追溯；最新制度仍需要可靠资料来源。
只比较单次调用价格
数据标注、工程维护、失败重试与人工复核也是成本。
READ, RUN & EXPLAIN
写一个透明的方案起点规则
以下示例仅使用 Python 3 标准库，可复制到本地 Python 环境运行。先看每一行的作用，再修改一个输入观察结果；无需网络或密钥。
needs_fresh_docs = True
behavior_gap = False
has_clean_examples = False
if needs_fresh_docs:
choice = '优先试验检索增强'
elif behavior_gap and has_clean_examples:
choice = '比较提示基线与微调'
else:
choice = '先做规则或现成模型基线'
print(choice)复制或下载只获取本课示例，不会自动执行。
逐行解释（10 行）
- 第 1 行
needs_fresh_docs = True记录任务是否依赖经常更新的资料。
- 第 2 行
behavior_gap = False记录提示基线是否已证明存在稳定的行为缺口。
- 第 3 行
has_clean_examples = False记录是否有经过核对的训练与独立测试样例。
- 第 4 行
if needs_fresh_docs:先检查知识更新需求。
- 第 5 行
choice = '优先试验检索增强'以资料检索作为起点，不宣称必然最好。
- 第 6 行
elif behavior_gap and has_clean_examples:只有行为缺口明确且数据可靠时，才进入微调比较。
- 第 7 行
choice = '比较提示基线与微调'保留对照组，验证是否值得训练。
- 第 8 行
else:其他情况先用更简单的方法验证。
- 第 9 行
choice = '先做规则或现成模型基线'控制前期复杂度。
- 第 10 行
print(choice)输出规则建议。真实选型还需安全、成本和效果验证。
优先试验检索增强
CHECK YOUR UNDERSTANDING
换一个角度，检查自己是否理解
已回答 0 / 3 题 · 当前答对 0 题
TAKE IT WITH YOU
带走三个判断，再做一次迁移练习
- 按知识、行为与能力缺口分析需求。
- 先做基线，再比较检索或微调。
- 收益、风险和完整维护成本共同决定选择。
参考与延伸阅读
本课例子、代码和模拟数据为教学设计。以下一手文档用于延伸核对，不代表对本示例的认证。
- Python 官方教程：数据结构列表、集合与队列等示例语法参考。
- scikit-learn：模型评估评估指标与预测、决策的区别。
- IBM：检索增强生成检索与生成组合的进一步说明。
- NIST：AI 风险管理框架可靠性与风险管理的延伸阅读；不是特定项目的合规结论。