本课学习重点
- 多模态
- 条件
- 扩散与去噪
先从一个具体问题出发
输入一句描述，生成一幅新图
模型需要先把“夜晚、蓝色、桥梁”等文字线索转换成能与图像特征对应的表示，再用这些条件指导一次次去噪，逐步形成符合描述的结构。
GENERATE & BUILD
通过图文对齐和去噪实验理解多模态表示、条件生成与扩散模型。
这一课要回答：多模态与扩散模型入门建立必要的基础概念
先认识三个关键词
先看每个概念负责什么，再把它们放回完整流程。无需先记公式，先建立直觉。
连接不同形式的信息
文字、图片和声音的原始形式不同，需要映射到可比较或可交互的表示。
告诉生成过程想要什么
文字、草图或参考图都可以成为约束生成方向的条件。
学习逆转加噪过程
训练时学习预测噪声，生成时从随机噪声多步还原出结构。
把概念连接成流程
条件扩散的简化过程
按顺序走一遍，观察每一步的输入、动作与输出。
- 01
编码提示
文本编码器把描述变成条件向量。
- 02
从随机噪声开始
初始图像没有明确结构。
- 03
反复预测并移除噪声
每一步都参考当前状态、时间步和文字条件。
- 04
解码为图像
潜空间结果转换成最终可见像素。
互动实验 · 动手建立直觉
拖动去噪步骤，看结构逐渐出现
切换文字条件并推进时间步，观察同一片噪声如何被引导成不同视觉结构。
目前几乎只有随机噪声。
知道模型能做什么，也知道不能做什么
三个容易忽略的边界
技术名词描述的是一种计算方法。真正用于产品时，还要检查数据、指标、成本与使用场景。
不是从数据库直接拼图
模型从学习到的统计表示中逐步生成，但仍可能复现训练偏差。
提示词不能精确控制一切
空间关系、文字细节和对象数量仍可能出错。
来源与权利需要确认
商用前应检查模型许可证、素材权利和人物授权。
可选代码实践 · 逐行理解
理解一轮去噪训练
代码只呈现本课最关键的计算路径。先根据注释理解每一步，再放进完整项目。
course-14.py
noise = torch.randn_like(clean_image)
noisy_image = scheduler.add_noise(clean_image, noise, timestep)
text_condition = text_encoder(prompt)
predicted_noise = denoiser(
noisy_image, timestep, text_condition
)
loss = ((predicted_noise - noise) ** 2).mean()- 步骤 1
先向干净图像加入已知随机噪声。
- 步骤 2
去噪网络同时读取带噪图、时间步和文字条件。
- 步骤 3
模型学习预测刚刚加入的噪声，生成时据此逐步移除噪声。
知识检查与课程总结
确认你能把概念讲清楚
完成三个问题，再用五句话回顾本课主线。
已回答 0 / 3 题 · 当前答对 0 题
- 多模态模型让不同信息形式建立对应关系。
- 条件向量用于引导生成过程。
- 扩散训练通过加噪与预测噪声学习逆过程。
- 生成时从噪声多步得到结构化结果。
- 可控性、偏差与内容权利是落地时的重要边界。
下一课 · COURSE 15
用 PyTorch 完成第一个图像分类项目
把数据、模型、损失、训练与评估串成一个可以运行的完整项目。