胡慧华
菜单
首页人工智能机器学习深度学习项目实践关于我
跳至课程正文
← 人工智能课程

ARTIFICIAL INTELLIGENCE · COURSE 09

生成式 AI 能做什么,为什么也会出错

区分生成、检索和事实核验,理解流畅表达不等于事实正确。

第 09 / 18 课20–30 分钟(含实验)无需密钥 · 本地实验
透明词元方块流向结构清晰的发光页面,细线连接信息与证据片段
把生成能力用在具体任务里
  • 生成能力
  • 事实核验
01

START WITH A QUESTION

回答很完整,为什么还需要核对?

你让助手介绍一份公司的报销制度,它给出条理清楚的金额和审批步骤。可是制度里根本没有其中一个金额。流畅的形式容易让人忽略一个问题:这些具体说法来自哪里?

生成式 AI 根据输入生成文字、图像等内容。语言模型学习的是在上下文中生成词元的规律,词元是处理文字时的基本片段。这种能力不自动提供事实来源;检索资料和验证说法是额外环节。本课从读者角度检查生成结果,内部计算可延伸到深度学习课程。

02

BUILD YOUR VOCABULARY

先把三个概念讲清楚

CONCEPT 01

生成

基于输入构造新的输出。适合起草、改写、总结和创作,但具体事实、数字和引用需要验证。

放进场景看

把五条要点改写成清晰的通知草稿。

CONCEPT 02

检索

从已有资料中找出相关内容。检索返回的是候选证据,不保证证据最新、完整或有权限使用。

放进场景看

找到报销制度里关于材料要求的条款。

CONCEPT 03

事实核验与幻觉

核验逐条比较说法和证据;幻觉通常指看似可信却缺乏依据或与事实不符的生成内容。没有证据时应保留不确定。

放进场景看

“制度第 3 条规定限额 500 元”需要对应条款支持。

03

FOLLOW THE PROCESS

把原理放进完整流程

  1. 01

    拆分说法

    把长回答拆成可单独验证的数字、条件、日期和结论。

  2. 02

    找到证据

    为每个具体说法寻找直接相关且可靠的资料。

  3. 03

    比较含义

    检查来源是否真的支持该说法,是否忽略了例外条件。

  4. 04

    修订或保留未知

    更正矛盾说法,删去虚构引用,明确哪些内容尚无法核实。

教学制度只规定两件事
回答中的说法资料原文核验结果
需要发票报销须提交发票有直接支持
限额 500 元资料没有金额条款证据不足
无需审批提交后由主管审批与资料矛盾
04

CHANGE ONE THING & OBSERVE

为三条说法逐项核验

选择说法,再判断“支持、矛盾或信息不足”。查看原文后比较自己的判断,不把整段回答简单评为全对或全错。

INTERACTIVE LAB / 09

资料原文:报销须提交发票与报销单,提交后由主管审批。待核验说法:报销需要发票。

你的判断
先作出判断,再查看依据。
05

KNOW THE LIMITS

哪些结论不能直接推出?

有引用就一定可信吗?

引用可能不存在、过期或并不支持紧邻说法。需要核对来源和引用关系。

更低的生成随机性不等于真实

稳定输出可能稳定地重复错误。事实核验不能由生成参数替代。

06

READ, RUN & EXPLAIN

用人工标注的证据表检查说法

以下示例仅使用 Python 3 标准库,可复制到本地 Python 环境运行。先看每一行的作用,再修改一个输入观察结果;无需网络或密钥。

Python 3 · 完整示例下载 .py
claims = ['需要发票', '限额500元', '无需审批']
evidence = {'需要发票': '支持', '无需审批': '矛盾'}
for claim in claims:
    verdict = evidence.get(claim, '信息不足')
    print(claim, verdict)

复制或下载只获取本课示例,不会自动执行。

逐行解释(5 行)
  1. 第 1 行claims = ['需要发票', '限额500元', '无需审批']

    列出待检查说法。现实中应拆分复合陈述。

  2. 第 2 行evidence = {'需要发票': '支持', '无需审批': '矛盾'}

    这是人工预先核对的教学证据表,不是自动真值引擎。

  3. 第 3 行for claim in claims:

    逐条遍历待核验说法。

  4. 第 4 行 verdict = evidence.get(claim, '信息不足')

    查不到证据时保留信息不足,不能默认正确。

  5. 第 5 行 print(claim, verdict)

    分别输出每条说法的状态,便于后续修改。

预期输出
需要发票 支持
限额500元 信息不足
无需审批 矛盾
07

CHECK YOUR UNDERSTANDING

换一个角度,检查自己是否理解

已回答 0 / 3 题 · 当前答对 0 题

1. 资料没有写某个金额,应怎样处理?
2. 生成与检索的核心区别是什么?
3. 核验引用最关键的检查是什么?
08

TAKE IT WITH YOU

带走三个判断,再做一次迁移练习

  • 生成流畅性与事实正确性分别检验。
  • 具体说法逐项对应证据。
  • 支持、矛盾和信息不足是不同结论。
延伸:大语言模型如何生成文字
参考与延伸阅读

本课例子、代码和模拟数据为教学设计。以下一手文档用于延伸核对,不代表对本示例的认证。