文档首页
阶段 07 · 记忆、上下文与评估 在线知识文档
学习路线 第 7 / 8 步 · 模块 ⑪⑫记忆 / 上下文 / 评估← 上一站 ⑥ 框架与 MCP下一站 ⑧ 工程化部署 →从上下文管理到评估闭环,让 Agent 记得住、算得清、改得动。完整顺序:① Python → ② FastAPI → ③④ Prompt → ⑤⑥ Agent → ⑦ RAG → ⑧⑨ 框架与 MCP → ⑩ 多 Agent(回看)→ ⑪⑫ 本阶段 → ⑬⑭ 工程化部署 · 查看学习路线图 →

记得住、算得清、改得动

一个只会「就事论事」的 Agent,用起来总差口气:它记不住你是谁、上次说了什么,你也无法判断它答得对不对。这一阶段补上两块能力:记忆与上下文管理让它记得住、说得清依据;可观测性与评估让你算得准它好不好、改得动它的毛病。全程标准库,不联网、不需要 API 密钥。

去做在线自测 → AI Agents 学习路线 →
6个章节
25个小节
30道章末小测
测
配套推荐
记忆、上下文与评估在线自测 - 我的图片

按 6 个模块、L1~L5 难度自己测一遍,10 题一组即答即批,适合学完几章之后查漏补缺。 链接:https://myimage.cn/memory-eval/

打开在线自测 →

全部章节

第 01 章

第 1 章 上下文窗口与工作记忆

1.1 上下文窗口到底是什么

模型在一次回答里能「看到」的文字有上限,这个上限就是上下文窗口(context window),单位是 token。它包含了你这一轮发的所有内容:系统提示、对话历史、检索到的资料、工具返回,以及模型即将生成的答案。

可以把它理解成一张有限的书桌:所有要用的材料都得摆到桌上,模型才能读;桌子放不下,就只能拿走一些(截断)或把材料先浓缩(摘要)。桌面的大小,就是上下文窗口。

token 不等于字数:中文一个汉字通常约 1~2 个 token,标点、空格、代码符号也要占 token。估算时要注意分词差异并留出余量,别把窗口用到 100%。

1.2 工作记忆:窗口里此刻能看到的东西

我们说的工作记忆,就是指当前被放进窗口、模型此刻能直接引用的那部分信息。它和「长期记忆」的区别很关键:

对比工作记忆(上下文内)长期记忆(上下文外)
位置直接拼在提示里存在数据库/向量库
模型可见立即可见需先检索召回
容量受窗口限制几乎无限
成本每次调用都要付费按需读取

上下文管理的核心,就是决定什么进工作记忆:把「必须现在知道」的放进去,把「可能以后要用」的交给外部记忆。

1.3 窗口越大越好吗

不是。长窗口有三笔账单:

  • 钱:多数 API 按 token 计费,输入越长越贵。
  • 时间:输入越长,首字延迟通常越高。
  • 注意力:研究发现模型对长文本开头和结尾更敏感,中段信息容易被忽略,这就是「Lost in the Middle(中间迷失)」。

实践做法:重要的约束和指令放在开头或结尾,中间放次要材料;无关内容宁可不放。

1.4 【本章小结】

你学到了什么关键记忆点
上下文窗口单次调用可见 token 上限,含系统/历史/资料/输出
工作记忆窗口里此刻可见的信息;外部记忆需检索才可见
长窗口代价更贵、更慢、中间信息易被忽略
核心原则必须现在知道的进窗口,其余交给外部
第 02 章

第 2 章 短期记忆:对话摘要与压缩

2.1 为什么要压缩

对话越长,历史消息越多,迟早撑爆窗口。短期记忆要解决的正是「对话太长放不下」,有三种常见手段。

2.2 三种压缩手段

手段做法优点 / 缺点
滚动窗口只保留最近 N 条,旧的丢弃简单 / 会丢早期事实
递归摘要把「旧摘要 + 新对话」再压成新摘要容量可控 / 多轮后信息漂移
结构化摘要按固定字段抽取要点便于精确读取更新 / 需设计字段
PYTHON
# 结构化摘要:把关键信息抽成固定字段,而不是一整段自由文本
summary = {
    "user_goal": "为 10 人团队订周五晚的聚餐",
    "confirmed": ["预算 2000 元", "不吃辣"],
    "pending": ["还没定餐厅"],
}

# 递归摘要:旧摘要 + 新对话 -> 新摘要(会累积信息损失)
new_summary = llm_call(
    f"把下面的摘要和新对话合并成一段更短的摘要:
"
    f"旧摘要:{old_summary}
新对话:{new_turns}"
)

2.3 压缩必然丢信息

这是必须接受的现实。关键不是「避免损失」,而是先保护最重要的信息:把用户明确提出的要求、确认过的事实(如订单号、时间、预算)单独抽取并结构化保留,其余内容再压缩。

信息漂移:递归摘要每轮都是一次有损重写,早期细节可能逐渐被扭曲。缓解办法是定期用原始事实校准,并给关键事实单独存档。

2.4 【本章小结】

你学到了什么关键记忆点
滚动窗口保留最近 N 条,简单但丢旧事实
递归摘要反复压缩,容量可控但会信息漂移
结构化摘要固定字段,便于精确读取
黄金法则先保护关键事实,再压缩其余
第 03 章

第 3 章 长期记忆:向量检索与结构化存储

3.1 两种存储,各司其职

长期记忆把事实存到窗口之外,主要有两种形态:

形态适合什么怎么取
向量记忆语义相关的历史片段、经验按向量相似度召回
键值/档案用户画像、偏好、精确事实按 ID/键精确读取

一句话记住:模糊的语义找向量,精确的取值找键值。别把所有东西都塞进向量库——「用户偏好全称称呼」这种事实,用键值存储更可靠。

3.2 向量召回与元数据过滤

向量记忆把文本转成向量,查询时按相似度(常用余弦相似度)取最相近的若干条。但只靠相似度不够,还要加元数据过滤:

PYTHON
results = vector_store.search(
    query="用户之前提过的预算",
    top_k=3,
    filter={"user_id": "u_123", "type": "fact"},  # 关键:按用户与类型过滤
)
# 只增大 top_k 会引入更多噪声,正确做法是过滤 + 重排序 + 时间衰减

user_id 过滤既提升相关性,也是防止记忆串扰(A 看到 B 的记忆)的隐私底线。

3.3 写入、更新与遗忘

  • 写入要校验:别把模型没根据的猜测存成事实,尽量标注来源。
  • 要能更新:新公告覆盖旧事实时,应更新记忆并保留时间戳。
  • 要会遗忘:用 TTL 或重要性衰减淘汰陈旧低价值记忆,既提质又利于合规。

别直接写模型输出:模型生成的内容未经确认就入库,错误会越积越多。可先标注「待确认」,经用户或规则确认后再转正。

3.4 【本章小结】

你学到了什么关键记忆点
两种存储向量管语义召回,键值管精确事实
元数据过滤提升相关性 + 防止用户串扰
写入校验后再存,标注来源
遗忘TTL / 衰减,保持记忆新鲜
第 04 章

第 4 章 把记忆接进 Agent 循环

4.1 读写时机

记忆在 Agent 循环里的位置很固定:

  • 调模型之前:根据当前问题召回相关记忆,拼进提示。
  • 模型回答之后:抽取新的关键事实,校验后写回记忆。

这就形成一个闭环:对话 → 抽取 → 存储 → 召回 → 组装提示 → 回答 → 校验写回。

4.2 记忆与 RAG 的边界

很多人把记忆和 RAG 混为一谈,其实分工很清楚:

记忆RAG
内容关于用户与历史的状态外部知识文档
例子用户预算、偏好、上次决定产品手册、公司制度
粒度个人化、会话相关共享知识库

两者互补:RAG 让回答有知识依据,记忆让回答贴合这个用户。

4.3 提示组装与常见失败

PYTHON
memories = recall(query, top_k=3)          # 召回少量高相关
memories = sort_by_relevance(memories)     # 按相关性排序
block = "\n".join(
    f"- {m.text}(来源:{m.source},{m.time})" for m in memories
)
prompt = f"以下是关于用户的已知信息,仅供参考,注意时效:
{block}

用户问:{query}"

常见失败模式:

  • 塞太多记忆:稀释注意力、增加成本、误导回答。先少量高相关,再逐步加量。
  • 过时记忆:旧事实没更新,导致答错。要有时效标注与覆盖机制。
  • 不标来源:模型和用户都无法判断可信度。

4.4 【本章小结】

你学到了什么关键记忆点
读写时机调模型前召回,回答后校验写回
记忆 vs RAG记忆是状态,RAG 是知识,互补
组装按相关性排序、限量、标来源与时间
失败模式塞太多、过时、不标来源
第 05 章

第 5 章 可观测性:Trace、Span 与日志

5.1 一次运行是一条 Trace

用户问一句,Agent 可能在背后做了很多事:检索、多次调模型、调工具。把这一次端到端的过程完整记下来,就是一条 Trace(轨迹)。它回答「这次请求从头到尾发生了什么」。

5.2 Span:把 Trace 拆成层级

Trace 内部按调用关系拆成多个 Span(跨度),每个 Span 表示一步,可嵌套成树:

TEXT
Trace: 用户提问
├─ Span: 检索记忆        (12ms)
├─ Span: 模型调用 #1     (820ms, 输入 1200 tok, 输出 90 tok)
│  └─ Span: 工具调用 天气 (230ms)
└─ Span: 模型调用 #2     (410ms, 输入 1400 tok, 输出 160 tok)

有了这棵树,用户说「很慢」时,你一眼就能看出是哪一个 Span 占了绝大部分时间。

5.3 记录什么,不记录什么

建议记录原因
各步骤耗时定位慢点
token 用量、模型版本核算成本、对比模型
成功/失败与错误类型统计错误率
输入输出摘要、trace id复现问题、串联全链路

必须脱敏:API 密钥、手机号、身份证号等绝不能明文进日志。日志也是攻击面,脱敏是底线,不是可选项。

另外,指标(metrics)和 Trace 是互补的:指标看趋势与告警(P95 延迟、错误率、成本),Trace 看单次细节。高流量下可用采样控制成本,但记得保留出错请求的样本。

5.4 【本章小结】

你学到了什么关键记忆点
Trace一次端到端运行
SpanTrace 内的步骤,可嵌套成树
关键字段耗时、token、状态、摘要、trace id
红线敏感信息必须脱敏
第 06 章

第 6 章 评估集与评估方法

6.1 先有评估集,再谈评估

评估的第一步不是选指标,而是建一批golden cases(黄金案例)。每条至少包含「输入」和「期望输出或评分要点」。没有这批案例,任何分数都没有意义。

先小后大:先攒 20~50 条高质量 case 跑起来,比一上来追求几千条噪声数据有用得多。要覆盖典型场景、边界和难例。

6.2 三个核心维度

维度问的问题
正确性答案事实对不对?
忠实度答案有没有依据、是不是编的?
相关性有没有回答到点上?

对多步 Agent,还要看轨迹(trajectory):工具调用是否正确、顺序是否合理、有无冗余步骤。光看最终答案,可能漏掉「蒙对了但过程全错」的情况。

6.3 LLM-as-judge 与人工抽检

用另一个模型按评分标准(rubric)给输出打分,叫 LLM-as-judge,成本低、可规模化。但它有偏差——常见的是偏好更长更华丽的答案。缓解办法:

  • 用成对比较而非绝对打分;
  • 随机化候选顺序,避免位置偏差;
  • 写清楚的 rubric;
  • 保留一定比例的人工抽检来校准裁判质量。

6.4 回归门禁与迭代闭环

把评估集接进 CI,每次改动都跑一遍,就形成了回归测试:防止「改好了 A 却弄坏了 B」。把「分数不低于阈值」设为上线门禁,让质量底线不可越过。

TEXT
发现线上问题 → 沉淀成新 case → 修复 → 跑全套评估(回归)→ 达标才上线
这就是「发现—修复—回归」闭环,评估集随系统一起成长。

离线不能代替线上:离线集不可能穷尽真实分布,必须结合线上反馈持续更新案例。

6.5 【本章小结】

你学到了什么关键记忆点
golden set输入 + 期望输出/评分要点
三维度正确性、忠实度、相关性(另加轨迹)
LLM-as-judge可规模化,但需人工抽检校准
闭环回归测试 + 上线门禁 + 持续更新