记得住、算得清、改得动
一个只会「就事论事」的 Agent,用起来总差口气:它记不住你是谁、上次说了什么,你也无法判断它答得对不对。这一阶段补上两块能力:记忆与上下文管理让它记得住、说得清依据;可观测性与评估让你算得准它好不好、改得动它的毛病。全程标准库,不联网、不需要 API 密钥。
按 6 个模块、L1~L5 难度自己测一遍,10 题一组即答即批,适合学完几章之后查漏补缺。 链接:https://myimage.cn/memory-eval/
全部章节
第 1 章 上下文窗口与工作记忆
1.1 上下文窗口到底是什么
模型在一次回答里能「看到」的文字有上限,这个上限就是上下文窗口(context window),单位是 token。它包含了你这一轮发的所有内容:系统提示、对话历史、检索到的资料、工具返回,以及模型即将生成的答案。
可以把它理解成一张有限的书桌:所有要用的材料都得摆到桌上,模型才能读;桌子放不下,就只能拿走一些(截断)或把材料先浓缩(摘要)。桌面的大小,就是上下文窗口。
token 不等于字数:中文一个汉字通常约 1~2 个 token,标点、空格、代码符号也要占 token。估算时要注意分词差异并留出余量,别把窗口用到 100%。
1.2 工作记忆:窗口里此刻能看到的东西
我们说的工作记忆,就是指当前被放进窗口、模型此刻能直接引用的那部分信息。它和「长期记忆」的区别很关键:
| 对比 | 工作记忆(上下文内) | 长期记忆(上下文外) |
|---|---|---|
| 位置 | 直接拼在提示里 | 存在数据库/向量库 |
| 模型可见 | 立即可见 | 需先检索召回 |
| 容量 | 受窗口限制 | 几乎无限 |
| 成本 | 每次调用都要付费 | 按需读取 |
上下文管理的核心,就是决定什么进工作记忆:把「必须现在知道」的放进去,把「可能以后要用」的交给外部记忆。
1.3 窗口越大越好吗
不是。长窗口有三笔账单:
- 钱:多数 API 按 token 计费,输入越长越贵。
- 时间:输入越长,首字延迟通常越高。
- 注意力:研究发现模型对长文本开头和结尾更敏感,中段信息容易被忽略,这就是「Lost in the Middle(中间迷失)」。
实践做法:重要的约束和指令放在开头或结尾,中间放次要材料;无关内容宁可不放。
1.4 【本章小结】
| 你学到了什么 | 关键记忆点 |
|---|---|
| 上下文窗口 | 单次调用可见 token 上限,含系统/历史/资料/输出 |
| 工作记忆 | 窗口里此刻可见的信息;外部记忆需检索才可见 |
| 长窗口代价 | 更贵、更慢、中间信息易被忽略 |
| 核心原则 | 必须现在知道的进窗口,其余交给外部 |
第 2 章 短期记忆:对话摘要与压缩
2.1 为什么要压缩
对话越长,历史消息越多,迟早撑爆窗口。短期记忆要解决的正是「对话太长放不下」,有三种常见手段。
2.2 三种压缩手段
| 手段 | 做法 | 优点 / 缺点 |
|---|---|---|
| 滚动窗口 | 只保留最近 N 条,旧的丢弃 | 简单 / 会丢早期事实 |
| 递归摘要 | 把「旧摘要 + 新对话」再压成新摘要 | 容量可控 / 多轮后信息漂移 |
| 结构化摘要 | 按固定字段抽取要点 | 便于精确读取更新 / 需设计字段 |
# 结构化摘要:把关键信息抽成固定字段,而不是一整段自由文本
summary = {
"user_goal": "为 10 人团队订周五晚的聚餐",
"confirmed": ["预算 2000 元", "不吃辣"],
"pending": ["还没定餐厅"],
}
# 递归摘要:旧摘要 + 新对话 -> 新摘要(会累积信息损失)
new_summary = llm_call(
f"把下面的摘要和新对话合并成一段更短的摘要:
"
f"旧摘要:{old_summary}
新对话:{new_turns}"
)
2.3 压缩必然丢信息
这是必须接受的现实。关键不是「避免损失」,而是先保护最重要的信息:把用户明确提出的要求、确认过的事实(如订单号、时间、预算)单独抽取并结构化保留,其余内容再压缩。
信息漂移:递归摘要每轮都是一次有损重写,早期细节可能逐渐被扭曲。缓解办法是定期用原始事实校准,并给关键事实单独存档。
2.4 【本章小结】
| 你学到了什么 | 关键记忆点 |
|---|---|
| 滚动窗口 | 保留最近 N 条,简单但丢旧事实 |
| 递归摘要 | 反复压缩,容量可控但会信息漂移 |
| 结构化摘要 | 固定字段,便于精确读取 |
| 黄金法则 | 先保护关键事实,再压缩其余 |
第 3 章 长期记忆:向量检索与结构化存储
3.1 两种存储,各司其职
长期记忆把事实存到窗口之外,主要有两种形态:
| 形态 | 适合什么 | 怎么取 |
|---|---|---|
| 向量记忆 | 语义相关的历史片段、经验 | 按向量相似度召回 |
| 键值/档案 | 用户画像、偏好、精确事实 | 按 ID/键精确读取 |
一句话记住:模糊的语义找向量,精确的取值找键值。别把所有东西都塞进向量库——「用户偏好全称称呼」这种事实,用键值存储更可靠。
3.2 向量召回与元数据过滤
向量记忆把文本转成向量,查询时按相似度(常用余弦相似度)取最相近的若干条。但只靠相似度不够,还要加元数据过滤:
results = vector_store.search(
query="用户之前提过的预算",
top_k=3,
filter={"user_id": "u_123", "type": "fact"}, # 关键:按用户与类型过滤
)
# 只增大 top_k 会引入更多噪声,正确做法是过滤 + 重排序 + 时间衰减
user_id 过滤既提升相关性,也是防止记忆串扰(A 看到 B 的记忆)的隐私底线。
3.3 写入、更新与遗忘
- 写入要校验:别把模型没根据的猜测存成事实,尽量标注来源。
- 要能更新:新公告覆盖旧事实时,应更新记忆并保留时间戳。
- 要会遗忘:用 TTL 或重要性衰减淘汰陈旧低价值记忆,既提质又利于合规。
别直接写模型输出:模型生成的内容未经确认就入库,错误会越积越多。可先标注「待确认」,经用户或规则确认后再转正。
3.4 【本章小结】
| 你学到了什么 | 关键记忆点 |
|---|---|
| 两种存储 | 向量管语义召回,键值管精确事实 |
| 元数据过滤 | 提升相关性 + 防止用户串扰 |
| 写入 | 校验后再存,标注来源 |
| 遗忘 | TTL / 衰减,保持记忆新鲜 |
第 4 章 把记忆接进 Agent 循环
4.1 读写时机
记忆在 Agent 循环里的位置很固定:
- 调模型之前:根据当前问题召回相关记忆,拼进提示。
- 模型回答之后:抽取新的关键事实,校验后写回记忆。
这就形成一个闭环:对话 → 抽取 → 存储 → 召回 → 组装提示 → 回答 → 校验写回。
4.2 记忆与 RAG 的边界
很多人把记忆和 RAG 混为一谈,其实分工很清楚:
| 记忆 | RAG | |
|---|---|---|
| 内容 | 关于用户与历史的状态 | 外部知识文档 |
| 例子 | 用户预算、偏好、上次决定 | 产品手册、公司制度 |
| 粒度 | 个人化、会话相关 | 共享知识库 |
两者互补:RAG 让回答有知识依据,记忆让回答贴合这个用户。
4.3 提示组装与常见失败
memories = recall(query, top_k=3) # 召回少量高相关
memories = sort_by_relevance(memories) # 按相关性排序
block = "\n".join(
f"- {m.text}(来源:{m.source},{m.time})" for m in memories
)
prompt = f"以下是关于用户的已知信息,仅供参考,注意时效:
{block}
用户问:{query}"
常见失败模式:
- 塞太多记忆:稀释注意力、增加成本、误导回答。先少量高相关,再逐步加量。
- 过时记忆:旧事实没更新,导致答错。要有时效标注与覆盖机制。
- 不标来源:模型和用户都无法判断可信度。
4.4 【本章小结】
| 你学到了什么 | 关键记忆点 |
|---|---|
| 读写时机 | 调模型前召回,回答后校验写回 |
| 记忆 vs RAG | 记忆是状态,RAG 是知识,互补 |
| 组装 | 按相关性排序、限量、标来源与时间 |
| 失败模式 | 塞太多、过时、不标来源 |
第 5 章 可观测性:Trace、Span 与日志
5.1 一次运行是一条 Trace
用户问一句,Agent 可能在背后做了很多事:检索、多次调模型、调工具。把这一次端到端的过程完整记下来,就是一条 Trace(轨迹)。它回答「这次请求从头到尾发生了什么」。
5.2 Span:把 Trace 拆成层级
Trace 内部按调用关系拆成多个 Span(跨度),每个 Span 表示一步,可嵌套成树:
Trace: 用户提问
├─ Span: 检索记忆 (12ms)
├─ Span: 模型调用 #1 (820ms, 输入 1200 tok, 输出 90 tok)
│ └─ Span: 工具调用 天气 (230ms)
└─ Span: 模型调用 #2 (410ms, 输入 1400 tok, 输出 160 tok)
有了这棵树,用户说「很慢」时,你一眼就能看出是哪一个 Span 占了绝大部分时间。
5.3 记录什么,不记录什么
| 建议记录 | 原因 |
|---|---|
| 各步骤耗时 | 定位慢点 |
| token 用量、模型版本 | 核算成本、对比模型 |
| 成功/失败与错误类型 | 统计错误率 |
| 输入输出摘要、trace id | 复现问题、串联全链路 |
必须脱敏:API 密钥、手机号、身份证号等绝不能明文进日志。日志也是攻击面,脱敏是底线,不是可选项。
另外,指标(metrics)和 Trace 是互补的:指标看趋势与告警(P95 延迟、错误率、成本),Trace 看单次细节。高流量下可用采样控制成本,但记得保留出错请求的样本。
5.4 【本章小结】
| 你学到了什么 | 关键记忆点 |
|---|---|
| Trace | 一次端到端运行 |
| Span | Trace 内的步骤,可嵌套成树 |
| 关键字段 | 耗时、token、状态、摘要、trace id |
| 红线 | 敏感信息必须脱敏 |
第 6 章 评估集与评估方法
6.1 先有评估集,再谈评估
评估的第一步不是选指标,而是建一批golden cases(黄金案例)。每条至少包含「输入」和「期望输出或评分要点」。没有这批案例,任何分数都没有意义。
先小后大:先攒 20~50 条高质量 case 跑起来,比一上来追求几千条噪声数据有用得多。要覆盖典型场景、边界和难例。
6.2 三个核心维度
| 维度 | 问的问题 |
|---|---|
| 正确性 | 答案事实对不对? |
| 忠实度 | 答案有没有依据、是不是编的? |
| 相关性 | 有没有回答到点上? |
对多步 Agent,还要看轨迹(trajectory):工具调用是否正确、顺序是否合理、有无冗余步骤。光看最终答案,可能漏掉「蒙对了但过程全错」的情况。
6.3 LLM-as-judge 与人工抽检
用另一个模型按评分标准(rubric)给输出打分,叫 LLM-as-judge,成本低、可规模化。但它有偏差——常见的是偏好更长更华丽的答案。缓解办法:
- 用成对比较而非绝对打分;
- 随机化候选顺序,避免位置偏差;
- 写清楚的 rubric;
- 保留一定比例的人工抽检来校准裁判质量。
6.4 回归门禁与迭代闭环
把评估集接进 CI,每次改动都跑一遍,就形成了回归测试:防止「改好了 A 却弄坏了 B」。把「分数不低于阈值」设为上线门禁,让质量底线不可越过。
发现线上问题 → 沉淀成新 case → 修复 → 跑全套评估(回归)→ 达标才上线
这就是「发现—修复—回归」闭环,评估集随系统一起成长。离线不能代替线上:离线集不可能穷尽真实分布,必须结合线上反馈持续更新案例。
6.5 【本章小结】
| 你学到了什么 | 关键记忆点 |
|---|---|
| golden set | 输入 + 期望输出/评分要点 |
| 三维度 | 正确性、忠实度、相关性(另加轨迹) |
| LLM-as-judge | 可规模化,但需人工抽检校准 |
| 闭环 | 回归测试 + 上线门禁 + 持续更新 |