AI记住了,但记错了:Claude靠「做梦」把笔记改回来

源自311位全网作者

10:42

你花半小时跟 AI 讲清楚一件事,第二天开新对话,它问你:你想做什么?

这还算好的。更烦的是另一种——它记住了,但记错了。你当时否掉的方案,它当成确认过的结论,接着往下干。

11 月 6 日,Anthropic 在工程博客发了篇《智能体记忆的组成部分》,里面最有用的词叫「做梦」(dreaming):不是 AI 有了意识,是让模型在两次任务的空档里回翻原始会话记录,把记错的笔记改过来。知乎知乎

一条错笔记,能把自己锁死

Anthropic 让 Claude 玩《宝可梦 红》。月见山入口在西、出口在东,附近有道只能往下跳、跳下去就回不来的台阶,而 Claude 把山脚的宝可梦中心记成了在东边。走出中心那一刻,它宣布「月见山已经在我身后了」,顺手把笔记更新成「已完成」;几步后掉下台阶落回原路,导航工具没显示这道落差,它就把眼前的情况解释成自己走过头了。三次掉回原路后,它写下「我打算停下来,而不是继续兜圈子」,一路退回山前的深灰市,这局到结束都没走到华蓝市。错笔记最狠的地方就在这儿:掉下台阶本来是推翻它的证据,它却拿笔记去解释证据。知乎知乎知乎

研究者拿这份错记忆跑了一次「做梦」,Claude 对着会话记录发现方位错了、改掉笔记,再开局直接折回洞口,走到了下一座城市。知乎

AI记住了,但记错了:Claude靠「做梦」把笔记改回来

记多少,比记不记得住更要紧

同一篇里还有组对比。旧模型 Sonnet 3.7 见什么记什么,玩到约一万步攒下 413 个记忆文件、225 个文件夹,只拿到一枚徽章;新模型 Fable 5 只写 9 个文件、2 个文件夹加一个总览文件,拿到四枚。差别在标准:屏幕上每回合都看得到的东西——有多少钱、站在哪——记下来纯属冗余,何况状态一直在变,记得越细过期越快;值得记的是游戏不会告诉你的策略、计划和试出来的规则。Fable 5 留下的那条就长这样:连扔七个精灵球没抓到鲤鱼王之后,它写下「连续 3 次以上扔球失败,就改变时机」。这条能直接搬走——别让 AI 记随时查得到的现状,让它记为什么这么定。知乎知乎知乎

你现在就能做的三件事

去看一眼记忆列表。豆包在左下角设置里点「记忆」,能整体关掉也能逐条删;一旦关掉,它就不再基于以往的历史记忆提供回复,也不再更新记忆。ChatGPT 那边,「记忆」和「用我的数据改进模型」是两个独立开关,关了一个不等于关了另一个。知乎知乎

AI记住了,但记错了:Claude靠「做梦」把笔记改回来

删除不等于立刻消失。豆包自己就写明,记忆删除后要过一段时间才生效、并非实时;全删了但开关还开着,照样会形成新的记忆。也有用户实测过 ChatGPT:对话删了,让它记的暗语还在。换句话说,「删除」是个过程,不是一个开关。知乎微博

最该盯的是每次都加载的那一条。Claude Code 每次开新会话,只载入索引文件 MEMORY.md 的前 200 行或前 25 KB。Anthropic 自己在文章里提醒过,注入这一层的错误笔记会被带进每一次会话。而这个索引是从末尾截断的,被截掉的偏偏可能是最新那条更正,已经有 Claude Code 用户在 GitHub 上提交过问题报告。知乎知乎知乎

别指望它自己变靠谱

Anthropic 说得很清楚:「做梦」要花算力,多久做一次、哪些记忆值得回头核对都还没定论,Managed Agents 上的 Dreams 目前仍是研究预览。它能改的主要是「当时就记错了」这类;变化若发生在会话之外,光翻记录是对不出来的。所以判断一个 AI 助手能不能长期共事,别看它记得多少,先问三句:现在确认了什么、依据在哪、上次没做完的是哪一步。知乎知乎知乎知乎

答不上来,记再多也没用。

内容由AI生成
0
扫一下,分享更方便,购买更轻松
0评论

当前文章无评论,是时候发表评论了
提示信息

取消
确认
最新文章 热门文章