大模型记忆破局方案
000
画布
|大纲
内容详情
大模型记忆困局本质
核心表现
- 长时交互记忆丢失
- 跨周期信息识别准确率低
- 历史对话细节提取偏差大
- 多会话后历史事件查询答非所问长周期个人需求记录关联匹配错误
- 长周期个人需求记录关联匹配错误
- 多会话后历史事件查询答非所问长周期个人需求记录关联匹配错误
- 历史对话细节提取偏差大
- 跨周期信息识别准确率低
- 检索逻辑缺陷
- 字面匹配优先逻辑
- 事理关联能力弱
- 冗余匹配优先级高于事理匹配相关语境易被冗余检索结果淹没
- 相关语境易被冗余检索结果淹没
- 冗余匹配优先级高于事理匹配相关语境易被冗余检索结果淹没
- 事理关联能力弱
- 字面匹配优先逻辑
现有方案局限
- 行业主流优化方向
- 参数扩容
- 未触及记忆逻辑底层
- 仅提升模型基础信息存储能力无法解决长时记忆精准提取问题
- 无法解决长时记忆精准提取问题
- 仅提升模型基础信息存储能力无法解决长时记忆精准提取问题
- 未触及记忆逻辑底层
- 上下文窗口拉长
- 仅扩展单次信息承载量
- 未优化历史信息检索逻辑长窗口仍存在信息遗漏问题
- 长窗口仍存在信息遗漏问题
- 未优化历史信息检索逻辑长窗口仍存在信息遗漏问题
- 仅扩展单次信息承载量
- RAG（检索增强生成）向量检索
- 本质为地址匹配模式
- 仅能匹配字面相似内容无法实现事理层面的信息关联
- 无法实现事理层面的信息关联
- 仅能匹配字面相似内容无法实现事理层面的信息关联
- 本质为地址匹配模式
- 参数扩容
HMS全息记忆系统设计
核心设计原理
- 生物机制复刻
- 人脑记忆分层逻辑
- 海马体情景记忆暂存
- 对应单次交互内容留存负责快速存储单次交互经历信息
- 负责快速存储单次交互经历信息
- 对应单次交互内容留存负责快速存储单次交互经历信息
- 大脑皮层语义记忆沉淀
- 对应重复规律常识固化沉淀高频出现的通用规则信息
- 沉淀高频出现的通用规则信息
- 对应重复规律常识固化沉淀高频出现的通用规则信息
- 海马体情景记忆暂存
- 记忆巩固机制参考
- 睡眠期记忆回放迁移
- 实现信息压缩与跨层迁移完成情景记忆到语义记忆的转化
- 完成情景记忆到语义记忆的转化
- 实现信息压缩与跨层迁移完成情景记忆到语义记忆的转化
- 睡眠期记忆回放迁移
- 人脑记忆分层逻辑
- 核心设计原则
- 留存与回忆物理分离
- 留存（Retention）机制
- 原始记录严格封存不可改写避免回忆操作导致原始记忆失真
- 避免回忆操作导致原始记忆失真
- 原始记录严格封存不可改写避免回忆操作导致原始记忆失真
- 回忆机制重构
- 定义为问题导向的证据重建突破传统字面匹配检索局限
- 突破传统字面匹配检索局限
- 定义为问题导向的证据重建突破传统字面匹配检索局限
- 留存（Retention）机制
- 留存与回忆物理分离
记忆检索逻辑
- 多维度检索钥匙
- 时间线追溯检索
- 按时间区间筛选对应记忆内容精准定位特定时段交互信息
- 精准定位特定时段交互信息
- 按时间区间筛选对应记忆内容精准定位特定时段交互信息
- 人物关联串联检索
- 按交互主体关联匹配相关记忆归集同一对象相关所有信息
- 归集同一对象相关所有信息
- 按交互主体关联匹配相关记忆归集同一对象相关所有信息
- 上下文补全检索
- 结合语境补全记忆关联链条还原交互场景完整信息上下文
- 还原交互场景完整信息上下文
- 结合语境补全记忆关联链条还原交互场景完整信息上下文
- 最新状态查询检索
- 优先调取事件最新进展信息确保返回信息符合最新事实
- 确保返回信息符合最新事实
- 优先调取事件最新进展信息确保返回信息符合最新事实
- 矛盾点抓取检索
- 提取记忆中存在冲突的信息点交叉核验排除记忆矛盾内容
- 交叉核验排除记忆矛盾内容
- 提取记忆中存在冲突的信息点交叉核验排除记忆矛盾内容
- 关系图谱跳跃检索
- 基于实体关联拓展检索相关内容挖掘事理层面间接关联记忆
- 挖掘事理层面间接关联记忆
- 基于实体关联拓展检索相关内容挖掘事理层面间接关联记忆
- 时间线追溯检索
- 底层技术支撑
- 霍普菲尔德联想网络优化
- 复刻海马体CA3区机制
- 实现碎片线索到整体记忆重建匹配人脑回忆碎片拼接逻辑
- 匹配人脑回忆碎片拼接逻辑
- 实现碎片线索到整体记忆重建匹配人脑回忆碎片拼接逻辑
- 技术瓶颈突破
- 解决原始网络存储容量小问题提升系统可扩展性适配大规模应用
- 提升系统可扩展性适配大规模应用
- 解决原始网络存储容量小问题提升系统可扩展性适配大规模应用
- 复刻海马体CA3区机制
- 霍普菲尔德联想网络优化
自进化机制设计
- 自进化控制器模块
- 计数去重模块
- 自动剔除重复冗余记忆内容降低记忆库存储冗余提升检索效率
- 降低记忆库存储冗余提升检索效率
- 自动剔除重复冗余记忆内容降低记忆库存储冗余提升检索效率
- 日期锚定模块
- 自动校准相对时间为绝对日期解决时序表述歧义提升时间检索准确性
- 解决时序表述歧义提升时间检索准确性
- 自动校准相对时间为绝对日期解决时序表述歧义提升时间检索准确性
- 事实状态判定模块
- 区分计划事件与已完成事件确保返回事件状态符合事实
- 确保返回事件状态符合事实
- 区分计划事件与已完成事件确保返回事件状态符合事实
- 计数去重模块
- 自进化效果
- 准确率提升
- 系统准确率从92.4%升至92.8%长时记忆提取精准度进一步提升
- 长时记忆提取精准度进一步提升
- 系统准确率从92.4%升至92.8%长时记忆提取精准度进一步提升
- 算力消耗下降
- 推理算力消耗较初始版本降低形成准确率提升算力下降正向飞轮
- 形成准确率提升算力下降正向飞轮
- 推理算力消耗较初始版本降低形成准确率提升算力下降正向飞轮
- 准确率提升
HMS系统性能表现
权威基准测试成绩
- LongMemEval基准测试
- 多会话交互记忆总体准确率92.8%
- 较此前最优系统提升约4个百分点长时多轮交互记忆能力领先业界
- 长时多轮交互记忆能力领先业界
- 较此前最优系统提升约4个百分点长时多轮交互记忆能力领先业界
- 多会话交互记忆总体准确率92.8%
- LoCoMo（长对话复杂推理）基准测试
- 多跳推理准确率91.5%
- 跨多轮信息关联推理能力优异可完成复杂逻辑链条信息提取
- 可完成复杂逻辑链条信息提取
- 跨多轮信息关联推理能力优异可完成复杂逻辑链条信息提取
- 开放域推理准确率95.5%
- 跨领域开放问题记忆匹配准确率高适配多场景下长时记忆查询需求
- 适配多场景下长时记忆查询需求
- 跨领域开放问题记忆匹配准确率高适配多场景下长时记忆查询需求
- 时序推理子项准确率94.7%
- 较此前最强方案Hindsight高出6个百分点时间维度记忆提取能力大幅领先
- 时间维度记忆提取能力大幅领先
- 较此前最强方案Hindsight高出6个百分点时间维度记忆提取能力大幅领先
- 多跳推理准确率91.5%
效率表现
- Token消耗低于现有SOTA方案
- 单查询Token使用量更少降低记忆检索环节推理成本
- 降低记忆检索环节推理成本
- 单查询Token使用量更少降低记忆检索环节推理成本
- 响应速度优于现有SOTA方案
- 查询响应耗时短于传统RAG方案实际使用体验流畅无明显延迟
- 实际使用体验流畅无明显延迟
- 查询响应耗时短于传统RAG方案实际使用体验流畅无明显延迟
Shadoweave团队与发展规划
团队基本情况
- 团队构成
- 平均年龄24岁
- 00后博士生占比达70%核心研发人员年轻化科研能力突出
- 核心研发人员年轻化科研能力突出
- 00后博士生占比达70%核心研发人员年轻化科研能力突出
- 成员背景覆盖全球顶尖院校
- 包含上海交大、哈佛、CMU、清华等院校成员跨院校跨领域技术研发能力强
- 跨院校跨领域技术研发能力强
- 包含上海交大、哈佛、CMU、清华等院校成员跨院校跨领域技术研发能力强
- 平均年龄24岁
- 核心定位
- AI时代Memory Controller（记忆控制器）
- 对标CUDA之于GPU、TCP/IP之于互联网目标打造AI领域通用记忆基础设施层
- 目标打造AI领域通用记忆基础设施层
- 对标CUDA之于GPU、TCP/IP之于互联网目标打造AI领域通用记忆基础设施层
- AI时代Memory Controller（记忆控制器）
发展路线规划
- 当前阶段重点
- 聚焦文本记忆领域
- 推出面向C端的个人记忆产品面向普通用户提供个人记忆助手服务
- 面向普通用户提供个人记忆助手服务
- 推出面向C端的个人记忆产品面向普通用户提供个人记忆助手服务
- 配套开发者SDK
- 承诺开源核心技术代码开放能力支持开发者基于HMS开发应用
- 开放能力支持开发者基于HMS开发应用
- 承诺开源核心技术代码开放能力支持开发者基于HMS开发应用
- 聚焦文本记忆领域
- 未来规划方向
- 世界模型融合研发
- 实现记忆系统与世界模型能力结合提升记忆内容与现实世界匹配度
- 提升记忆内容与现实世界匹配度
- 实现记忆系统与世界模型能力结合提升记忆内容与现实世界匹配度
- 跨媒体记忆能力拓展
- 支持图像、音频等多模态记忆存储检索适配多模态大模型记忆需求
- 适配多模态大模型记忆需求
- 支持图像、音频等多模态记忆存储检索适配多模态大模型记忆需求
- 具身记忆能力研发
- 适配机器人等具身智能体记忆需求实现实体交互经验跨设备共享 :::label ["大模型长时记忆","HMS全息记忆系统","AI记忆基础设施"] :::
- 实现实体交互经验跨设备共享 :::label ["大模型长时记忆","HMS全息记忆系统","AI记忆基础设施"] :::
- 适配机器人等具身智能体记忆需求实现实体交互经验跨设备共享 :::label ["大模型长时记忆","HMS全息记忆系统","AI记忆基础设施"] :::
- 世界模型融合研发