Folia
← 返回头版

Memorilla:利用潜在语义记忆提升大语言模型长上下文处理能力

研究人员 Vignesh Kothapalli 及其团队于2026年11月3日发布了名为 Memorilla 的内存系统,旨在通过固定数量的“记忆令牌”增强冻结状态大语言模型(LLM)在处理长上下文及知识密集型任务时的表现 1。该系统的工作原理是将文档编码为可重复使用的嵌入向量,并在输入嵌入空间中检索与特定查询相关的信息,从而优化模型对大量数据的处理效率 1。

在性能基准测试中,Memorilla 展现出显著优势,其仅使用16个记忆令牌便在多项任务上超越了 Mem0 和 MemoRAG 等基线模型 1。具体数据显示,在 FactKG 基准测试中,Memorilla 达到了84.33%的准确率,高于全上下文推理模式的80.43% 1。此外,该系统在代表源文档时所需的 Token 数量减少了108倍,极大降低了计算成本 1。在 TextWorld 环境的实验中,Memorilla 使平均成功率从18.6%提升至24.2%,证明了其在提升智能体系统持续学习能力方面的有效性 1。


评论