一句话总结

EvoEmbedding，一种面向长上下文检索的可进化嵌入模型，维持一个持续更新的潜在记忆，并将原始内容与该记忆联合编码，产生上下文自适应的表示；在EvoTrain-180K上训练，使用记忆队列和分段批处理实现3.8倍训练加速，在长上下文检索基准上超越大规模专家模型，如Qwen3-Embedding-8B和KaLM-Embedding-Gemma3-12B，在下游任务（如个性化）中泛化到比训练窗口长10倍的上下文，并使朴素RAG流水线超越专用的agentic memory系统。

核心贡献

• EvoEmbedding通过维持一个持续更新的潜在记忆，自适应地调整表示以适应不断变化的上下文，生成可进化的嵌入。它在长上下文检索基准上优于更大的专家嵌入模型（Qwen3-Embedding-8B和KaLM-Embedding-Gemma3-12B），在下游任务中泛化到比训练窗口长10倍的上下文，并改进了agentic工作流——例如，带有EvoEmbedding的朴素RAG流水线超越了专用的agentic memory系统。
• 构建了多样化数据集EvoTrain-180K，用于潜在记忆和检索的联合优化，提供学习可进化嵌入所需的长上下文序列。
• 记忆队列防止了循环编码过程中的表示坍塌，动态分段批处理（dynamic segment-batching）在加速训练3.8倍的同时处理了极端长度差异。

引言

文本嵌入模型已成为检索和重排序任务的关键，但它们通常孤立地编码文本片段，产生忽略周围上下文和时间顺序的静态表示。在长上下文场景中——例如持续对话或随时间推移的个性化——这种分块并编码的策略破坏了连续性，导致检索不精确或冗余。通过agentic检索流水线来修复此问题的尝试增加了辅助结构或多步查询，但仍然受限于全局上下文的丢失，并引入高延迟。与此同时，绕过显式检索的潜在记忆模型与自回归生成紧密耦合，需要完全访问模型内部，且存在幻觉风险。作者引入EvoEmbedding，该模型在编码序列输入时维持一个持续更新的潜在记忆，并联合使用该记忆和原始内容来生成可进化的嵌入。这一设计使同一查询的表示能够适应不断变化的上下文，超越了静态语义搜索。为了稳定训练模型，作者提出了防止表示坍塌的记忆队列、提高效率的动态分段批处理以及专用数据集（EvoTrain‑180K）。得到的嵌入不仅在长上下文检索基准上取得了新的最优结果，还能无缝集成到朴素RAG流水线中，超越专用的agentic memory系统。

数据集

作者构建了EvoTrain-180K，用于训练EvoEmbedding模型进行长上下文检索。该数据集包含184,137个高质量样本，通过自动化的三阶段流水线生成，每个样本限制在12K token和256个段落以内。

• 来源和子集

  • 多样化网页文本：从FineWeb数据集中随机采样，并使用滑动窗口方法转换为顺序段落。
  • 合成对话：由大型语言模型根据预定义主题生成的多轮、基于角色的对话。
  • 提取的记忆：从原始文本或对话中提取的多种记忆类型，用作上下文。

• 流水线和过滤

  • 阶段1 – 原始上下文构建：构建上述三种上下文类型，创建一个广泛的原始上下文池。
  • 阶段2 – 动态QA生成：由超过40种模板类型（例如，指代消解、时间理解）引导生成问答对，并使用不同类型和规模的大语言模型以增加多样性。
  • 阶段3 – 检索公式化与评估：应用Gemini-3.1-Pro-Preview来标记与查询相关的段落索引作为正样本目标，并验证问答对，过滤掉幻觉，确保答案依赖于提供的上下文而非通用知识。

• 训练使用

  • 整个EvoTrain-180K数据集用于联合训练EvoEmbedding的记忆和检索能力。
  • 训练时严格限制上下文长度不超过12K token和256个段落，这不到测试场景中所用上下文长度的十分之一。
  • 数据集大小不到当代嵌入模型所使用数据量的1%。

方法

作者提出EvoEmbedding以解决静态语义搜索的局限性，静态方法在对抗性案例（如浅层关键词陷阱或需要历史基础的改写证据）上经常失败。如下方对比所示，EvoEmbedding利用可进化的上下文匹配来维持一个滚动的上下文状态，显著提高了准确性，同时管理token成本。

EvoEmbedding架构 参考框架图，EvoEmbedding顺序处理从长输入序列中分割出的段落。给定当前输入段落 $x_t$xt​ 和潜在记忆 $\mathbf{M}_{t-1}$Mt−1​，模型并行执行记忆进化和表示生成任务。该过程可公式化为：

$$\begin{array} { r } { \tilde { \mathbf { M } } _ { t } = \pi _ { \theta _ { m } } ( x _ { t } , \mathbf { M } _ { t - 1 } ) , } \\ { \mathbf { v } _ { t } = \pi _ { \theta _ { r } } ( x _ { t } , \mathbf { M } _ { t - 1 } ) , } \end{array}$$M~t​=πθm​​(xt​,Mt−1​),vt​=πθr​​(xt​,Mt−1​),​

其中 $\theta_{m}$θm​ 和 $\theta_{r}$θr​ 表示任务相关参数，$\tilde{\mathbf{M}}_{t} \in \mathbb{R}^{K \times D}$M~t​∈RK×D 表示新生成的 $K$K 个潜在token，$\mathbf{v}_{t} \in \mathbb{R}^{D_{emb}}$vt​∈RDemb​ 是对应的向量。在查询阶段，仅执行表示生成任务。这种公式化使模型能够动态维持一个潜在记忆作为全局语义上下文。

为了管理潜在记忆，作者设计了一种队列机制。更新后的记忆 $\mathbf{M}_{t}$Mt​ 构建为：

$$\mathbf { M _ { t } } = \mathsf { Q u e u e } ( \mathbf { M _ { t - 1 } } , f _ { m } ( \mathbf { \widetilde { M } _ { t } } ) ) ,$$Mt​=Queue(Mt−1​,fm​(Mt​)),

其中 $\mathbf{M}_{t} \in \mathbb{R}^{C \times D}$Mt​∈RC×D 是一个容量为 $C = L \times K$C=L×K 的先进先出（FIFO）队列矩阵。这种基于队列的设计保证了历史记忆最多在循环中被编码 $L$L 次，避免了循环编码导致的坍塌，并严格限制记忆大小以控制计算复杂度。为了克服效率挑战，引入了动态分段批处理（Dynamic Segment-Batching）技术。模型不是逐段执行前向传播，而是并行处理 $k$k 个连续段落，确保总长度不超过预定义阈值。

训练与优化 EvoEmbedding从通用语言模型初始化，并采用多LoRA设计来解耦记忆进化和表示生成能力。这允许在推理时灵活切换，并隔离训练动态以避免灾难性遗忘。给定一个包含 $t$t 个段落的输入样本和一个查询 $q$q，模型构建潜在记忆 $\mathbf{M}_t$Mt​ 并获得嵌入。模型使用组合目标进行联合优化：

$$\mathcal { L } = \mathcal { L } _ { m e m } + \mathcal { L } _ { c o n } ,$$L=Lmem​+Lcon​,

其中 $\mathcal{L}_{mem}$Lmem​ 是记忆生成损失，$\mathcal{L}_{con}$Lcon​ 是对比表示损失。记忆生成损失使用标准交叉熵来衡量，通过生成的潜在记忆和查询作为上下文来预测目标答案 $y$y：

$$\mathcal { L } _ { m e m } = - \sum _ { i = 1 } ^ { | y | } \log P ( y _ { j } \mid y _ { < j } , q , \mathbf { M } _ { t } ) .$$Lmem​=−i=1∑∣y∣​logP(yj​∣y<j​,q,Mt​).

在此步骤中，骨干参数被冻结，LoRA适配器被停用，迫使损失直接反向传播到潜在记忆中，以确保与基础语义空间的兼容性。

对比损失将查询表示与相关上下文对齐。候选池从当前样本段落中划分为包含支持证据的正样本集和负样本集。公式化了一个长度加权的多正样本对比损失：

$$\mathcal { L } _ { c o n } = \frac { \log ( N + 1 ) } { P } \sum _ { i = 1 } ^ { P } \left( - \log \frac { \exp ( \mathbf { v } _ { q } ^ { \top } \mathbf { v } _ { i } ^ { + } / \tau ) } { \exp ( \mathbf { v } _ { q } ^ { \top } \mathbf { v } _ { i } ^ { + } / \tau ) + \sum _ { j = 1 } ^ { N } \exp ( \mathbf { v } _ { q } ^ { \top } \mathbf { v } _ { j } ^ { - } / \tau ) } \right) ,$$Lcon​=Plog(N+1)​i=1∑P​(−logexp(vq⊤​vi+​/τ)+∑j=1N​exp(vq⊤​vj−​/τ)exp(vq⊤​vi+​/τ)​),

其中 $\mathbf{v}_{q}$vq​ 是归一化的查询嵌入，$\tau=0.1$τ=0.1。因子 $\log(N+1)$log(N+1) 根据负样本干扰项的数量自适应地校准损失尺度。

为支持这一训练，作者构建了一个专用数据集。如下图所示，流水线包括跨多个领域的原始上下文构建、利用大型语言模型和模板的动态QA生成，以及用于检索标记和验证以过滤噪声样本的公式化阶段。

实验

在涵盖长上下文检索、对话记忆和个性化任务的十个基准上的广泛评估表明，EvoEmbedding始终优于静态嵌入模型和专用的agentic memory系统。该模型生成上下文可进化的表示，捕捉时间动态，使其能够在显著较短的样本上训练后，泛化到高达128K的上下文。使用EvoEmbedding的朴素RAG流水线实现了最先进的生成精度，且记忆构建的token开销为零，超越了复杂的记忆增强架构。分析进一步确认了模型固有的时间推理能力及其潜在记忆设计的效率，该设计在保持顶级性能的同时大幅降低了GPU内存使用。

作者评估了EvoEmbedding系列模型在多个长上下文和对话基准上相对于各种最先进嵌入模型的检索性能。结果表明，与更大的基线模型相比，EvoEmbedding模型在Recall和NDCG指标上均取得了一贯优越的整体性能。所提出的模型表现出强大的可扩展性，即使是最小的变体也优于大得多的通用嵌入模型。EvoEmbedding变体在所有评估基准上取得了最高的整体检索性能，超越了KaLM-Embedding-Gemma3和Qwen3-Embedding等更大的模型。最小的EvoEmbedding模型在整体Recall上显著优于大得多的基线模型，展示了高参数效率。EvoEmbedding模型在多个领域表现出稳健的性能，在ESG-Reports和PeerQA等专用基准上取得了最佳结果。

作者进行了消融研究，以评估EvoEmbedding关键设计组件的作用。结果表明，潜在记忆机制是模型性能的基础，移除它们会导致灾难性的性能下降。此外，所提出的批处理和加权策略对训练效率和整体准确性至关重要。潜在记忆队列和记忆损失是必不可少的组件，移除任何一个都会导致对话基准上的灾难性性能下降。分段批处理（Segment-batching）在显著加速训练过程的同时，也提高了模型的整体性能。长度加权有效平衡了样本难度和上下文长度，防止了对较短序列的偏向，并提升了准确性。

作者在对话基准上使用朴素RAG流水线评估了EvoEmbedding-4B，将其与全上下文基线、agentic memory系统及其他嵌入模型进行了比较。结果表明，EvoEmbedding在基于检索的方法中取得了最高的整体性能，接近全上下文上限。然而，尽管它在单跳和多跳任务中表现出色，但在时间推理和开放域子任务上落后于专用的agentic memory系统。EvoEmbedding-4B在所有测试的嵌入模型和agentic memory基线中取得了最高的整体准确率。与静态嵌入和agentic系统相比，该模型在单跳和多跳任务上表现出优越性能。专用的agentic memory系统（如LightMem）在时间推理和开放域子任务上优于EvoEmbedding。

作者在多个长上下文和对话基准上评估了EvoEmbedding，使用具有不同检索预算的朴素RAG流水线。结果表明，与已建立的静态嵌入基线和词汇检索方法相比，EvoEmbedding始终取得最高的整体性能。该模型还展示了强大的可扩展性，更大的变体在不同的top-k检索设置下产生了更优的准确性。EvoEmbedding-4B在所有测试的top-k值上取得了最佳的整体生成准确率，优于更大的静态嵌入模型。EvoEmbedding系列展现出强大的可扩展性，较小的变体也超越了许多更大的基线模型。在多样化的长上下文任务中，性能保持稳健，证明了模型在处理不同检索预算方面的有效性。

作者在一个对话基准上评估了他们提出的EvoEmbedding模型，将其与全上下文基线、agentic memory系统及其他嵌入模型进行了比较。结果显示，配备EvoEmbedding的朴素检索流水线达到了最高的整体准确率，显著优于专用的agentic memory架构，甚至超过了全上下文基线。该模型在单用户和单助手子任务中表现出卓越的性能，表明其具有强大的过滤噪声历史和捕捉相关上下文的能力。EvoEmbedding在大多数评估类别中取得了最佳整体性能，包括时间推理和多会话对话。该模型在单用户和单助手任务上达到了近乎完美的准确率，大幅超越了现有的agentic memory系统。使用EvoEmbedding的标准检索流水线超越了全上下文基线，证明了其在无需显式记忆构建的情况下处理长上下文检索的有效性。

评估在长上下文和对话检索基准上评估了EvoEmbedding系列模型，将其与更大的静态嵌入模型、agentic memory系统和全上下文基线进行了比较。结果表明，EvoEmbedding模型始终取得最高的检索和生成准确率，即使是最小的变体也优于大得多的对应模型，展示了强大的可扩展性和参数效率。消融实验突显了潜在记忆机制、分段批处理和长度加权的重要性，而使用EvoEmbedding的检索流水线超越了专用的agentic系统，并接近全上下文上限，尤其在单跳和多跳任务中表现优异。