tantan的博客

Notes, ideas, and observations

SGLang 程序可以通过 “fork” 原语串联多个生成调用并创建并行副本。此外,不同的程序实例通常共享某些公共部分(例如,系统 Prompt)。这些场景在执行过程中会生成许多共享的 Prompt 前缀,从而为重用 KVCache 提供了大量机会。在 LLM 推理过程中,KVCache 存储前向传递的中间 Tensor,用于解码未来的 Token。它们以自注意力机制中的键值对命名 [51]。 KVCache 的计算仅取决于前缀 Token。因此,具有相同 Prompt 前缀的请求可以重用 KVCache,从而减少冗余计算和内存使用。更多背景和一些示例在附录 A 中提供。

Google 从事大规模 Linux 容器的管理工作已有十余年,期间开发了三种不同的容器管理系统。

Mooncake 是 Moonshot AI 推出的 LLM 聊天机器人服务 Kimi 的底层服务平台。该平台采用以 KVCache 为中心的分离式架构:不仅将 Prefill 集群与 Decoding 集群分离,还充分利用 GPU 集群中未被充分使用的 CPU, DRAM, SSD 和 NIC 资源,构建出一个分离式的 KVCache 池。 Mooncake 的核心是其以 KVCache 为中心的全局缓存,以及一个在满足严格的延迟类服务级别目标 (SLO) 的前提下最大化吞吐量的调度器。

终身用户行为建模中,SIM、UBR4CTR 等两级级联框架达到 SOTA: 用简单快速的 GSU 从海量行为中检索与目标最相关的少量行为,再用注意力 ESU 在这些 finalist 上做 Target Attention (TA)。但它们有个根本局限: GSU 与 ESU 的目标-行为相关性度量不一致,导致 GSU 经常漏掉 ESU 高度认可的行为,限制了整体 CTR 精度.

丰富的用户行为数据对 CTR 预估极有价值,尤其在推荐和广告等工业场景。阿里此前的 SOTA 是基于记忆网络的 MIMN,它通过 “学习算法 + 服务系统” 协同设计,第一次把可建模的行为序列长度扩展到 1000。但当序列再长 10 倍以上时,MIMN 无法在给定候选 item 时精准刻画用户兴趣 —— 把所有历史行为编码进固定大小的 memory matrix 会引入大量噪声.

0%