[NeurIPS'24] SGLang: Efficient Execution of Structured Language Model Programs 论文阅读
SGLang 程序可以通过 “fork” 原语串联多个生成调用并创建并行副本。此外,不同的程序实例通常共享某些公共部分(例如,系统 Prompt)。这些场景在执行过程中会生成许多共享的 Prompt 前缀,从而为重用 KVCache 提供了大量机会。在 LLM 推理过程中,KVCache 存储前向传递的中间 Tensor,用于解码未来的 Token。它们以自注意力机制中的键值对命名 [51]。 KVCache 的计算仅取决于前缀 Token。因此,具有相同 Prompt 前缀的请求可以重用 KVCache,从而减少冗余计算和内存使用。更多背景和一些示例在附录 A 中提供。