[NSDI'25] ByteCheckpoint: A Unified Checkpointing System for Large Foundation Model Development 论文阅读
在大基础模型(LFM)的开发过程中,checkpoint 不仅用于故障后恢复训练,还要应对 GPU 资源和并行配置的变化,并且会被下游的评估、后训练等任务直接读取。随着训练规模扩大,checkpoint 系统必须足够高效,才能在整个开发周期内管理好海量 checkpoint。
在大基础模型(LFM)的开发过程中,checkpoint 不仅用于故障后恢复训练,还要应对 GPU 资源和并行配置的变化,并且会被下游的评估、后训练等任务直接读取。随着训练规模扩大,checkpoint 系统必须足够高效,才能在整个开发周期内管理好海量 checkpoint。
这篇可以看作 Temeraire(OSDI’21) 的续作,作者团队高度重合。Temeraire 只改了 TCMalloc 最底层的 pageheap,而这篇先用全集群遥测把 TCMalloc 从上到下"体检"了一遍,然后给每一层缓存都提出了一个改进。
和 Bw-Tree 一样出自微软研究院,但思路几乎相反:Bw-Tree 用 delta chain 攒写入,读的时候要沿链表追指针;Bf-Tree 把攒写入的地方换成一个按 key 有序、长度可变的 mini-page,读写都只需一次二分查找。论文的实验里专门实现了一个"类 Bw-Tree"的 Bδ-Tree 作为对照。
一句话概括:加一层间接,把一切修改都变成"新建一个对象 + 一次 CAS"。页之间不再用物理指针相连,而用逻辑页号(PID);PID 到物理地址的翻译放在一张映射表里。于是改一个页只需要把新状态挂上去、再 CAS 一下映射表的槽位,页的物理位置在内存里、在闪存上都可以随意搬动。
推荐模型的 sparse 参数以 FID -> embedding 的形式存放在参数服务器(Parameter Server,PS)的哈希表中,大模型的 key 数达数百亿至数千亿。已有讨论往往把"哪种哈希表最好"当作与场景无关的问题,但训练 PS 与推理 PS 的负载几乎相反:前者写密集、key 集合持续变化,后者读密集、对尾延迟敏感且数据按副本复制。本文首先刻画两类场景的负载差异;随后提出一组八个评价维度,并据此对九类哈希表结构及十余个常用 C++ 库进行归类;接着给出索引内存占比、批量查找延迟与指纹误命中率三个简单的分析模型;最后分别对训练 PS 与推理 PS 给出候选方案与选型建议。分析表明:训练侧的首要约束是并发原地更新、不停服扩容与 dump,索引内存仅占总内存的约 1%~3%;推理侧的首要约束是 P99 延迟与跨分片版本一致,且由于 payload 量化与副本复制,压缩索引的收益显著高于训练侧。
把它放进内存管理系列,是因为 CacheLib 的 DRAM 部分本质上就是一个以淘汰代替 free 的 slab 分配器:内存按 slab 切给各个尺寸类别,满了就淘汰,类别之间还要搬 slab。读这篇论文时可以和 Slab Allocator、内存管理串讲 对照着看。
ptmalloc 是 glibc 的默认内存分配器,也是最流行的内存分配器之一,起源于 Doug Lea 的 dlmalloc。由 Wolfram Gloger 改进得到可以支持多线程。
在仓库级计算机(warehouse-scale computer,WSC)中,内存分配是一项显著的计算开销,对它的优化可以节省可观的成本。一种经典方法是提高分配器本身的效率,减少花在分配器代码中的周期。然而,内存分配决策还会通过数据放置影响应用的整体性能,这提供了用更少硬件资源完成更多应用工作的机会。本文聚焦于大页覆盖率(hugepage coverage)。
现代内存分配器需要同时兼顾性能、安全、并发以及具体使用场景的特殊需求。一个越来越常见的场景是作为 Swift、Python 这类使用引用计数自动释放对象的语言的后端。本文提出 mimalloc,它很好地平衡了这些需求,性能显著优于现有分配器,并且专门支持依赖分配器实现引用计数的语言。
SGLang 程序可以通过 “fork” 原语串联多个生成调用并创建并行副本。此外,不同的程序实例通常共享某些公共部分(例如,系统 Prompt)。这些场景在执行过程中会生成许多共享的 Prompt 前缀,从而为重用 KVCache 提供了大量机会。在 LLM 推理过程中,KVCache 存储前向传递的中间 Tensor,用于解码未来的 Token。它们以自注意力机制中的键值对命名 [51]。 KVCache 的计算仅取决于前缀 Token。因此,具有相同 Prompt 前缀的请求可以重用 KVCache,从而减少冗余计算和内存使用。更多背景和一些示例在附录 A 中提供。