tantan的博客

Notes, ideas, and observations

发表于 分类于 本文字数： 761 阅读时长 ≈ 3 分钟

Google 从事大规模 Linux 容器的管理工作已有十余年，期间开发了三种不同的容器管理系统。

发表于 分类于 本文字数： 13k 阅读时长 ≈ 49 分钟

Mooncake 是 Moonshot AI 推出的 LLM 聊天机器人服务 Kimi 的底层服务平台. 该平台采用以 KVCache 为中心的分离式架构: 不仅将 Prefill 集群与 Decoding 集群分离, 还充分利用 GPU 集群中未被充分使用的 CPU, DRAM, SSD 和 NIC 资源, 构建出一个分离式的 KVCache 池. Mooncake 的核心是其以 KVCache 为中心的全局缓存, 以及一个在满足严格的延迟类服务级别目标 (SLO) 的前提下最大化吞吐量的调度器.

发表于 分类于 本文字数： 3.2k 阅读时长 ≈ 12 分钟

终身用户行为建模中，SIM、UBR4CTR 等两级级联框架达到 SOTA: 用简单快速的 GSU 从海量行为中检索与目标最相关的少量行为，再用注意力 ESU 在这些 finalist 上做 Target Attention (TA)。但它们有个根本局限: GSU 与 ESU 的目标-行为相关性度量不一致，导致 GSU 经常漏掉 ESU 高度认可的行为，限制了整体 CTR 精度.

发表于 分类于 本文字数： 4.5k 阅读时长 ≈ 16 分钟

丰富的用户行为数据对 CTR 预估极有价值，尤其在推荐和广告等工业场景。阿里此前的 SOTA 是基于记忆网络的 MIMN，它通过 “学习算法 + 服务系统” 协同设计，第一次把可建模的行为序列长度扩展到 1000。但当序列再长 10 倍以上时，MIMN 无法在给定候选 item 时精准刻画用户兴趣 —— 把所有历史行为编码进固定大小的 memory matrix 会引入大量噪声.

发表于 分类于 本文字数： 2.4k 阅读时长 ≈ 9 分钟

本文介绍了 JAX：一个面向领域的 tracing JIT 编译器，能够从纯 Python 和 NumPy 编写的机器学习程序生成高性能的加速器代码。JAX 借助 XLA 编译基础设施为"最适合加速"的子程序生成优化代码，这些优化后的子程序可以被任意 Python 代码调用和编排。由于 JAX 与 Autograd 完全兼容，它支持对 Python 函数进行任意阶的前向和反向自动微分。由于 JAX 支持结构化控制流，它能够为复杂机器学习算法生成高性能代码。将 JAX 与 Autograd 和 NumPy 结合，可以得到一个既易于编程、又高度高性能的 ML 系统，能够同时面向 CPU、GPU 和 TPU，并可扩展到多核 Cloud TPU。

0%