探索索引

键值缓存量化

将大模型推理中的 Key 和 Value 张量转换为低精度格式(如 FP8),以减少显存占用并加速内存访问的技术。

暂时没有与该实体关联的公开内容。

键值缓存量化 | Today for AI