2025年9月25日 · KIVI is a new plug-and-play 2bit KV cache quantization algorithm without any fine-tuning. This algorithm optimizes memory usage by quantizing the key cache per-channel and the …
github.com › jy-yuan2025年5月13日 · TL;DR2024 年莱斯大学提出的无需微调的 2bit KV 缓存量化算法 KIVI，可以使 Llama、Falcon 和 Mistral 模型在使用 2.6 倍更少的峰值内存（包括模型权重）的情况下保持几乎相同的质量。 …
zhuanlan.zhihu.com2024年2月5日 · From this analysis, we developed a tuning-free 2bit KV cache quantization algorithm named KIVI. With hardware-friendly implementation, KIVI can enable Llama, Falcon, and Mistral …
arxiv.org2025年7月7日 · 此外，KIVI在LongBench数据集（用于长上下文评估）上的表现也表明KIVI是一种有效的KV缓存压缩方法，在各种难度较大的长上下文生成任务中对精度的影响很小。
zhuanlan.zhihu.com2024年7月26日 · Based on the above insights, we propose KIVI, a plug-and-play extreme low-bit KV cache quantization method. KIVI quantizes key cache per-channel and quantizes value cache per …
arxiv.orgCheap flights, hotels, and car hire with 24/7 customer support & Disruption protection. Discover a new way of traveling with our interactive map, airport, and destination guides in your pocket.
www.kiwi.com2024年9月11日 · weight-only量化（例如GPTQ、AWQ）与KIVI量化正交，可以叠加； KIVI与SmoothQuant对比，SmoothQuant压缩A8W8精度比较好，但压缩4bit精度劣化严重； KIVI量化方案 …
juejin.cn2026年6月30日 · With the hardware-friendly implementation, KIVI can enable Llama (Llama-2), Falcon, and Mistral models to maintain almost the same quality while using 2.6 × × less peak memory usage
proceedings.mlr.press2024年8月25日 · DATABASE_URI: 数据库连接 URI。 LOG_LEVEL: 日志级别配置。 config = Config(): 创建配置类的实例，供其他模块使用。 以上是 KIVI 开源项目的使用教程，涵盖了项目的目录结构、 …
blog.csdn.net › article › details