回首頁 / 🧱 AI 基礎堆疊 / ⚡ 推理/部署引擎

OnlyTerp/turboquant

Google TurboQuant 技術的開源實現,提供 LLM 推理中的 KV 快取壓縮。

🧱 AI 基礎堆疊 ✓ 可商用 ★ 76Python

為何上榜

76★ · 近期活躍

商用授權

✓ 可商用MIT

可商用,通常只需保留著作權聲明/授權條款

Topics

attentioncompressiondeep-learninggoogle-researchiclrkv-cachekv-cache-compressionllmllm-inferencemachine-learningmemory-optimizationpytorch
廣告