OnlyTerp/turboquant
Google TurboQuant 技術的開源實現,提供 LLM 推理中的 KV 快取壓縮。
為何上榜
76★ · 近期活躍
商用授權
✓ 可商用MIT
可商用,通常只需保留著作權聲明/授權條款
Topics
attentioncompressiondeep-learninggoogle-researchiclrkv-cachekv-cache-compressionllmllm-inferencemachine-learningmemory-optimizationpytorch
廣告