回首頁 / 🧱 AI 基礎堆疊 / ⚡ 推理/部署引擎

quantumaikr/quant.cpp

純C語言的LLM推論庫,支援長上下文和KV快取壓縮。

🧱 AI 基礎堆疊 ✓ 可商用 ★ 394C

為何上榜

394★ · 近期活躍

商用授權

✓ 可商用Apache-2.0

可商用,通常只需保留著作權聲明/授權條款

Topics

delta-compressionembeddableggufkv-cachellmllm-inferencepure-cquantizationtransformerturboquant
廣告