quantumaikr/quant.cpp
純C語言的LLM推論庫,支援長上下文和KV快取壓縮。
為何上榜
394★ · 近期活躍
商用授權
✓ 可商用Apache-2.0
可商用,通常只需保留著作權聲明/授權條款
Topics
delta-compressionembeddableggufkv-cachellmllm-inferencepure-cquantizationtransformerturboquant
廣告
純C語言的LLM推論庫,支援長上下文和KV快取壓縮。
394★ · 近期活躍
可商用,通常只需保留著作權聲明/授權條款