prism-ml/Ternary-Bonsai-27B-gguf
使用二進製表示的對話生成模型，適合輕量級運算。
▸ HF trending 808 · 851 likes · 338,945 下載
回首頁 / ⚡ 推理／部署引擎
⚡ 推理／部署引擎
77 看全部 · 每天精選 AI / LLM 開源情報，附繁中說明、為何上榜與商用授權判讀。
empero-ai/Qwythos-9B-Claude-Mythos-5-1M-GGUF
一款基於gguf格式的文本生成模型，適用於長上下文推理。
▸ HF trending 229 · 2,369 likes · 2,117,323 下載
deepreinforce-ai/Ornith-1.0-35B-GGUF
一個基於轉換器的文本生成模型，支援GGUF格式。
▸ HF trending 65 · 906 likes · 1,792,049 下載
DavidAU/Qwen3.6-27B-Fable-Fusion-711-Uncensored-Heretic-NM-DAU-NEO-MAX-MTP-GGUF
基於GGUF格式的圖文轉文字模型，具備未審查和異端特點。
▸ HF trending 149 · 153 likes · 16,719 下載
unsloth/gemma-4-12b-it-GGUF
將影像和文本轉換為文本的模型。
▸ HF trending 59 · 684 likes · 1,255,027 下載
Jackrong/Qwopus3.6-27B-Coder-MTP-GGUF
基於轉換器的影像文字轉文字模型，支援GGUF格式和視覺功能。
▸ HF trending 67 · 285 likes · 231,888 下載
GnLOLot/MiniCPM5-1B-Claude-Opus-Fable5-Thinking-GGUF
一個輕量級的文本生成模型，支援量化和GGUF格式。
▸ HF trending 69 · 282 likes · 178,511 下載
unsloth/gemma-4-12B-it-qat-GGUF
將各種資料型別轉換為文本的模型。
▸ HF trending 54 · 258 likes · 334,613 下載
prism-ml/Bonsai-27B-mlx-1bit
一種使用 1-bit 壓縮的對話生成模型，支援多語言和裝置端運算。
▸ HF trending 147 · 154 likes · 21,690 下載
yuxinlu1/gemma-4-12B-coder-fable5-composer2.5-v1-GGUF
gemma-4-12B 是用於程式碼生成和推理的模型。
▸ HF trending 65 · 2,691 likes · 726,600 下載
unsloth/DeepSeek-V4-Flash-GGUF
模型推理／部署引擎，關鍵字：GGUF量化（依標籤自動歸類，詳細看下方原文）
▸ HF trending 62 · 189 likes · 69,288 下載
huihui-ai/Huihui-GLM-5.2-abliterated-GGUF
一款去識別化的 GLM 模型，支援文本生成。
▸ HF trending 68 · 193 likes · 7,349 下載
OBLITERATUS/Gemma-4-12B-OBLITERATED
將影像文字轉換為純文本的生成式模型。
▸ HF trending 65 · 360 likes · 110,450 下載
bytkim/Qwen3.6-27B-MTP-pi-tune-GGUF
基於 Qwen 的多 token 預測模型，支援 gguf 格式。
▸ HF trending 103 · 112 likes · 65,765 下載
LuffyTheFox/Qwen3.6-35B-A3B-Uncensored-Genesis-Hermes-V3-GGUF
基於Qwen的圖文生成文字模型，支援GGUF格式及無審核內容。
▸ HF trending 75 · 85 likes · 15,148 下載
Mia-AiLab/Qwable-3.6-27b
模型推理／部署引擎，關鍵字：transformers、GGUF量化、推理（依標籤自動歸類，詳細看下方原文）
▸ HF trending 61 · 139 likes · 25,787 下載
mistralai/Leanstral-1.5-119B-A6B
基於 MistralAI 的大型語言模型，使用 vllm 技術。
▸ HF trending 73 · 193 likes · 353 下載
poolside/Laguna-M.1
Laguna-M.1 是一個基於 vllm 的文本生成模型，支援半精度運算。
▸ HF trending 94 · 95 likes · 2,913 下載
mradermacher/Mythos-nano-i1-GGUF
一個基於轉換器的推理模型，支援GGUF格式。
▸ HF trending 55 · 56 likes · 5,545 下載
hotdogs/qwen3.6-27b-fable5-lora
使用LoRA技術訓練的文本生成模型，適用於程式碼生成和對話。
▸ HF trending 54 · 70 likes · 452 下載
Unsloth 版 Qwen3.6-27B（GGUF 量化）
由 Unsloth 釋出的 Qwen3.6-27B GGUF 量化權重，下載近 88 萬。
▸ HF trending 61 · 1,130 likes · 2,886,750 下載
HauhauCS/Qwen3.6-35B-A3B-Uncensored-HauhauCS-Aggressive
Qwen3.6-35B 的去審查(uncensored) GGUF 量化版。
▸ HF trending 174 · 2,935 likes · 2,007,025 下載
DavidAU/Qwen3.6-40B-Claude-4.6-Opus-Deckard-Heretic-Uncensored-Thinking-NEO-CODE-Di-IMatrix-MAX-GGUF
經過多階段微調的影像文字轉文字模型，適用於所有場景。
▸ HF trending 56 · 552 likes · 433,393 下載
BugTraceAI/BugTraceAI-CORE-Ultra-27B-Q6
模型推理／部署引擎，關鍵字：GGUF量化（依標籤自動歸類，詳細看下方原文）
▸ HF trending 61 · 138 likes · 12,438 下載
build-small-hackathon/llm-cinema
Hugging Face 示範應用(Space)（依標籤自動歸類，詳細看下方原文）
▸ HF trending 16 · 100 likes
Jiunsong/supergemma4-26b-uncensored-gguf-v2
快速、無審核限制的超大規模對話式文本生成模型。
▸ HF trending 59 · 824 likes · 96,437 下載
zeraix/zeraix
開源本地AI工作空間，提升裝置上的推論效能。
▸ 近期新建立，已獲 86★
Jia-Ethan/codex-keysmith
無版本依賴的Codex指令部署工具，具備模擬、備份和恢復功能。
▸ 近一日新增 114★（現 1,135★）
avifenesh/bw24
從頭開始的Rust+CUDA推理引擎，適用於RTX 5090。
▸ 近一日新增 7★（現 278★）
RavichandranJ/Dolphin3-Cyber-8B-GGUF
基於轉換器框架的文本生成模型，支援GGUF格式。
▸ HF trending 65 · 104 likes · 56,548 下載
Cactus-Compute/needle
模型推理／部署引擎（依標籤自動歸類，詳細看下方原文）
▸ HF trending 80 · 292 likes · 950 下載
re4/LibreCode
類似 Ollama 的程式碼編輯和逆向工程介面。
▸ 385,613★ · 近期活躍
seuksaedu-beep/Persona-Flow-Chat
模擬社交平臺上的AI角色，支援即時聊天機器人。
▸ 近期新建立，已獲 153★
OpenCPIL/prima.cpp
在日常家用裝置上快速執行大型語言模型的框架。
▸ 近一日新增 3★（現 63★）
ggml-org/gguf-my-repo
Hugging Face 示範應用(Space)（依標籤自動歸類，詳細看下方原文）
▸ HF trending 12 · 2,017 likes
0xSero/glm-5.2-sm120
GLM-5.2-NVFP4-REAP-469B 在SM120上執行的大規模語言模型推理工具。
▸ 近期新建立，已獲 150★
cyyself/OpenTihui
適用於 iOS 的本地化大型語言模型，支援鍵盤快捷方式。
▸ 近期新建立，已獲 52★
marchinthesun/EPYC-Max-Inference-LLM-Optimizer
針對AMD EPYC最佳化的llama.cpp分支，提升效能。
▸ 近期新建立，已獲 105★
chiennv2000/orthrus
快速、無損的大語言模型推論，通過雙檢視擴散解碼實現。
▸ 460★ · 近期活躍
walkinglabs/modern-llm-notebook
使用 PyTorch 建立現代大規模語言模型的手把手教程。
▸ 近一日新增 9★（現 128★）
Avarok-Cybersecurity/atlas
一個純 Rust 實現的推理引擎，支援 CUDA 加速。
▸ 近一日新增 2★（現 606★）
hec-ovi/vllm-awq4-qwen
基於AMD顯示卡的Qwen 3.6-27B模型，支援視覺和工具呼叫等功能。
▸ 40★ · 近期活躍
AlexsJones/llmfit
快速找到適合您硬體的大型語言模型。
▸ 近一日新增 36★（現 27,845★）
ahammadmejbah/Awesome-Datasets-Hub
為大型語言模型收集的資料集集合，涵蓋醫學 AI、NLP 等領域。
▸ 145★ · 近期活躍
jundot/omlx
適用於 Apple Silicon 的 LLM 推論伺服器，支援 macOS 選單欄管理。
▸ 近一日新增 51★（現 16,432★）
amitshekhariitbhu/llm-internals
逐步學習大型語言模型內部機制，從分詞到注意力機制。
▸ 1,331★ · 近期活躍
devnen/qwen3.6-windows-server
Windows上的一鍵式Qwen3.6-27B推理部署，無需WSL或Docker。
▸ 222★ · 近期活躍
0xNyk/council-of-high-intelligence
多個 LLM 提供的 AI 角色協助你做出困難決策，進行結構化多輪辯論。
▸ 近一日新增 340★（現 1,483★）
Arthur-Ficial/apfel
Mac 上免費的 AI 工具，包含 CLI 和 OpenAI 相容伺服器。
▸ 近一日新增 3★（現 6,169★）
mnfst/awesome-free-llm-apis
永久免費的大語言模型API列表。
▸ 近一日新增 27★（現 5,830★）
Andyyyy64/whichllm
根據硬體效能評估本地LLM效能並排名的CLI工具。
▸ 近一日新增 43★（現 5,468★）
generative-computing/granite-switch
用於構建 AI 模型的軟體開發工具包。
▸ 85★ · 近期活躍
PMZFX/intel-arc-pro-b70-benchmarks
Intel Arc Pro B70 GPU 的效能資料和測試結果，適用於 LLM 推論等。
▸ 79★ · 近期活躍
jmaczan/tiny-vllm
使用C++和CUDA構建的小型高效能LLM推理引擎。
▸ 近一日新增 4★（現 770★）
Dynamis-Labs/spectralquant
基於特徵向量旋轉和位元分配的 KV-Cache 壓縮技術。
▸ 197★ · 近期活躍
quantumaikr/quant.cpp
純C語言的LLM推論庫，支援長上下文和KV快取壓縮。
▸ 394★ · 近期活躍
tinyBigGAMES/VindexLLM
純 Delphi 開發的 GPU 加速 LLM 推論引擎，完全在 GPU 上執行。
▸ 70★ · 近期活躍
NightMean/OlliteRT
將 Android 手機變身為 OpenAI 相容的 LLM 推論伺服器，完全本地、私有且開源。
▸ 136★ · 近期活躍
brontoguana/krasis
專為消費者等級 VRAM 硬體設計的高效能大型模型執行框架。
▸ 469★ · 近期活躍
Kaden-Schutt/hipfire
基於 Rust 的 RDNA 原生 LLM 推論引擎。
▸ 近一日新增 1★（現 483★）
lambda-calculus-LLM/lambda-RLM
使用可驗證 lambda 演算的方法來處理長上下文的 RLMs。
▸ 303★ · 近期活躍
AnkitNayak-eth/llmBench
用於測量本地大型語言模型執行時效能的深度基準工具。
▸ 45★ · 近期活躍
mukel/gemma4.java
純 Java 實現的快速 Gemma 4 推理引擎。
▸ 65★ · 近期活躍
psmarter/CUDA-Practice
實踐CUDA核心程式設計與效能最佳化的練習專案。
▸ 156★ · 近期活躍
Zyora-Dev/zse
適用於開源世界的推理引擎，支援多種硬體平臺。
▸ 153★ · 近期活躍
Mcourtyard/m-courtyard
M-Courtyard：適用於Apple Silicon的本地AI模型微調助手，無需程式碼和雲端。
▸ 137★ · 近期活躍
matt-k-wong/mlx-flash
讓大型模型在Apple Silicon上執行，即使記憶體不足也能流式處理權重。
▸ 119★ · 近期活躍
OnlyTerp/turboquant
Google TurboQuant 技術的開源實現，提供 LLM 推理中的 KV 快取壓縮。
▸ 76★ · 近期活躍
BenChaliah/Tensa-Lang
Tensor 為主的程式語言、編譯器和執行時環境，用於高階語言編寫模型推理引擎。
▸ 74★ · 近期活躍
TheToughCrane/nano-kvllm
用於提高LLM推理速度及記憶體利用率的高效KV快取管理框架。
▸ 近一日新增 1★（現 62★）
OpenDCAI/Flash-MinerU
基於 Ray 的 MinerU 加速層，將 PDF 轉換為可擴充套件的 Markdown 資料基礎設施。
▸ 54★ · 近期活躍
unixsysdev/llama-turboquant
為 llama.cpp 提供 3-bit KV-cache 壓縮以加速推理。
▸ 53★ · 近期活躍
Aaryan-Kapoor/ModelGate-Hackathon
根據客戶合同自動生成符合OpenAI標準的AI控制端點。
▸ 51★ · 近期活躍
AbdelStark/attnres
MoonshotAI/Kimi注意力殘差模型的Rust實現。
▸ 55★ · 近期活躍
openmed-labs/synthvision
合成醫學影像問答管道，包含11.9萬張標註影像，交叉驗證達93%一致率。
▸ 39★ · 近期活躍
Yog-Sotho/LLM-fine-tuner
無程式碼 LLM 微調工具：上傳資料 → 訓練 → 部署，支援多種加速和訓練技術。
▸ 近一日新增 1★（現 27★）
eullm/eullm
開源平臺，用於建立、分發及執行符合歐盟AI法規的大型語言模型。
▸ 28★ · 近期活躍