专为Mac平台优化的LLM推理工具,采用连续批处理和SSD缓存管理技术加速模型推理。支持Apple Silicon芯片,提供高效的本地推理服务器能力,适合Mac用户部署私有AI模型和聊天应用。
LLM推理Mac优化Apple Silicon
⭐ 6 · Python
AI工具
本地AI隐私保护MCP工具
⭐ 6 · PowerShell
🦁 Local AI for Consumer GPUs — Run powerful LLMs on GTX 1060/1080. No cloud. No。⭐6 · Python
installableaiconsumer-gpu
⭐ 6 · Python
在macOS上利用Metal GPU加速实现Qwen3 Transformer模型推理的开源工具。支持Apple Silicon芯片,提供高效的本地AI推理能力,适合macOS开发者和AI爱好者本地部署使用。
Qwen3Metal GPUmacOS
⭐ 6 · C++
AI工具
无线电网关MCP工具GMRS
⭐ 6 · Python
精选的Python AI实战项目合集,当前包含Groq集成示例。提供Jupyter Notebook交互式学习环境,适合AI初学者和开发者快速上手各类AI应用开发,通过实践项目掌握AI技术栈。
PythonAI项目Groq
⭐ 5 · Jupyter Notebook
vortex AI技能包是可安装AI技能包,知识检索、检索增强生成(RAG)。安装后AI可调用专属能力,适合开发者和运营人员。
installabledocument-chatembeddings
⭐ 17 · TypeScript
imp AI技能包是可安装AI技能包,大语言模型。安装后AI可调用专属能力,适合开发者和运营人员。
installableblackwellcpp
⭐ 17 · Cuda
🛠
llm_cost_tracker AI技能包
AI工具
6.3
llm_cost_tracker AI技能包是可安装AI技能包,大语言模型。安装后AI可调用专属能力,适合开发者和运营人员。
installableaianthropic
⭐ 17 · Ruby
🛠
obsidian-smart-export AI技能包
AI工具
6.3
obsidian-smart-export AI技能包是可安装AI技能包。安装后AI可调用专属能力,适合开发者和运营人员。
installableobsidianobsidian-md
⭐ 16 · TypeScript
mt_llm AI技能包是可安装AI技能包。安装后AI可调用专属能力,适合开发者和运营人员。
installableinferencellama-cpp
⭐ 15 · C++
gaia AI技能包是可安装AI技能包。安装后AI可调用专属能力,适合开发者和运营人员。
installableaibubbletea
⭐ 12 · Go
🛠
aisecuritygateway AI技能包
AI工具
6.3
aisecuritygateway AI技能包是可安装AI技能包,可自托管。安装后AI可调用专属能力,适合开发者和运营人员。
installableai-proxyai-proxy-service
⭐ 12 · Python
notor AI技能包是可安装AI技能包。安装后AI可调用专属能力,适合开发者和运营人员。
installableknowledge-graphknowledge-management
⭐ 11 · TypeScript
Personal LLM Plugins for Claude Code。⭐11 · Shell
installableshell
⭐ 11 · Shell
⚡ Vectro: Lightning-fast embedding quantization. Hit 12M+ vec/s throughput (4.85。⭐8 · Rust
installableaiai-engineering
⭐ 8 · Rust
Direct Reaction And Dynamic Intelligence System — Low-latency Rust prediction-ma。⭐8 · Rust
installablearbitragebot
⭐ 8 · Rust
🛠
Google_Generative_AI
AI工具
6.3
C# SDK for the Google Gemini API -- chat completions, embeddings, and vision。⭐7 · C#
installableaiautosdk
⭐ 7 · C#
LLM inference engine for AMD RDNA4 — Rust + Vulkan compute shaders, gguf & nativ。⭐7 · Rust
installableamdfp8
⭐ 7 · Rust
Local AI load balancer for Ollama fleets — auto-discovery, smart routing, OpenAI。⭐7 · Python
installableai-gatewayai-infrastructure
⭐ 7 · Python