whichllm AI技能包
AI Skill Hub 强烈推荐：whichllm AI技能包 是一款优质的AI工具。AI 综合评分 8.2 分，在同类工具中表现稳健。如果你正在寻找可靠的AI工具解决方案，这是一个值得深入了解的选择。
**为什么要使用开源工具而非商业 SaaS？**
对于个人开发者和有隐私需求的用户，本地部署的开源工具意味着数据不离本机，不受第三方服务商的数据政策约束。同时，开源工具通常没有使用次数限制和月度费用，一次安装即可长期使用，对于高频使用场景的总拥有成本（TCO）远低于订阅制商业工具。
**安装与环境准备**
whichllm AI技能包 依赖 Python 运行环境。建议通过 pyenv（Python）或 nvm（Node.js）管理 Python 版本，避免全局环境污染。对于新手用户，推荐先创建虚拟环境（python -m venv venv && source venv/bin/activate），再安装依赖，这样即使出现问题也可以随时删除虚拟环境重新开始，不影响系统稳定性。
**社区与维护**
GitHub Issue 和 Discussion 是获取帮助的最快渠道。在提问前建议先检查 Closed Issues（已关闭的问题），大多数常见问题都已有解答。遇到 Bug 时，提供 pip list 的输出、完整错误堆栈和最小可复现示例，能显著提高开发者响应速度。AI Skill Hub 将持续追踪 whichllm AI技能包 的版本更新，及时通知重要功能变化。
帮助用户快速发现在自己硬件上运行最佳的开源大语言模型。提供性能基准测试、自动安装、跨平台支持（含苹果芯片优化）。适合想本地部署LLM的开发者和研究人员。
whichllm AI技能包 是一款基于 Python 开发的开源工具，专注于 LLM测评、本地部署、性能基准 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
帮助用户快速发现在自己硬件上运行最佳的开源大语言模型。提供性能基准测试、自动安装、跨平台支持（含苹果芯片优化）。适合想本地部署LLM的开发者和研究人员。
whichllm AI技能包 是一款基于 Python 开发的开源工具，专注于 LLM测评、本地部署、性能基准 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
# 方式一：pip 安装（推荐）
pip install whichllm
# 方式二：虚拟环境安装（推荐生产环境）
python -m venv .venv
source .venv/bin/activate # Windows: .venv\Scripts\activate
pip install whichllm
# 方式三：从源码安装（获取最新功能）
git clone https://github.com/Andyyyy64/whichllm
cd whichllm
pip install -e .
# 验证安装
python -c "import whichllm; print('安装成功')"
- 访问 GitHub 仓库页面
- 按照 README 文档完成依赖安装
- 根据系统环境完成初始化配置
- 参考官方示例或文档开始使用
- 遇到问题可在 GitHub Issues 中查找解答
# 命令行使用
whichllm --help
# 基本用法
whichllm input_file -o output_file
# Python 代码中调用
import whichllm
# 示例
result = whichllm.process("input")
print(result)
# whichllm 配置文件示例（config.yml） app: name: "whichllm" debug: false log_level: "INFO" # 运行时指定配置文件 whichllm --config config.yml # 或通过环境变量配置 export WHICHLLM_API_KEY="your-key" export WHICHLLM_OUTPUT_DIR="./output"
whichllm
Find the best local LLM that actually runs on your hardware.
Auto-detects your GPU/CPU/RAM and ranks the top models from HuggingFace that fit your system.
Features
- Auto-detect hardware — NVIDIA, AMD, Apple Silicon, CPU-only
- Smart ranking — Scores models by VRAM fit, speed, and benchmark quality
- One-command chat —
whichllm rundownloads and starts a chat session instantly - Code snippets —
whichllm snippetprints ready-to-run Python for any model - Live data — Fetches models directly from HuggingFace (cached for performance)
- Benchmark-aware — Integrates real eval scores with confidence-based dampening
- Task profiles — Filter by general, coding, vision, or math use cases
- GPU simulation — Test with any GPU:
whichllm --gpu "RTX 4090" - Hardware planning — Reverse lookup:
whichllm plan "llama 3 70b" - Upgrade planning — Compare your current machine with candidate GPUs
- JSON output — Pipe-friendly:
whichllm --json
Requirements
- Python 3.11+
- NVIDIA GPU detection via
nvidia-ml-py(included by default) - AMD / Apple Silicon detected automatically
Quick start
Run the recommendation command once, with no project setup.
uvx whichllm@latestSimulate a GPU before you buy hardware.
uvx whichllm@latest --gpu "RTX 4090"Install it when you use it often.
uv tool install whichllm
uv tool upgrade whichllm # update an existing installOther install paths.
brew install andyyyy64/whichllm/whichllm
pip install whichllmUsage
```bash
Usage: ollama run $(bestllm)
```
Common workflows
After install, run whichllm directly. For one-off runs, replace whichllm with uvx whichllm@latest.
```bash
Integrations
Data pipeline
1. Model fetching — Fetches popular models from HuggingFace API: - Text-generation (downloads + recently updated) - GGUF-filtered (separate query for coverage) - Vision models (image-text-to-text) when --profile vision or any 2. Benchmark sources — Current tier (LiveBench, Artificial Analysis Index, Aider) merged live when reachable, plus a curated multimodal / vision index; frozen tier (Open LLM Leaderboard v2, Chatbot Arena ELO). Tiers have separate caps and lineage-aware recency demotion so stale leaderboards stop over-rewarding older generations. 3. Benchmark evidence — Five resolution levels, increasingly discounted: - direct — Exact model ID match - variant — Suffix-stripped or -Instruct variant - base_model — Base model from cardData - line_interp — Size-aware interpolation within model family - self_reported — Uploader-claimed eval (heavily discounted)
Inheritance is rejected when a model's params diverge more than 2× from its family's dominant member, catching draft / MTP / abliterated forks that share a family_id with a much larger base. 4. Cache — ~/.cache/whichllm/: - models.json — 6h TTL - benchmark.json — 24h TTL
Compare upgrade candidates
whichllm upgrade "RTX 4090" "RTX 5090" "H100"
Upgrade: compare your current machine against candidate GPUs
whichllm upgrade "RTX 4090" "RTX 5090" "H100" whichllm upgrade "Apple M4 Max" --top 5
实用的本地LLM筛选工具，自动化基准测试降低选型成本。代码活跃，生态友好，特别适合苹果用户。
- 需要 whichllm 解决具体问题的开发者与运营人员
- 本地部署优先选 GGUF 量化模型，节省显存并保持响应速度
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- 显存不足直接 OOM — 优先降低 context 或换更小的量化模型
- Python 依赖冲突：建议用 venv / uv 隔离环境
- CLI：直接 npm install -g / pip install，命令行调用
- 本地部署：CPU 8GB 起，GPU 推荐 16GB+ 显存
- 云端托管：可放在 Vercel / Railway / Fly.io 等 PaaS 平台
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 需要 whichllm 解决具体问题的开发者与运营人员
- 本地部署优先选 GGUF 量化模型，节省显存并保持响应速度
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- 显存不足直接 OOM — 优先降低 context 或换更小的量化模型
- Python 依赖冲突：建议用 venv / uv 隔离环境
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
- +MIT 协议，可免费商用
- +完全开源免费，无授权费用
- +本地部署，数据完全自主可控
- +开发者社区支持，遇问题可查可问
- −安装和初始配置可能需要一定技术基础
- −功能完整性通常不如成熟商业产品
- −技术支持主要依赖开源社区，响应速度不稳定
AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。
建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。
✅ MIT 协议 — 最宽松的开源协议之一，可自由商用、修改、分发，仅需保留版权声明。
总体来看，whichllm AI技能包 是一款质量优秀的AI工具，在同类工具中具备一定竞争力。AI Skill Hub 将持续追踪其更新动态，建议收藏备用，结合自身场景选择合适时机引入使用。
| 原始名称 | whichllm |
| 原始描述 | 开源AI工具：Find the local LLM that actually runs and performs best on your hardware. Ranked。⭐839 · Python |
| Topics | LLM测评本地部署性能基准硬件优化命令行工具 |
| GitHub | https://github.com/Andyyyy64/whichllm |
| License | MIT |
| 语言 | Python |
收录时间：2026-05-16 · 更新时间：2026-05-19 · License：MIT · AI Skill Hub 不对第三方内容的准确性作法律背书。