📄 工具详情 ⚙️ 安装教程 📚 使用教程
能力标签
🤖 Agent🔄 工作流🐳 Docker💻 CLI🔗 REST API🧬 Embedding🖼 视觉✨ GPT🖥 本地 LLM
🛠
AI工具

llama-cpp AI技能包

基于 C++ · 开源免费，本地部署，数据完全自主可控
英文名：llama-cpp
⭐ 110.4k Stars 🍴 18.3k Forks 💻 C++ 📄 MIT 🏷 AI 9.2分
9.2AI 综合评分
LLM推理C++实现GGML量化本地部署
✦ AI Skill Hub 推荐

AI Skill Hub 强烈推荐：llama-cpp AI技能包 是一款优质的AI工具。在 GitHub 上收获超过 110.4k 颗 Star，AI 综合评分 9.2 分，在同类工具中表现稳健。如果你正在寻找可靠的AI工具解决方案，这是一个值得深入了解的选择。

📚 深度解析
llama-cpp AI技能包 是一款基于 C++ 的开源工具，在 GitHub 上收获 110k+ Star，是LLM推理、C++实现、GGML量化、本地部署领域中的优质开源项目。开源工具的最大优势在于代码完全透明，你可以审计每一行代码的安全性，也可以根据自身需求进行二次开发和定制。

**为什么要使用开源工具而非商业 SaaS？**
对于个人开发者和有隐私需求的用户，本地部署的开源工具意味着数据不离本机，不受第三方服务商的数据政策约束。同时，开源工具通常没有使用次数限制和月度费用，一次安装即可长期使用，对于高频使用场景的总拥有成本（TCO）远低于订阅制商业工具。

**安装与环境准备**
llama-cpp AI技能包 依赖 C++ 运行环境。建议通过 pyenv（Python）或 nvm（Node.js）管理 C++ 版本，避免全局环境污染。对于新手用户，推荐先创建虚拟环境（python -m venv venv && source venv/bin/activate），再安装依赖，这样即使出现问题也可以随时删除虚拟环境重新开始，不影响系统稳定性。

**社区与维护**
GitHub Issue 和 Discussion 是获取帮助的最快渠道。在提问前建议先检查 Closed Issues（已关闭的问题），大多数常见问题都已有解答。遇到 Bug 时，提供 pip list 的输出、完整错误堆栈和最小可复现示例，能显著提高开发者响应速度。AI Skill Hub 将持续追踪 llama-cpp AI技能包 的版本更新，及时通知重要功能变化。
📋 工具概览

高效的大语言模型C/C++推理框架，支持在本地CPU/GPU上运行量化LLM模型，具有内存占用小、推理速度快的特点。适合想要部署私有AI应用、边缘计算场景的开发者和研究人员。

llama-cpp AI技能包 是一款基于 C++ 开发的开源工具，专注于 LLM推理、C++实现、GGML量化 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。

GitHub Stars
⭐ 110.4k
开发语言
C++
支持平台
Windows / macOS / Linux
维护状态
活跃维护，更新频繁
开源协议
MIT
AI 综合评分
9.2 分
工具类型
AI工具
Forks
18.3k
📖 中文文档
以下内容由 AI Skill Hub 根据项目信息自动整理，如需查看完整原始文档请访问底部「原始来源」。

高效的大语言模型C/C++推理框架，支持在本地CPU/GPU上运行量化LLM模型，具有内存占用小、推理速度快的特点。适合想要部署私有AI应用、边缘计算场景的开发者和研究人员。

llama-cpp AI技能包 是一款基于 C++ 开发的开源工具，专注于 LLM推理、C++实现、GGML量化 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。

📌 核心特色
  • 开源免费，支持本地部署，数据完全自主可控
  • 活跃的 GitHub 开源社区，持续迭代更新
  • 提供详细文档和使用示例，新手友好
  • 支持自定义配置，灵活适配不同使用环境
  • 可作为基础组件集成进现有技术栈或进行二次开发
🎯 主要使用场景
  • 本地部署运行，保护数据隐私，满足合规要求
  • 自定义集成到现有系统，扩展技术栈能力
  • 作为开源基础组件进行商业化二次开发
以下安装命令基于项目开发语言和类型自动生成，实际以官方 README 为准。
安装命令
# 克隆仓库
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp

# 查看安装说明
cat README.md

# 按 README 完成环境依赖安装后即可使用
📋 安装步骤说明
  1. 访问 GitHub 仓库页面
  2. 按照 README 文档完成依赖安装
  3. 根据系统环境完成初始化配置
  4. 参考官方示例或文档开始使用
  5. 遇到问题可在 GitHub Issues 中查找解答
以下用法示例由 AI Skill Hub 整理，涵盖最常见的使用场景。
常用命令 / 代码示例
# 查看帮助
llama.cpp --help

# 基本运行
llama.cpp [options] <input>

# 详细使用说明请查阅文档
# https://github.com/ggml-org/llama.cpp
以下配置示例基于典型使用场景生成，具体参数请参照官方文档调整。
配置示例
# llama.cpp 配置说明
# 查看配置选项
llama.cpp --config-example > config.yml

# 常见配置项
# output_dir: ./output
# log_level: info
# workers: 4

# 环境变量（覆盖配置文件）
export LLAMA.CPP_CONFIG="/path/to/config.yml"
📑 README 深度解析 真实文档 完整度 38/100 查看 GitHub 原文 →
以下内容由系统直接从 GitHub README 解析整理，保留代码块、表格与列表结构。

llama.cpp

llama

License: MIT Release Server

Manifesto / ggml / ops

LLM inference in C/C++

Description

The main goal of llama.cpp is to enable LLM inference with minimal setup and state-of-the-art performance on a wide range of hardware - locally and in the cloud.

  • Plain C/C++ implementation without any dependencies
  • Apple silicon is a first-class citizen - optimized via ARM NEON, Accelerate and Metal frameworks
  • AVX, AVX2, AVX512 and AMX support for x86 architectures
  • RVV, ZVFH, ZFH, ZICBOP and ZIHINTPAUSE support for RISC-V architectures
  • 1.5-bit, 2-bit, 3-bit, 4-bit, 5-bit, 6-bit, and 8-bit integer quantization for faster inference and reduced memory use
  • Custom CUDA kernels for running LLMs on NVIDIA GPUs (support for AMD GPUs via HIP and Moore Threads GPUs via MUSA)
  • Vulkan and SYCL backend support
  • CPU+GPU hybrid inference to partially accelerate models larger than the total VRAM capacity

The llama.cpp project is the main playground for developing new features for the ggml library.

<details> <summary>Models</summary>

Typically finetunes of the base models below are supported as well.

Instructions for adding support for new models: HOWTO-add-model.md

Text-only

Multimodal

</details>

<details> <summary>Bindings</summary>

</details>

<details> <summary>UIs</summary>

(to have a project listed here, it should clearly state that it depends on llama.cpp)

</details>

<details> <summary>Tools</summary>

  • akx/ggify – download PyTorch models from Hugging Face Hub and convert them to GGML
  • akx/ollama-dl – download models from the Ollama library to be used directly with llama.cpp
  • crashr/gppm – launch llama.cpp instances utilizing NVIDIA Tesla P40 or P100 GPUs with reduced idle power consumption
  • gpustack/gguf-parser - review/check the GGUF file and estimate the memory usage
  • Styled Lines (proprietary licensed, async wrapper of inference part for game development in Unity3d with pre-built Mobile and Web platform wrappers and a model example)
  • unslothai/unsloth – 🦥 exports/saves fine-tuned and trained models to GGUF (Apache-2.0)

</details>

<details> <summary>Infrastructure</summary>

- Paddler - Open-source LLMOps platform for hosting and scaling AI in your own infrastructure - GPUStack - Manage GPU clusters for running LLMs - llama_cpp_canister - llama.cpp as a smart contract on the Internet Computer, using WebAssembly - llama-swap - transparent proxy that adds automatic model switching with llama-server - Kalavai - Crowdsource end to end LLM deployment at any scale - llmaz - ☸️ Easy, advanced inference platform for large language models on Kubernetes. - LLMKube - Kubernetes operator for llama.cpp with multi-GPU and Apple Silicon Metal support" </details>

<details> <summary>Games</summary>

  • Lucy's Labyrinth - A simple maze game where agents controlled by an AI model will try to trick you.

</details>

Dependencies

  • yhirose/cpp-httplib - Single-header HTTP server, used by llama-server - MIT license
  • stb-image - Single-header image format decoder, used by multimodal subsystem - Public domain
  • nlohmann/json - Single-header JSON library, used by various tools/examples - MIT License
  • miniaudio.h - Single-header audio format decoder, used by multimodal subsystem - Public domain
  • subprocess.h - Single-header process launching solution for C and C++ - Public domain

Quick start

Getting started with llama.cpp is straightforward. Here are several ways to install it on your machine:

Once installed, you'll need a model to work with. Head to the Obtaining and quantizing models section to learn more.

Example command:

```sh

[`llama-simple`](examples/simple)

A minimal example for implementing apps with llama.cpp. Useful for developers.

- <details> <summary>Basic text completion</summary>

    llama-simple -m model.gguf

    # Hello my name is Kaitlyn and I am a 16 year old girl. I am a junior in high school and I am currently taking a class called "The Art of

</details>

Recent API changes

Launch OpenAI-compatible API server

llama-server -hf ggml-org/gemma-3-1b-it-GGUF ```

🎯 aiskill88 AI 点评 A 级 2026-05-22

业界最成熟的轻量级LLM推理框架，GitHub星标超11万，代码质量高、更新活跃，是本地AI部署的黄金标准方案。

📚 实用指南（长尾问题）
适合谁
  • 构建多智能体协作系统的 Agent 开发者
  • 构建企业知识库 / RAG 检索应用的团队
最佳实践
  • 生产部署优先使用 Docker Compose 隔离依赖，并挂载 volume 持久化数据
  • 本地部署优先选 GGUF 量化模型，节省显存并保持响应速度
  • Agent 任务先做 dry-run 验证工具调用链，再开启自主执行
常见错误
  • API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
  • 容器内无法访问宿主机 localhost — 使用 host.docker.internal
  • 显存不足直接 OOM — 优先降低 context 或换更小的量化模型
部署方案
  • Docker：llama-cpp 提供官方镜像，docker compose up 一键启动
  • CLI：直接 npm install -g / pip install，命令行调用
  • 本地部署：CPU 8GB 起，GPU 推荐 16GB+ 显存
  • 云端托管：可放在 Vercel / Railway / Fly.io 等 PaaS 平台
相关搜索
llama-cpp 中文教程llama-cpp 安装报错怎么办llama-cpp Docker 部署llama-cpp Agent 工作流llama-cpp 与同类工具对比llama-cpp 最佳实践llama-cpp 适合谁用
⚡ 核心功能
👥 适合谁
  • 构建多智能体协作系统的 Agent 开发者
  • 构建企业知识库 / RAG 检索应用的团队
⭐ 最佳实践
  • 生产部署优先使用 Docker Compose 隔离依赖，并挂载 volume 持久化数据
  • 本地部署优先选 GGUF 量化模型，节省显存并保持响应速度
  • Agent 任务先做 dry-run 验证工具调用链，再开启自主执行
⚠️ 常见错误
  • API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
  • 容器内无法访问宿主机 localhost — 使用 host.docker.internal
  • 显存不足直接 OOM — 优先降低 context 或换更小的量化模型
👥 适合人群
AI 技术爱好者研究人员和学生开发者和工程师技术创业者
🎯 使用场景
  • 本地部署运行，保护数据隐私，满足合规要求
  • 自定义集成到现有系统，扩展技术栈能力
  • 作为开源基础组件进行商业化二次开发
⚖️ 优点与不足
✅ 优点
  • +GitHub 110.4k Star，社区高度认可
  • +MIT 协议，可免费商用
  • +完全开源免费，无授权费用
  • +本地部署，数据完全自主可控
  • +开发者社区支持，遇问题可查可问
⚠️ 不足
  • −安装和初始配置可能需要一定技术基础
  • −功能完整性通常不如成熟商业产品
  • −技术支持主要依赖开源社区，响应速度不稳定
⚠️ 使用须知

AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。

建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。

📄 License 说明

✅ MIT 协议 — 最宽松的开源协议之一，可自由商用、修改、分发，仅需保留版权声明。

🔗 相关工具推荐
vllm AI技能包
高性能开源LLM推理和服务引擎，提供高吞吐量和低内存占用。支持多种硬件平台（CUDA/AMD），适合需要快速部署大语言模
TensorRT-LLM
NVIDIA官方开源项目，为大语言模型推理优化的Python框架。提供高效的LLM编译、部署和服务能力，支持多种硬件加速
Ollama 本地大模型运行
AI工具
Open WebUI 本地AI聊天界面
AI工具
🧩 你可能还需要
基于当前 Skill 的能力图谱，自动补全的工具组合
技能寻求者
MCP · Agent · 工作流
开源AI工具：RAG知识库系统
基于Vue.js前端的RAG知识库系统，提供高效的知识检索和生成功能，助力AI应用开发
CrewAI 多代理协作平台
MCP · Agent · 工作流
gptme Agent工作流
MCP · Agent · 工作流
LEANN AI技能包
MCP · Agent · 工作流
DeepCode Agent工作流
MCP · Agent · 工作流
❓ 常见问题 FAQ
支持CPU推理，同时兼容CUDA、Metal等GPU加速，可在从树莓派到服务器的各类设备上运行。
💡 AI Skill Hub 点评

总体来看，llama-cpp AI技能包 是一款质量优秀的AI工具，在同类工具中具备一定竞争力。AI Skill Hub 将持续追踪其更新动态，建议收藏备用，结合自身场景选择合适时机引入使用。

📚 深入学习 llama-cpp AI技能包
查看分步骤安装教程和完整使用指南，快速上手这款工具
⚙️ 安装教程 📚 使用教程
🌐 原始信息
原始名称 llama-cpp
原始描述 开源AI工具：LLM inference in C/C++。⭐110.4k · C++
Topics LLM推理C++实现GGML量化本地部署
GitHub https://github.com/ggml-org/llama.cpp
License MIT
语言 C++
🔗 原始来源
🐙 GitHub 仓库  https://github.com/ggml-org/llama.cpp

收录时间：2026-05-16 · 更新时间：2026-05-19 · License：MIT · AI Skill Hub 不对第三方内容的准确性作法律背书。