LLM-KG-FineTuner
AI Skill Hub 推荐使用：LLM-KG-FineTuner 是一款优质的AI工具。AI 综合评分 6.2 分，在同类工具中表现稳健。如果你正在寻找可靠的AI工具解决方案，这是一个值得深入了解的选择。
**为什么要使用开源工具而非商业 SaaS？**
对于个人开发者和有隐私需求的用户，本地部署的开源工具意味着数据不离本机，不受第三方服务商的数据政策约束。同时，开源工具通常没有使用次数限制和月度费用，一次安装即可长期使用，对于高频使用场景的总拥有成本（TCO）远低于订阅制商业工具。
**安装与环境准备**
LLM-KG-FineTuner 依赖 Python 运行环境。建议通过 pyenv（Python）或 nvm（Node.js）管理 Python 版本，避免全局环境污染。对于新手用户，推荐先创建虚拟环境（python -m venv venv && source venv/bin/activate），再安装依赖，这样即使出现问题也可以随时删除虚拟环境重新开始，不影响系统稳定性。
**社区与维护**
GitHub Issue 和 Discussion 是获取帮助的最快渠道。在提问前建议先检查 Closed Issues（已关闭的问题），大多数常见问题都已有解答。遇到 Bug 时，提供 pip list 的输出、完整错误堆栈和最小可复现示例，能显著提高开发者响应速度。AI Skill Hub 将持续追踪 LLM-KG-FineTuner 的版本更新，及时通知重要功能变化。
LLM-KG-FineTuner是一个先进的端到端系统，专门用于将非结构化文档（PDF/HTML）转换为结构化知识图谱。该系统结合了大型语言模型的强大能力与知识。⭐9 · Python
LLM-KG-FineTuner 是一款基于 Python 开发的开源工具，专注于 installable、python 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
LLM-KG-FineTuner是一个先进的端到端系统，专门用于将非结构化文档（PDF/HTML）转换为结构化知识图谱。该系统结合了大型语言模型的强大能力与知识。⭐9 · Python
LLM-KG-FineTuner 是一款基于 Python 开发的开源工具，专注于 installable、python 等核心功能。作为 GitHub 开源项目，它拥有活跃的社区支持和持续的版本迭代，代码完全透明可审计，支持本地部署以保护数据隐私。无论是个人使用还是集成到企业工作流，都能提供稳定可靠的解决方案。
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
# 方式一：pip 安装（推荐）
pip install llm-kg-finetuner
# 方式二：虚拟环境安装（推荐生产环境）
python -m venv .venv
source .venv/bin/activate # Windows: .venv\Scripts\activate
pip install llm-kg-finetuner
# 方式三：从源码安装（获取最新功能）
git clone https://github.com/hz1012/LLM-KG-FineTuner
cd LLM-KG-FineTuner
pip install -e .
# 验证安装
python -c "import llm_kg_finetuner; print('安装成功')"
- 访问 GitHub 仓库页面
- 按照 README 文档完成依赖安装
- 根据系统环境完成初始化配置
- 参考官方示例或文档开始使用
- 遇到问题可在 GitHub Issues 中查找解答
# 命令行使用
llm-kg-finetuner --help
# 基本用法
llm-kg-finetuner input_file -o output_file
# Python 代码中调用
import llm_kg_finetuner
# 示例
result = llm_kg_finetuner.process("input")
print(result)
# llm-kg-finetuner 配置文件示例（config.yml） app: name: "llm-kg-finetuner" debug: false log_level: "INFO" # 运行时指定配置文件 llm-kg-finetuner --config config.yml # 或通过环境变量配置 export LLM_KG_FINETUNER_API_KEY="your-key" export LLM_KG_FINETUNER_OUTPUT_DIR="./output"
简介
# LLM-KG-FineTuner
从非结构化文档到知识图谱的端到端自动化系统
LLM-KG-FineTuner 能够将 PDF/HTML 文档自动转换为结构化知识图谱，支持实体抽取、关系识别、图谱增强和模型微调。适用于威胁情报分析、技术文档结构化、知识管理等场景。
---
🎯 核心能力
| 能力 | 说明 | 必需依赖 |
|---|---|---|
| 📄 **文档解析** | PDF/HTML → Markdown（基于 Docling，需要下载模型） | 无（可选：ModelScope） |
| 🔍 **智能分块** | 基于语义连贯性的动态分块 | LLM API |
| 🧠 **知识抽取** | 实体 + 关系联合抽取 | LLM API |
| 🔗 **实体对齐** | 跨 chunk 实体消歧与合并 | 无（默认开启） |
| 🚀 **图谱增强** | Elasticsearch + 外部知识注入 | ES + Embedding API |
| 🎓 **模型微调** | 基于抽取数据微调 LLM | GPU + 训练数据 |
---
📚 进阶功能
1. 安装依赖
pip install -r requirements.txt系统要求
- Python 3.9+
- 4GB+ RAM（基础模式）
- 8GB+ RAM（增强模式）
3. 安装依赖
pip install -r requirements.txt
⚡ 5分钟快速开始
🛠️ 环境安装
安装步骤
```bash
4. 运行 Demo
```bash
基础运行（使用配置文件中的默认标题）
python main.py --input test_samples/apt-report.pdf --output demo_output
📖 运行模式
📂 示例输入与输出
Q2: 没有 Elasticsearch 能运行吗？
A: 完全可以！ 基础模式不需要 Elasticsearch。只有在需要图谱增强功能时才需要配置 ES。
Q7: 可以在 CPU 上运行吗？
A: 可以！ 基础模式完全在 CPU 上运行。只有模型微调需要 GPU。
---
3. 配置 API Key
复制配置文件并填写你的 API Key：
cp config.minimal.example.json config.json然后编辑 config.json，填写你的 LLM API Key：
{
"openai": {
"api_key": "你的API密钥",
"base_url": "https://api.openai.com/v1",
"model": "gpt-4"
}
}💡 支持任何 OpenAI 兼容 API：OpenAI、Azure、阿里云通义千问、Ollama 等
⚙️ 配置文件说明
可选项（增强模式）
| 配置项 | 默认值 | 说明 |
|---|---|---|
graph_enhancer.enable | false | 是否启用图谱增强 |
graph_enhancer.elasticsearch.hosts | ["http://localhost:9200"] | ES 地址 |
graph_enhancer.elasticsearch.auth | null | ES 认证信息 [用户名, 密码] |
quality_filter.enable_quality_filter | false | 是否启用质量过滤 |
完整配置模板
- 最小配置：
config.minimal.example.json（基础模式） - 完整配置：
config.example.json（所有功能）
---
Q3: 报错 "API key not configured"
A: 请检查 config.json 中的 openai.api_key 是否已填写。不要使用示例文件中的占位符。
🔒 隐私保护\n\n`config.json` 已加入 `.gitignore`，你的 API Key 不会被提交到仓库。请放心填写配置！
---
Q1: 支持哪些 LLM API？
A: 支持任何 OpenAI 兼容 API，包括： - OpenAI (https://api.openai.com/v1) - 阿里云通义千问 (https://dashscope.aliyuncs.com/compatible-mode/v1) - Azure OpenAI - Ollama 本地部署 (http://localhost:11434/v1) - 其他兼容 OpenAI 接口的服务
2. 下载 PDF 解析模型（仅 PDF 处理需要）
如果你需要处理 PDF 文件，需要下载 Docling 模型：
```bash python docling_download.py
模型将下载到 ./docling-models 目录（约 1-2GB）
```
💡 说明： - 模型使用 ModelScope 下载（国内更快） - 如果只处理 HTML 文件，可以跳过此步骤 - 模型下载一次后会缓存在本地，无需重复下载
4. 下载 Docling 模型（PDF 解析必需）
python docling_download.py ```
---
模型微调
参见 fine_tune_demo/README.md 了解如何使用抽取数据微调 LLM。
❓ 常见问题 FAQ
LLM-KG-FineTuner 是一个端到端的自动化系统，能够将非结构化文档转换为结构化知识图谱，支持实体抽取、关系识别、图谱增强和模型微调。它适用于威胁情报分析、技术文档结构化、知识管理等场景。
LLM-KG-FineTuner 的核心能力包括文档解析、智能分块、知识抽取、实体对齐、图谱增强和模型微调。这些能力可以帮助用户自动化知识图谱的构建和维护。
LLM-KG-FineTuner 的环境依赖包括 Python 3.9+、4GB+ RAM（基础模式）和 8GB+ RAM（增强模式）。用户需要安装依赖项并配置 API Key 才能正常使用系统。
LLM-KG-FineTuner 的安装步骤包括安装依赖项、配置 API Key 和下载 PDF 解析模型。用户可以通过 pip 安装依赖项、复制配置文件并填写 API Key 以及下载 Docling 模型来完成安装。
LLM-KG-FineTuner 的使用教程包括运行 Demo、配置 API Key 和使用系统。用户可以通过运行 Demo、复制配置文件并填写 API Key 以及使用系统来完成使用。
LLM-KG-FineTuner 的配置说明包括配置 API Key、设置图谱增强和质量过滤等选项。用户可以通过复制配置文件并填写 API Key 以及设置选项来完成配置。
LLM-KG-FineTuner 支持任何 OpenAI 兼容 API，包括 OpenAI、阿里云通义千问、Azure OpenAI 和 Ollama 本地部署等。用户可以通过配置 API Key 来使用这些 API。
LLM-KG-FineTuner 的工作流包括下载 PDF 解析模型、配置 API Key 和使用系统。用户可以通过下载 Docling 模型、复制配置文件并填写 API Key 以及使用系统来完成工作流。
LLM-KG-FineTuner 的常见问题包括支持哪些 LLM API、如何下载 PDF 解析模型等。用户可以通过查看 FAQ 来解决这些问题。
- 构建企业知识库 / RAG 检索应用的团队
- 生产部署优先使用 Docker Compose 隔离依赖，并挂载 volume 持久化数据
- 本地部署优先选 GGUF 量化模型，节省显存并保持响应速度
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- 容器内无法访问宿主机 localhost — 使用 host.docker.internal
- 显存不足直接 OOM — 优先降低 context 或换更小的量化模型
- Python 依赖冲突：建议用 venv / uv 隔离环境
- Docker：LLM-KG-FineTuner 提供官方镜像，docker compose up 一键启动
- 本地部署：CPU 8GB 起，GPU 推荐 16GB+ 显存
- 云端托管：可放在 Vercel / Railway / Fly.io 等 PaaS 平台
- 开源免费，支持本地部署，数据完全自主可控
- 活跃的 GitHub 开源社区，持续迭代更新
- 提供详细文档和使用示例，新手友好
- 支持自定义配置，灵活适配不同使用环境
- 可作为基础组件集成进现有技术栈或进行二次开发
- 构建企业知识库 / RAG 检索应用的团队
- 生产部署优先使用 Docker Compose 隔离依赖，并挂载 volume 持久化数据
- 本地部署优先选 GGUF 量化模型，节省显存并保持响应速度
- API key 直接提交到 git 仓库（请用 .env 并加入 .gitignore）
- 容器内无法访问宿主机 localhost — 使用 host.docker.internal
- 显存不足直接 OOM — 优先降低 context 或换更小的量化模型
- Python 依赖冲突：建议用 venv / uv 隔离环境
- 本地部署运行，保护数据隐私，满足合规要求
- 自定义集成到现有系统，扩展技术栈能力
- 作为开源基础组件进行商业化二次开发
- +MIT 协议，可免费商用
- +完全开源免费，无授权费用
- +本地部署，数据完全自主可控
- +开发者社区支持，遇问题可查可问
- −安装和初始配置可能需要一定技术基础
- −功能完整性通常不如成熟商业产品
- −技术支持主要依赖开源社区，响应速度不稳定
AI Skill Hub 为第三方内容聚合平台，本页面信息基于公开数据整理，不对工具功能和质量作任何法律背书。
建议在沙箱或测试环境中充分验证后，再部署至生产环境，并做好必要的安全评估。
✅ MIT 协议 — 最宽松的开源协议之一，可自由商用、修改、分发，仅需保留版权声明。
总体来看，LLM-KG-FineTuner 是一款质量良好的AI工具，在同类工具中具备一定竞争力。AI Skill Hub 将持续追踪其更新动态，建议收藏备用，结合自身场景选择合适时机引入使用。
| 原始名称 | LLM-KG-FineTuner |
| 原始描述 | 开源AI工具：LLM-KG-FineTuner是一个先进的端到端系统，专门用于将非结构化文档（PDF/HTML）转换为结构化知识图谱。该系统结合了大型语言模型的强大能力与知识。⭐9 · Python |
| Topics | installablepython |
| GitHub | https://github.com/hz1012/LLM-KG-FineTuner |
| License | MIT |
| 语言 | Python |
收录时间：2026-05-17 · 更新时间：2026-05-18 · License：MIT · AI Skill Hub 不对第三方内容的准确性作法律背书。