高性能大语言模型推理服务框架,支持多种模型优化和加速技术。专为LLM服务部署设计,提供结构化生成、动态批处理等特性,适合需要高效推理的开发者和企业。
LLM推理高性能服务CUDA优化
⭐ 27.9k · Python
💬
Langfuse LLM监控与日志
Prompt模板
8.5
Prompt模板
LLM监控提示词管理可观测性
⭐ 27.1k · TypeScript
轻量级、高效能的多智能体工作流框架。支持复杂AI任务编排、智能体协作和LLM集成,为开发者提供灵活的工作流自动化解决方案。适合需要构建多智能体系统的AI工程师和企业开发团队。
多智能体工作流编排LLM框架
⭐ 26.4k · Python
FastMCP是一个开源Python框架,用于快速构建MCP服务器和客户端。提供Pythonic API设计,简化模型上下文协议的开发流程。适合AI应用开发者、LLM集成工程师和Agent框架构建者使用。
MCP服务器Python框架LLM集成
⭐ 25.1k · Python
AI工具
AI智能体工作流编排有状态代理
⭐ 22.7k · Python
Prompt模板
LLM代理Prompt模板12因素原则
⭐ 19.8k · TypeScript
Prompt模板
LLM监控Prompt管理评估框架
⭐ 19.3k · Python
💬
Outlines 结构化LLM输出
Prompt模板
8.5
专注于LLM结构化输出的开源框架。提供Prompt模板、JSON Schema约束、语法规范等能力,帮助开发者确保大模型生成符合预期格式的结构化数据,适合构建可靠的AI应用系统。
结构化输出提示词工程JSON约束
⭐ 13.8k · Python
基于Java的开源LLM应用开发框架,支持多种大模型和MCP协议集成。提供链式调用、向量嵌入、提示词管理等完整工具链,适合Java开发者构建智能应用。
Java框架LLM集成MCP协议
⭐ 12.0k · Java
微软开源的LLM应用开发框架,提供从原型设计、测试到生产部署的完整工作流。支持Prompt模板管理、链式调用编排和质量评估,适合AI应用开发者和LLM产品团队。
提示词工程LLM应用工作流编排
⭐ 11.1k · Python
Ollama官方Python客户端库,用于与本地大语言模型交互。提供简洁的API接口,支持模型加载、推理、流式输出等功能。适合Python开发者快速集成离线AI能力到应用中。
Python库LLM客户端离线模型
⭐ 10.0k · Python
🛠
Verba智能RAG聊天机器人
AI工具
🔥 热门
8.5
基于Weaviate向量数据库的检索增强生成(RAG)聊天机器人框架。支持多种数据源接入、语义搜索和智能回答,适合需要构建知识库问答系统的开发者和企业用户。
RAG聊天机器人向量搜索
⭐ 7.7k · Python
⚙️
AgentVerse多智能体工作流
Agent工作流
8.5
Agent工作流
多智能体工作流编排LLM应用
⭐ 5.0k · JavaScript
基于LLM、RAG和Agent循环的下一代个人AI助手框架。集成MCP工具生态,支持多轮对话、知识检索增强和自主决策能力,适合开发者构建企业级智能应用系统。
MCP协议Agent框架LLM应用
⭐ 4.7k · Go
高性能本地网页内容提取工具,专为LLM优化。支持网页爬取、内容提取、结构化解析,采用Rust开发确保速度和安全。适合AI应用开发者、数据爬虫工程师和智能体框架集成使用。
网页爬取内容提取LLM工具
⭐ 1.2k · Rust
MCP工具
aillmmcp
⭐ 8 · Rust
基于大语言模型的开源金融交易多智能体工作流框架。支持多代理协作、智能决策和自动化交易,适合量化交易员、金融科技开发者和AI研究人员探索智能交易系统。
多智能体金融交易LLM
⭐ 74.5k · Python
Agent工作流
RAGLLM应用企业搜索
⭐ 59.7k · Jupyter Notebook
Agent工作流
智能体工作流LLM
⭐ 48.4k · Python
LLM驱动的股票智能分析工作流,整合A/H/美股多数据源、实时新闻、AI决策引擎与多渠道推送能力。支持定时自动运行,适合量化交易者、股市投资者及AI应用爱好者。
量化交易LLM应用AI工作流
⭐ 35.6k · Python