Mac原生AI代码自动补全工具,基于Llama模型本地离线运行,无需云端依赖。集成系统级无缝补全功能,支持多编程语言,隐私安全高效,适合开发者提升编码效率。
代码补全本地AI离线运行
⭐ 175 · Swift
轻量级开源AI聊天应用,基于Flutter跨平台开发,支持桌面和移动端。集成多种LLM模型,界面简洁易用,适合想要自托管AI助手的开发者和普通用户。
AI聊天跨平台开源
⭐ 131 · Dart
AI工具
Web服务器Go应用容器化
⭐ 120 · Go
一个开源的个人应用平台,集成博客、聊天、新闻、邮件、天气等多项功能于一体。无广告、无跟踪,致力于为用户提供隐私保护的一站式个人应用体验,适合重视隐私和自主性的用户。
个人应用平台开源隐私保护
⭐ 90 · Go
基于检索增强生成(RAG)的开源AI终端工具,提供代码协作的TUI界面。支持AI与开发者实时互动,利用RAG技术增强代码理解和生成能力,适合需要AI辅助编程的开发者。
终端应用RAG技术代码协作
⭐ 87 · Rust
基于检索增强生成(RAG)技术的开源AI聊天机器人与文档管理平台。集成FastAPI、Docker和Kubernetes支持,提供完整的文档索引、智能问答和对话管理功能。适合企业知识库构建、客服系统和内容管理的开发者。
RAG文档管理AI聊天机器人
⭐ 81 · Python
AI工具
token计数CLI工具成本评估
⭐ 59 · TypeScript
AI工具
AI角色扮演隐私优先本地部署
⭐ 59 · TypeScript
为大语言模型教授潜在推理能力的开源框架。通过词汇叠加态实现链式思维,帮助LLM学习内部推理机制。适合研究者和AI开发者探索模型推理优化的新范式。
思维链潜在推理大语言模型
⭐ 47 · Python
针对AMD Ryzen AI MAX+ 395处理器的本地大语言模型优化部署指南。提供63-97 tokens/秒的直接MoE推理性能,支持128GB内存配置。适合AI PC开发者、边缘计算爱好者和AMD硬件用户快速部署高效推理。
本地LLMMoE推理AMD优化
⭐ 43 · Python
用Rust开发的开源AI网关和LLM代理系统。提供统一的API接口管理多个大语言模型,支持MCP协议,适合需要构建企业级AI基础设施、实现模型切换和负载均衡的开发团队。
MCP协议LLM代理AI网关
⭐ 41 · Rust
专为分布式推理工作负载设计的Variant优化自适应调度器。动态优化多变体推理任务分配,提升资源利用率和吞吐量。适合部署大规模LLM推理服务、需要动态负载均衡的AI工程师和平台架构师。
分布式推理自适应调度负载均衡
⭐ 39 · Go
自托管的AI流量管理网关,支持MCP协议、API网关和AI治理功能。为开发者提供统一的AI应用访问控制、流量管理和安全治理能力,适合企业级AI应用部署和API网关场景。
AI网关MCP协议流量管理
⭐ 39 · Rust
AI工具
RAG系统知识库向量数据库
⭐ 38 · Python
AI工具
蛋白质结构PyMOL插件自然语言处理
⭐ 37 · Python
专为Trss Yunzai和NapCat机器人框架设计的开源MCP对话插件。支持本地工具调用、自定义工具集成和MCP服务配置,适合QQ机器人开发者和Yunzai社区用户扩展AI能力。
MCP聊天机器人QQ机器人
⭐ 34 · JavaScript
将量子随机数生成器集成到大模型令牌采样中的工具。支持接入任意熵源,通过gRPC提供分布式推理服务。适合需要高质量随机性的LLM应用开发者和研究人员。
量子随机数LLM采样熵源集成
⭐ 30 · Python
一个基于Rust原生开发的轻量级高性能LLM推理引擎,专为树莓派及ARM64架构设备优化。它旨在让低功耗硬件能够高效运行大语言模型,非常适合嵌入式开发者和边缘计算爱好者。
LLM推理RustARM64
⭐ 23 · Rust
macOS系统级AI助手,提供全局悬浮窗口快速调用Gemini、Claude等多个AI服务。支持浏览器集成和聊天功能,让用户在任何应用中无缝使用AI能力,提升工作效率。适合经常需要AI辅助的Mac用户。
macOS应用系统悬浮窗多AI聚合
⭐ 21 · Swift
纯C++23实现的Apple Silicon优化Llama推理引擎。专为MacBook/iPad Pro等苹果芯片设备设计,充分利用Metal GPU加速实现高效推理。适合追求极致性能和本地隐私的开发者和AI爱好者。
Apple芯片优化Llama推理GPU加速
⭐ 19 · C++