QuantumFlow AI技能包

🚀 快速开始

📦 安装

git clone <repo-url>
cd QuantumFlow
pip install -e .

安装并启动 SGLang

pip install sglang

python -m sglang.launch_server \ --model-path Qwen/Qwen2.5-7B-Instruct \ --port 30000

克隆并安装

git clone https://github.com/quantumflow/quantumflow.git cd quantumflow pip install -e ".[dev]"

🏃 部署

💻 启动

```bash

一键启动（推荐）

./scripts/qf

或手动启动

python -m quantumflow.cli serve ```

浏览器打开 http://localhost:8000 进入前端。

🔧 配置示例

```yaml

启动 TGI 服务器

docker run -d --gpus all -p 8080:80 \ -v /data/models:/data/models \ ghcr.io/huggingface/text-generation-inference:latest \ --model-id Qwen/Qwen2.5-7B-Instruct \ --trust-remote-code

运行测试

pytest tests/ -v

📖 API 使用

使用租户 API Key 发起推理

curl -X POST http://localhost:8000/api/v1/inference/generate \ -H "Content-Type: application/json" \ -H "X-API-Key: qk_your_api_key" \ -d '{"model": "Qwen2.5-1.5B", "prompt": "Hello"}' ```

configs/production.yaml

app: name: "QuantumFlow" environment: "production" log_level: "INFO"

scheduler: default_strategy: "adaptive" max_concurrent_requests: 5000 queue_max_size: 50000 strategies: gang: enabled: true timeout_seconds: 600 pack: enabled: true max_batch_size: 64

inference: default_backend: "huggingface" backends: huggingface: torch_compile: true # 启用 torch.compile 加速 prefill_chunk_size: 512 # Chunked Prefill 块大小 enable_chunked_prefill: true # 启用分块预填充 vllm: tensor_parallel_size: 1 gpu_memory_utilization: 0.80 max_model_len: 2048 enforce_eager: false enable_chunked_prefill: true

cluster: heartbeat_interval_seconds: 5 heartbeat_timeout_seconds: 60 ```

---

🔧 多后端配置

configs/tgi.yaml

inference: default_backend: "tgi" backends: tgi: backend_type: "text-generation-inference" base_url: "http://localhost:8080" timeout: 300

configs/sglang.yaml

inference: default_backend: "sglang" backends: sglang: backend_type: "sglang" base_url: "http://localhost:30000" timeout: 300 # SGLang 特有参数 max_running_blocks: 128 mem_fraction_usable: 0.88

configs/development.yaml

grpc: enabled: true port: 50051 max_workers: 10 reflection_enabled: true rate_limit: enabled: true qps: 100 burst: 200 auth: enabled: false

REST API

```bash

Python SDK

```python from quantumflow.sdk import SyncQuantumFlowClient

创建租户（仅首次返回 API Key）

curl -X POST http://localhost:8000/api/v1/tenants/ \ -H "Content-Type: application/json" \ -d '{ "name": "team-alpha", "priority": 5, "quota": { "requests_per_minute": 120, "requests_per_day": 50000, "concurrent_requests": 20, "gpu_memory_mb": 16384 } }'

列出所有租户（需 API Key）

curl http://localhost:8000/api/v1/tenants/ \ -H "X-API-Key: qk_your_api_key"

gRPC API

gRPC 默认禁用，需在配置中开启：

```yaml

Gang调度 — 大模型的专属武器

┌─────────────────────────────────────────┐
│         Gang Scheduling (大模型)          │
│                                          │
│   Request: 72B Model, TP=8              │
│                                          │
│   ┌─────┐ ┌─────┐ ┌─────┐ ┌─────┐     │
│   │ GPU0│ │ GPU1│ │ GPU2│ │ GPU3│ ... │
│   │  ✗  │ │  ✗  │ │  ✗  │ │  ✗  │     │
│   └──┬──┘ └──┬──┘ └──┬──┘ └──┬──┘     │
│      └────────┼────────┼────────┘       │
│               ▼                           │
│        All GPUs or Nothing                │
│                                         │
│   ✅ 100B+ 模型的最优选择                 │
│   ✅ 最小化通信开销                       │
│   ✅ 保障模型一致性                       │
└─────────────────────────────────────────┘

Pack调度 — 小模型的效率之王

┌─────────────────────────────────────────┐
│         Pack Scheduling (小模型)         │
│                                          │
│   Request: 7B Model × N                  │
│                                          │
│   ┌─────┐ ┌─────┐ ┌─────┐ ┌─────┐     │
│   │Req 1│ │Req 2│ │Req 3│ │Req N│     │
│   │  ✗  │ │  ✗  │ │  ✗  │ │  ✗  │     │
│   └──┬──┘ └──┬──┘ └──┬──┘ └──┬──┘     │
│      └────────┼────────┼────────┘       │
│               ▼                           │
│      Shared GPU, Batched                 │
│                                         │
│   ✅ 最大化 GPU 利用率                   │
│   ✅ 高并发处理                          │
│   ✅ 降低单请求成本                       │
└─────────────────────────────────────────┘

---

在 QuantumFlow 中加载 TGI 模型

curl -X POST http://localhost:8000/api/v1/models/load \ -H "Content-Type: application/json" \ -d '{ "model": "Qwen2.5-7B", "backend": "tgi", "tgi_base_url": "http://localhost:8080" }' ```

在 QuantumFlow 中加载 SGLang 模型

curl -X POST http://localhost:8000/api/v1/models/load \ -H "Content-Type: application/json" \ -d '{ "model": "Qwen2.5-7B", "backend": "sglang", "sglang_base_url": "http://localhost:30000", "sglang_timeout": 300 }' ```

模型列表

curl http://localhost:8000/api/v1/models/list

已加载模型

curl http://localhost:8000/api/v1/models/status

加载模型

curl -X POST http://localhost:8000/api/v1/models/load \ -H "Content-Type: application/json" \ -d '{"model": "Qwen2.5-1.5B"}'

模型列表

models = client.list_models()

client.close() ```

后端对比