把一个模型启动起来之后,还有不少事情要做:给应用一个稳定的调用地址,管理谁能调用,查看请求是否成功,再测清楚一张卡在并发请求下的表现。如果这些工作分散在终端、脚本和监控页面里, 下一次换模型,又得重新串一次 。
这次我用 ZStack GPUWorks 做了一次完整的云上部署。 控制服务放在已有的腾讯云轻量服务器上 ,推理计算放在按小时租用的 48GB RTX 4090 容器实例中,模型选 Qwen3-8B,使用 BF16 权重。本文记录实际配置、接入步骤、模型调用和压测过程,供准备把开放模型接进应用的开发者参考。
GPUWorks 的定位是轻量的模型交付与推理管理平台:用 Agent 接入算力, 把权重来源、推理引擎和硬件要求整理成模板 ,再通过统一的 OpenAI 兼容接口提供服务。本次体验使用预发布构建 31178e80 ,部署与性能结论对应下文这套具体环境。
GPUWorks GitHub 开源代码仓库地址:https://github.com/flitai-io/gpuworks
这次我把 GPUWorks 控制服务装在腾讯云轻量服务器上,将租来的 48GB RTX 4090 接入平台,完成了 Qwen3-8B 部署和 API 调用。从提交模型部署到进入运行状态 约 29 分钟 ,主要耗时在权重、镜像下载和引擎初始化;随后通过网关完成 780 条正式测试请求,全部成功 。
本文看点
01、先把实验环境定下来
02、压测遇到的问题和最终结果
03、复现信息与测试方法
01、先把实验环境定下来
我把 管理和计算拆在两台机器上 。已有的轻量服务器负责控制台、调度和推理网关,GPU 实例负责下载权重、运行引擎和生成回答。
| 项目 | 本次实际配置 |
|---|---|
| 控制节点 | 腾讯云轻量服务器,2 vCPU、约 2GB 内存 |
| 控制节点系统 | Ubuntu 24.04.4 LTS,x86_64 |
| GPU 节点 | 优云智算容器实例,20 核、64GB 内存、100GB 磁盘 |
| GPU | 平台提供的 48GB RTX 4090,nvidia-smi 报告 49140 MiB |
| NVIDIA 驱动 | 610.57.04 |
| 模型 | Qwen/Qwen3-8B,BF16,目录标注权重约 15.3 GiB |
| 推理配置 | 单卡,TP=1,PP=1,1 个副本,最大上下文 8192 |
| 引擎镜像 | gpuworks/gpuworks-runner:cuda13.0-vllm0.30.0-r2 |
选择 48GB 显存,是为了在这次固定的 BF16 实验中, 同时容纳模型权重、引擎开销和并发请求的 KV 缓存 。100GB 磁盘则用于容纳权重、镜像下载层和展开后的运行环境。这两项都不能只按模型文件大小来算。48GB 是租赁平台给出的本实例规格,复现时需要核对实际显存, 不能把普通 24GB 4090 当作相同配置 。
租赁页面当时显示每小时约 3.76 元,其中计算资源约 3.74 元、系统盘约 0.02 元。费用按本次实际租期计算;模型下载和引擎准备阶段也在计费,所以 先把控制节点装好,再开 GPU 更合适 。
02、在已有云服务器安装控制服务
我在已有云服务器上安装控制服务, 服务状态为 active,HTTP 检查返回 200 。控制服务安装命令耗时 6 秒;GPU 接入、模型与镜像下载不包含在内。 管理地址只监听本机 ,通过 SSH 转发访问控制台,无须额外开放管理端口。安装和转发命令见文末。
控制服务没有要求我先搭建 Kubernetes,也没有占用 GPU 。安装完成时观察到的服务内存约 60 MiB;这是当时的一个快照,实际占用会随节点数量、请求和监控数据变化。
03、把租来的 GPU 接进平台
租来的 GPU 实例可以使用网页终端,但 没有预装 Docker 或 nerdctl 。我先检查显卡、磁盘和驱动,确认当前环境能否运行模板中的推理引擎。
这里需要看的是宿主机暴露出来的 NVIDIA 驱动。 基础镜像名称里写了 CUDA,并不代表所有推理镜像都能运行 。本次模板使用 CUDA 13.0 镜像,模板页面要求驱动至少为 580,实际的 610.57.04 满足要求。
我先在 GPU 节点建立通往控制节点的 SSH 转发,再进入“计算节点 → 添加节点”,选择手动执行安装命令的方式,并 让 Agent 主动连接 。具体命令和地址说明放在文末。
Agent 上线后,控制台识别出了 20 核 CPU、64GiB 内存、Ada 架构的 RTX 4090 和驱动版本,运行时显示为 runveil 。在本次没有 Docker 的容器环境里, 平台选择了用户态运行环境来承载推理引擎 。Agent 主动连接控制节点,推理服务经这条连接传递请求, 无须另行开放 GPU 推理端口 。
04、用模板确定模型和启动参数
我从“推理模板”进入 Qwen3-8B,选择 NVIDIA 通用、BF16、vLLM 档位,权重来源使用 ModelScope。 模板把模型仓库、精度、引擎镜像和解析器配置放在一起 ,选择之后可以继续检查和修改。
这次固定 ModelScope 版本为 26028140be3ee69b82b1d1450179ab71bb1121b9 , 避免“同一个模型名”在不同时间对应不同文件 。部署名称填 qwen3-8b-bf16 ,对外模型名填 qwen3-8b ,后者就是 API 请求中的 model 字段。
最大上下文改为 8192,TP 和 PP 都设为 1,副本数为 1,显存使用率保留 0.9。部署评估列出了每卡显存构成:权重约 15.3GiB、引擎预留约 2.0GiB、KV 池估算约 26.0GiB, 总预算约 43.2GiB 。评估中的并发数和可缓存 token 数用于判断配置能否放下, 真实请求表现仍要靠压测 。
模板替我组织了参数,同时保留了检查依据: 模型版本、镜像版本和最终启动命令都可以核对 。核心启动命令见文末。
05、等待权重和引擎准备完成
16:48 提交部署后,平台先从 ModelScope 下载约 15.3 GiB 权重,再准备引擎镜像并创建推理实例。 详情页能看到下载进度和速度 ,便于判断等待发生在哪一步。
引擎镜像也有独立的准备过程。部署页列出可用来源,并说明会按节点探测结果选择来源; 这比只看到一个一直转圈的“启动中”更便于判断问题发生在下载、运行环境还是模型加载阶段 。
这次首次部署的时间线可以拆成几段:16:48 提交部署,17:04:40 创建实例;8.3GiB 的引擎镜像下载用了 8 分 23 秒,随后解包约 25 秒;17:13:41 开始等待引擎就绪,17:17:26 进入运行状态。 整个过程约 29 分钟 ,主要等待发生在权重、镜像下载和引擎初始化。
部署详情最终显示 显存占用约 41.2 GiB ,其中 KV 池约 25.5 GiB;这是引擎预分配后的占用,包含模型权重和缓存等开销。本次保留编译与 CUDA Graph,Eager 模式关闭。
06、用一个真实请求验证服务
部署状态变为“运行中”、副本数为 1/1 后,我创建 API 令牌,通过 OpenAI 兼容接口发起了一个 售后信息提取请求 ,要求模型从记录中提取产品、问题和诉求。完整调用示例见文末。
本次实际请求返回 HTTP 200,正文为:
...json
{"产品":"显示器","问题":"无法开机","诉求":"安排换货"}
服务端记录 输入 44 token、输出 27 token 。引擎上报首 token 时间约 31.2 毫秒;从电脑发出请求到完整收回响应约 0.773 秒,包含连接开销。这次请求验证了调用链和结构化提取效果。
07、压测遇到的问题和最终结果
GPUWorks 自带评测入口,可以选择部署、发压位置、固定并发或其他负载方式,并 保存逐请求明细、导出报告 。我先用它做了一轮随机输入压测,配置为输入目标 512 token、输出上限 256 token,并发 1、4、8。
这一步也碰到了一个值得记录的细节: Qwen3 的思考模式会影响指标解释 。初次测试中,请求虽然返回成功,输出预算却可能主要花在思考 token 上,正文为空。
原始明细中因此出现 ttft_ms=null ,仅看总输出 token 数或报告中的单用户速度,很容易得出错误结论。
我没有把这一轮的首字延迟和单用户速度作为最终结果。正式测量改为在控制节点上运行流式请求脚本, 每次显式传入 enable_thinking=false ,逐条保存响应、token 用量和正文到达时间。请求仍通过 GPUWorks 的 /v1/chat/completions 网关进入同一个部署, 没有绕开平台直连 vLLM 。
三轮共 780 个正式请求全部成功 ,另有 45 个预热请求未纳入统计。服务端实际输入均为 524 token、输出均为 256 token,思考 token 均为 0,780 条请求都记录到了正文首字时间。
下表的延迟与吞吐取“三轮对应统计值的中位数”。吞吐括号内为三轮最小值至最大值,不是置信区间。P95 表示该轮 95% 的请求不超过此延迟。
| 并发 | 输出吞吐 token/秒(范围) | 首字 P50 毫秒 | 首字 P95 毫秒 | 总耗时 P50 秒 | TPOT P50 毫秒/token |
|---|---|---|---|---|---|
| 1 | 56.7(53.4–56.8) | 132.1 | 135.4 | 4.50 | 17.13 |
| 4 | 208.5(203.9–208.7) | 274.6 | 286.0 | 4.90 | 18.15 |
| 8 | 390.9(384.4–393.0) | 344.9 | 476.6 | 5.21 | 19.19 |
在这组负载下,8 并发的总输出吞吐约为单并发的 6.9 倍 ,反映的是多个请求的总产出。TPOT 以首个到最后一个正文增量的时间计算,网络分块会影响该指标。
这组数据来自单卡 Qwen3-8B BF16、8192 上下文上限和实际输入 524、输出 256 token 的请求;最高测试到 8 并发, 不代表显卡最大并发能力 。完整测试条件和补充采样见文末。
控制节点和 GPU 节点位于不同云平台,首字延迟包含网关、Agent 连接和跨云网络开销, 反映的是本次接入方案的表现 。
08、这次用下来,平台替我省了哪些工作
第一是 环境适配有了集中入口 。模型来源、精度、引擎镜像、驱动要求和解析器不再散落在几份说明中。这次用模板选定 Qwen3-8B 的 BF16 档位,再检查实际卡型与驱动,部署前就能看到资源预算和最终命令。
第二是 把模型运行和业务接入连了起来 。Agent 接入后,平台负责维护部署实例和网关入口;业务端拿到的是调用名、访问地址和 API 令牌。模型进程在哪台机器上运行,和应用如何请求服务,可以分别管理。
第三是 出了问题有证据可查 。权重下载、镜像准备、引擎启动各有状态和耗时;服务上线之后又能查看健康、并发、吞吐、延迟和日志。此次思考模式的计量问题,正是靠导出的逐请求明细才发现的。对一个准备长期接入业务的模型服务来说,这些信息比一次聊天成功更有用。
产品资料还列出了 NVIDIA、昇腾、PPU、海光等算力接入,以及多副本、PD 分离、dGPU 显存共享、模型和镜像离线导入等能力。这些可以作为企业选型时继续核对的范围;本次亲自验证的是 NVIDIA 单卡、跨云 Agent 接入、模板部署、OpenAI 兼容调用、监控和评测, 没有把其他硬件与多机能力写成本次实测结论 。
如果团队只有一段临时脚本,直接启动推理引擎也能完成任务。需要把模型作为服务交给应用使用、同时保留部署依据和运行记录时,GPUWorks 这一层管理就有了具体作用: 让“选硬件、选模型、启动、调用、观察”沿着同一套流程完成 。
实验结束后,我在 18:06 关停 GPU 实例,计算资源费降为 0 元/小时。 本次运行费用估算约 7.71 元 ;关机后的系统盘仍按 0.02 元/小时计费,如保留至页面所示的 7 天后自动释放,总费用估算约 11.07 元,实际以账单为准。
从接入租用的 GPU,到部署模型、调用和排查评测问题,这次体验把完整流程走通了。对于需要把模型交给应用调用、又希望保留部署依据和运行记录的团队, 我会推荐把 GPUWorks 作为模型服务管理工具来评估 ;选型时仍应结合自己的硬件、模型和业务负载验证。
09、复现信息与测试方法
控制服务安装
这次使用提供的 Linux amd64 安装包。上传前先核对 SHA256,再解压、安装:
...bash
sha256sum gpuworks-31178e80-linux-amd64.tar.gz
tar -xzf gpuworks-31178e80-linux-amd64.tar.gz
cd gpuworks-31178e80-linux-amd64
sudo ./gpuworks install --addr 127.0.0.1:8800 --quiet
sudo systemctl status gpuworks --no-pager
curl -I http://127.0.0.1:8800/
已有服务器上还运行着网站,我让 GPUWorks 只监听本机地址,通过 SSH 转发访问控制台。在自己的电脑上执行:
...bash
ssh -N -L 127.0.0.1:18800:127.0.0.1:8800 ubuntu@<控制节点地址>
保持连接,浏览器打开 http://127.0.0.1:18800 ,用安装生成的管理员凭据登录。 这套访问方式不需要额外开放管理端口 。
GPU 节点接入
...bash
nvidia-smi --query-gpu=name,memory.total,memory.free,driver_version --format=csv
df -h / /workspace
在 GPU 的网页终端,再建立一条到控制节点的 SSH 转发:
...bash
ssh -fN
-o ExitOnForwardFailure=yes
-o ServerAliveInterval=30
-L 127.0.0.1:18800:127.0.0.1:8800
ubuntu@<控制节点地址>
curl -I http://127.0.0.1:18800/
这里的 127.0.0.1:18800 位于 GPU 节点本机,通过 SSH 连接到控制节点的 8800 端口,与电脑上的同名地址互不冲突。访问返回 200 后,在 GPUWorks 的“计算节点 → 添加节点”中选择手动安装、Agent 发起连接,接入地址填写 http://127.0.0.1:18800,再执行平台生成的节点专属命令:
...bash
curl -fsSL 'http://127.0.0.1:18800/install.sh' | sh -s --
--server 'http://127.0.0.1:18800'
--token '<平台为该节点生成的 Token>'
Token 必须使用自己平台生成的值 。这里选择手动接入,是因为网页终端已经可用;并不表示这台实例没有 SSH 服务。
模型启动参数
模板预览生成的核心命令如下,实际模型路径和端口由实例启动时绑定:
...bash
vllm serve /model
--served-model-name qwen3-8b
--host 127.0.0.1 --port 30000
--tensor-parallel-size 1
--max-model-len 8192
--gpu-memory-utilization 0.9
--reasoning-parser qwen3
--tool-call-parser hermes
--enable-auto-tool-choice
--enable-prompt-tokens-details
--enable-per-request-metrics
API 调用示例
...python
import os
from openai import OpenAI
client = OpenAI(
base_url="http://127.0.0.1:18800/v1",
api_key=os.environ["GPUWORKS_API_KEY"],
)
response = client.chat.completions.create(
model="qwen3-8b",
messages=[{
"role": "user",
"content": "从以下售后记录提取产品、问题、诉求,输出 JSON,不添加额外说明:"
"我昨天购买的显示器无法开机,希望安排换货。",
}],
temperature=0,
max_tokens=256,
extra_body={"chat_template_kwargs": {"enable_thinking": False}},
)
print(response.choices[0].message.content)
这里的地址对应前面电脑上的 SSH 转发。部署到业务服务器时,需要换成该服务器实际可访问的 GPUWorks 网关地址;调用名仍是部署中填写的 qwen3-8b 。
压测方法与补充数据
正式测试条件如下:
| 项目 | 设置与统计方式 |
|---|---|
| 发压位置 | 腾讯云控制节点本机 |
| 请求路径 | GPUWorks 网关 → Agent 连接 → GPU 节点 vLLM |
| 输入 | 固定随机种子生成不同的词序列;用该模型分词器截取 512 token |
| 实际输入 | 叠加聊天模板后,以服务端 usage 为准 |
| 输出 | max_tokens=256,ignore_eos=true,关闭思考模式 |
| 并发 | 1、4、8;固定并发,完成一个请求后补下一个 |
| 请求数 | 每组为并发数 × 20;三轮合计 780 个正式请求 |
| 预热 | 每轮每个并发点先发 5 个请求,均不进入正式统计 |
| 首字延迟 TTFT | 发压端从发出请求到收到首个非空正文增量 |
| 总耗时 | 发压端从发出请求到流式响应结束 |
| 输出吞吐 | 该组正式请求的输出 token 总数 ÷ 该组墙钟时间 |
随机输入和强制输出长度是为了控制负载, 不用于判断回答质量 。三轮按 1→4→8 的顺序运行,期间没有额外手动调用。测试保留引擎默认缓存行为,但每个请求使用不同词序列,不把重复长前缀命中当作特意设计的优化。
同时记录了 nvidia-smi 每 5 秒一次的采样。17:41:03 至 17:59:17 的测量时段(包含预热)共有 218 个采样点,显存总占用在 43370–43372MiB,约 42.36GiB;GPU 利用率的采样中位数为 100%。这个显存数字来自驱动侧的总占用,与部署页的引擎显存校准值 41.2GiB 口径不同, 二者分开记录 。 采样值也不能代替逐请求延迟统计 。
TPOT 按首个正文增量到最后一个正文增量的时间除以输出 token 数减一计算。
414