前置条件
- 1一台带 NVIDIA GPU 的 Linux 主机(27B 建议 A100 80G / H100 / B200,或 4090 24G + 量化)
- 2Docker 24+ 与 NVIDIA Container Toolkit
- 3Python 3.11+ 与 Node.js 20+
- 4至少 120GB 可用磁盘(模型权重 + 浏览器 + 快照缓存)
- 5理解计算机操作类 Agent 的基本形态(截图 → 动作 → 回放)
读完想动手?新用户首单 8 折上云
服务器 + 大模型 API + 对象存储,新用户首购享 20% 补贴
常见问题
Q27B 稠密版和 35B-A3B MoE 版该选哪个?
看你的显存和并发。27B 稠密版(CC BY-NC 4.0,非商用)在同榜单上分数略高、延迟更低,适合内部工具与研发验证;35B-A3B 用 Apache 2.0(可商用),激活参数只有 3B,单卡吞吐约为稠密版的 2.4 倍,适合要对外商用或并发量大的场景。如果你的用途涉及商业交付,只有 35B-A3B 这一个合法选项——27B 的 CC BY-NC 明确禁止商用。
Q一张 4090(24GB)能跑吗?
能,但要用量化版或 MoE 版。27B 稠密版 FP16 需要约 54GB 显存,4090 装不下;用 AWQ / GPTQ 4-bit 量化后约 16GB,可以跑,代价是 OSWorld 类基准上通常会掉 3–6 个百分点。35B-A3B 的 MoE 版本在 4-bit 下约 21GB,24GB 卡勉强够(留给 KV cache 的空间很小)。生产环境建议 A100 80G 起步。
Q开源模型比 GPT-6 Astra 差多少?值得自己部署吗?
官方数据:Holo4-27B 在 OSWorld 上 85.2%,Astra 所在的闭源阵营最高约 86%(Fable 5 86.0%、Qwen3.8 Max 86.1%)。差距在 1 个百分点以内。真正的差异是成本——自部署后单任务成本约 $0.08(主要是电费与折旧),闭源 API 单任务通常在 $1.5–$3.5。任务量超过每月 2 万次,自部署就开始回本。
Q自部署之后还需要围栏吗?
更需要。用闭源 API 时,厂商侧还有一层对齐与分类器兜底;自部署等于你把这层拿掉了,模型会执行你让它执行的任何东西。本文第六章的围栏配置不是可选项——尤其是网络出口白名单、禁 169.254.169.254、凭证隔离这三条,一条都不能少。