前置条件
- 1已注册腾讯云账号
- 2已购买一台轻量应用服务器（建议 8C16G 起步）或 GPU 实例
- 3服务器已安装 Docker 与 docker compose 插件
读完想动手？新用户首单 8 折上云
服务器 + 大模型 API + 对象存储，新用户首购享 20% 补贴
常见问题
QQwen3 和 DeepSeek 该选哪个自建？
看场景。两者都是 Apache 2.0 可商用的国产模型。Qwen3 的优势是尺寸选择极丰富（0.6B 到 235B），小模型在 4C8G 上就能跑出可用体验，且原生支持思考模式开关，可以在同一模型上按问题难度切换快慢；社区微调生态（LoRA、角色扮演）也最成熟。DeepSeek 则在长文本与代码推理上口碑更好。如果机器配置一般、想先跑起来，选 Qwen3 的 8B 或 14B；如果追求推理深度且有 GPU，两者都值得各拉一份对比。
Q没有 GPU 能跑 Qwen3 吗？
能跑但要看尺寸。纯 CPU 推理建议控制在 8B 的量化版本（Q4_K_M 约 5GB），8C16G 内存机器上大约每秒 2 到 4 tokens，适合异步批处理和个人低频使用，不适合多人实时对话。14B 及以上强烈建议上 GPU。如果预算有限又想体验完整能力，直接用阿里云百灵的 DashScope API 更划算，等确认有长期用量再买 GPU 自建。
QOllama 和 vLLM 到底用哪个？
用途不同。Ollama 胜在一条命令完成下载、量化、加载和 OpenAI 兼容 API，五分钟就能跑通，适合个人自用、原型验证和作为 Dify 这类平台的后端。vLLM 胜在吞吐：通过 PagedAttention 与连续批处理，同样一张卡能同时服务几十路请求，延迟也更低，适合生产对外服务。建议路线是先用 Ollama 验证业务效果，确认有价值后再切 vLLM 扛并发。