前置条件
- 1已注册腾讯云账号
- 2已购买一台轻量应用服务器(建议 8C16G 起步)或 GPU 实例
- 3服务器已安装 Docker 与 docker compose 插件
读完想动手?新用户首单 8 折上云
服务器 + 大模型 API + 对象存储,新用户首购享 20% 补贴
常见问题
Q自己部署比直接调 DeepSeek API 便宜吗?
不一定更便宜,取决于用量。V4.1 Flash API 价格是输入每百万 tokens 0.8 元、输出 2.4 元;一台 8C16G 轻量服务器月费约 200 到 400 元,跑满每天约消耗 30 元等价算力。结论是日均调用超过百万 tokens 或需要数据不出内网、需要 7x24 常驻(如机器人、批量任务)时自建更划算,轻量试用建议直接用 API。
Q4C8G 的轻量服务器能跑得动吗?
能跑但很勉强。V4.1 Flash 的 Q4_K_M 量化版权重约 6.5GB,4C8G 除去系统与 Ollama 自身开销只剩约 6GB 可用,会频繁触发 swap 导致速度掉到每秒 1 token 以下甚至假死。建议 8C16G 起步,想要流畅体验或多人共用请直接上 GPU 实例。
Q为什么推荐用 ModelScope 而不是 HuggingFace 下载模型?
HuggingFace 在国内经常限速到几百 KB 每秒甚至连接超时,一个 6GB 的 GGUF 文件可能要下载几小时。ModelScope(魔搭)是阿里维护的国内模型社区,DeepSeek 官方权重有同步托管,腾讯云服务器走内网下载通常能跑满带宽。本文给出 ModelScope 下载加 ollama create 的完整命令,以及 HuggingFace 镜像加速作为备选方案。