#vLLM

共 4 篇内容,涉及 1 个模块

教程4
教程云计算部署

GLM-4 智谱清言腾讯云本地部署完整指南:Ollama 快速起步 + vLLM 高并发双路径(20 条故障排查)

智谱 AI 的 GLM 系列是国内最早开源、生态最成熟的国产大模型之一,中文能力与工具调用表现稳定。本文手把手教你在腾讯云服务器上部署 GLM-4:一条命令用 Ollama 跑起来的快速路径,以及用 vLLM 支撑多并发的生产路径,涵盖 2C4G 到 8C16G 三档机型选型、Ollama 与 vLLM 的显存/内存对照、OpenAI 兼容接口对接、Dify 与 MaxKB 知识库接入、国产镜像加速下载,以及 20 条从模型拉不动到中文乱码到并发崩的真实故障排查。跟着做即可完成。

2026-10-16
#GLM-4#ChatGLM
教程云计算部署

Qwen3 通义千问腾讯云本地部署完整指南:Ollama 快速起步 + vLLM 生产级部署双路径(20 条故障排查)

Qwen3 是阿里开源的国产大模型系列,Apache 2.0 协议可商用、原生支持思考模式开关、密集模型与 MoE 版本齐全,国内镜像下载无需代理。本文手把手教你在腾讯云轻量应用服务器与 GPU 实例上部署 Qwen3:Ollama 一条命令起步 + vLLM 高并发生产级部署两条完整路径,含 8B/14B/30B 三档显存与内存选型的实测数据、ModelScope 镜像下载加速、thinking 模式与上下文长度调优、Open WebUI 与 Dify 对接、Nginx HTTPS 反代,以及 20 条从显存不足到并发超时的故障排查。跟着做即可完成从零到生产可用。

2026-10-15
#Qwen3#通义千问
教程本地部署

Holo4 开源计算机操作模型本地部署实战:27B 跑出 OSWorld 85.2%,单任务成本压到 $0.08

2026 年 9 月 28 日,H Company 开源了 Holo4 系列计算机操作智能体模型——27B 稠密版与 35B-A3B MoE 版,权重直接放在 Hugging Face。官方数据里 27B 在 OSWorld 上拿到 85.2%、单任务成本 0.08 美元;在覆盖长流程的 OSWorld 2.0 上得分 61.7%、单任务 1.22 美元。这个数字的意义在于:半年前「让 AI 操作电脑」还是闭源模型的专属能力,按次调用动辄几美元;现在一个 27B 的模型能在单卡上跑,成本降了两个数量级。本文是一份可直接照抄的本地部署与接入实战:从硬件选型、vLLM 部署、GUI 执行层搭建,到围栏配置、成本实测、以及和 GPT-6 Astra / Qwen3.8 Max 的选型对比。

2026-09-29
#计算机操作#开源模型
教程VS Code 接入

GLM-5.2 接入 VS Code 完整指南:云 API 与本地 vLLM/Ollama 私有化双路径实测,24GB 单卡跑通内网零数据外泄

GLM-5.2 是智谱 2026 年主推的开源旗舰:106B 总参数 / 12B 激活的 MoE 架构、128K 上下文、原生 Function Calling 与 web_search 联网工具,权重开放可直接本地部署。本文在 VS Code 里用 Continue 和 Cline 两个客户端跑通两条完全不同的路径——云端走 open.bigmodel.cn 的 OpenAI 兼容接口,本地走 vLLM / SGLang / Ollama 起内网推理服务——给出逐行带中文注释的完整配置、三档显存账(FP16 每十亿参数 2GB、INT4 约 0.6GB)、9B 版本单卡 24GB 跑通的实测参数,以及同一任务的 token、首字延迟、生成速度与单次成本对比表,最后算清私有化到底什么规模才回本。

2026-07-30
#智谱GLM#GLM-5.2