#Ollama

共 6 篇内容,涉及 1 个模块

教程6
教程云计算部署

InternLM 书生·浦语腾讯云本地部署完整指南:Ollama 起步 + LMDeploy 生产部署双路径(20 条故障排查)

InternLM 书生·浦语是上海人工智能实验室开源的国产大模型,长文本能力是它最突出的卖点——早期版本就以 200K 上下文闻名,适合处理长文档、长对话与代码库级理解。本文手把手教你在腾讯云服务器上部署 InternLM:Ollama 快速起步的省心路径,以及 LMDeploy 高并发生产路径,涵盖机型选型、模型获取(ModelScope 国内加速)、OpenAI 兼容接口、长上下文实践、与 Dify 和知识库对接,以及 20 条从模型拉不动、长文本截断到显存不足的真实故障排查。跟着做即可完成。

2026-10-19
#InternLM#书生浦语
教程云计算部署

GLM-4 智谱清言腾讯云本地部署完整指南:Ollama 快速起步 + vLLM 高并发双路径(20 条故障排查)

智谱 AI 的 GLM 系列是国内最早开源、生态最成熟的国产大模型之一,中文能力与工具调用表现稳定。本文手把手教你在腾讯云服务器上部署 GLM-4:一条命令用 Ollama 跑起来的快速路径,以及用 vLLM 支撑多并发的生产路径,涵盖 2C4G 到 8C16G 三档机型选型、Ollama 与 vLLM 的显存/内存对照、OpenAI 兼容接口对接、Dify 与 MaxKB 知识库接入、国产镜像加速下载,以及 20 条从模型拉不动到中文乱码到并发崩的真实故障排查。跟着做即可完成。

2026-10-16
#GLM-4#ChatGLM
教程云计算部署

Qwen3 通义千问腾讯云本地部署完整指南:Ollama 快速起步 + vLLM 生产级部署双路径(20 条故障排查)

Qwen3 是阿里开源的国产大模型系列,Apache 2.0 协议可商用、原生支持思考模式开关、密集模型与 MoE 版本齐全,国内镜像下载无需代理。本文手把手教你在腾讯云轻量应用服务器与 GPU 实例上部署 Qwen3:Ollama 一条命令起步 + vLLM 高并发生产级部署两条完整路径,含 8B/14B/30B 三档显存与内存选型的实测数据、ModelScope 镜像下载加速、thinking 模式与上下文长度调优、Open WebUI 与 Dify 对接、Nginx HTTPS 反代,以及 20 条从显存不足到并发超时的故障排查。跟着做即可完成从零到生产可用。

2026-10-15
#Qwen3#通义千问
教程云计算部署

DeepSeek V4.1 Flash 腾讯云本地部署完整指南:Ollama + Open WebUI 双路径实测(22 条故障排查)

DeepSeek V4.1 Flash 是 552B 总参数仅 8B 激活的 MoE 国产模型,Apache 2.0 协议可商用、1M tokens 上下文、国内直连无需代理。本文手把手教你在腾讯云轻量应用服务器与 GPU 实例上用 Ollama + Open WebUI 从零部署 V4.1 Flash:含 4C8G 到 8C16G 到 GPU 三档选型的真实内存与速度数据(含 CPU 推理 2.5 到 5 tokens 每秒实测)、腾讯云内网 Docker 源与 ModelScope 镜像下载双加速方案、Modelfile 配置、Open WebUI 知识库 RAG、Nginx 反向代理与 HTTPS、以及 22 条从镜像拉取失败到宿主机 OOM 到 API release 的故障排查表。跟着做即可完成从零到生产可用。

2026-10-14
#DeepSeek#V4.1 Flash
教程VS Code 接入

GLM-5.2 接入 VS Code 完整指南:云 API 与本地 vLLM/Ollama 私有化双路径实测,24GB 单卡跑通内网零数据外泄

GLM-5.2 是智谱 2026 年主推的开源旗舰:106B 总参数 / 12B 激活的 MoE 架构、128K 上下文、原生 Function Calling 与 web_search 联网工具,权重开放可直接本地部署。本文在 VS Code 里用 Continue 和 Cline 两个客户端跑通两条完全不同的路径——云端走 open.bigmodel.cn 的 OpenAI 兼容接口,本地走 vLLM / SGLang / Ollama 起内网推理服务——给出逐行带中文注释的完整配置、三档显存账(FP16 每十亿参数 2GB、INT4 约 0.6GB)、9B 版本单卡 24GB 跑通的实测参数,以及同一任务的 token、首字延迟、生成速度与单次成本对比表,最后算清私有化到底什么规模才回本。

2026-07-30
#智谱GLM#GLM-5.2
教程本地部署

VS Code 接入 Ollama 完整指南

手把手教你将 Ollama 接入 VS Code,快速获得强大的 AI 能力加持

2026-05-18
#Ollama#VS Code