type
Post
status
Published
date
Aug 31, 2025
slug
summary
安装 NVIDIA Container Toolkit
tags
人工智能
category
技术分享
icon
password
默认情况下, docker 中运⾏的项⽬是不⽀持GPU的,这种情况下若将⼤语⾔模型部署在容 器就只能使⽤CPU资源进⾏推理,效率低下,启动容器化的GPU项⽬时会报错,如下所示:
将⼤语⾔模型部署在容器中的好处是⼗分明显的,原因有以下⼏点:
  1. 环境⼀致性:容器将所有依赖(如库、框架、配置⽂件等)封装在⼀起,确保在开发、
  1. 测试和⽣产环境中运⾏的代码具有⼀致的依赖环境
  1. 可移植性:容器化后的应⽤可以在任何⽀持容器的环境中运⾏,⽆论是本地开发机器、
  1. 云服务提供商还是私有数据中⼼。
  1. 资源隔离:容器提供了进程和资源的隔离,确保不同应⽤和服务之间不会相互⼲扰
 
那么如何让 docker 可以使⽤GPU资源呢?下⾯就来着⼿解决这个问题

安装 NVIDIA Container Toolkit

 
按顺序执行即可
notion image
Dify不同模型接入mcp注意点(deepseek与qwen3) 模型管理平台之Ollama部署
Loading...