Docker运行Ollama使用CPU或GPU

本地运行ollama服务的时候还可以使用docker容器技术来实现，前面的文章中其实已经提到过，但是没有展开来详细说这一部分。那么今天大家就一起来看看docker中的Ollama如何按需来调整使用CPU还是GPU。

只使用CPU

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

使用Nvidia GPU

首先安装NVIDIA Container Toolkit

使用Apt安装

1、配置存储仓库

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
    | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
    | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update

2、安装NVIDIA Container Toolkit包

sudo apt-get install -y nvidia-container-toolkit

安装Yum或Dnf

1、配置存储库

curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
    | sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo

2、安装NVIDIA Container Toolkit包

sudo yum install -y nvidia-container-toolkit

配置Docker使用Nvidia驱动

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

启动容器

docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

AMD GPU

这部分来自于Ollama官方文档，我自己使用的是Nvidia的GPU，没有尝试过一下的过程。

要使用AMD gpu的Docker运行Ollama，请使用 rocm 标签和以下命令：

docker run -d --device /dev/kfd --device /dev/dri -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama:rocm

在本地运行模型

docker exec -it ollama ollama run llama3