部署Chat-ollama详细教程

Chroma是人工智能原生的开源矢量数据库。Chroma通过为LLM提供可插入的知识，事实和技能，使构建LLM应用程序变得容易。

Chroma 提供了以下工具：

存储嵌入和它们的元数据
嵌入文档和查询
搜索嵌入

Chroma 的优点：

提升了简单性和开发者生产力
运行非常快速

本地部署

注：后面的所有环境的部署都默认大家已经安装了ollama

官网安装指南：https://docs.trychroma.com/getting-started

本地安装可以先在本地构建conda虚拟环境，在虚拟环境中部署chroma，直接运行：

pip install chromadb

这里要注意的是，目前它还不支持python3.11，所以我使用的是3.10 构建的。

下载完成后启动

chroma run

端口地址是 http://localhost:8000。启动的页面是这样的：

chatollama设置运行

从github上git一份保存到本地：GitHub – sugarforever/chat-ollama:

复制 .env.example 文件到 .env 文件：

cp .env.example .env

安装依赖：

pnpm install

创建数据库表：

pnpm prisma-migrate

启动服务器：

pnpm dev 或者 npm run dev

在页面的设置中，填写ollama的服务器网址的时候，Ollama 服务器设置为 http://host.docker.internal:11434。如果失败就改为 http://localhost:11434 或 http://127.0.0.1:11434

Docker部署

复制一份docker-compose.yaml：

version: '3.1'
services:
  chromadb:
    image: chromadb/chroma
    ports:
      - "8000:8000"
    restart: always
    volumes:
      - chromadb_data:/chroma/.chroma/index

  chatollama:
    environment:
      - CHROMADB_URL=http://chromadb:8000
      - DATABASE_URL=file:/app/sqlite/chatollama.sqlite
      - REDIS_HOST=redis
    image: 0001coder/chatollama:latest
    ports:
      - "3000:3000"
    pull_policy: always
    restart: always
    volumes:
      - ~/.chatollama:/app/sqlite

  redis:
    image: redis:latest
    restart: always
    volumes:
      - redis_data:/data

volumes:
  chromadb_data:
  redis_data:

这里要注意的是，入股更改端口号那么chromaDB也需要更改，保持两者对应。

在同一目录下执行命令：

docker compose up

在docker desktop中查看，可以看到已经运行启动成功了，点击3000就可以看到我们已经启动成功了。

第一次在docker中启动chatollama 需要初始化 SQLite 数据库：

docker compose exec chatollama npx prisma migrate dev

到这里就完成了部署啦

开发喵星球