Ollama & AnythingLLM搭建AI知识库

AnythingLLM

下载地址：https://useanything.com/download

AnythingLLM 是一个全栈应用程序，可以使用商业现成的 LLM 或流行的开源 LLM 和 vectorDB 解决方案来构建私有ChatGPT，无需任何要求，可以在本地运行，也可以远程托管并能够智能聊天以及你提供的任何文件。

安装

AnythingLLM得安装十分的简单，官方已经做好了各个版本的应用，直接按照你的系统下载对应版本，像正常软件一样安装启动就好。

开启ollama服务

这里使用服务器模式，Ollama在后端运行大模型，开发IP和端口给外部软件使用。

ollama serve

通过终端或者命令行，访问 http://localhost:11434 进行验证：

curl http://localhost:11434

如果显示：

Ollama is running

就说明ollama在正常运行。

配置AnythingLLM

开始之前请确保 ollama serve 运行，或者终端执行 ollama run xxx （任何一个模型）。

不然的话或出现错误：

本地大模型选择

选择 Ollama，填入 Ollama 的 http://localhost:11434服务，然后选择你下载的模型。

Embedding 配置

可以选择：https://ollama.com/library/nomic-embed-text 或者 AnythingLLM 自带的
AnythingLLMEmbedder。

向量数据库配置

AnythingLLM 默认使用内置的向量数据库 LanceDB。这是一款无服务器向量数据库，可嵌入到应用程序中，支持向量搜索、全文搜索和SQL。我们也可以选择 Chroma、Milvus、Pinecone 等向量数据库。

使用

完成上面的操作之后就可以进入界面了，新建自己的workspace

然后就可以开始简单的问答了，下一篇内容的话我会带大家开始给AnythingLLM喂数据，真正构建自己的本地知识库