本地搭建Xinference环境

拉取代码

git clone https://github.com/xorbitsai/inference.git

如果在 git clone 代码的时候速度较慢，可以通过如下命令添加代理

export https_proxy=YourProxyAddress

创建隔离环境

在正式安装Xinference之前，建议使用 Conda 创建一个隔离环境方便后续操作。

conda create --name xinf
conda activate xinf

xinf 可替换为自定义的 Conda 环境名。

随后需要在新建的 Conda 环境中安装 Python 以及 Node.js (npm)。命令如下：

conda install python=3.10
conda install nodejs

安装源码

在开始之前，请确保你已经克隆了存储库。假设你将存储库克隆到名为 inference 的目录中，请进入该目录，其中包含 setup.cfg 和 setup.py 文件，并执行以下命令：

pip install -e .
xinference-local

如果命令能够成功运行，接下来就能正常使用 Xinference 了。

如果出现报错或者在运行过程中卡死，那就需要进行下一步前端编译。

前端编译

首先需要进入 inference/xinference/web/ui 目录下，随后执行如下命令清除缓存：

npm cache clean

如果命令执行失败，您可以尝试添加 --force 选项。

如果该目录下已经存在 node_modules 文件夹的话建议先手动删除该文件夹

接着在该目录下执行以下命令进行前端编译：

npm install
npm run build

如果第一个命令执行失败，仍然可以尝试通过添加 --force 选项解决

编译完前端后，您可以返回到包含 setup.cfg 和 setup.py 文件的目录，然后通过 pip install -e . 安装 Xinference。