MoA入门示例

今天给大家带来MoA的一个入门示例，在这个简单的示例中，我们将使用 2 个层和 4 个 LLM。

准备：

1. 安装 Together Python 库：pip install together
2. 获取Together API 密钥并将其导出：export TOGETHER_API_KEY=
3. 运行python文件：python moa.py

多层 MoA 示例

在上面的程序中，是如何实现具有 2 个层的 MoA（4 个 LLM 回答和一个 LLM 聚合）。但是，MoA 的一个优势是能够通过多个层来获得更好的响应。在此示例中，我们将介绍如何在 中运行具有 3+ 层的 MoA advanced-moa.py。

python advanced-moa.py

交互式 CLI 演示

这个交互式 CLI 演示展示了一个简单的多轮聊天机器人，其中的最终响应是从各种参考模型中汇总而来的。

要运行交互式演示，请按照以下 3 个步骤操作：

1. 导出API 密钥：export TOGETHER_API_KEY={your_key}
2. 安装要求：pip install -r requirements.txt
3. 运行脚本：python bot.py

CLI 将提示以交互方式输入指令：

1. 首先在“>>>”提示符下输入您的指令。
2. 系统将使用预定义的参考模型处理输入。
3. 它将根据这些模型的聚合输出生成响应。
4. 可以通过输入更多指令来继续对话，系统将保持多轮交互的上下文。

准备

# install requirements
pip install -r requirements.txt
cd alpaca_eval
pip install -e .
cd FastChat
pip install -e ".[model_worker,llm_judge]"
cd ..

# setup api keys
export TOGETHER_API_KEY=<TOGETHER_API_KEY>
export OPENAI_API_KEY=<OPENAI_API_KEY>

运行 AlpacaEval 2

要运行 AlpacaEval 2，请执行以下脚本：

bash run_eval_alpaca_eval.sh

运行 MT-Bench

要查看 MT-Bench 评估的最小示例，请运行：

bash run_eval_mt_bench.sh

运行 FLASK

对于 FLASK 评估的最小示例，请运行：

bash run_eval_flask.sh

结果

在 AlpacaEval 2.0 排行榜和 MT-Bench 上都名列前茅。值得注意的是，在 AlpacaEval 2.0 上，仅使用开源模型，实现了 7.6% 的绝对改进，从 57.5%（GPT-4 Omni）提高到 65.1%（MoA）。

FLASK 提供跨多个维度的细粒度模型评估。MoA 方法在无害性、稳健性、正确性、效率、事实性、常识性、洞察力、完整性方面显著优于原始 Qwen1.5-110B-Chat。此外，MoA 在正确性、事实性、洞察力、完整性和元认知方面也优于 GPT-4 Omni。