FastChat 是什么?

FastChat 是 LMSYS 推出的开放平台,用于训练、服务和评估基于大语言模型的聊天机器人。它最为人知的两件事:是 Chatbot Arena(lmarena.ai)的底层支撑——为 70+ 个 LLM 服务过超千万次聊天请求、并据 150 万+ 人类对战投票编出 LLM Elo 排行榜;以及 Vicuna 与 MT-Bench 的发布仓库。核心能力包括 SOTA 模型的训练与评估代码(Vicuna、MT-Bench)、以及一个带 Web UI 和 OpenAI 兼容 REST API 的分布式多模型服务系统。许可为 Apache-2.0,Python,约 39,480 stars。

⭐ 39,450 Stars 🍴 4,792 Forks Python Apache-2.0 作者: lm-sys
来源:README.md(首段、core features、News);GitHub 仓库元数据(stars=39480、license=Apache-2.0、language=Python) 查看 GitHub 仓库 →

为什么值得关注

FastChat 是大模型评测与服务领域的标志性开源项目:它撑起了被广泛引用的 Chatbot Arena 与 Elo 排行榜、催生了开源对话模型 Vicuna 和评测基准 MT-Bench,对开源 LLM 的训练/服务/评测影响深远。一套代码即可本地服务多模型并暴露 OpenAI 兼容 API,研究与工程价值都高,因而长期高热。截至数据采集约 39,480 stars。

来源:README.md(首段、core features、News 的 Vicuna/MT-Bench/Arena);GitHub 仓库元数据(stars=39480)

核心功能

分布式多模型服务

一套分布式多模型服务系统,带 Web GUI、命令行推理,并暴露 OpenAI 兼容的 RESTful API,可同时服务多个 LLM。

来源:README.md(core features、Contents → Serving/API)
训练与评估代码

提供 SOTA 模型(如 Vicuna)的训练/微调代码与 MT-Bench 多轮评测工具。

来源:README.md(core features、Contents → Evaluation/Fine-tuning)
Chatbot Arena 与排行榜底座

支撑 lmarena.ai 的 LLM 两两对战,据 150 万+ 人类投票编制 Elo 排行榜,服务过 70+ 模型、千万级请求。

来源:README.md(首段)
开源模型与数据集

发布并支持 Vicuna、LongChat 等模型权重,及 Chatbot Arena Conversations、LMSYS-Chat-1M 等真实对话数据集。

来源:README.md(News、Model Weights)

技术架构

FastChat 是 Python 项目,分两大块:① 训练与评估——提供 Vicuna 等模型的训练代码、MT-Bench 多轮评测、以及微调脚本;② 服务——一个分布式多模型服务系统,含 Web GUI、命令行推理,以及 OpenAI 兼容的 RESTful API,可同时服务多个模型。它也发布并支持多种模型权重(Vicuna v1.5、LongChat 等)。围绕它还产出了 Chatbot Arena 对战平台、LMSYS-Chat-1M 等大规模真实对话数据集与多份技术报告。安装可用 pip(fschat[model_worker,webui])或源码构建。

来源:README.md(Contents、core features、News、Install)

项目知识图谱

知识图谱:项目核心节点(中心)+ 核心功能(内环六边形)+ 关键技术依赖(外环 chip) PyTorch/Transformers 生态PyTorch/Transf… OpenAI 兼容 API 层OpenAI 兼容 AP… model_worker/webui(fschat extras)model_worker/w… 分布式多模型服务 训练与评估代码 Chatbot Arena 与排行榜底座Chatbot Arena 与排… 开源模型与数据集 FastChat 项目本体 核心功能 关键依赖

中心为项目本体,内环 = 核心功能模块,外环 = 关键技术依赖;按 deep.json 中的 core_features 与 tech_stack.key_deps 自动生成

技术栈

语言Python框架分布式多模型服务 + 训练/评估代码
PyTorch/Transformers 生态OpenAI 兼容 API 层model_worker/webui(fschat extras)
pip(fschat)或源码安装;Web GUI + CLI + REST API
来源:README.md(Install、core features、Contents);GitHub 仓库元数据(language=Python)

快速上手

安装:pip3 install "fschat[model_worker,webui]",或从源码 git clone 后构建(Mac 上先 brew install rust cmake)。之后可用命令行推理、启动带 Web GUI 的多模型服务、或暴露 OpenAI 兼容 API 供应用调用;模型权重(Vicuna 等)见 Model Weights 章节。评测用 MT-Bench、微调见 Fine-tuning 章节。完整步骤见仓库各对应小节。
来源:README.md(Install、Contents 各章节)

使用场景

适合研究者与工程团队:本地或集群上服务多个开源 LLM 并以 OpenAI 兼容 API 接入应用、做模型评测(MT-Bench、Arena 式对战)、训练/微调对话模型,以及复用其发布的 Vicuna/LongChat 权重和大规模对话数据集做研究。它是开源 LLM 评测与服务的基础设施级项目,适合需要可控、可比、可复现的模型评估与部署场景。

来源:README.md(core features、Contents、News)

优势与局限

优势

  • 开源 LLM 评测/服务的标志性平台,支撑 Chatbot Arena 与 Elo 排行榜
  • 分布式多模型服务 + OpenAI 兼容 API,工程实用
  • 提供训练/微调/评测(MT-Bench)全链路与多个开源模型权重
  • 产出多份数据集与技术报告,学术影响力大,Apache-2.0

局限

  • 部分模型/数据较早(Vicuna 基于 Llama 2 时代),需结合最新模型看
  • 服务多模型与训练对算力有要求,部署有门槛
  • 更偏研究/平台属性,开箱即用的产品化仍需自建
  • 迭代节奏相对放缓,需关注与当下生态的衔接
来源:README.md(News 时间线、core features、Install)

最新版本

本页未列出具体版本号;FastChat 持续维护,历史里程碑包括 Chatbot Arena 技术报告、LMSYS-Chat-1M 数据集、Vicuna v1.5(基于 Llama 2,4K/16K 上下文)与 LongChat(32K)等。它仍是 Chatbot Arena/lmarena 评测体系的基础代码。

来源:README.md(News 段落、首段)

总结评价

FastChat 是开源 LLM 评测与服务领域的奠基性项目:它撑起了被广泛引用的 Chatbot Arena 与 Elo 排行榜、催生了 Vicuna 和 MT-Bench,并提供分布式多模型服务 + OpenAI 兼容 API + 训练/评测全链路。对做开源模型评测、可控部署或相关研究的团队仍是重要基础设施。要清楚部分模型/数据偏早、服务/训练有算力门槛、且更偏平台研究属性而非开箱产品。作为开源 LLM 评测服务的标杆,它影响力与实用价值都很高。

来源:综合 README.md 的平台定位、Arena/Vicuna/MT-Bench 与服务能力
透明度声明
本页内容由 AI(大语言模型)基于以下公开材料自动生成:GitHub README、代码目录结构、依赖文件、Release 信息。 分析时间: 2026-05-24 13:40. 质量评分: 100/100.

数据来源:README、GitHub API、依赖文件