llmfit 是什么?

llmfit 是一个用 Rust 编写的终端工具,用来把 LLM 模型「量体裁衣」地匹配到你机器的 RAM、CPU 和 GPU——它检测你的硬件,对每个模型在质量、速度、适配度、上下文等维度打分,告诉你哪些模型真能在你的机器上跑得好。它默认提供交互式 TUI,也有经典 CLI 模式,支持多 GPU、MoE 架构、动态量化选择、速度估算,以及对接本地运行时(Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio)。许可为 MIT,约 26,586 stars,发布在 crates.io,且二进制经 SignPath 签名。

⭐ 24,384 Stars 🍴 1,457 Forks Rust 作者: AlexsJones
来源:README.md(标题、首段、Install);GitHub 仓库元数据(stars=26586、license=MIT、language=Rust) 查看 GitHub 仓库 →

为什么值得关注

本地跑开源 LLM 越来越普及,但「我的硬件到底能跑哪个模型、用什么量化、能有多快」是新手和老手都头疼的选型问题。llmfit 正好解决这个痛点:一条命令检测硬件并给出量化到具体模型的推荐与评分,还新增了社区排行榜——展示其他人在相同硬件上实测的 tok/s、TTFT 和显存占用,弥合「估算」与「实际」的差距,并能用 27+ 硬件预设(从 RTX 5090 到 Apple M1)在买/装机前对比真实数据。实用、即时、跨平台,因而获得高关注。截至数据采集约 26,586 stars。

来源:README.md(首段、Community Leaderboard 说明);GitHub 仓库元数据(stars=26586)

核心功能

硬件适配评分

检测本机 RAM/CPU/GPU,对每个模型在质量、速度、适配度、上下文维度打分,告诉你哪些模型能在你机器上跑得好;支持多 GPU、MoE 与动态量化选择。

来源:README.md(首段、能力列表)
社区排行榜(实测数据)

按 b 查看其他用户在相同硬件上实测的 tok/s、TTFT 与显存占用(由 localmaxxing.com 提供),并可用 27+ 硬件预设对比真实数字,弥合估算与实际的差距。

来源:README.md(Community Leaderboard 段落)
本地运行时对接

支持 Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio 等本地运行时提供商,覆盖主流端侧推理栈。

来源:README.md(首段 local runtime providers)
TUI 工具面板

内置下载管理器(D:管理下载/历史/删除模型/配置目录)、高级配置(A:调 TPS 效率、运行模式因子、评分权重)和硬件模拟(S:模拟不同硬件做对比)。

来源:README.md(Download Manager / Advanced Configuration / Hardware Simulation 段落)

技术架构

llmfit 是一个 Rust 单体 CLI/TUI 工具,发布在 crates.io,并提供多平台安装(Scoop/Homebrew/MacPorts/脚本/uv/pip/Docker/源码构建)。它检测本机硬件后,对模型库做多维评分(质量、速度、适配度、上下文),支持多 GPU、MoE 架构识别与动态量化选择,并能估算速度;推荐结果可经 recommend 命令以 JSON 输出(便于 jq 查询)。它对接多种本地运行时提供商(Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio)。TUI 内置多个面板:社区排行榜(实测性能,由 localmaxxing.com 提供)、下载管理器、高级配置(调 TPS 效率、运行模式因子、评分权重)和硬件模拟(模拟不同硬件做对比)。工程上有完整 CI、release-please 自动发布和签名。

来源:README.md(首段能力、Install 各方式、各 TUI 面板说明、Docker recommend JSON);git tree(Cargo.toml、.github/workflows/、API.md、MODELS.md)

项目知识图谱

知识图谱:项目核心节点(中心)+ 核心功能(内环六边形)+ 关键技术依赖(外环 chip) 本地运行时:Ollama / llama.cpp / MLX / Docker Model Runner / LM Studio本地运行时:Oll… GGUF/量化生态 localmaxxing.com(社区实测数据)localmaxxing.c… 硬件适配评分 社区排行榜(实测数据) 本地运行时对接 TUI 工具面板 llmfit 项目本体 核心功能 关键依赖

中心为项目本体,内环 = 核心功能模块,外环 = 关键技术依赖;按 deep.json 中的 core_features 与 tech_stack.key_deps 自动生成

技术栈

语言Rust框架终端 TUI + CLI(默认 TUI)
本地运行时:Ollama / llama.cpp / MLX / Doc…GGUF/量化生态localmaxxing.com(社区实测数据)
crates.io 发布;多平台安装(Scoop/Homebrew/MacPorts/脚本/uv/Docker);CI + release-please + SignPath 签名
来源:README.md(Install 各方式、能力列表、徽章);git tree(Cargo.toml、.github/workflows/release-please.yml、release-desktop.yml)

快速上手

多平台安装:Windows 用 scoop install llmfit;macOS/Linux 用 brew install llmfit、port install llmfit、或脚本 curl -fsSL https://llmfit.axjns.dev/install.sh | sh(加 --local 装到 ~/.local/bin 免 sudo);也可 uv tool install -U llmfit、uvx llmfit、或 pip 安装;Docker 用 docker run ghcr.io/alexsjones/llmfit(默认输出 recommend 的 JSON,可配 jq 查询,如 recommend --use-case coding);也可从源码 cargo build --release。运行后默认进入交互式 TUI——按 b 看社区排行榜、H 选硬件预设、D 管理下载、A 调高级配置、S 模拟硬件;或用经典 CLI 模式。
来源:README.md(Install 各方式、各面板快捷键说明)

使用场景

适合想在本地跑开源 LLM、但不确定硬件能带动哪些模型的用户:在下载前先判断某模型/某量化能否在自己机器上跑好、预计多快;对比不同量化与多 GPU 配置;用社区实测数据和硬件预设在买显卡/装机前做选型;或把 recommend 的 JSON 接入脚本做自动化挑选。它面向端侧推理选型这一具体痛点,既有交互 TUI 也能命令行/容器化使用,对本地 AI 爱好者和需要批量评估硬件适配的人都实用。

来源:README.md(首段、Community Leaderboard、Docker recommend 示例)

优势与局限

优势

  • 解决「我的硬件能跑哪个模型/量化、多快」的真实选型痛点,一条命令出结果
  • 社区实测排行榜 + 硬件预设,弥合估算与实际性能的差距
  • 广泛对接本地运行时(Ollama/llama.cpp/MLX/LM Studio 等),支持多 GPU/MoE/动态量化
  • Rust 实现、多平台安装、CI 完善且二进制签名,可 JSON 输出便于脚本化

局限

  • 速度/适配为估算与社区数据,实际表现仍受具体环境(驱动、负载、上下文长度)影响
  • 价值集中在选型评估,不负责实际推理服务(需配合 Ollama/llama.cpp 等)
  • 社区排行榜依赖第三方数据(localmaxxing.com)的覆盖度与质量
  • 模型库与硬件预设需持续更新以跟上新模型/新硬件
来源:README.md(首段估算说明、Community Leaderboard、能力列表)

最新版本

本页未列出具体版本号;项目通过 release-please 自动化发布,提供 crates.io 包与多平台二进制(含桌面版发布工作流),变更记录在 CHANGELOG.md,二进制经 SignPath 签名。近期亮点是社区排行榜(实测 tok/s、TTFT、显存)与硬件预设对比功能。

来源:README.md(Community Leaderboard、徽章);git tree(CHANGELOG.md、.github/workflows/release-please.yml、release-desktop.yml)

总结评价

llmfit 把「本地跑 LLM 的硬件选型」这件麻烦事做成了一条命令就能解决的工具:检测硬件、多维评分、对接主流本地运行时,并用社区实测数据和硬件预设弥合估算与实际的差距。对本地 AI 爱好者、装机/选显卡前想看真实性能的人很实用,Rust 实现也保证了跨平台与轻量。要清楚它给的是估算与社区数据(实际表现受环境影响),且它只管选型评估、不负责实际推理服务。作为端侧 LLM 选型工具,它定位精准、工程化扎实、口碑很好。

来源:综合 README.md 的定位、能力与社区数据特性
透明度声明
本页内容由 AI(大语言模型)基于以下公开材料自动生成:GitHub README、代码目录结构、依赖文件、Release 信息。 分析时间: 2026-05-24 12:48. 质量评分: 100/100.

数据来源:README、GitHub API、依赖文件