llmfit 是一个用 Rust 编写的终端工具,用来把 LLM 模型「量体裁衣」地匹配到你机器的 RAM、CPU 和 GPU——它检测你的硬件,对每个模型在质量、速度、适配度、上下文等维度打分,告诉你哪些模型真能在你的机器上跑得好。它默认提供交互式 TUI,也有经典 CLI 模式,支持多 GPU、MoE 架构、动态量化选择、速度估算,以及对接本地运行时(Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio)。许可为 MIT,约 26,586 stars,发布在 crates.io,且二进制经 SignPath 签名。
来源:README.md(标题、首段、Install);GitHub 仓库元数据(stars=26586、license=MIT、language=Rust) 查看 GitHub 仓库 →本地跑开源 LLM 越来越普及,但「我的硬件到底能跑哪个模型、用什么量化、能有多快」是新手和老手都头疼的选型问题。llmfit 正好解决这个痛点:一条命令检测硬件并给出量化到具体模型的推荐与评分,还新增了社区排行榜——展示其他人在相同硬件上实测的 tok/s、TTFT 和显存占用,弥合「估算」与「实际」的差距,并能用 27+ 硬件预设(从 RTX 5090 到 Apple M1)在买/装机前对比真实数据。实用、即时、跨平台,因而获得高关注。截至数据采集约 26,586 stars。
来源:README.md(首段、Community Leaderboard 说明);GitHub 仓库元数据(stars=26586)检测本机 RAM/CPU/GPU,对每个模型在质量、速度、适配度、上下文维度打分,告诉你哪些模型能在你机器上跑得好;支持多 GPU、MoE 与动态量化选择。
来源:README.md(首段、能力列表)按 b 查看其他用户在相同硬件上实测的 tok/s、TTFT 与显存占用(由 localmaxxing.com 提供),并可用 27+ 硬件预设对比真实数字,弥合估算与实际的差距。
来源:README.md(Community Leaderboard 段落)支持 Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio 等本地运行时提供商,覆盖主流端侧推理栈。
来源:README.md(首段 local runtime providers)内置下载管理器(D:管理下载/历史/删除模型/配置目录)、高级配置(A:调 TPS 效率、运行模式因子、评分权重)和硬件模拟(S:模拟不同硬件做对比)。
来源:README.md(Download Manager / Advanced Configuration / Hardware Simulation 段落)llmfit 是一个 Rust 单体 CLI/TUI 工具,发布在 crates.io,并提供多平台安装(Scoop/Homebrew/MacPorts/脚本/uv/pip/Docker/源码构建)。它检测本机硬件后,对模型库做多维评分(质量、速度、适配度、上下文),支持多 GPU、MoE 架构识别与动态量化选择,并能估算速度;推荐结果可经 recommend 命令以 JSON 输出(便于 jq 查询)。它对接多种本地运行时提供商(Ollama、llama.cpp、MLX、Docker Model Runner、LM Studio)。TUI 内置多个面板:社区排行榜(实测性能,由 localmaxxing.com 提供)、下载管理器、高级配置(调 TPS 效率、运行模式因子、评分权重)和硬件模拟(模拟不同硬件做对比)。工程上有完整 CI、release-please 自动发布和签名。
来源:README.md(首段能力、Install 各方式、各 TUI 面板说明、Docker recommend JSON);git tree(Cargo.toml、.github/workflows/、API.md、MODELS.md)中心为项目本体,内环 = 核心功能模块,外环 = 关键技术依赖;按 deep.json 中的 core_features 与 tech_stack.key_deps 自动生成
本地运行时:Ollama / llama.cpp / MLX / Doc…GGUF/量化生态localmaxxing.com(社区实测数据)适合想在本地跑开源 LLM、但不确定硬件能带动哪些模型的用户:在下载前先判断某模型/某量化能否在自己机器上跑好、预计多快;对比不同量化与多 GPU 配置;用社区实测数据和硬件预设在买显卡/装机前做选型;或把 recommend 的 JSON 接入脚本做自动化挑选。它面向端侧推理选型这一具体痛点,既有交互 TUI 也能命令行/容器化使用,对本地 AI 爱好者和需要批量评估硬件适配的人都实用。
来源:README.md(首段、Community Leaderboard、Docker recommend 示例)本页未列出具体版本号;项目通过 release-please 自动化发布,提供 crates.io 包与多平台二进制(含桌面版发布工作流),变更记录在 CHANGELOG.md,二进制经 SignPath 签名。近期亮点是社区排行榜(实测 tok/s、TTFT、显存)与硬件预设对比功能。
来源:README.md(Community Leaderboard、徽章);git tree(CHANGELOG.md、.github/workflows/release-please.yml、release-desktop.yml)llmfit 把「本地跑 LLM 的硬件选型」这件麻烦事做成了一条命令就能解决的工具:检测硬件、多维评分、对接主流本地运行时,并用社区实测数据和硬件预设弥合估算与实际的差距。对本地 AI 爱好者、装机/选显卡前想看真实性能的人很实用,Rust 实现也保证了跨平台与轻量。要清楚它给的是估算与社区数据(实际表现受环境影响),且它只管选型评估、不负责实际推理服务。作为端侧 LLM 选型工具,它定位精准、工程化扎实、口碑很好。
来源:综合 README.md 的定位、能力与社区数据特性