runanywhere-sdks 是什么?

RunAnywhere(RunanywhereAI/runanywhere-sdks)是一套面向多端的「设备端 AI(on-device AI)」SDK 工具包,让开发者在自己的 App 内本地运行 LLM 聊天、语音转文字(STT)、文字转语音(TTS)以及视觉语言模型、设备端扩散模型等能力,数据不离开设备、离线可用、低延迟。提供 Swift(iOS/macOS)、Kotlin(Android)等稳定 SDK,以及 Web、React Native、Flutter 等 Beta 版,底层可接 llama.cpp 等运行时。主语言 C++,约 10,350 stars,仓库 LICENSE 字段标为 NOASSERTION(README 与徽章标注 Apache-2.0,正式授权以仓库 LICENSE 文件为准),官网 runanywhere.ai。

⭐ 10,345 Stars 🍴 345 Forks C++ NOASSERTION 作者: RunanywhereAI
来源:README.md(标题、What is、SDKs 表、Quick Start);GitHub 仓库元数据(stars=10350、language=C++、license=NOASSERTION) 查看 GitHub 仓库 →

为什么值得关注

隐私、离线与成本诉求推动设备端 AI 升温:把推理放在端上可避免数据上云、降低延迟与调用成本。RunAnywhere 以「一套 API、多端覆盖」切入,支持 LLM/STT/TTS/VLM/扩散等多种能力并提供五端 SDK,还有上架 App Store/Google Play 的示例应用,对想给移动/Web 应用加本地 AI 的开发者很有吸引力。需注意部分端(Web/RN/Flutter)仍为 Beta,实际性能受设备算力与模型大小制约。截至数据采集约 10,350 stars。

来源:README.md(What is、SDKs 表的状态、应用商店徽章);GitHub 仓库元数据(stars=10350、pushed_at 2026-05)

核心功能

设备端多能力推理

本地运行 LLM 聊天、Whisper STT、神经 TTS、视觉语言模型与扩散模型,数据不离开设备。

来源:README.md(What is、See It In Action)
多端统一 SDK

提供 Swift/Kotlin(Stable)与 Web/React Native/Flutter(Beta)SDK,API 风格一致。

来源:README.md(SDKs 表)
可插拔运行时

通过注册运行时(如 LlamaCPP.register())接入底层推理引擎,再用统一接口加载模型与生成。

来源:README.md(Quick Start 的 register/initialize/loadModel/chat)
语音助手流水线

内置 STT → LLM → TTS 的全离线语音助手链路,可直接构建语音交互。

来源:README.md(Voice AI、What is 的 Voice Assistant)

技术架构

RunAnywhere 以统一的 SDK API 封装设备端推理:开发者调用 RunAnywhere.initialize、downloadModel/loadModel、chat 等接口,底层通过可注册的运行时(如 LlamaCPP.register() 接入 llama.cpp)执行推理;核心用 C++ 实现以便跨端复用,再对各平台提供原生封装(Swift Package、Kotlin/Gradle、npm、pub.dev)。能力覆盖 LLM、STT(Whisper 系)、TTS、VLM 与扩散模型,并支持 STT→LLM→TTS 的语音助手流水线,全程本地运行。模型通过下载接口获取(如 smollm2-360m 等小模型)。

来源:README.md(Quick Start 代码、What is、topics 含 llamacpp/ollama);GitHub 仓库元数据(language=C++)

项目知识图谱

知识图谱:项目核心节点(中心)+ 核心功能(内环六边形)+ 关键技术依赖(外环 chip) llama.cpp(LLM 运行时)llama.cpp(LLM… Whisper(STT) 各平台原生封装(SPM/Gradle/npm/pub.dev)各平台原生封装(… 设备端多能力推理 多端统一 SDK 可插拔运行时 语音助手流水线 runanywhere-sdks 项目本体 核心功能 关键依赖

中心为项目本体,内环 = 核心功能模块,外环 = 关键技术依赖;按 deep.json 中的 core_features 与 tech_stack.key_deps 自动生成

技术栈

语言C++(核心)+ Swift/Kotlin/JS/Dart(各端封装)框架设备端 AI 推理 SDK(统一 API + 可插拔运行时)
llama.cpp(LLM 运行时)Whisper(STT)各平台原生封装(SPM/Gradle/npm/pub.dev)
iOS/macOS、Android、Web、React Native、Flutter;模型下载分发;许可见仓库 LICENSE(NOASSERTION,README 标 Apache-2.0)
来源:README.md(Quick Start、SDKs 表、topics);GitHub 仓库元数据(language=C++、license=NOASSERTION)

快速上手

以 Swift 为例:通过 Swift Package Manager 添加仓库依赖,import RunAnywhere 与运行时(如 LlamaCPPRuntime),调用 LlamaCPP.register() → RunAnywhere.initialize() → downloadModel/loadModel("smollm2-360m") → chat(...) 即可本地生成。Kotlin 经 Gradle 引入 runanywhere-kotlin 与对应 core-llamacpp 依赖,流程类似。Web/RN/Flutter 经 npm/pub.dev 安装(Beta)。模型大小与设备算力影响速度,建议先用小模型验证,详见 docs.runanywhere.ai 各端文档。
来源:README.md(Quick Start 的 Swift/Kotlin 代码与安装、SDKs 文档链接)

使用场景

适合需要在移动端/Web 端加本地 AI 的应用开发者:做隐私优先、离线可用的 LLM 助手、语音助手(STT→LLM→TTS)、本地转写、设备端图像生成或视觉理解,避免数据上云与云端调用成本。也适合 demo 与产品原型(已有上架的示例 App)。落地需根据目标设备算力选择合适模型,并评估各端成熟度(部分为 Beta)。

来源:README.md(What is、See It In Action、SDKs 表、应用商店示例)

优势与局限

优势

  • 一套 API 覆盖五端,统一接入设备端推理
  • 能力面广:LLM/STT/TTS/VLM/扩散与语音流水线
  • 可插拔运行时(如 llama.cpp),并有上架示例 App
  • 隐私、离线、低延迟,数据不出设备

局限

  • Web/React Native/Flutter 仍为 Beta,成熟度待验证
  • 端侧性能受设备算力与模型大小制约,大模型不现实
  • 仓库 LICENSE 字段为 NOASSERTION,正式授权需以 LICENSE 文件为准
  • 依赖底层运行时与模型生态,能力边界随之变化
来源:README.md(SDKs 表状态、What is);GitHub license=NOASSERTION

最新版本

本页未列统一版本号;README 中 Kotlin 依赖示例为 0.16.1,反映 SDK 处于活跃迭代的 0.x 阶段;Swift/Kotlin 标为 Stable,Web/RN/Flutter 为 Beta。仓库最后更新约在 2026 年 5 月,版本以各端包管理器发布为准。

来源:README.md(Kotlin 依赖 0.16.1、SDKs 表状态);GitHub pushed_at

总结评价

RunAnywhere 是一套覆盖五端的设备端 AI SDK:用统一 API 在 App 内本地运行 LLM、STT、TTS、VLM 与扩散模型,并提供 STT→LLM→TTS 语音流水线,底层可插拔 llama.cpp 等运行时,隐私、离线、低延迟,还有上架示例应用,对想给移动/Web 加本地 AI 的开发者很实用。要注意 Web/RN/Flutter 仍 Beta、端侧性能受设备与模型大小限制、仓库 LICENSE 字段为 NOASSERTION 需核对授权。作为 on-device AI 的多端工具包,覆盖广、上手清晰。

来源:综合 README.md 的定位、能力、SDK 状态与许可信息
透明度声明
本页内容由 AI(大语言模型)基于以下公开材料自动生成:GitHub README、代码目录结构、依赖文件、Release 信息。 分析时间: 2026-05-24 15:42. 质量评分: 100/100.

数据来源:README、GitHub API、依赖文件