lingbot-map 是什么?

LingBot-Map 是面向长图像或视频序列的流式 3D 重建模型。Geometric Context Transformer 维护几何上下文和 KV cache,逐帧输出深度、世界坐标点与相机位姿,并提供浏览器查看器和长视频离线渲染管线。

⭐ 10,545 Stars 🍴 1,206 Forks Python Apache-2.0 作者: Robbyant
来源:github.com/Robbyant/lingbot-map 查看 GitHub 仓库 → 📘 使用教程 →

为什么值得关注

官方仓库没有付费、充值、订阅或转售入口,因此保留并优先补齐近期安装变化、显存边界与长序列退化条件。

来源:github.com/Robbyant/lingbot-map

核心功能

流式几何上下文

模型用上下文 token、参考窗口和轨迹记忆处理连续帧,输出深度、点图与相机姿态;FlashInfer 提供分页 KV cache 路径。

来源:github.com/Robbyant/lingbot-map
长序列窗口模式

超过约 3000 帧时可用 windowed 模式;keyframe_interval 控制进入缓存的关键帧,overlap_keyframes 保留相邻窗口上下文。

来源:github.com/Robbyant/lingbot-map
交互与离线两条输出链

demo.py 默认在 localhost:8080 启动 Viser;demo_render/batch_demo.py 处理长视频并输出点云飞行 MP4 和可选逐帧 NPZ。

来源:github.com/Robbyant/lingbot-map

技术架构

输入图像经预处理进入 Geometric Context Transformer;初始尺度帧建立参考,后续帧按 streaming 或 windowed 模式更新 KV cache 和轨迹状态。模型输出深度、置信度、世界点与位姿。demo.py 交给 Viser 展示;batch_demo.py 还会做天际线分割、GPU 点云渲染与 ffmpeg 编码。

来源:github.com/Robbyant/lingbot-map

项目知识图谱

知识图谱:项目核心节点(中心)+ 核心功能(内环六边形)+ 关键技术依赖(外环 chip) Pillow huggingface_hub einops safetensors opencv-python 流式几何上下文 长序列窗口模式 交互与离线两条输出链 lingbot-map 项目本体 核心功能 关键依赖

技术栈

语言Python >=3.10框架PyTorch;推荐 torch 2.8.0 + torchvision 0.23.0 + CUDA 12.8
Pillowhuggingface_hubeinopssafetensorsopencv-pythonscipy可选 FlashInfer可选 Viser/Trimesh/ONNX Runtime离线渲染另需 Kaolin 与 ffmpeg
需要下载约 4.4GB 的 1.19B 参数 checkpoint;交互查看器默认监听 localhost:8080;FlashInfer 首次运行会 JIT 编译 CUDA kernel
来源:github.com/Robbyant/lingbot-map/blob/main/pyproject.toml

快速上手

按官方路径创建 Python 3.10 conda 环境,安装 torch 2.8.0/torchvision 0.23.0 的 cu128 wheel,再执行 pip install -e .。需要高效流式推理时安装 flashinfer-python;只用 PyTorch 注意力可在 demo.py 加 --use_sdpa。另行从官方 Hugging Face 或 ModelScope 下载 checkpoint,再对仓库 example 目录运行 demo.py。
来源:github.com/Robbyant/lingbot-map

使用场景

适合研究长视频的相机轨迹、深度和点云重建,以及复现实验基准。它不是零配置 CPU 工具,也没有默认全局回环优化;用于机器人或测绘前,要在自己的相机、运动速度、尺度和回环场景上评估漂移。

来源:github.com/Robbyant/lingbot-map

优势与局限

优势

  • 同时提供短序列交互查看和长视频离线管线
  • FlashInfer 不可用时有 SDPA 回退
  • 官方已发布多数据集 benchmark 脚本和结果
  • 关键帧、窗口、CPU offload 与相机迭代参数公开

局限

  • 没有 GitHub release,pyproject 的 0.1.0 不是发布包保证
  • checkpoint 约 4.4GB,GPU 和磁盘成本明显
  • 训练使用 320 views 的 video RoPE,缓存超过该范围时质量可能下降
  • 推理距离受训练数据最长距离约束,可能出现 pose collapse
  • 离线渲染还需 Kaolin、CUDA 扩展和 ffmpeg,安装链较长
来源:github.com/Robbyant/lingbot-map

最新版本

截至 2026-09-23,官方 GitHub Releases 页面没有 release;pyproject.toml 的包版本为 0.1.0。README 最近明确记录的功能更新包括 2026-06-28 的 SDPA KV cache 修复和 2026-05-25 的 benchmark 发布,复现应固定 commit 与 checkpoint。

来源:github.com/Robbyant/lingbot-map/releases

实测与证据

status: docs-only  |  checked_at: 2026-09-23  |  environment: 核对官方 README、pyproject.toml、benchmark 文档、模型下载链接和 GitHub Releases 页面  |  limitations: 未安装 CUDA/PyTorch/FlashInfer/Kaolin,未下载 checkpoint 或数据集,未运行推理、viewer、benchmark 或离线渲染,未验证 20 FPS 等硬件相关结果  |  observed_output: pyproject 版本为 0.1.0、Python 下限 3.10;官方无 GitHub release;README 记录 2026-06-28 修复 SDPA KV cache,并在 2026-05-25 发布 benchmark

来源:github.com/Robbyant/lingbot-map/releases

同类项目对比

Meta 的 VGGT 接收一个到数百张图,一次前馈预测相机、深度、点图和跟踪;LingBot-Map 围绕流式状态、KV cache、关键帧和窗口重置处理更长序列。短批次、多任务几何预测可先看 VGGT;连续视频和长序列状态管理更符合 LingBot-Map 的接口。

来源:github.com/facebookresearch/vggt

总结评价

保留。深度页应把模型宣传结果与本轮未实测边界分开,并突出显存、上下文长度、端口和模型下载成本。

来源:github.com/Robbyant/lingbot-map

常见问题

LingBot-Map 没装 FlashInfer 还能运行吗?

可以。官方提供 --use_sdpa,回退到 PyTorch 原生注意力;README 仍建议 FlashInfer 获得更好的流式性能。两条后端的速度、显存和长序列质量应在同一硬件上分别测。

LingBot-Map 为什么长序列要调 keyframe_interval?

模型用 320 views 训练 video RoPE,缓存持续超过这个范围时性能会下降。提高 keyframe_interval 只让部分帧进入 KV cache,非关键帧仍会产生预测,从而把更长视频放进有限上下文。

LingBot-Map 的查看器会开放到公网吗?

README 写的是 Viser 默认运行在 http://localhost:8080。仍应检查实际绑定地址、防火墙和运行环境,不要在含敏感图像时把端口转发到公网。

LingBot-Map 能直接在 8GB 显卡上稳定处理长视频吗?

官方只给出 --offload_to_cpu、减少 num_scale_frames 和降低相机迭代等节省显存方法,没有承诺所有 8GB 设备可稳定运行。应先用短 example 测峰值显存,再逐步增加帧数。

LingBot-Map 和 VGGT 的主要区别是什么?

VGGT 面向一个到数百张图的一次前馈几何预测;LingBot-Map 增加流式状态、分页 KV cache、关键帧和窗口模式,重点处理连续长序列。

资料与核验范围
本文依据项目公开资料整理。版本、安装命令和功能边界可能随上游更新,请以所列来源和项目当前版本为准。 资料核对时间: 2026-09-23 13:55.

参考材料:README、GitHub API、依赖文件