VBVR-EvalKit（Video-Reason/VBVR-EvalKit）是 Very Big Video Reasoning（VBVR）项目的官方评测仓库，伴随同名论文（ICML 2026）发布，提供一个面向视频生成模型（尤其 Image-to-Video）的「可验证」推理评测框架：用基于规则、对齐人类判断的 scorer 替代纯模型评判，强调可复现与可解释的诊断。基准 VBVR-Bench 覆盖 100 个任务、5 大认知类别（Abstraction、Knowledge、Perception、Spatiality、Transformation），每任务 5 个样本，合计 500 段评测视频，并按 In-Domain/Out-of-Domain 各 50 任务划分。Apache-2.0 许可，约 297 stars，主语言 Python，配套主页 video-reason.com，数据集/模型/榜单挂在 HuggingFace。
来源：官方 README 与文档入口 查看 GitHub 仓库 →视频生成与推理需要严谨评测，但目前多依赖大模型作为「裁判」，重复性差、可解释弱。VBVR 用规则化、与人类判断对齐的 scorer 做可验证评测，配 100 任务/500 视频的基准与公开 leaderboard（HF Space），又是 ICML 2026 接收工作，因而受研究者关注。需说明：项目体量与受众主要是视频生成研究社区，stars 数（约 297）反映学术性多于大众热度；评测结果仍依赖视频生成模型的输出与 GT 的结构对照。截至数据采集约 297 stars。
来源：官方 README 与文档入口用基于规则、对齐人类判断的 scorer 替代纯 model-judge，强调可复现与可解释。
来源：官方 README 与文档入口Abstraction / Knowledge / Perception / Spatiality / Transformation 共 100 任务、500 视频。
来源：官方 README 与文档入口各 50 任务，分别测拟合与泛化。
来源：官方 README 与文档入口HuggingFace 上发布 Bench-Data、VBVR-Dataset、VBVR-Wan2.2 模型与 Leaderboard Space。
来源：官方 README 与文档入口评测流程：① 从 HuggingFace 拉取 VBVR-Bench-Data（含 prompts、第一帧 base64、目标最终帧、参考 ground truth 视频）；② 用你的 Image-to-Video 模型按 prompt + 第一帧生成视频；③ 调用 EvalKit 的 scorer 按规则做评分（与人类判断对齐），按 5 类认知任务输出可解释指标。数据集结构按 In-Domain_50/Out-of-Domain_50 组织，每任务 5 个样本目录（first_frame.png / final_frame.png / ground_truth.mp4 / prompt.txt）。仓库为 Python 包，可 pip install -e 安装；同 GitHub 组织有 Wan2.2 训练代码与 DataFactory。
来源：官方 README 与文档入口HuggingFace Hub（数据/模型/Space）Image-to-Video 模型（用户自带）规则化 scorer适合视频生成/推理方向的研究者与工程师：复现 VBVR 基准、评估自家 Image-to-Video 模型在抽象/知识/感知/空间/变换 5 类认知任务上的能力、做泛化（Out-of-Domain）研究、向 Leaderboard 提交结果；也适合作为开发评测 pipeline 的参考。它是研究型评测工具，不适合作为生产视频质量评分系统。
来源：官方 README 与文档入口本页无版本号；论文为 ICML 2026 接收（arXiv:2602.20159），数据/模型/Leaderboard 见 HuggingFace。仓库最后更新约在 2026 年 5 月。
来源：官方 README 与文档入口VBVR-EvalKit 是 ICML 2026 论文 Very Big Video Reasoning 的官方评测仓库：用规则化、人类对齐的 scorer 替代纯 model-judge，为视频生成模型（尤其 I2V）提供 100 任务/5 类认知/500 视频的可验证、可解释基准，并把数据/模型/Leaderboard 都公开在 HuggingFace，对视频生成/推理研究者很对口。要清楚它是研究型评测、需要用户自备 I2V 模型与 GPU、stars 主要反映学术受众。商业引流：无，纯开源研究项目。
来源：官方 README 与文档入口