CGVM (R2.6) — Portable Expanded-Data Training Code, Unified Inference Suite & Step-600 Milestone

本仓库提供:

  1. 跨服务器通用版 R2.6 完整训练 + 扩数据构建 + 评测源码(src/ 与即插即用打包版 code/cgvm-r26-src-v2.tar.gz,SHA256: abcd4b5f6bf5e6145af7658ec78df5af4e8e7f84483960f4dbe841b5902889e5)——**已解除所有单机硬编码路径,支持在任意 4×H100 / 8×B300 / 8×H20 服务器上一键重训标准 +8K (28K) 或更大规模扩数据版(如 +16K / 36K、+22K / 42K)的 R2.6**;
  2. 预合成与零泄漏门禁文本资产(r26_train_assets/:含 MotionBenchCaption-train 已筛选标注、预合成的细粒度多选 QA 及四大评测集全量 13,606 个封禁视频 ID 清单);
  3. **R2.6 中途里程碑权重 step-000600**(checkpoints/R2/reader/step-000600/adapter/,注:按要求本仓库未上传 step-000875 最终权重,但下方完整披露了用本仓库同一套代码跑满 875 步后的全量实测指标与完整重训命令)。

1. 这套 R2.6 代码完整跑完后的全量实测指标(28K / 875 steps 基准参考)

在 4×H100 上使用本仓库代码训练完整 1 epoch(20,000 原 R2.5 + 8,000 扩充 = 28,000 QA,875 steps)并在同一套统一推理配置下全量评测:

Benchmark 评估题数 R0 (MEMO) R2.5 (20K) R2.6 (28K 完整训完) 相比 R2.5 提升 相比 R0 提升
TempCompass (Overall) 7,540 74.15% 71.79% 77.16% (5818/7540) +5.37% +3.01%
├─ caption_matching (K=2) 1,503 82.04% 80.64% 84.36% +3.73% +2.33%
├─ captioning (K=3,4) 2,004 73.25% 68.66% 75.65% +6.99% +2.40%
├─ multi-choice (K=3,4) 1,580 70.70% 67.97% 74.11% +6.14% +3.42%
└─ yes_no (K=2) 2,453 72.28% 71.38% 75.95% +4.57% +3.67%
MotionBench (同分母对齐) 4,011 56.99% 57.94% 63.30% (2539/4011) +5.36% +6.31%
MotionBench (全量有标签) 4,017 — — 63.33% (2544/4017) +5.39% +6.34%
├─ Camera Motion 385 52.73% 51.69% 64.94% +13.25% +12.21%
├─ Location-related Motion 546 59.71% 60.99% 67.22% +6.23% +7.51%
├─ Motion Recognition 1,474 61.06% 63.70% 68.72% +5.02% +7.67%
├─ Motion-related Objects 690 75.65% 75.51% 79.42% +3.91% +3.77%
├─ Action Order 517 44.10% 43.52% 47.39% +3.87% +3.29%
└─ Repetition Count 399 26.82% 26.82% 29.07% +2.26% +2.26%
OVO-Bench (长流防回退校验) 1,468 64.25% 78.99% 78.28% (RT=79.38%) RT +0.26% +14.03%

2. 在另一台服务器上训练【扩数据版 R2.6】的完整操作指南

2.1 仓库内与训练直接相关的核心脚本(均位于 src/ 及 code/cgvm-r26-src-v2.tar.gz)

  • scripts/run_r26_expand_and_train.sh:跨服务器一键式流水线脚本(自动完成前置核验 $ ightarrow$ 训练视频拉取解压 $ ightarrow$ 增量合成多选题 $ ightarrow$ 抽帧构建合并证据包 $ ightarrow$ 训前零泄漏/选项均衡审计 $ ightarrow$ 多卡 torchrun 正式训练)。
  • scripts/prepare_r26_media_and_eval_sources.py:支持 --train-only、--mb-train-videos <N>、--llava-video-root、--hf-endpoint、--proxy;若新服务器本地没有 LLaVA-Video-178K,会自动从 hf-mirror.com / HuggingFace 按需拉取 0_30_s_perceptiontest 与 30_60_s_perceptiontest 子集并解压,同时自动从 zai-org/MotionBench 拉取 MotionBenchCaption-train 官方训练视频。
  • **scripts/synthesize_mb_train_qa.py**:使用本地冻结 Qwen3-VL-8B-Instruct 从 MotionBenchCaption-train 人工运动描述批量合成动作拆解顺序、运镜、方向与是非题(仓库 r26_train_assets/ 已预置前 1,300 个视频的合成结果,若扩充至 3,893 全量训练视频则自动仅对新增视频增量合成)。
  • **scripts/build_r26_extra_8k_packs.py**:支持 **--extra-quota <任意条数>**(默认 8000,即 28K;传 16000 即 36K;传 20000 即 40K),自动按 32.5% PerceptionTest + 30.0% MotionBenchCaption-train + 22.5% SSv2对比与拼接顺序 + 15.0% 物理倍速/逆放/Nyquist重复计数 等比扩容,并落盘 16 帧高清 JPEG。
    • 关于 SSv2 数据集的两种模式:
      1. 推荐(完整四池):在目标服务器提供官方 something-something-v2-train.json 与 .webm/.mp4 目录(通过 --ssv2-manifest 与 --ssv2-videos-dir 传入),能最大化 attribute_change(+9.52%)与 direction(+6.41%)增益;
      2. 免 SSv2 快速模式(--no-ssv2 或 NO_SSV2=1):若目标服务器暂未存放 20bn-something-something-v2 视频,开启 NO_SSV2=1 后脚本会自动将配额平滑重分配至 PerceptionTest-Train(约 9,000+ 可用题)与 MotionBenchCaption-Train(全量 3,893 视频约 7,500+ 可用题),不会因缺 SSv2 阻塞训练。
  • **scripts/train_reader.py + cgvm/reader_data.py**:Stage 2 全层 Decoder Attention+MLP LoRA 训练主入口(原生支持 4 卡 H100 或 8 卡 B300 / H20;在 >=140GB 显存的 B300 上自动启用 micro_batch_size=4 且免除梯度检查点,单步仅需 ~5-7 秒)。

2.2 分步执行命令(以 8×B300 / 8×H20 或 4×H100 新服务器为例)

第一步:拉取本仓库并准备代码工作目录

HF_ENDPOINT=https://hf-mirror.com huggingface-cli download XiangnanW/CGVM-R2.6-Qwen3VL-8B-step600 --local-dir ./CGVM-R2.6-bundle

mkdir -p ./cgvm_r26_work && cd ./cgvm_r26_work
tar -xf ../CGVM-R2.6-bundle/code/cgvm-r26-src-v2.tar.gz

# 确保本地有 git commit 记录供训练审计写入 provenance
git init -q && git add -A && git -c user.name=cgvm -c user.email=cgvm@local commit -qm "init r26 worktree"

第二步:软链基础模型与原 R2.5 的 20K 基础训练资产

R2.6 是在原 R2.5 的 20,000 条流式证据包基础上追加扩充数据联合训练 1 个完整 epoch,因此需将新服务器上已有的基础目录软链过来:

mkdir -p weights checkpoints/R2 data/qa_packs/R2 manifests repos

# 1. 冻结基座模型与上游依赖库
ln -s /path/to/Qwen3-VL-8B-Instruct       weights/Qwen3-VL-8B-Instruct
ln -s /path/to/clip-vit-large-patch14     weights/clip-vit-large-patch14
ln -s /path/to/MEMO                       repos/MEMO
ln -s /path/to/OVO-Bench                  repos/OVO-Bench

# 2. Stage 1 冻结检索头(可直接复用本仓库自带的 checkpoints/R2/retrieval)
cp -r ../CGVM-R2.6-bundle/checkpoints/R2/retrieval checkpoints/R2/
cp -r ../CGVM-R2.6-bundle/configs .

# 3. 原 R2.5 的 20,000 条基础证据包与已抽帧目录(来自此前训练 R2.5 的工作区)
ln -s /path/to/r25_workspace/data/qa_packs/R2/merged.jsonl          data/qa_packs/R2/merged.jsonl
ln -s /path/to/r25_workspace/manifests/online_pilot20k.frozen.jsonl manifests/online_pilot20k.frozen.jsonl
ln -s /path/to/r25_workspace/data/training_frames                   data/training_frames

第三步(场景 A):一键复现标准 +8,000(总 28,000 QA,140%)版 R2.6

# 若有本地 LLaVA-Video-178K 与 SSv2:
EXTRA_QUOTA=8000 \
NPROC=8 \
LLAVA_VIDEO_ROOT=/path/to/LLaVA-Video-178K \
SSV2_MANIFEST=/path/to/something-something-v2-train.json \
SSV2_VIDEOS_DIR=/path/to/20bn-something-something-v2 \
bash scripts/run_r26_expand_and_train.sh

(若新服务器本地没有 LLaVA-Video-178K,去掉 LLAVA_VIDEO_ROOT 即可自动从 hf-mirror.com 下载 perceptiontest 子集;若暂无 SSv2,把 SSV2_* 换成 NO_SSV2=1 即可自动由 PerceptionTest + MotionBenchCaption-train 补齐。)

第三步(场景 B):训练**更大规模扩数据版 R2.6**(例如 +16,000 新增 = 总 36,000 QA,180%)

当不受 +40% 预算限制、希望在 8×B300 上进一步放大细粒度运动与时序数据时,只需调大 EXTRA_QUOTA 与 MB_TRAIN_VIDEOS(拉取全部 3,893 个官方 MotionBenchCaption-train 视频):

EXTRA_QUOTA=16000 \
MB_TRAIN_VIDEOS=3893 \
NPROC=8 \
SSV2_MANIFEST=/path/to/something-something-v2-train.json \
SSV2_VIDEOS_DIR=/path/to/20bn-something-something-v2 \
OUT_CKPT_DIR=checkpoints/R2_6_36k/reader \
RUN_NAME=R2.6-S2-formal-36k \
bash scripts/run_r26_expand_and_train.sh
  • 扩容上限参考(避免单池枯竭):
    • PerceptionTest-Train 清洗去重后有效多选题约 7,500 ~ 8,500 条;
    • MotionBenchCaption-Train 全量 3,893 视频合成+方向翻转有效题约 7,000 ~ 7,800 条;
    • SSv2-Train 同物体对比与拼接池可轻松扩展至 20,000+ 条;
    • 因此保持当前四池黄金比例(32.5% : 30% : 22.5% : 15%)时,**EXTRA_QUOTA 最高可直接设到 22,000(即总数据量 42,000 QA = 210%)而无需改任何代码**;若想扩得更大(如 50K+),可在 build_r26_extra_8k_packs.py 中进一步接入 VideoMind / LLaVA-Video-178K 其他子集或调高 SSv2 配额占比。
  • 大规模扩数据时的超参微调建议:
    • 当总数据量从 28K 扩至 36K ~ 44K 时,建议保持 global_batch=32, lr=6e-5, lora_alpha=64,同时可将 KL_WEIGHT 从 0.10 微调至 **0.08**(数据更充足时略微放松基座 KL 锚定,可进一步释放 Repetition Count 与 Action Order 上限)。

2.3 训练完成后的评测命令

# 在 8 卡机器上开 16 分片(每卡 2 进程)并行评测 TempCompass 与 MotionBench:
for bench in tempcompass motionbench ovobench; do
  pids=()
  for s in $(seq 0 15); do
    CGVM_SHARD_RANK=$s CGVM_SHARD_WORLD=16 LOCAL_RANK=$((s % 8)) \
      python -u scripts/evaluate_adapted.py \
      --variant R2 \
      --benchmark "$bench" \
      --reader-dir checkpoints/R2_6_36k/reader \
      --output-root results/R2_6_36k \
      --resume > "logs/eval_${bench}_s${s}.log" 2>&1 &
    pids+=($!)
  done
  for pid in "${pids[@]}"; do wait "$pid"; done
done

3. 仓库内各目录速查

路径 说明
code/cgvm-r26-src-v2.tar.gz 最新终版完整代码包(含跨机扩数据训练脚本 + 16.0s 对齐推理代码 + 预合成训练资产)
src/ 展开版完整源码树(可直接在线查阅 scripts/run_r26_expand_and_train.sh、scripts/build_r26_extra_8k_packs.py、cgvm/evidence.py 等)
r26_train_assets/ 预合成的 MotionBenchCaption-train 多选 QA(synth_qa/rank0..3.jsonl)、精选字幕及 13,606 个评测集封禁视频 ID
checkpoints/R2/reader/step-000600/ R2.6 训练中途 600/875 步快照权重(不含 step-000875 权重)
checkpoints/R2/retrieval/ Stage 1 冻结检索头权重(step-000625/training.pt)
provenance/ 四轮开训前严格审计凭据与 r26_step875_official_summary.json
Downloads last month
-
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support

Model tree for XiangnanW/CGVM-R2.6-Qwen3VL-8B-step600

Adapter
(259)
this model