Instructions to use XiangnanW/CGVM-R2.6-Qwen3VL-8B-step600 with libraries, inference providers, notebooks, and local apps. Follow these links to get started.
- Libraries
- PEFT
How to use XiangnanW/CGVM-R2.6-Qwen3VL-8B-step600 with PEFT:
Task type is invalid.
- Notebooks
- Google Colab
- Kaggle
CGVM (R2.6) — Portable Expanded-Data Training Code, Unified Inference Suite & Step-600 Milestone
本仓库提供:
- 跨服务器通用版
R2.6完整训练 + 扩数据构建 + 评测源码(src/与即插即用打包版code/cgvm-r26-src-v2.tar.gz,SHA256:abcd4b5f6bf5e6145af7658ec78df5af4e8e7f84483960f4dbe841b5902889e5)——**已解除所有单机硬编码路径,支持在任意 4×H100 / 8×B300 / 8×H20 服务器上一键重训标准+8K (28K)或更大规模扩数据版(如+16K / 36K、+22K / 42K)的R2.6**; - 预合成与零泄漏门禁文本资产(
r26_train_assets/:含MotionBenchCaption-train已筛选标注、预合成的细粒度多选 QA 及四大评测集全量13,606个封禁视频 ID 清单); - **
R2.6中途里程碑权重step-000600**(checkpoints/R2/reader/step-000600/adapter/,注:按要求本仓库未上传step-000875最终权重,但下方完整披露了用本仓库同一套代码跑满875步后的全量实测指标与完整重训命令)。
1. 这套 R2.6 代码完整跑完后的全量实测指标(28K / 875 steps 基准参考)
在 4×H100 上使用本仓库代码训练完整 1 epoch(20,000 原 R2.5 + 8,000 扩充 = 28,000 QA,875 steps)并在同一套统一推理配置下全量评测:
| Benchmark | 评估题数 | R0 (MEMO) |
R2.5 (20K) |
R2.6 (28K 完整训完) |
相比 R2.5 提升 |
相比 R0 提升 |
|---|---|---|---|---|---|---|
| TempCompass (Overall) | 7,540 |
74.15% |
71.79% |
77.16% (5818/7540) |
+5.37% | +3.01% |
├─ caption_matching (K=2) |
1,503 |
82.04% |
80.64% |
84.36% |
+3.73% |
+2.33% |
├─ captioning (K=3,4) |
2,004 |
73.25% |
68.66% |
75.65% |
+6.99% | +2.40% |
├─ multi-choice (K=3,4) |
1,580 |
70.70% |
67.97% |
74.11% |
+6.14% | +3.42% |
└─ yes_no (K=2) |
2,453 |
72.28% |
71.38% |
75.95% |
+4.57% |
+3.67% |
| MotionBench (同分母对齐) | 4,011 |
56.99% |
57.94% |
63.30% (2539/4011) |
+5.36% | +6.31% |
| MotionBench (全量有标签) | 4,017 |
— | — | 63.33% (2544/4017) |
+5.39% | +6.34% |
├─ Camera Motion |
385 |
52.73% |
51.69% |
64.94% |
+13.25% | +12.21% |
├─ Location-related Motion |
546 |
59.71% |
60.99% |
67.22% |
+6.23% | +7.51% |
├─ Motion Recognition |
1,474 |
61.06% |
63.70% |
68.72% |
+5.02% | +7.67% |
├─ Motion-related Objects |
690 |
75.65% |
75.51% |
79.42% |
+3.91% |
+3.77% |
├─ Action Order |
517 |
44.10% |
43.52% |
47.39% |
+3.87% |
+3.29% |
└─ Repetition Count |
399 |
26.82% |
26.82% |
29.07% |
+2.26% |
+2.26% |
| OVO-Bench (长流防回退校验) | 1,468 |
64.25% |
78.99% |
78.28% (RT=79.38%) |
RT +0.26% |
+14.03% |
2. 在另一台服务器上训练【扩数据版 R2.6】的完整操作指南
2.1 仓库内与训练直接相关的核心脚本(均位于 src/ 及 code/cgvm-r26-src-v2.tar.gz)
scripts/run_r26_expand_and_train.sh:跨服务器一键式流水线脚本(自动完成前置核验 $ ightarrow$ 训练视频拉取解压 $ ightarrow$ 增量合成多选题 $ ightarrow$ 抽帧构建合并证据包 $ ightarrow$ 训前零泄漏/选项均衡审计 $ ightarrow$ 多卡torchrun正式训练)。scripts/prepare_r26_media_and_eval_sources.py:支持--train-only、--mb-train-videos <N>、--llava-video-root、--hf-endpoint、--proxy;若新服务器本地没有LLaVA-Video-178K,会自动从hf-mirror.com/ HuggingFace 按需拉取0_30_s_perceptiontest与30_60_s_perceptiontest子集并解压,同时自动从zai-org/MotionBench拉取MotionBenchCaption-train官方训练视频。- **
scripts/synthesize_mb_train_qa.py**:使用本地冻结Qwen3-VL-8B-Instruct从MotionBenchCaption-train人工运动描述批量合成动作拆解顺序、运镜、方向与是非题(仓库r26_train_assets/已预置前1,300个视频的合成结果,若扩充至3,893全量训练视频则自动仅对新增视频增量合成)。 - **
scripts/build_r26_extra_8k_packs.py**:支持 **--extra-quota <任意条数>**(默认8000,即28K;传16000即36K;传20000即40K),自动按32.5% PerceptionTest + 30.0% MotionBenchCaption-train + 22.5% SSv2对比与拼接顺序 + 15.0% 物理倍速/逆放/Nyquist重复计数等比扩容,并落盘 16 帧高清 JPEG。- 关于
SSv2数据集的两种模式:- 推荐(完整四池):在目标服务器提供官方
something-something-v2-train.json与.webm/.mp4目录(通过--ssv2-manifest与--ssv2-videos-dir传入),能最大化attribute_change(+9.52%)与direction(+6.41%)增益; - 免
SSv2快速模式(--no-ssv2或NO_SSV2=1):若目标服务器暂未存放20bn-something-something-v2视频,开启NO_SSV2=1后脚本会自动将配额平滑重分配至PerceptionTest-Train(约 9,000+ 可用题)与MotionBenchCaption-Train(全量 3,893 视频约 7,500+ 可用题),不会因缺SSv2阻塞训练。
- 推荐(完整四池):在目标服务器提供官方
- 关于
- **
scripts/train_reader.py+cgvm/reader_data.py**:Stage 2 全层 Decoder Attention+MLP LoRA 训练主入口(原生支持 4 卡 H100 或 8 卡 B300 / H20;在>=140GB显存的 B300 上自动启用micro_batch_size=4且免除梯度检查点,单步仅需 ~5-7 秒)。
2.2 分步执行命令(以 8×B300 / 8×H20 或 4×H100 新服务器为例)
第一步:拉取本仓库并准备代码工作目录
HF_ENDPOINT=https://hf-mirror.com huggingface-cli download XiangnanW/CGVM-R2.6-Qwen3VL-8B-step600 --local-dir ./CGVM-R2.6-bundle
mkdir -p ./cgvm_r26_work && cd ./cgvm_r26_work
tar -xf ../CGVM-R2.6-bundle/code/cgvm-r26-src-v2.tar.gz
# 确保本地有 git commit 记录供训练审计写入 provenance
git init -q && git add -A && git -c user.name=cgvm -c user.email=cgvm@local commit -qm "init r26 worktree"
第二步:软链基础模型与原 R2.5 的 20K 基础训练资产
R2.6 是在原 R2.5 的 20,000 条流式证据包基础上追加扩充数据联合训练 1 个完整 epoch,因此需将新服务器上已有的基础目录软链过来:
mkdir -p weights checkpoints/R2 data/qa_packs/R2 manifests repos
# 1. 冻结基座模型与上游依赖库
ln -s /path/to/Qwen3-VL-8B-Instruct weights/Qwen3-VL-8B-Instruct
ln -s /path/to/clip-vit-large-patch14 weights/clip-vit-large-patch14
ln -s /path/to/MEMO repos/MEMO
ln -s /path/to/OVO-Bench repos/OVO-Bench
# 2. Stage 1 冻结检索头(可直接复用本仓库自带的 checkpoints/R2/retrieval)
cp -r ../CGVM-R2.6-bundle/checkpoints/R2/retrieval checkpoints/R2/
cp -r ../CGVM-R2.6-bundle/configs .
# 3. 原 R2.5 的 20,000 条基础证据包与已抽帧目录(来自此前训练 R2.5 的工作区)
ln -s /path/to/r25_workspace/data/qa_packs/R2/merged.jsonl data/qa_packs/R2/merged.jsonl
ln -s /path/to/r25_workspace/manifests/online_pilot20k.frozen.jsonl manifests/online_pilot20k.frozen.jsonl
ln -s /path/to/r25_workspace/data/training_frames data/training_frames
第三步(场景 A):一键复现标准 +8,000(总 28,000 QA,140%)版 R2.6
# 若有本地 LLaVA-Video-178K 与 SSv2:
EXTRA_QUOTA=8000 \
NPROC=8 \
LLAVA_VIDEO_ROOT=/path/to/LLaVA-Video-178K \
SSV2_MANIFEST=/path/to/something-something-v2-train.json \
SSV2_VIDEOS_DIR=/path/to/20bn-something-something-v2 \
bash scripts/run_r26_expand_and_train.sh
(若新服务器本地没有 LLaVA-Video-178K,去掉 LLAVA_VIDEO_ROOT 即可自动从 hf-mirror.com 下载 perceptiontest 子集;若暂无 SSv2,把 SSV2_* 换成 NO_SSV2=1 即可自动由 PerceptionTest + MotionBenchCaption-train 补齐。)
第三步(场景 B):训练**更大规模扩数据版 R2.6**(例如 +16,000 新增 = 总 36,000 QA,180%)
当不受 +40% 预算限制、希望在 8×B300 上进一步放大细粒度运动与时序数据时,只需调大 EXTRA_QUOTA 与 MB_TRAIN_VIDEOS(拉取全部 3,893 个官方 MotionBenchCaption-train 视频):
EXTRA_QUOTA=16000 \
MB_TRAIN_VIDEOS=3893 \
NPROC=8 \
SSV2_MANIFEST=/path/to/something-something-v2-train.json \
SSV2_VIDEOS_DIR=/path/to/20bn-something-something-v2 \
OUT_CKPT_DIR=checkpoints/R2_6_36k/reader \
RUN_NAME=R2.6-S2-formal-36k \
bash scripts/run_r26_expand_and_train.sh
- 扩容上限参考(避免单池枯竭):
PerceptionTest-Train清洗去重后有效多选题约7,500 ~ 8,500条;MotionBenchCaption-Train全量3,893视频合成+方向翻转有效题约7,000 ~ 7,800条;SSv2-Train同物体对比与拼接池可轻松扩展至20,000+条;- 因此保持当前四池黄金比例(
32.5% : 30% : 22.5% : 15%)时,**EXTRA_QUOTA最高可直接设到22,000(即总数据量42,000QA =210%)而无需改任何代码**;若想扩得更大(如50K+),可在build_r26_extra_8k_packs.py中进一步接入VideoMind/LLaVA-Video-178K其他子集或调高SSv2配额占比。
- 大规模扩数据时的超参微调建议:
- 当总数据量从
28K扩至36K ~ 44K时,建议保持global_batch=32, lr=6e-5, lora_alpha=64,同时可将KL_WEIGHT从0.10微调至 **0.08**(数据更充足时略微放松基座 KL 锚定,可进一步释放Repetition Count与Action Order上限)。
- 当总数据量从
2.3 训练完成后的评测命令
# 在 8 卡机器上开 16 分片(每卡 2 进程)并行评测 TempCompass 与 MotionBench:
for bench in tempcompass motionbench ovobench; do
pids=()
for s in $(seq 0 15); do
CGVM_SHARD_RANK=$s CGVM_SHARD_WORLD=16 LOCAL_RANK=$((s % 8)) \
python -u scripts/evaluate_adapted.py \
--variant R2 \
--benchmark "$bench" \
--reader-dir checkpoints/R2_6_36k/reader \
--output-root results/R2_6_36k \
--resume > "logs/eval_${bench}_s${s}.log" 2>&1 &
pids+=($!)
done
for pid in "${pids[@]}"; do wait "$pid"; done
done
3. 仓库内各目录速查
| 路径 | 说明 |
|---|---|
code/cgvm-r26-src-v2.tar.gz |
最新终版完整代码包(含跨机扩数据训练脚本 + 16.0s 对齐推理代码 + 预合成训练资产) |
src/ |
展开版完整源码树(可直接在线查阅 scripts/run_r26_expand_and_train.sh、scripts/build_r26_extra_8k_packs.py、cgvm/evidence.py 等) |
r26_train_assets/ |
预合成的 MotionBenchCaption-train 多选 QA(synth_qa/rank0..3.jsonl)、精选字幕及 13,606 个评测集封禁视频 ID |
checkpoints/R2/reader/step-000600/ |
R2.6 训练中途 600/875 步快照权重(不含 step-000875 权重) |
checkpoints/R2/retrieval/ |
Stage 1 冻结检索头权重(step-000625/training.pt) |
provenance/ |
四轮开训前严格审计凭据与 r26_step875_official_summary.json |
- Downloads last month
- -
Inference Providers NEW
This model isn't deployed by any Inference Provider. 🙋 Ask for provider support
Model tree for XiangnanW/CGVM-R2.6-Qwen3VL-8B-step600
Base model
Qwen/Qwen3-VL-8B-Instruct