RynnWorld-4D：从像素未来到可操作的 4D 世界

01 · 问题从哪里来：视频会“看见未来”，机器人却要“进入未来”

开放世界操作真正要求的不是下一帧像什么，而是：场景里的可见表面在哪里、接触后往哪移动、双臂与物体的相对距离是否仍然安全。RynnWorld-4D 的出发点，是把视频模型的生成先验变成更接近机器人动作空间的预测表征。

2D 世界模型的三个断点

第一是几何断点。同一个 RGB patch 可以对应不同深度，透视投影又把真实尺度与 6-DoF 关系压扁到平面。像素相似不意味着末端执行器与物体在 3D 中接近。

第二是时序物理断点。视频生成模型可以用纹理连续性“糊过”尺度漂移、局部形变和遮挡；机器人却会在几厘米的误差里失手。尤其在双手交接中，两个高自由度末端之间的相对距离、遮挡与接触时机都不能只靠颜色残差暗中恢复。

第三是计算断点。如果先用扩散模型完整去噪出视频，再逐帧做逆动力学，每次重规划都要付出几十步重模型推理。论文于是进一步问：能否直接消费世界模型内部“正在想象未来”的 latent，而不把想象解码成视频？

研究脉络：它位于 2D 生成与显式 4D 重建之间

“世界模型”在这里具体指什么

生成器学习的是 \[ p\!\left(V^{\mathrm{rgb}},V^{\mathrm{depth}},V^{\mathrm{flow}} \mid I_0^{\mathrm{rgb}},I_0^{\mathrm{depth}},\text{instruction}\right). \] 条件里有当前 RGB-D 和任务语言，却没有候选 action sequence。因此它是指令条件的未来预测器，不是可以直接比较多条候选动作后果的 \(p(s_{t+1}\mid s_t,a_t)\)。动作由后接的逆动力学策略从预测表征中读取。

4D

通常指 3D 空间随时间变化。本文并不存储完整 3D 体，而是用每时刻的投影表面与运动对应近似描述。

Projective 4D

“投影式 4D”：仍在相机二维网格上表示，但每个网格带深度与二维位移，可反投影到三维。

Optical Flow

同一可见点从一帧到下一帧在图像平面移动了多少像素，记为 \((\Delta u,\Delta v)\)。

Scene Flow

三维点随时间的位移向量。它比光流多出深度方向，但可靠推导需要相机标定、尺度一致深度与原始光流。

02 · RGB-DF 为什么能表示 4D：把像素抬高，再沿时间追踪

RGB 负责辨认“是什么”，Depth 负责回答“在哪里”，Flow 负责回答“屏幕上往哪走”。三者在同一像素网格、同一时间轴上同步生成，正是这篇论文最小而实用的 4D 表示。

第一步：用深度把像素反投影到相机坐标

令第 \(t\) 帧像素的齐次坐标为 \(\mathbf p_t=[u,v,1]^\top\)，深度为 \(D_t(u,v)\)，相机内参为 \(\mathbf K\)。针孔相机模型给出：

第二步：用光流寻找下一帧的同一个可见点

若光流 \(\mathbf f_{\mathrm{opt}}=[\Delta u,\Delta v]^\top\) 把像素 \((u,v)\) 对应到下一帧的 \((u+\Delta u,v+\Delta v)\)，则：

这些公式何时才真正成立

从第一性原理看，能“反投影”不等于已经保证“公制、物理正确的 4D”。上面的差值至少依赖六个条件：

• 尺度：\(D_t\) 与 \(D_{t+1}\) 必须处在一致的 metric scale，而不只是视觉上像深度。
• 标定：\(\mathbf K\) 必须已知，并随 resize / crop 正确更新；镜头畸变也需处理。
• 坐标系：相机若在移动，两个点先要用外参 \((\mathbf R_t,\mathbf t_t)\) 变换到共同世界坐标，才能把差值解释为物体运动。
• 原始位移：光流要保留 \((\Delta u,\Delta v)\) 数值，而非只有颜色轮可视化。
• 可见性：遮挡、反遮挡、越界像素、无效深度与 flow confidence 要有明确 mask。
• 插值：流落在小数像素时，\(D_{t+1}\) 的采样规则需要定义。

不过，这种折中仍很有价值：显式 4D 体难以继承大规模视频模型，而 RGB-DF 完全保留二维 token 网格，能直接复用 VAE、DiT、FlashAttention 和视频预训练权重。它牺牲全局 3D 完备性，换取数据与模型规模。

03 · Rynn4DDataset 1.0：254.4M 帧如何变成三模态监督

三分支模型的真正前提不是架构，而是每条视频都要有同步的文字、深度与运动。作者没有等待昂贵传感器数据，而是用强视觉模型把 7 个既有数据源转成大规模伪 4D 语料。

三条伪标注流水线

1. Video captioning

视频先以 1 fps 抽样，再切成 5 秒片段。Qwen3-VL 被要求在一个段落里描述主体与动作、环境与背景、物体及交互、整体场景语境；最大输出 512 token，temperature 0.7，结果保存为 JSON。语言条件因此不是短标签，而是对未来交互的细粒度描述。

Please describe this video in detail. Include the following aspects:
1. The main subject and action in the video.
2. The environment and background.
3. Any objects and their interactions.
4. The overall scene context and atmosphere.
Provide a concise but comprehensive caption in one paragraph.

2. Optical-flow annotation

DPFlow 在原始分辨率上顺序处理相邻帧。估计场经 Middlebury 色轮编码成 RGB 可视化，并以 25 fps MP4 保存。白色对应零流，因此 I2V 的首个 flow condition 是一张白图。

3. Depth annotation

Depth Anything 3 使用 DA3NESTED-GIANT-LARGE-1.1 checkpoint；模型同时可给出逐帧深度与相机 pose，但本文训练管线明确保存并使用的是深度视频。视频以 30 fps 处理，短边工作分辨率为 392。压缩深度数组被双线性上采样回原分辨率，裁剪到 \([0,5]\) 米，再量化为 8-bit：

训练片段如何进入 latent 空间

论文训练规格为 81 帧、\(480\times640\)。Wan 的 causal VAE 在时间上压缩 4 倍，因此：

大规模不等于无偏：数据构成中的四个信号

04 · 三分支世界模型：先让模态专门化，再让它们在同一帧对话

把 RGB、深度、光流塞进同一组 channel 并不能自动得到一致的 4D。三者的统计结构差异很大：RGB 需要纹理与语义，Depth 更接近分段平滑的几何面，Flow 则以稀疏运动边界和方向场为主。RynnWorld-4D 因此选择“独立主干 + 稀疏交互”。

基础模型：Wan 的 latent video flow matching

基础模型是 Wan 2.2-TI2V-5B：30 层 diffusion Transformer，hidden size \(d=3072\)，FFN size 14,336。3D VAE 编码器 \(\mathcal E\) 把视频压成 latent \(z_0\)，解码器 \(\mathcal D\) 再还原视频。附录采用 rectified-flow 记法：

I2V 的第一帧 latent 被当作干净条件，其余未来帧从噪声恢复。论文附录把 Wan 称为“autoregressively predicts video latents”，但其实际 DiT 对整段 latent 做联合流匹配去噪，并不是逐帧自回归生成。

三条专属分支

对模态 \(m\in\{\mathrm{rgb},\mathrm{depth},\mathrm{flow}\}\)，扩散 latent 记为 \(\mathbf z_t^m\in\mathbb R^{T\times C\times H\times W}\)。完整实现还含 batch 维；patchify 后，Transformer hidden 变成 \([B,T\!\cdot\!S,d]\)，其中 \(S\) 是每帧空间 token 数。

• RGB 分支沿用预训练 Wan backbone。
• Depth / Flow 分支复制 RGB 的 patch embedding、self-attention、normalization、FFN 与输出投影，先从成熟的视频先验起步。
• 三支的 self-attention 与 FFN 默认彼此独立，避免纹理、几何、运动被同一个非线性映射强行混合。
• 文字指令是模态无关条件，三分支共享 text cross-attention 的 K/V projection；各支保留自己的 query 与输出路径。
• 公开推理代码复用同一个 Wan VAE 依次编码/解码三种模态；Depth 灰度图和 Flow 色轮图都被当作 RGB 图像处理，并非使用专门的几何 tokenizer。

Joint Cross-Modal Attention：每隔三层对齐一次

JA 被插在 layer \(0,3,6,\ldots,27\)，总共 10 个，位置在宿主 block 的 intra-modal self-attention 之后。一次 JA 可以拆成五步。

Step 1 · 给模态打标签并拉齐数值尺度

Step 2 · 每支只计算一套可复用 K/V

Step 3 · 把跨模态注意力限制在同一视频帧

token 从 \([B,T\!\cdot\!S,d]\) reshape 为 \([B\!\cdot\!T,S,d]\)。RGB 的第 \(i\) 帧只能看 Depth / Flow 的第 \(i\) 帧，不会把前一帧几何误混到后一帧。然后 Q/K 使用共同的 3D RoPE：

Step 4 · 零初始化输出，非零 gate 暖启动

Step 5 · 参数量为什么仍然很大

代入 \(d=3072\)，每个 JA 的线性权重约为：

05 · 三阶段训练：先会说三种语言，再学会彼此翻译

直接把预训练 RGB backbone 复制成三支并全量联训，Depth / Flow 会同时面对分布迁移与跨模态干扰。作者用三阶段 curriculum 把这两个困难拆开。

统一的三模态流匹配目标

对 \(m\in\mathcal M=\{\mathrm{rgb},\mathrm{depth},\mathrm{flow}\}\)，三支都学习同一线性路径。第一 latent 帧是干净 I2V condition：真实 RGB、真实/伪 Depth、zero Flow；它不进入损失，监督只覆盖 \([1:]\) 的未来帧：

Branch Dropout：让缺失模态可以被另外两支补回

Stage 2/3 每个 step 以 \(p_{\mathrm{drop}}\) 的概率触发；触发后在 Depth / Flow 中随机挑一支，把未来 noisy latent \([1:]\) 换成纯高斯，第一条件帧仍保留。RGB 永不 drop，因为它是外观锚点。JA 被迫从可见分支重建被破坏的模态，而不是只做三路并排生成。

noise_video = torch.randn_like(video_latent)
noise_depth = noise_video.clone()
noise_flow  = noise_video.clone()

noisy_rgb   = (1 - sigma) * rgb_latent   + sigma * noise_video
noisy_depth = (1 - sigma) * depth_latent + sigma * noise_depth
noisy_flow  = (1 - sigma) * flow_latent  + sigma * noise_flow

# first latent frame is the clean I2V condition
noisy_rgb[:, :, 0:1]   = rgb_condition
noisy_depth[:, :, 0:1] = depth_condition
noisy_flow[:, :, 0:1]  = zero_flow_condition

loss = mse(rgb_pred[:, :, 1:], rgb_target[:, :, 1:])
loss += mse(depth_pred[:, :, 1:], depth_target[:, :, 1:])
loss += lambda_flow * mse(flow_pred[:, :, 1:], flow_target[:, :, 1:])

优化与资源设置

• AdamW：\(\beta_1=0.9,\beta_2=0.95\)，weight decay \(10^{-4}\)；linear warm-up 后 cosine decay。
• 每一阶段只加载前一阶段的 model weights，optimizer 与 scheduler 重置。
• EMA decay 0.9999，shadow weights 驻留 CPU，用于推理。
• 输入 81×480×640；bf16 mixed precision；gradient checkpointing。
• Stage 2/3 使用 DeepSpeed ZeRO-2 与 optimizer offload。
• per-GPU batch 1，gradient accumulation 2–4；论文未给 GPU 数、总 steps / epochs、训练时长与总算力。

消融会在后文证明：如果跳过 Stage 1，\(\delta_1\) 从 0.610 降到 0.479；如果完全移除大规模 4D 预训练，AEPE 从 0.170 恶化到 0.729。curriculum 与数据规模都不是装饰。

06 · 从 4D latent 到动作：不生成视频，只读取“未来感”

RynnWorld-4D-Policy 的工程洞察很直接：完整视频只是给人看的解码结果，机器人真正需要的是世界模型内部已经编码好的未来几何与运动。于是重型 backbone 只前向一次，后续 4 步 ODE 发生在轻量动作头里。

Predictive 4D encoder

世界模型冻结。当前 RGB 图像 center-crop 到 \(480\times640\) 并归一化到 \([-1,1]\)，在线 DA3 提供 Depth；二者与指令进入一次 forward，读取三分支中间 hidden，并沿 channel 拼接：

输入只给当前一帧，但世界模型的 latent 网格包含 21 个预测时刻。策略因此不只是读取静态图像特征，而是读取“如果按这条指令继续，未来可能怎样变化”的时空表征。实现使用离散 scheduler index \(t=500\)；论文预备知识却用连续 \(t\in[0,1]\)，两者的归一化映射没有明写。

Flow Former：把巨大 token 场压成固定查询

动作 flow matching

动作头还接收 UMT5 语言 embedding 与 54 维 proprioception。世界模型的 flow convention 是 data→noise；公开策略代码为了从噪声正向积分到动作，采用相反但等价的参数化：

x = torch.randn(B, 10, 54)
dt = 1.0 / 4

for i in range(4):
    t = torch.full((B,), i * dt)
    velocity = policy.predict_velocity(
        state={\"state_images\": flow_former_tokens,
               \"state_obs\": proprio_54d},
        x_t=x,
        goal=text_embedding,
        t=t,
    )
    x = x + velocity * dt

return x  # [B, 10, 54]

54 维动作来自哪里

真实平台是双 TIANJI M6 7-DoF 机械臂与双 WUJI 20-DoF 灵巧手：

遥操作数据如何采集

控制链

• wrist-to-chest transform：100–120 Hz。
• Pinocchio 独立进程求 IK。
• Ruckig 用速度、加速度、jerk 约束平滑轨迹。
• 机械臂目标以 200 Hz 下发。
• 手套信号转 21-point MediaPipe skeleton，再 retarget 到每手 20 DoF，并用 EMA 平滑。
• 策略与低层经 LCM 通信；低层接口 500 Hz，命令延迟 18–30 ms。

策略训练 recipe

• 每个任务 200 demonstrations，六任务共 1,200；冻结 RynnWorld-4D，只训练 Flow Former 与 action head。
• AdamW：LR \(10^{-4}\)，\(\beta=(0.9,0.9)\)，weight decay 0.05。
• schedule：2% linear warm-up，8% constant hold，90% cosine decay 到 peak LR 的 \(10^{-6}\) 倍。
• mixed precision、batch 1/GPU；论文写 100 epochs。公开默认 YAML 当前写 50 epochs。

9 Hz 到底是哪一个时钟

07 · 实验与消融：哪些结论被数据真正支持

论文把证据拆成两条线：一条检查世界模型是否同时生成好 RGB、Depth 与 Flow；另一条检查这些 latent 是否真的让 54-DoF 操作更可靠。读表时必须把“生成质量”“几何形状”“运动颜色图”和“真实控制”分开。

世界模型评测协议

生成测试集只有 50 段 held-out 视频，随机来自 RoboMIND、RDT 与 Galaxea。论文没有报告三来源配额、随机种子、episode 去重清单与多 seed 生成方差；三个来源也都存在于大规模训练集，因此 split 质量是理解结果的前提。

世界模型主结果：RGB 7 项赢 6 项，Depth 优势更大

RynnWorld-4D 的 IQ 0.635 低于 Wan-2.1 的 0.684，也略低于 4DNeX 的 0.637；所以准确结论是“画质有竞争力”，而非所有视觉指标第一。它更显著的优势在结构保持：SSIM 0.754、PSNR 17.85、LPIPS 0.269，以及尺度对齐后的 Depth。

官网 RGB / Depth / Flow 合并演示 01。可暂停逐帧检查运动边界是否与 RGB 接触区域同步。

官网合并演示 08。重点观察物体轮廓在 Depth 中是否保持，以及 Flow 是否聚焦真正移动区域。

官网合并演示 13。三模态同步播放比静态采样帧更容易暴露闪烁与跨模态漂移。

世界模型消融：每一个核心设计都能在表里找到对应损失

六个真实机器人任务

每项测试把目标物的 workspace 坐标与轴向旋转随机化；120 秒内完成算成功。每项 35 次，所以一格的最小变化单位是 \(1/35=2.857\) 个百分点。

策略主结果：宏平均领先，但不是六项全胜

相对每项最强外部基线，RynnWorld-4D-Policy 是4 胜、1 平、1 负：Dual 并列；Block 比 \(\pi_{0.5}\) 少成功 1 次；Hand-over 比 DP 多 4 次；Lift 多 1 次；Lid / Bowl 各多 3 次。六任务合并后比最佳宏平均 DP 高 10.95 个百分点、总计多 23 次成功。

策略模态消融：Depth 是主增益，Flow 的边际证据更弱

• RGB + Depth 相对 RGB 宏平均增加 6.67 pp，合计多 14/210 次成功；这是最明确的模态收益。
• RGB + Flow 相对 RGB 只增加 1.43 pp，且在 Block / Lift / Lid 各少成功 1 次。
• Full 相对 RGB + Depth 增加 2.86 pp，合计多 6/210 次；在 Hand-over 与 Lift 完全持平。
• 因此“Flow 对动作敏感任务有帮助”是合理方向，但现有六任务不足以单独证明强、稳定的 flow 边际贡献。

08 · 开源代码怎么落地：机制很完整，recipe 仍需逐项对齐

公开仓库不是只有模型壳。三分支、JA、共享噪声、首帧 mask、Flow Former、4-step action flow 都能在源码中找到；Stage-3 世界模型权重也已发布。但论文、README、模型卡和当前脚本并非同一套无缝配置，复现时必须先做一次配置审计。

当前发布内容

Hugging Face 权重仓库含两个约 29 GB 的文件：Stage-3 DeepSpeed model state 29,830,685,023 bytes，EMA 29,453,170,031 bytes，总计约 59.28 GB（55.21 GiB）。原始权重是标准推理必需项，EMA 是可选覆盖；主仓库与模型卡均为 Apache-2.0。当前没有单独的 Policy 权重、Git tag 或 GitHub Release。

建议的代码阅读顺序

JA 源码准确实现了什么

# video attends to depth + flow
k_for_v = torch.cat([k_depth, k_flow], dim=1)
v_for_v = torch.cat([v_depth, v_flow], dim=1)
out_v = attention(q_video, k_for_v, v_for_v)

# depth attends to video + flow
k_for_d = torch.cat([k_video, k_flow], dim=1)
v_for_d = torch.cat([v_video, v_flow], dim=1)
out_d = attention(q_depth, k_for_d, v_for_d)

# flow attends to video + depth
k_for_f = torch.cat([k_video, k_depth], dim=1)
v_for_f = torch.cat([v_video, v_depth], dim=1)
out_f = attention(q_flow, k_for_f, v_for_f)

源码还实现 joint_unidirectional：此时 RGB 只提供 K/V，不接收联合残差；Depth 与 Flow 都只查询 RGB，彼此也不互看。这个开关是理解公开脚本差异的关键。

论文设置与公开脚本并不完全相同

世界模型推理：README 命令需要补一个参数

inference-sft.py 默认 per_dataset_samples=5；只要它大于 0，程序会忽略 --json_path，转而寻找仓库没有附带的 8 个完整 dataset manifests。要真正读取 bundled data/sample.json，需要显式传 0：

python inference-sft.py \
  --model_path ./pretrained/Wan2.2-TI2V-5B-Diffusers \
  --checkpoint_path ./pretrained/RynnWorld-4D \
  --json_path ./data/sample.json \
  --per_dataset_samples 0 \
  --output_dir ./results/inference-sft \
  --num_inference_steps 50 \
  --guidance_scale 1.0

正式入口消费的是预先编码好的 RGB / Depth / Flow latents 与 text embedding，不是任意 RGB-D 文件的通用 CLI。core/inference/rynnworld4d.py 虽有 raw image helper，但它构建旧的非-JA模型并期待 LoRA / branch-weight 文件格式，不能直接替代 Stage-3 joint checkpoint 入口。

三阶段脚本更像集群样例，而不是下载即复现实验

• 三个脚本都要求外部平台预先设置 WORLD_SIZE、RANK、MASTER_ADDR、MASTER_PORT、NPROC_PER_NODE；普通单机直接运行会退出。
• 脚本实际都把 data/sample.json 当训练 manifest，只有 3 个 AgiBot latent 样例；Stage-3 日志却打印“3.17M samples”。
• Stage-1/2/3 默认输出目录与下一阶段默认读取目录命名不一致，需要手动设置 checkpoint 环境变量。
• 样例 latent header 是 21 个 latent frames、480×640，对应论文 81 帧；这又和脚本的 25×480×832 不同。

Policy 工程里最需要先修的四处

一个合理的修复顺序是：让 VPP_Policy 接受并完整转发所有 JA 参数；清空错误的 sft_ckpt_path 或实现真正 fallback；统一训练/推理 checkpoint key；再把论文 480×640、81-frame、block 15、t=500 的配置固定为版本化 YAML。否则“代码存在”与“论文 checkpoint 正确装载”是两件不同的事。

公开代码仍然带来的研究价值

这些配置问题并不掩盖源码最有价值的部分：它让我们能确认三模态不是概念图，能确认 JA 的同帧 reshape、共享 text K/V 和 zero-init residual，能确认训练确实 clone 共享噪声、排除首帧 loss，也能确认策略确实 hook block 15、拼 9216D feature、做 4-step Euler 与 10-step cache。对理解方法而言，这比只发布权重强得多。

09 · 客观评价：它把几何带回视频模型，但还没有把物理变成保证

最强的地方

主要限制

1. “4D”是 view-centric visible surface。它没有持久、视角无关的场景内存；遮挡后表面、相机外区域与完整物体体积不在表示里。论文自己也承认主要优化于 egocentric，multi-view 与多机器人仍未解决。
2. metric scene flow 的证据链没有闭合。深度被 8-bit 量化并用 median scaling 评测；flow 被保存为颜色视频，所谓 AEPE 也是 RGB 距离；移动相机外参、相机内参更新、遮挡与置信度都未进入实现证据。
3. 一致性来自统计学习，不是物理约束。总损失没有 depth-flow reprojection、forward/backward cycle、rigidity、contact、collision 或 scene-flow EPE。shared noise 和 JA 能促进一致，但不保证物理可行。
4. 它还不是 action-conditioned dynamics。语言指定一条任务未来，模型不能把多个候选动作送入世界模型并比较反事实结果，因此暂时不适合直接做 MPC 式 rollout 选择。
5. 伪标签规模放大 teacher bias。DA3 / DPFlow 的系统误差可能被三分支共同吸收；AgiBot 占总帧约 62.3%，跨来源平衡、去重与 test leakage 防护未报告。
6. 评测样本较小且协议不统一。生成只有 50 段；每个机器人任务 35 次，无 CI / significance；不同 4D baseline 的输入条件、49/81 帧、分辨率与几何归一化不同，policy baseline 的训练细节又缺失。
7. Flow 的边际控制收益有限。RGB+Flow 比 RGB 宏平均只高 1.43 pp，并在三项任务下降；Full 比 RGB+Depth 只多 6/210 次成功。运动模态需要更有针对性的任务和 raw-flow 对照。
8. 真正的视觉重规划仍慢。三分支占 990/1106 ms，重规划约 0.9 Hz；9 Hz 是 action chunk 摊销。论文所述 50 Hz 缓存执行与 10 个动作覆盖时长尚缺调度解释。
9. 策略复现参数仍不完整。论文没定义 54D 动作语义、单步 \(t=500\) 的归一化映射、未来 noise / seed、Flow Former 规格与 ODE 网格；代码补了一部分，但默认配置又存在参数穿透和 checkpoint loader 问题。
10. 成本没有完整报告。JA 约新增 1.132B 参数，三分支整体更大；论文没有总参数、各阶段 GPU 数、训练 steps、墙钟时间或能耗。

后续研究最值得走的八条线

最后记住这条技术主线

原始资料

@article{rynnworld4d,
  title   = {RynnWorld-4D: 4D Embodied World Models for Robotic Manipulation},
  author  = {Haoyu Zhao and Xingyue Zhao and Siteng Huang and
             Xin Li and Deli Zhao and Zhongyu Li},
  journal = {arXiv preprint arXiv:2607.06559},
  year    = {2026}
}