Skip to content

关于训练的几个细节想进一步了解一下 #51

Description

@LaFeuilleMorte
  1. Holobrain做了多种异构数据集的预训练,有没有对这些异构数据(EgoDex,仿真)做ablation实验,来验证加入这些数据混训对模型效果提升还是下降。
  2. 训练config里,predict类型默认写了relative_joint_relative_pose. 看起来是相邻帧的差分,这种方式是不是会随着轨迹不断累积误差,改成类似Pi0.5那种chunk-wise relative会不会更好一些(相对chunk第一帧差分)。
  3. relative joint减去上一帧没有问题,但是relative pose是四元数表示,减去上一帧貌似在数学上会有问题,应该算相邻帧pose的相对旋转矩阵。
  4. 看训练的时候denoise是用DDPM,推理用DPM-Solver,为啥不用主流的Flow matching,训推速度会更快,效果也不错?

Activity

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

      Milestone

      No milestone

      Relationships

      None yet

      Development

      No branches or pull requests

      Issue actions