网格提取失败

[zfadminer]

尊敬的李老师：
您好！我在使用TNT数据集在进行测评复现的时候，如果使用tsdf_mesh_tnt.py对网格进行提出，会出现内存不够用而停止的原因（我用autodl大概120G内存，相比您提及的40G内存应该是够用的），我的数据集是colmap格式的，如果使用tsdf_mesh.py提取，即使体素设置为0.002相对论文指标还是下降明显；我猜是因为缺少了transforms.json文件导致需要提取的区域较大而失败的，但是我没有在找到transforms.json文件，请教您是否是这个原因，如果是，您这边是否方便提供TNT数据集下的transforms.json文件，谢谢（下图是我的数据集）

[Fictionarry]

您好，transforms.json对于tnt的evaluation确实是必须的，文件由这里第二步的预处理脚本生成:

• Following Neuralangelo instructions while removing L230 to process the scenes with COLMAP.

[zfadminer]

非常感谢，我去试一下，另外我还有两个问题请教下：
1、dtu数据集我运行时1万左右的时候效果就非常好了，我实际测下来，效果和2万没有什么区别，请问为什么要设置成2万，是为了统一设置么
2、对于mip-360数据集进行渲染指标复现时室内PSNR（室外没有尝试）指标总是低于论文中大概1个数值左右，其他指标（SSIM和LPIPS）都是基本一样的，想请教是否还有什么特殊设置
以上，感谢指导

[Fictionarry]

非常感谢，我去试一下，另外我还有两个问题请教下： 1、dtu数据集我运行时1万左右的时候效果就非常好了，我实际测下来，效果和2万没有什么区别，请问为什么要设置成2万，是为了统一设置么 2、对于mip-360数据集进行渲染指标复现时室内PSNR（室外没有尝试）指标总是低于论文中大概1个数值左右，其他指标（SSIM和LPIPS）都是基本一样的，想请教是否还有什么特殊设置 以上，感谢指导

1. 几个数据集目前都还没在更少的iteration上测试过，一开始是按照svraster默认的20000 iter进行的实验，后面也没有做更细的调整，感谢反馈
2. 目前mipnerf360的配置文件中的参数设定经过了一些调整，能够获得更好的mesh质量但是在PSNR上有损失，原始测试表3中NVS实验所用的超参数记录在cfg文件的相应注释中了，需要复现表3中的指标的话可以试试那一组参数设定

[zfadminer]

感谢您的耐心解答，我已经成功实现了transforms.json文件的生成与评估，对6个tnt场景都做了测试，F1评分都比论文中低一些，部分场景下降很多，我在cfg文件中没有看到不同的参数相关注释，想请教除了sdf_trunc_scale参数外还有什么需要更改的么，谢谢，下图是一个示例：

[Fictionarry]

感谢您的耐心解答，我已经成功实现了transforms.json文件的生成与评估，对6个tnt场景都做了测试，F1评分都比论文中低一些，部分场景下降很多，我在cfg文件中没有看到不同的参数相关注释，想请教除了sdf_trunc_scale参数外还有什么需要更改的么，谢谢，下图是一个示例：

看起来你用的是2dgs和gof提供的tnt数据？这些数据中的轨迹在一些场景上有比较严重的偏差，建议按readme中的流程从tnt官方下载数据从头进行处理。在按流程预处理的数据上直接运行script中的脚本可以复现表2的结果，不需要做其他更改

[zfadminer]

感谢您的解答：
我用的是你给的您的2dgs预处理的数据+官方真值+生成的transforms.json（neuralangelo）文件处理的，我有两个问题想和您确认下：
一、您的意思是：1我需要从tnt官方下载图片数据，2、利用colmap生成sfm等文件，再利用neuralangelo生成transforms.json文件么？
二、我看咱们训练时用的图片是images数据，而非images_raw数据吧，从官方下载的不应该是images_raw数据么，这里是怎么对应的？
谢谢

[Fictionarry]

感谢您的解答： 我用的是你给的您的2dgs预处理的数据+官方真值+生成的transforms.json（neuralangelo）文件处理的，我有两个问题想和您确认下： 一、您的意思是：1我需要从tnt官方下载图片数据，2、利用colmap生成sfm等文件，再利用neuralangelo生成transforms.json文件么？ 二、我看咱们训练时用的图片是images数据，而非images_raw数据吧，从官方下载的不应该是images_raw数据么，这里是怎么对应的？ 谢谢

需要从tnt官方下载这些数据

TnT
├─ Barn
│  ├─ Barn_COLMAP_SfM.log   (camera poses)
│  ├─ Barn.json             (cropfiles)
│  ├─ Barn.ply              (ground-truth point cloud)
│  ├─ Barn_trans.txt        (colmap-to-ground-truth transformation)
│  └─ images_raw            (raw input images downloaded from Tanks and Temples website)
│     ├─ 000001.png
│     ...

之后运行脚本生成images/, sparse/ 和 transforms.json

这里也有相应的说明：Neuralangelo instructions

readme中的意思是只对于courthouse这一个场景使用2dgs提供的数据，我记得是使用2dgs提供的数据中Courthouse文件夹下的所有内容覆盖上面的目录中的相应内容后，运行去除掉L230的neuralangelo的脚本即可。

[zfadminer]

李老师好，我按照您的操作又重新做了一边：
一、TNT上效果还是很差，想跟您再确认下我的操作是否正确：
1、从TNT官方下载数据（如您回复的图片的全部文件），除图片命名为images_raw，其他保持默认名称
2、利用Neuralangelo的colmap相关命令（bash projects/neuralangelo/scripts/run_colmap.sh）生成如图所示除transforms外全部文件（由于后边geosvr中仅支持SIMPLE_PINHOLE和PINHOLE格式文件，而计算transform时SIMPLE_PINHOLE格式不支持，所以这里修改了run_colmap中的设置，改为PINHOLE格式）

3、利用Neuralangelo中的projects/neuralangelo/scripts/preprocess_tnt.sh命令生成transforms文件
4、按照您给的文件格式，利用bash scripts/tnt_run.sh output/tnt 1 1命令进行训练

我看代码对于TNT数据集应该是读取colmap格式文件，需要sparse文件，您的这个readme中没有sparse文件，我在有无sparse文件条件下都训练试过了，但是效果都很差，还不如2dgs的效果好（除courthouse利用2DGS数据能达到基本达标外），这让我很困惑，烦请李老师帮忙解惑

二、mipnerf360的配置文件中的参数我按照cfg文件的相应注释修改了，PSNR指标确实有提升，但是还是比论文中差0.7左右，其他指标正常的，这里还能再优化么

以上两个问题，辛苦老师帮忙答疑，谢谢

[Fictionarry]

李老师好，我按照您的操作又重新做了一边： 一、TNT上效果还是很差，想跟您再确认下我的操作是否正确： 1、从TNT官方下载数据（如您回复的图片的全部文件），除图片命名为images_raw，其他保持默认名称 2、利用Neuralangelo的colmap相关命令（bash projects/neuralangelo/scripts/run_colmap.sh）生成如图所示除transforms外全部文件（由于后边geosvr中仅支持SIMPLE_PINHOLE和PINHOLE格式文件，而计算transform时SIMPLE_PINHOLE格式不支持，所以这里修改了run_colmap中的设置，改为PINHOLE格式）
3、利用Neuralangelo中的projects/neuralangelo/scripts/preprocess_tnt.sh命令生成transforms文件 4、按照您给的文件格式，利用bash scripts/tnt_run.sh output/tnt 1 1命令进行训练
我看代码对于TNT数据集应该是读取colmap格式文件，需要sparse文件，您的这个readme中没有sparse文件，我在有无sparse文件条件下都训练试过了，但是效果都很差，还不如2dgs的效果好（除courthouse利用2DGS数据能达到基本达标外），这让我很困惑，烦请李老师帮忙解惑

二、mipnerf360的配置文件中的参数我按照cfg文件的相应注释修改了，PSNR指标确实有提升，但是还是比论文中差0.7左右，其他指标正常的，这里还能再优化么

以上两个问题，辛苦老师帮忙答疑，谢谢

1. 所给出的instruction链接指向的是#tanks-and-temples-dataset这一部分，需要运行的是该部分以下的说明（preprocess_tnt.sh），不是run_colmap.sh。除了去除掉1500分辨率的限制外其他部分（包括相机模型）不需要改变，sparse目录会在运行脚本后生成（之前的回复中提到了），其中的pose来源于_sfm.log那个文件，请仔细阅读相关的说明
2. sparse在readme中漏掉了，抱歉造成了混淆，已进行更正
3. 所涉及的修改主要在三处：procedure、lambda_photo、power_level_uncertainty，注释中的设定在两个环境中进行过测试，都可以复现PSNR，可以进行一下相关检查看下是否有遗漏

[zfadminer]

可是如果不改变相机模型直接运行会报错的，老师，这是代码中位置：

这是直接运行对应的报错：

[Fictionarry]

可是如果不改变相机模型直接运行会报错的，老师，这是代码中位置：

这是直接运行对应的报错：

大概率是处理过程有问题，convert_tnt_to_json.py存储在.bin里的是PINHOLE，可以先把原来错误的database和sparse删掉再重新跑，有些colmap版本似乎不会覆盖已有的文件

跟colmap版本也可能有关？3.6-3.8没有出现这个问题，去畸变后应该就是PINHOLE

[zfadminer]

之前试过的database和sparse删掉重新跑也不行，您的意思是我这个版本的colmap版本的生成文件带有radial信息，导致geosvr不识别，如果用3.6-3.8版本的colmap，即使Neuralangelo中的设置是radial，生成的文件也是PINHOLE格式，可被geosvr使用么

[Fictionarry]

之前试过的database和sparse删掉重新跑也不行，您的意思是我这个版本的colmap版本的生成文件带有radial信息，导致geosvr不识别，如果用3.6-3.8版本的colmap，即使Neuralangelo中的设置是radial，生成的文件也是PINHOLE格式，可被geosvr使用么

colmap经过undistortion之后会将radial去畸变为pinhole

https://github.com/NVlabs/neuralangelo/blob/94390b64683c067c620d9e075224ccfe582647d0/projects/neuralangelo/scripts/convert_tnt_to_json.py#L224-L231

在colmap3.6-3.8下我确认过这个流程出来的数据可以直接使用；colmap高版本进行的改动比较多，是否可以使用不确定

[isxiaohe]

之前试过的database和sparse删掉重新跑也不行，您的意思是我这个版本的colmap版本的生成文件带有radial信息，导致geosvr不识别，如果用3.6-3.8版本的colmap，即使Neuralangelo中的设置是radial，生成的文件也是PINHOLE格式，可被geosvr使用么

colmap经过undistortion之后会将radial去畸变为pinhole

https://github.com/NVlabs/neuralangelo/blob/94390b64683c067c620d9e075224ccfe582647d0/projects/neuralangelo/scripts/convert_tnt_to_json.py#L224-L231

在colmap3.6-3.8下我确认过这个流程出来的数据可以直接使用；colmap高版本进行的改动比较多，是否可以使用不确定

您的项目和工作非常出色! 请问您是否介意上传一份预处理好的数据集到google drive或者huggingface上? 如果可以的话, 十分感谢!