跳到主要内容

视频转 Splat

视频转 Splat 允许您从视频或一组图片创建 Splat。此功能自动将视觉输入转换为基于 3D 点的表示,使您能够轻松地将真实世界的场景引入 Arrival.Space。您可以用它来捕获物体、环境或短片段,并将其转化为 3D 内容,无需复杂的 3D 建模。

界面

打开视频转Splat界面视频转Splat界面概览

要开始视频/图片转 Splat 流程,请使用右下角的操作按钮 1,然后选择视频转 Splat 2

3 上传文件

视频转 Splat 界面将打开,允许您选择上传图片还是视频。 要选择文件,只需将它们拖放到上传区域,或点击区域内部打开系统的文件管理器。

仅限移动端

您可以直接用手机录制视频并上传,无需本地保存。训练成功完成后,您可以选择下载已上传的文件。

4 预设

预设是自动应用预定义配置的模板,作为高级设置的补充。 如果您不手动修改高级设置,将仅使用预设值。 以下选项可供选择:

名称最大步数图像分辨率帧数SH 阶数
Draft4k2k300Level 1
Normal20k2k300Level 2
High25k4k600Level 3

5 创建新空间

如果此设置被禁用,生成的 Splat 将放置在您当前的空间中。 如果您不在自己的空间内,则无法更改此设置。

6 高级设置

高级设置允许您修改模板配置。这些设置目前仍在开发中,功能仍然有限。

调整设置后,只需点击标题旁左上角的返回按钮,然后按提交以启动任务。

视频转Splat的高级设置

1 最大步数 (k)(Splat 训练)

定义应用于 Splat 的训练步数。值越高,细节越多,但处理时间也越长。

2 图像分辨率(相机重建)

指定用于相机重建的去畸变图像的分辨率。

3 帧数(帧选择)

设置用于生成 Splat 的最大帧数。

4 SH 阶数(Splat 训练)

控制球谐函数的阶数,影响光照和颜色的准确性。

5 多相机支持(相机重建)

当上传多个视频或素材使用不同相机拍摄时,请启用此选项。

流程

点击 提交 后,选定的文件将开始上传,上传完成前您不能离开。如果您的网络连接不佳或需要离开——不用担心。您有大约 24 小时的时间上传相同的文件并继续上传,但前提是文件必须具有相同的名称

以下图片展示了 Splat 生成过程中的流程。无论是在新空间中还是作为现有空间的一部分,流程都是相同的。唯一的区别是,您会获得一个以文件标题命名的新空间——如果有多个文件,则使用第一个文件名。

信息

目前您一次只能提交一个任务。如果尝试提交新任务,系统将询问您是否要中止旧任务。

V2S进度条打开视频转Splat界面

1 2 进度条

在 Splat 将要放置的空间中,底部有一个进度条。如果点击/触摸它,空间编辑界面将打开,显示视频转 Splat 进度的详细视图。 进度包含以下步骤:

1. 初始化任务
系统检查服务当前是否正在使用中。如果服务器正在处理另一个 Splat,您的任务将被排队。

2. 提取帧(仅限视频)
从上传的视频中提取大量图像。

3. 计算清晰度(仅限视频)
系统评估所有提取的帧,并选择最清晰的帧进行后续处理。

4. 特征提取
检测并存储每张选定图像的关键视觉特征,如点、边缘和纹理。

5. 特征匹配
匹配多个帧之间的对应特征,以建立图像之间的空间关系。

6. 图像去畸变
使用相机参数校正镜头畸变,以确保 3D 重建的几何精度。

7. Splat 训练
使用处理后的图像数据训练 3D Gaussian Splatting 模型,以高质量重建场景。

3 中止任务

如果您想取消任务,可以点击 图标。

4 Splat 预览

系统开始 Splat 训练后,详细视图中将出现预览。

视频转Splat界面概览

5 源素材

您可以使用 图标下载源文件。 此选项在使用智能手机直接录制时特别有用,因为它允许您查看和评估捕获的素材。

6 参数

参数部分显示所有已应用的设置。 如果您想使用相同的源素材但调整特定设置以改善结果,这非常有用。

最佳实践

要创建高质量的 3D 模型,在拍摄素材时需要注意一些重要规则。

  1. 移动相机沿环绕物体的圆形路径移动,从各个角度均匀覆盖。
  2. 保持物体位于相机视图的中心
  3. 改变视角,但不要平移、倾斜或滚转相机。
  4. 从尽可能多的不同角度拍摄——包括更高和更低的视角。
  5. 锁定焦距,以在所有帧中保持一致的视野。
  6. 使用固定 ISO 设置,以确保均匀曝光并防止亮度变化。
  7. 设置手动对焦,以便精确定义感兴趣的区域或物体。
  8. 如果可能,使用均匀、漫射的光线(例如阴天的日光或柔和的室内光线)以获得最佳纹理捕获效果。

图片

拍摄图片而非视频时,至少拍摄 50 张照片,理想情况下拍摄多达 200 张,具体取决于物体的大小和复杂程度。

从不同侧面和角度拍摄物体,包括俯视和仰视。

使用手动对焦和固定 ISO。

视频

录制用于 3D 重建的视频时,时长应在 20 到 120 秒之间。

沿环绕物体的圆形路径平稳移动相机,从多个角度和高度拍摄。

避免快速移动和强烈的光线对比。