如何用 360/VR 技术讲述鼓舞人心的沉浸式故事：与 WisdomVR 的问答

WisdomVR的小团队目前因其情感丰富和令人敬畏的纪录片Inside COVID19被提名艾美奖（杰出互动节目）。

我们最近采访了制作人/导演（也是 3D Studio Max 的发明者之一）Gary Yost，和 360 度后期制作艺术家David Lawrence，讨论了 360 叙事的技术、它带来的挑战，以及为什么他们依赖像Boris FX Mocha Pro这样的工具。

 

 

 

WisdomVR 致力于使用 360/VR 技术讲述人类故事。为什么 VR 对您的使命至关重要？

 

Gary：从一开始，人类就是讲故事的人。事实上，讲故事是真正使我们成为人类的重要组成部分。在讲故事时，目标始终是让听众或观众尽可能深入地沉浸在故事中。几年前，我们认识到立体 360/VR 格式，如果以最佳方式（即舒适的立体成像、16 通道空间音频等）加以利用，是将观众置于故事中的终极方式。

 

然后我们花了多年的时间尝试制定我们的技术流程来制作世界一流的立体图像，更重要的是开发一种讲故事的风格，以一种将故事深入到观众脑海中的方式使用位置......绝对比任何其他媒体都可以更深入。对于那些没有 VR 耳机的人来说，您不会知道我在说什么，因为这是一种体验现象。这不是可以描述的。

 

Inside COVID19从开始到发布的整个过程需要多长时间？

 

Gary：我们第一次见面是在 2020 年 5 月，我们在 2020 年 11 月发行了这部电影，所以总共六个月。最初的两个月都在写提案并试图获得资金，我们在 Oculus 的执行制片人 Eric Cheng 找到了一些资金让我们在 7 月中旬开始工作，我们就开始工作了。所以实际工作只用了四个月。

 

最大的挑战是在分子世界中创建 7 分钟 6720x6720 的 3D 立体动画，我们出色的动画师 Andy Murdock 得到了 Chaos Group 的大量渲染时间的支持，因此我们可以使用他们的 Chaos Cloud Vray 渲染器。没有Chaos 的支持，这项几乎超人的任务将永远不可能实现。请记住，高清帧是 2 兆像素，而 7K 立体帧几乎是 50 兆像素！

 

 

 

（在 COVID19病毒体索具和渲染示例中）

 

360 电影制作和后期制作可能是非常技术性的。您用什么相机设备、漫游车、钻机和软件来制作这个项目？

 

Gary：“非常技术性”是对的，尤其是在 7k x 7k 分辨率的立体 360 视频方面。当您对立体成像质量非常挑剔时更是如此。由于我在 3D 动画方面的背景，并且由于使用 CGI 可以创建物理上完美的立体图像这一事实，我对立体 360 成像的标准非常高。在 2018 年之前，唯一提供足够重叠以算法生成高质量立体图像的商用立体 360 钻机是 Jaunt One 和 Yi Halo，它们是为使用 Google JUMP 拼接组装器而构建的。

 

这些相机超出了我们的价格预算（此后不久 Google 停止了 JUMP 组装机），但幸运的是 ZCAM 人员（他们制造了 34,000 美元的 V1 Pro，其中两个现在在国际空间站上绕地球运行）正在试验一种低成本的价值 9,000 美元的 10 相机装备，具有较小的双眼间距和大量重叠，为我们的拼接软件 ( Mistika VR )使用的光流算法提供了很大的灵活性，以推导出自然的等距柱状投影图像对。该相机非常擅长立体成像，它是我们的非营利组织如何创建世界一流的立体 360 度视频的关键支持技术。

 

仍然没有相机可以在自然立体声方面与它竞争，特别是在接近人和狭窄的房间时。伟大的战争摄影记者Robert Capa曾经说过“如果你的照片不够好，说明你还不够近”，这句话一直是我作为摄影师一生的主要指导方针。我对Capa引述的解释是，让观众对角色投入情感以让他们真正关注是很重要的。不幸的是，360/VR 视频的媒体涉及图像场的一些疯狂的光流插值以创建立体对，并且每个摄像头之间没有大量重叠，就不可能准确地缝合靠近摄像头的对象。这就是为什么您会在大多数立体 360 度全景视频中看到各种拼接问题，或者拍摄对象距离相机两米或更远。ZCAM V1 则不是这样……我们可以将人们放在离相机几英寸远的地方，而头显的效果是主体变得巨大，为观看者创造了一种过度情绪化的感觉。

 

 

(Inside COVID19: Gary Yost在现场)

 

遗憾的是，ZCAM 在关闭他们的硬件实验之前只生产了 20 台 V1 摄像机，但幸运的是我们拥有其中的两台。在软件方面，除了 SGO 的 Mistika VR 拼接器，Mocha Pro和 After Effects 构成了基本 VFX 工具的核心套件。我们在后期制作过程的不同阶段同时使用 Premiere 和 Final Cut Pro X，而 ffmpeg 被大量用于文件转码和编码。我们在Inside COVID19 的制作阶段制作了 850 多个单独的镜头，并以代理 4k x 4k 分辨率拼接所有这些镜头。一旦我们进行了锁定编辑，我会以 7k 重新拼接，然后转到 AE/Mocha Pro 进行钻机拆卸过程。

 

关于漫游车，出于一些原因，我们根本没有为此项目移动相机。总的来说，我们不相信 360/VR 中的无端摄像机移动，因为 3DoF 摄像机移动会导致许多观众的眼/前庭失调并使他们恶心，但也没有为了讲述我们的故事而移动摄像机的特殊原因。我们在接近影片结尾时尝试了立体 360 度延时摄影序列，但还没有人抱怨生病。

 

声音和画面一样重要，我们有很多工具用于 16 通道三阶环绕声空间混合，因为原创音乐（由 James Jackson 配乐）和声音设计是我们工作流程的重要组成部分。我在 Reaper DAW 中进行空间混音以及 Noise Industries 的 Ambi-Pan 和 Ambi-Head 空间音频插件。NI 的 Charles Verron 实际上为我们编写了一个自定义插件，用于在头部锁定和空间化轨道之间平滑地插入某些 SFX。我以前只混合过 4 通道一阶空间格式，所以Inside COVID19是我第一次付出额外的努力来混合如此高分辨率的空间声场。用耳机聆听Inside COVID19极大地增强了作品的沉浸感。

 

 

(Inside COVID19: L-R, Gary Yost, Adam Loften, Dr. Child)

 

Inside COVID19被拍摄并发布在立体 360/VR 中。立体拍摄的优缺点是什么？用立体声发帖怎么样？

 

Gary：我们所有的作品都是在立体 360/VR 中制作的，因为相比单视场壁纸般的图像，从立体图像中可以获得更加身临其境的感觉。在许多情况下，您将观看的视频是由无法使用 V1 或 V1 Pro 的 360/VR 制作人制作的。立体声只是感觉“关闭”并造成不舒服的眼睛疲劳。

 

V1 的 10 个摄像头的径向阵列产生了一个巨大的数据集，但当然，推论是管理 10 个摄像头 850 个镜头将近 10,000 个视频文件……令人生畏但可行，这就是为什么许多立体 360/VR 电影远不及我们在Inside COVID19上的 35 分钟运行时间。并以 Prores 格式以每帧 49 兆像素的速度进行最终缝合……您可以想象所有这些加起来多快。事实上，我们最终的生产归档驱动器克隆每个都是 16Tb。这是疯狂的。

 

再加上为 49Mpx 帧进行所有钻机移除和合成的额外后期时间……我为此购买了一台 2019 年的 Mac Pro，并将其与我的拼接 PC 和 iMac Pro 以及 Adam Loften（联合导演）一起使用David每个人的工作室都有多台机器。感谢上帝有像 Dropbox 这样的文件共享工具。

 

您几乎在Inside COVID19 的每个镜头中都使用了 Mocha Pro 。Mocha Pro 在哪些特定的挑战或镜头上有所帮助？

 

David：最具挑战性的钻机拆卸镜头是将相机安装在汽车的乘客座椅上。ZCAM V1 是唯一一款商业设计的 VR 相机，人们甚至可以尝试使用它，但仍然很难实现。第一步是获得良好的针迹并优化针迹以进行移除。这意味着迫使最低点和最高点尽可能成为单声道。Gary 完成了 Mistika VR 的拼接工作，并且在设置这些镜头方面做得非常出色。

 

完成后，我准备进入Mocha。这些镜头的关键是为左眼和右眼制作单独的干净板。Mocha 可以自动从左眼生成右眼视图以进行立体移除，但它在最低点或最高点不起作用，因为“左”和“右”在极点没有意义。没有办法知道观看者的方向取决于他们正在看的方向，当他们向上或向下看时，眼睛可能会反转。所以我将首先在 Photoshop 中制作一个左眼清洁板，然后将我的左眼罩复制到右眼板上并小心地混合。我寻找需要在边缘周围立体并在右眼板上羽化的地方，以帮助出售镜头。我会边走边检查 HTC Vive 并进行调整，直到正确为止。

 

当我完成我的工作时，我的工作是隐形的。到目前为止，最难的镜头是汽车在头顶明亮的阳光下行驶。这导致了整个镜头的振动和不断移动的阴影。一旦我能够找到与座椅共面的纹理，可以牢固地跟踪，移除就非常简单了。有了好的清洁板，它完全有效！我真的无法想象没有Mocha我会怎么做。

 

 

 

您工作中最喜欢的部分是什么？

 

Gary：我可以做到！而且我可以推动自己在每个项目上做新的事情。我从我的联合创始人 Adam Loften 那里学到了很多关于导演的知识，正是这个学习过程让我对这项工作感到最兴奋。

 

David：我喜欢每份工作的不同之处，它们都带来全新的挑战，迫使我学习、提升能力和技术，并不断成长。我喜欢成为一个团队的一员，我们总是在这个团队中互相激励，把我们的工作做到最好。当所有的片段组合在一起时，故事和观众之间没有任何阻碍，这真是太令人满意了。这就是这种媒介的神奇之处。