使用新的虚拟制作技术制作《曼达洛人》， Industrial Light and Magic 再次震撼了视觉效果世界。它给 VFX 社区带来了冲击波，并使我的许多合成师同事对我们工作的未来感到担忧。毕竟，通常以绿屏方式拍摄的镜头现在无需合成即可在相机中拍摄。《曼达洛人》第 1 季超过 50% 的 内容是使用这种新方法拍摄的，这让我的像素从业者感到害怕。在撰写本文时，全球有 10 个虚拟场景正在制作中，另外还有大约 100 个正在制作中。这是我们职业生涯的终点吗？我们很快会像 CRT 一样过时吗？行业标准的视觉效果工具，如 Nuke、Resolve、Silhouette或 Mocha Pro会走Dodo的老路？最简洁的答案是不！”
这个怎么运作
我们可以将虚拟制作阶段视为使用计算机对旧背投技术的大规模更新。一系列主要技术已经融合——相机跟踪、LED灯板、交互式数据库管理、优化渲染算法、大规模并行实时渲染——专注于捕捉相机拍摄完成的视觉效果的单一目标。
由 ILM StageCraft 建造的 Mandalorian虚拟制作舞台利用沉浸式环境，如上图所示，演员被巨大的 LED 墙包围。它高 20 英尺，直径 75 英尺的表演空间环绕舞台 270 度。其他虚拟舞台可能更小，不是完整的 270 度环绕，或者甚至可能只是两三个平坦的墙壁而不是一个弧形。LED 墙由多个以 4k 或 8k 分辨率运行的同步虚幻引擎1驱动，每个引擎负责墙的一部分。
摄像头被实时跟踪，因此它的位置和方向始终是已知的。摄像机位置不断传输到虚幻引擎，后者实时渲染 VR 环境。当摄像机在现场移动时，LED 墙上的虚拟环境完美同步移动，并伴随着适当的视角和相对于现场人才的视差变化。
使这一切协同工作需要大量的工程，因此还有一个由艺术家、工程师和技术人员组成的现场“脑棒”，他们将工作站连接到压倒性的计算能力和高速磁盘阵列。有些负责加载和管理 VR 环境，其他负责监控虚幻引擎的性能，而其他负责包含高性能 RGB LED 的 LED 灯板的照明专家。就好像现场的人才被一个巨大的环绕式 LED 监视器包围着，该监视器由技术团队操作并由导演精心策划。
承诺
虚拟制作的三个主要承诺是在捕捉时看到最终场景、机内合成和交互式照明。导演希望立即看到最终镜头，而不必等到合成师将其键入后期才能看到他们的绿屏镜头。制作人喜欢机内合成，因此他们不必为那些绿屏镜头支付合成器费用。制片人还喜欢通过让脑棒旋转几个旋钮来重新点亮舞台，而不必支付灯光师和打火机花费数小时来移动灯光的费用，而且导演喜欢能够在不受现实束缚的创意想法支配的任何地方放置灯光。
LED 墙实际上用来自 VR 环境的光线照亮了布景和演员，就好像他们就在现场一样，甚至包括环境在闪亮表面上的反射。就好像舞台和人才实际上就在 VR 世界中——几乎是这样。在一分钟内更多地了解“几乎”的程度。
另一个优点是更好的性能。现场的人才实际上会实时看到霸王龙在他们身后撕裂并做出相应的反应，而不是像绿屏一样简单地想象野兽在他们身上。少表演，多反应。它还提供了其他性能优势，例如能够使视线正确，而不仅仅是看着绿色棒上的一对乒乓球。
另一个重大胜利是能够做出自发的现场创意决策。导演有了一个新角度的想法，但有一棵树挡住了路。没问题。CG 数据库管理员只是将树移开。同样，灯光可以四处移动，增加或减少亮度，或者可以使天空更亮、更暗或更红——所有这些都在几秒钟内完成，而无需停止生产以重新点亮布景。当灯光被拨入时，人可以站在那里，所以一切都可以在上下文中看到。导演就是喜欢这种神一般的创作自由。天哪，谁会不喜欢呢？
另一个重大胜利是设置下一个镜头的速度。数据库管理员不会分解实际布景或将工作人员物理地移动到另一个位置，而是简单地从数据库中提取下一个场景，同时布景台更换舞台地板和任何现场道具。制作可以在一小时内从沙漠转移到森林，而无需离开虚拟舞台。这提供了前所未有的生产效率，减少了制作时间，从而降低了生产成本。
这一切听起来都非常棒。这是视觉效果制作的全新一天，令人惊叹的 VFX 镜头是在相机中实时捕捉的，比经典的绿屏制作或构建庞大而昂贵的场景要快得多。至少乍一看是这样。但是仔细观察就会发现现实比这更混乱，并且仍然需要大量使用这项新技术的熟练合成师。
现实
与任何技术一样，虚拟制作也有其自身的一系列问题、局限性和问题。所以在这里我们将仔细研究这些问题，甚至看看我们可以在哪些方面进行更多的合成工作来修复它们。请记住，合成师所做的不仅仅是合成绿幕。我们拥有修复基本摄影中几乎所有问题所需的工具和技术，包括虚拟制作镜头。
莫尔条纹 - 上图说明了一个具有挑战性的问题，即 VR 镜头中可能出现的莫尔条纹。发生这种情况是因为当通过相机镜头看到时，墙上的 LED 可能与相机成像传感器中的像素大小大致相同。当您看布景时，您不会像看着 LED 监视器那样看到这一点。但是，要查看数码相机在拍摄 LED 墙时看到的内容，请尝试通过手机摄像头从大约 6 到 12 英寸远的地方查看显示器上的图片，看看会发生什么。
最简单的解决方案是始终让视频墙由于景深而失焦。但是，该解决方案对导演不喜欢的场景构图和相机镜头施加了限制。各种虚拟舞台建设者有其他的解决方案，有些比其他的更好，但这仍然是一个需要解决的问题。我真的希望您永远不会在后期看到有摩尔纹的镜头。
同色异谱- 服装和道具的颜色在日光、白炽灯甚至 HMI 灯下看起来不错，但是当被 LED 墙壁的 RGB LED 点亮时，它们的颜色会由于同色异谱而突然发生变化。之所以会发生这种情况，可以通过上面说明的太阳光谱与 RGB LED 光谱之间的差异来解释。太阳光、白炽灯和 HMI 灯输出连续光谱——所有波长的光。然而，LED 只在特定的窄频率下发出彩色光的“尖峰”。当这两种不同类型的光谱从同一表面反射时，它们会产生稍微不同的颜色。这可能会带来令人烦恼的色彩校正问题，这些问题必须在后期修复。
照片由Unreal Engine提供
虚拟绿屏- 当虚拟集上的所有其他方法都失败时，他们可以对 LED 墙进行编程，以显示此处所示的绿屏。它会跟踪摄像机所看到的任何地方，因此 无论摄像机如何移动，它始终在人才后面。加上跟踪标记，才华横溢的合成师仍然可以将其变成后期的精美镜头。
实用地板- 虚拟场景总是有一个实用的地板，例如一直延伸到 LED 墙边缘的沙质沙漠或布满树叶的森林。很多时候，墙和地板之间的接缝必须在后期去除。更严重的是，实用的地板必须与墙底部周围的 VR 环境完美匹配。您实际上可以在虚拟绿屏插图中看到不匹配。这也需要在后期修复。
附加照明- LED 墙环绕舞台的背面和侧面，因此只能从这些方向提供照明。大多数镜头必须从上方和/或从前面获得额外的照明。一些虚拟布景将在舞台上方悬挂另一面 LED 墙，以添加天窗或头顶视觉效果，以反射闪亮的表面。当然，必须小心，使这些额外的灯远离 LED 墙，以免它们使黑色水平模糊。
延迟- 移动的摄像机位置被馈送到Unreal Engines的离合器，以实时以非常高的分辨率渲染环境。虽然虚幻引擎可以跟上 24 fps 的相机扫描速率，但在相机移动和更新的环境渲染之间存在传播延迟。对于《曼达洛人》，延迟为 8 帧，即 1/3 秒。这必须小心管理，以避免尴尬的时刻，例如启动一个鞭子平移，即人才立即平移但背景暂停 1/3 秒。当然，我们也可以在后期中解决这个问题。
代理环境- 在某些情况下，VR 环境以较低的分辨率或简化的几何体进行渲染。人才是在这个“代理环境”上拍摄的，然后它被替换为具有相同相机移动的高分辨率渲染。由于人才是在低分辨率环境中捕获的，这意味着他将不得不被隔离，以便在后期渲染中与他进行比较。
匹配渲染- 在那些使用 Renderman 或 V-Ray 在外部渲染 CG 元素然后在后期添加到 VR 场景的情况下，它们显然必须匹配 LED 墙中的 VR 环境。但是 Renderman 和 V-Ray 渲染看起来并不完全像虚幻引擎渲染。必须进行仔细的技术工作以使两个渲染完美匹配，否则必须有人在后期修复它。
景深- 正如我们在摄像机上方的莫尔条纹部分所了解的那样，在 LED 墙上不能清晰对焦。虽然这在大多数情况下是可行的，但在某些情况下，墙需要像人才一样对焦。在这种情况下，人才必须在一个清晰对焦的替换渲染上进行抠像和合成。
反射光- 现场道具和 LED 墙之间的反射光也必须正确。靠近墙壁的道具会自然地将光线反射到附近的 VR 元素上，因此必须适当地照亮 CG。相反，“靠近”片场道具的 VR 元素会自然地从 LED 墙上反射光线，但要注意那些同色异谱，否则我们将不得不在后期修复它。
经典 FX - 尽管 LED 墙实现了基本复合，但仍有一长串经典效果需要由 roto、油漆和准备艺术家添加。魅力传递（数字美容）、皮肤清理、去除电线和服装修复等等。他们仍然需要大量的跟踪、旋转和油漆来清洁印版。还记得上面的代理环境吗？必须旋转并键入人才以在替换的高分辨率渲染上进行匹配。
阴影- 现场道具、人才和 LED 墙之间的阴影也必须保持一致。如果现场道具需要投射应该出现在 LED 墙上的阴影，则必须修改 CG 以包含它。参考本文顶部的虚拟制作阶段插图，注意太阳在哪里。真正的太阳距离我们 9230 万英里，所以它的光线和阴影都是平行的。然而，VR 太阳距离我们只有几十英尺，所以它的光线明显发散，因此相机和现场人才的阴影并不平行。
不知道如果后期没有才华横溢的合成师，您将如何处理四处走动的人才将移动的阴影投射到 LED 墙上。最简单的解决方案是通过限制镜头构图来完全避免它们，以避免首先创建它们。但我们都知道导演有多喜欢被告知要限制镜头。
结论
虽然虚拟制作提供了令人兴奋的创作自由和相机内效果的新前景，但我们已经看到，经过仔细检查，它比听起来要复杂得多。有很多细节、局限、限制和问题限制了它的适用性，因此很多镜头无法通过这种方式完成。此外，其中许多问题使相机内拍摄不完整甚至不正确，然后必须在后期修复。我们甚至看到，在某些情况下，他们必须弹出一个虚拟的绿屏，这样我们才能像以前一样键入和合成。现在很明显，虚拟制作有一长串问题，仍然会给合成师留下大量工作。
虚拟制作是一种非常重要的视觉效果新技术，它会继续存在。但我们行业的基础是快速的技术发展，作为视觉效果艺术家，我们经常通过教育和培训与这些变化保持同步来应对这一挑战。从历史上看，我们一直通过开发新的和不可或缺的角色来应对这些变化，迎接挑战，这次也不例外。
关于作者：
Steve Wright是一位拥有 20 年 VFX 合成经验的资深人士，出版了两本关于合成的书籍，自 2005 年以来一直在为 VFX 行业教授合成。他在世界各地培训了 2000 多名艺术家，在超过 35 个 VFX 工作室进行员工培训，是许多教育机构的客座演讲者，并为多家 VFX 公司开发了课件。您可以访问他的培训网站www.fxecademy.com。