虚拟制片是一套包罗万象的技术，它始于开发工作，并可以持续运用到最终产品。它架起了现实和虚拟世界之间的桥梁。另一个关键是在整个制片流程中开发出可复用的资产。虚拟制片还将传统制片前期、制作、后期的阶段划分整合成了一个连续的工作流程。
远程合作
远程合作是虚拟制片工作流程的一部分，可以打破参与者所处地理位置的限制。通过本地局域网（LAN）或网格虚拟私人网络（VPN）你就可以无缝使用远程合作。其实之前电影布景已经有很多远程合作的先例。例如在年，StevenSpielberg在波兰执导《辛德勒的名单》，同时又通过当时相对基础的卫星电视连接来审核《侏罗纪公园》的剪辑和视效。
在疫情时期，远程合作的需求比以往更加突出。而游戏引擎的设计目的之一就是为了去中心化，在目前的局势下多人会话的需求越发明显，游戏引擎带来的益处也显而易见。虚幻引擎本身就是许多组件的集合，以下为这些组件的介绍。
组件
PerforceHelixCore
在一个项目中，远程合作可能需要数十位甚至数百位美术师和技术人员的努力。任何尝试过文档合作，并用电子邮件或线上模式合作的人都知道，要处理同一个项目的不同版本可谓极具挑战。虚幻引擎就通过支持版本控制软件PerforceHelixCore来解决这个问题。
在较为传统的视效管线中，创意工作往往是通过单个镜头和线性流程实现的。动画师会将他们的成果交给灯光师，然后灯光师再交给合成师，如此下去，并且所有人都不知道场景的具体情况。这样的工作流程就让追踪工作和版本控制极具挑战，也会耗费大量的时间。而如果使用虚幻引擎，因为动画、灯光、摄像机移动序列以及其它场景部件都在同一个项目中，所以每一位合作者都可以看到场景并修改序列的任何地方。
Perforce可以自动追踪和管理所有这些改动。它能够解决个人作业之间的所有冲突，并通过检入检出IDE的方法保留完整的版本历史，你可以查看和恢复对项目的任何改动。
Perforce的另一大好处就是对知识产权的有力保护。Perforce还具有高度扩展性，因此项目可以在同一个平台上快速从预制片阶段转移到完全制片阶段。Perforce从项目管理的层面精简了远程合作的流程，让合作更加灵活高效。虚幻引擎也整合了其它版本控制系统，你可以根据自己制片的配置进行调整。
Perforce让合作更加轻松。它让我们可以更方便地找到需要去做的资产，并且你可以看到别人是否也在做这个文件。
PhilippeReboursEpicGames技术客户经理
安全考虑
保护知识产权是制片工作的一大优先事项，牢靠的网络安全对远程合作而言至关重要。许多现有的产品和服务都可以为你安装和配置防火墙、VPN以及其它网络安全措施。而每个设施可能都有独一无二的网络拓扑和协议，因此，协调已有IT资源和基础设施是远程会话中IP安全和拓展性的重要保证。
寻找资产
要创建在项目中使用的资产，通常需要派遣大量人员游览许多地方，才能找到想要的地点或参考图像。而在许多情况下，已经存在的资产要么可以在项目中继续发挥原来的作用，要么可以经过修改来契合项目。使用已有的资产可以节省大量的开支和时间，同时减少项目差旅和对现实环境造成的影响。
这些资产可能包括模型、参考图像、纹理等等。它们可能通过摄影测量法和激光雷达创建，可能借由参考图像绘制而成，可能完全通过数字化打造，也可能是组合了以上的方法。专门为虚幻引擎设计的资产通常都在细节和纹理上经过调整，具备实时呈现的性能。虚幻引擎的资产提供方式包括虚幻商城、QuixelMegascans库和Sketchfab。
虚幻引擎中的远程合作
虚幻引擎提供了两种主要的远程合作方式：
多用户编辑和协作查看器模板。这两种技术都可以提供高度自定义的方法，让同地区或世界任何地方的团队都能密切合作。
多用户编辑会通过LAN或VPN链接虚幻引擎的多个实例，甚至共享同一个项目。虽然最初设计它的目的是用于同一地点的工作（例如LED舞台），但如今多用户编辑还可以通过网格VPN实现跨网络运行。它可以提供最高程度的合作，因为每位参与者都可以完全掌控项目。
协作查看器模板是一种简化的远程审核和合作工具，适合不熟悉虚幻引擎的用户，他们只需打开一个执行文件就可以运行程序，无需安装虚幻引擎。模板中的设置可以让参与者通过网络共享场景，在会话中，参与者可以在这片3D空间内操作各种元素并添加注释。协作查看器模板还具备用于服务器或主机配置的所有设置，并且拥有额外的功能，可以针对任何工作流程实现自定义。要了解该流程的运作，请查看此视频。
亲临现场
在这个需要保持社交距离和远程合作的时代，我们经常需要考虑哪些人员应该亲临现场，而不是远程合作。谨慎的协调和规划可以尽可能地避免亲身到场，同时提供所有必要的功能来创作内容。许多常规的前期工作，例如采景、场景设计、影片审核等等，都可以通过线上视频会议或多人会话有效地处理。
视频村与视频会
“视频村”是传统制片中比较常见的一种场景元素，也就是将摄像机中的内容通过一系列管线传输到中心的观看位置。远程合作极大地拓展了视频村的概念。诸如Zoom、Skype和Webex等视频会议解决方案与远程工作流程相结合，提供了一系列功能，让积极的参与者和制片支持都可以彼此连接，从而在共享场景中深入了解具体的情况。
工作流程
这样一个人的探索就可以和其他人共享，并且可以在足不出户的情况下随时查看布景和实地位置。
RobertLegatoASCVisualEffects视效监制/电影摄像技师
虚拟采景
虚拟采景是一种将虚拟地点或场景可视化的方法，从而让剧组成员可以探索场景空间并制订拍摄计划。它可以提供一种共同的体验，让你可以通过即兴、合作的方式来完成虚拟镜头的设计，就像制作人在实地布景所做的一样。这种互动通常用HMD（头戴式VR显示器）完成，不过也可以使用平板或计算机屏幕来做。虚拟采景包括可重定位的道具、有镜头的虚拟摄像机以及摄像机支持，从而在无需实际搭建的情况下准确地规划镜头、确定场景搭建或规划整体的顺序。虚拟采景让电影制作人确定场景的哪些部分需要搭建出来，用于拍摄他们想要的镜头，同时也可以减少或避免搭建摄像机完全不会拍到的区域。目前许多项目都已经在前期流程中运用虚拟采景技术，例如《权力的游戏》和《狮子王》。
虚拟电影摄像
虚拟电影摄像会模拟现实世界的摄像机特征，包括光学属性、摄像机格式、长宽比、摄像机移动等等。摄像机的移动可以由多种方式生成，包括通过传统的制作关键帧来程序化生成、使用多种输入设备（例如游戏控制器）生成，或者使用虚拟摄像机（VCam）生成。使用VCam时，引擎的摄像机移动会成为现实世界中代理对象（例如实体摄像机或任何被追踪的对象）的父项。VCam是一种完美的组合方式，可以融合实体对象打造的真实感和虚拟世界中无限的视觉可能性。
VCam追踪有多种多样的解决方案。虚幻引擎就包含一个虚拟摄像机的插件，再配合免费的URemote应用，你就可以使用iPad来控制引擎中电影摄像机的移动和旋转方向。还有一种成本效益较高的方法是使用HTCViveTracker，它可以连接虚幻引擎的摄像机和对象。
接下来就是使用专业光学和编码器驱动的追踪解决方案，例如MoSys、Ncam、OptiTrack、StYpe和Vicon，或者使用多种输入设备设计自定义方案。所有这些的目标都是为了将人为的摄像机操作转换到虚拟世界中。这些捕捉技术主要为两个目标服务：一是为虚拟摄像机提供更真实的移动；二是让电影摄像技师和剧组成员可以通过电影摄像完成直接的、一对一的互动。
数字人类/创建人群
数字人类可以为可视化和最终图像的多种目标服务。在前期预览中，数字人类可以用来展示摄像机画面和移动，从而制作特技和草图。在制片过程中，数字人类可以通过合并来形成人群、数字替身、特技工作和动作设计，甚至可以作为主角。
而在远程合作领域，使用虚拟人类还可以开辟额外的维度。表演者可以通过动作捕捉套装将自己的动作传输到远处的地点，人群场景也可以轻松模拟。使用虚拟角色替换表演者可以提供相似的视觉效果，同时降低表演者本身的风险。
虚幻引擎推出了一个数字人类项目来展示它在此领域的部分功能。最近虚幻引擎的改进更新也包含了毛发渲染和模拟，从而进一步增强了数字人类和人群的逼真度。数字人类可以通过添加关键帧或模拟动起来，或者直接通过表演捕捉驱动。LiveLinkFace应用可以作为面部动画的入门应用，如果你要追求更好的表演效果和保真度，可以选择CubicMotion和3Lateral（均已加入EpicGames大家庭），它们可以提供专业级别的面部追踪和数字人类解决方案。
远程工作室设施
为了遵守疫情期间严格的安全标准，许多工作室已经转为远程工作模式，大多数工作人员都已经居家办公。远程工作室会使用视频会议和虚拟制片技术来尽量给员工完整的、面对面的工作体验。虽然是新出的安全标准，但广播工作室在很久以前就已经部署了远程设备（例如机器控制的摄像机和通话系统）来播报新闻和体育赛事。从美国和全球规定的制片安全新标准来看，使用远程工作室的趋势已经非常明显。
在深度学习技术的驱动下，逼真的数字人类和角色很快就会以虚拟助手和Deepfakes等各种形式来到我们身边。我们与技术互动的方式将发生天翻地覆的变化。
DarrenHendler数字人类小组总监DigitalDomain
传统项目和使用LED幕墙的虚拟制片项目在操作上有什么区别？
RobertLegato,ASC：首先要解决的问题就是搭建LED幕墙的初始开支，因为现在不是每个人都能做到。不过当LED幕墙搭建完成之后，大家就会清楚地意识到它可以为制片工作带来诸多优势。如果你已经搭建了LED幕墙，就可以使用完整的游戏引擎模型开始数天的拍摄工作，灵活性和经济方面的优势显而易见，而且拍摄工作也会更加方便。
它将代替一次性的布景，避免造成各种浪费。一个只拍摄一两天的一次性场景，可能要花上数周的时间去搭建才有足够的舞台空间，还要预配置灯光和舞台装饰。而在拍摄完成之后，你还要等到确定所有需要的镜头都拍摄完毕才能把它拆除。而把布景和所有装饰设备都归还之后，你又要为下次拍摄再重复这个流程。你可能需要花费六周的时间去租赁舞台，然后只为完成一两天的实际拍摄工作。
现在你可以在计算机上搭建出同样的场景，并且拥有照片级的逼真度。你依然需要之前做蓝图和立面图可视化的人才，他们要运用你用来搭建标准电影布景的图纸来虚拟布景；你还需要同样的布景装饰师和美术指导来选择你需要的陈设，还需要经验丰富的人员来给布景打光，不过他们现在都可以选择计算机这种不同的媒介，并得到同样的最终结果。如果你有多个准备好拍摄的布景，完全可以在同一天进行拍摄，而无需担心要在看到样片之前来回赶场。如果你在几个月以后又想起了这个布景，想要补拍或者有了新的想法，也可以随时回到这个场景。
还有一个好处就是你可以在几个小时内身处五个不同的布景中，和档期只有两三天的演员完成拍摄工作，而且品质和你搭建所有实体布景或地点别无二致。这些都让你可以更快地制作出高品质的电影。
那些设计实体布景、布置陈设并完成各种工作的美术师完全可以在虚拟场景中继续发挥同样的作用。你依然需要行家好手来装饰布景、打光和拍摄。相应的职责其实和传统制片类似，区别就是你使用的设备。
最近我们发现，大家其实可以很好地进行远程合作。工作人员完全可以在自家的客厅用笔记本电脑合作，为场景创建内容。
你能说一说虚拟制片需要的新部门吗？
Legato：其实差不多，你也可以进行组合。虚拟美术部门并不局限于“虚拟”，它是实际的美术部门。他们可能要搭建部分或全部的布景，或者说全都用虚拟的方式去做，但依然需要制片设计师在计算机上完成设计。
即便是老派的设计师也开始采用这种方式，因为确实可以让工作更加方便。现在运用虚幻引擎这样的游戏引擎，就能够为最终输出设计资产。
摄像机部门也是如此。之前在拍摄《奇幻森林》时，我们会对所有内容进行前期预览，甚至包括毛克利的动作捕捉。我们建立了虚拟摄像机部门，后来就完全成为了摄像机部门。我负责影片的第二工作组，这样就可以轮流推进，我在我的布景里拍摄，JonFavreau和BillPope在他们的布景里拍摄。
拍摄《狮子王》的时候，我们和CalebDeschanel也采用了相同的方法，并且为摄像机部门开发了虚拟工具。Caleb从实景片场带来了一个实体的摄影轨道。我们还有一位优秀的摄像机稳定器操作员HenryTirl。
而我要为MichaelBay做电影的前期预览。他运用了自己通常的执导风格，对摄像机的放置、镜头选择、摄像机的移动都造成举足轻重的影响。他当时立即就采用了远程合作的方式，因为理念是一样的。他可以在VR中拿着手柄，四处走动，用自己想要的方式对准摄像机，然后开始移动物体。他说：“这和我想要的实景镜头或者说我想要在实景中做的事情完全一样。”
传统视效人员和实时专家是否很难统一相关的术语？
Legato：这对视效部门来说是个普遍的挑战，因为各部门可能并不熟悉其他的部门。而当他们把工作的接力棒交给下一组工作人员时，可能并没有想过接手的同事会遇到的问题和最终的解决方案。大多数操作摄像机的人员都不会做剪辑，但如果你会剪辑就可以让自己成为更好的摄像师。即便你不是一个优秀的剪辑师，你也依然要知道为什么要拍摄某样东西，要怎么做才可以让剪辑师更方便、更有创意地构建场景。
我在搭建场景时还是比较严格的，因为即便它是以视效为主，但美术师可能没有拍摄过任何实体的东西，所以他们搭建的场景不一定会去利用自然实体拍摄提供的优势。
此外，如果视效技术导演设计了一个他从未用过的前期预览工具，那么它可能会造成阻碍，而不是帮助摄像师。因为他们可能要以一种完全陌生的方式去工作。这可能会干扰和阻挠原本的创意过程。
所以说关键是要有传统视效的基础，然后做好准备去拥抱创新和新技术。
Legato：是的，你需要有开放的思维，不要对技术充满畏惧。所有制片行业的人士都应该对电影主题相关的知识有一定的了解。你需要去学习那些如果你不拍某部电影可能永远不会涉足的领域。我参与拍摄《阿波罗13号》的时候，就学了很多航天机械的知识，为的是更好地完成视效场景的工作。在拍《泰坦尼克号》的时候也是一样。
Caleb是一位十分乐于拥抱未知的美术师，并且会让相应的知识为自己所用，就好像中间完全没有阻碍。你会很想和这样的人共事——他们既对传统了如指掌，又愿意去拥抱新的工具，打造出永不过时的画面。
虚拟制片是如何发展演变的？
Legato：我觉得虚拟制片起始于我在拍摄《飞行家》的时候，当时我想出了虚拟电影摄像的概念，并告诉了JimCameron。之后他就决定用这种方式来制作《阿凡达》，因为这样他可以“进入”计算机，而不只是盯着屏幕。虽然当时还不可以凭借VR进入场景，但已经非常具有潜力，并且可以让Jim将计算机摄像机带入舞台片场，从而更自由地操作摄像机。
我们创建了一个混合系统，你可以使用实体摄像机四处走动、在地上做标记、架起道具架，并且创建一个虚拟布景来模拟实景。你可以用木头搭建互动布景部件以及各种道具，从而构建一个与CG布景对应的实体影棚。
每部电影我都做了前期预览。例如我在参与拍摄《雨果》的时候就有一个前期预览工作组。在拍摄场景时，我会比主要工作组的摄像机领先一两个镜头，设计如何获得最终的效果。我可以完整地看到布景，而不只是舞台上的某个部分，从而可以更好地设计镜头，然后分解成各个部分，同时也可以了解最终的镜头是什么样子。
拍摄《奇幻森林》的时候，我们也是用虚拟布景这么做的，非常像《阿凡达》，还对虚拟电影摄像做了一些改进。不过我们依然只能通过摄像机的通道去查看虚拟的世界。
然后Vive头显面世了，我们完全重新设计了《狮子王》的VR拍摄体验。现在实体采景已经很熟悉VR采景了——我们会按照现实世界构建出整个场景，然后在其中四处走动，而你的大脑很快就会适应，你也会适应那种环境。
即便你需要在VR中做实体采景，你也不需要把所有人都派到那些繁华的大都市，哪怕大家不在一个城市，也可以在VR中工作。他们可以四处走动，导演可以过去告诉他们：“在阶梯旁边放一个吊架，然后往回看，这个镜头应该是这样，这里我想要那样。”
导演甚至不用离开自己的部门就可以开展一场信息丰富、极具价值的合作会话。你可以在游戏引擎中构建所有资产，然后从一个地点跳到另一个地点，和所有主创一起讨论这些资产。最后当你抵达地点之后，你会清楚地了解所有东西该怎么做、在哪里，以及该如何高效规划每日的工作。
基于远程合作的需求，你如何看待虚拟制片的发展演变？
Legato：我发现远程工作非常有趣，因为有时你不需要别人一天12个小时待命，却只为提供几分钟的帮助。你可能只需要他们一个小时的时间。通常来说，如果你参与的那个舞台工作强度很大，那你会让所有人都过来。但实际上你只需要召集一部分人，让对方进入你的计算机就可以解决问题——他们不用赶去自己不方便去的地方。你也不需要让30个人在舞台边候场。
这可以让所有人都有事可做，而且他们也不用跑到温哥华、蒙特利尔或伦敦——他们不再需要去任何地方。他们可以在自己觉得最舒服的地方，并且依然能够顺利地工作。我之前会用iPad和谷歌环聊来制作电影需要的镜头。我可能会说：“我们需要这个人来解决一下我们遇到的这个问题，这里好像不太行。”然后那个人就会出现，看着我的屏幕说：“噢，我知道哪里有问题，你应该如何如何。”
然后对方就会解决问题，回到他自己在做的事情。这其实和对方亲自到场的差别并不大，因为如果你是在实际片场遇到什么问题，你也会把这个人叫过来，对方会在你后面看一会儿，然后坐下来，施展自己的“魔法”，做完以后就会离开。不过其实对方也是一直在做自己的工作。我们在导演的剪辑室和导演开了一个电话会议，我可以看到他在干什么，他也可以看到我在干什么。我们只要进行一段15分钟的对话，而不是两个小时的会议。
不是说你再也不需要和别人见面交流，只是说你完全可以远程进行规划和做前期预览工作。你完全可以用这种方式制作动画电影。你还可以在汤姆·汉克斯有档期的时候轻松派遣一小组音效人员去他的住处给他录音。你可以远程监控会话，录好他的台词，然后和动画师合作，其他环节也可以远程合作，例如色彩校正等等，所有人员不必都挤在一栋建筑里。我觉得这也是它带来的一个好处。
现在很棒的一点是，电话会议和VR应用比较普遍。如果所有人都采用这种方法，就可以避免很多不必要的长途跋涉，不用搭飞机去开三个小时的会。当初和Marty一起合作拍片的时候，光是我飞到纽约下榻酒店的差旅开支就不少。然后，我和他只见了三个小时就又打道回府了。我花了三天宝贵的时间，只为了一场三个小时的会面。我想疫情正在迫使我们接受这个概念。而它在特殊时期下凸显出来的种种优势，也确实让我没有理由再完全按照原来的方法去做了。
能介绍一下你在DigitalDomain的职责吗？
DarrenHendler：我的主要职责是做电影拍摄的视效工作。我做过大量的虚拟制片，尤其是将演员变为数字角色。在拍摄《复仇者联盟：无限战争》的时候，我主要负责把演员JoshBrolin变成灭霸。我还参与了许多电影的拍摄工作，我也很喜欢；当然现在主要是从事实时领域的工作。
数字人类是虚拟制片这个神奇领域中关键的一环。我们会尝试准确捕捉演员的表演，从而驱动他们在影片中的生物或角色。我们会经过一整套步骤来扫描演员的面部，获得超高分辨率的图像，包括毛孔级的细节和面部细微的皱纹。我们甚至还会扫描出演员面部血液的流动，从而更好地呈现出演员说话和活动时的面部效果。
虚拟制片的难点在于如何呈现演员自然的表演。现在主要运用的技术就是头盔摄像机，并在演员的面部和身体做好动捕标记，或者使用加速计套装捕捉他们的身体动作。这套配置可以让演员在布景中与其他演员现场合作、互动、表演，所有都是现场工作，这一点对表演非常重要。
最大的问题是输出数据的品质，身体动作还好，主要是面部动作。毕竟表演的表现力主要在演员的面部。坐式的捕捉系统可以获得更高品质的数据，但遗憾的是，这种姿势最不自然，演员的面部无法配合身体的动作。所以最近虚拟制片领域便开始改善这个部分。
虚幻引擎进入了管线的哪个环节？
Hendler：目前为止，所有东西都是线下做的，身体动作会用到某些实时工作方式。大约两三年前，我们就在探索虚幻引擎可以发挥什么作用。它可以获得接近我们在影片中想要的品质，所以我们就在考虑用不同的思维方式可以完成怎样的突破。
当时我们并不需要构建游戏，只是想要一些看起来很棒的内容。所以我们开始将现有的数字人类导入引擎，并开始试验外观、品质和灯光，从而实时查看相应的反馈。那是一段令人大开眼界的体验，尤其是在角色身上运行部分数据的时候。
现在，虽然虚幻引擎中生成的单帧画面比不上五个小时渲染出来的效果，但它的速度可快多了，而且结果其实也非常接近。我们已经向许多工作室都展现了这些版本。它们的外观优秀，又可以使用实时虚拟制片的性能优势，从而直接可以将其作为代理开始编辑工作。
我们无法从线下系统中获得百分之百的面部表演，但现在我们发现了一种方法，片场的电影制作人和演员可以看到这些版本的内容，然后说：“好的，我可以看到这个是怎么表演的了，我可以看出这样在角色身上是否可行。”
将人类面部映射到非人类角色身上有哪些挑战？毕竟两者的特质不总是一一对应的。
Hendler：我们在这方面可谓大获成功。首先我们从演员身上获得清晰的捕获数据，然后标出骨骼和构架。接着我们再标出另一个角色的构架，随后就可以运用相应的技术把数据从一个角色映射到另一个角色身上。我们会让演员做出一系列的动作、不同的表情和各种情绪。然后我们会观察这些应该如何在角色上呈现出来并做出调整。最后系统会从我们的更改中学习，在获得接近特定表情的面部输入数据之后，系统会告诉网络应该如何调整角色并获得特定的观感。
有时候演员甚至都不需要穿上动作捕捉套装。我们可以移动现场主要工作组的摄像机，拍摄他们的身体和面部动作，并把动作转移到数字角色上。这样我们就可以现场呈现出角色的情绪表演。这项技术正在快速发展，并且未来会带来许多工作方式上的变化，因为我们可以从更好的预览中获得诸多益处。
你是如何创建逼真的眼部动作的？
Hendler：一开始我们和演员约了一个技术日，然后捕捉了所有不同的扫描数据，包括捕捉眼部扫描和眼部动作范围。我们使用了4K或8K的摄像机，并且直接拍摄了演员的眼部，接着我们会让演员做眼部范围的动作，做一个环视测试。我们会尝试用一种类似的方式为数字角色导入尽可能逼真的眼部结构。
灭霸就是一个绝佳的例子。我们想要获得眼部的大量曲率和形状数据，以及相关的细节校正。这方面做得越细致，就可以越快达到更好的眼部表演。
我们也开始从新的捕捉技术中看到了成效。在很长一段时间里，头盔式捕捉系统已经抛弃了眼部数据的捕捉。现在我们能够以每秒60帧（有时会更高）去捕捉细微的移动和目光投射。我们可以获得丰富的数据集并结合更新的深度学习技术，甚至可以在未来使用Deepfake技术。
我们在做的另一件事是身体和布料的形状。我们开始生成骨骼和布料的实时版本。我们会通过一套高端设备来运行采样的捕捉数据，从而模拟出骨骼和布料。接着我们可以通过深度学习实时运行90%的模拟效果。我们可以在虚幻引擎中运行所有这些东西，开始实时完成最终外观。
可以给有意迈入数字人类领域的人才一些建议吗？
Hendler：我很喜欢ArtStation之类的网站，有许多学生和美术师会在那里创作非常棒的作品，并且讨论他们是怎么做到的。那里有很多的课程，例如Gnomon等等。还有许多线上资源，你只要有ZBrush和Maya就可以开始构建自己的数字人类，或者做自己的数字自画像。
你还可以将这些角色导入虚幻引擎。即便是我们也会转入虚幻引擎，因为它真的非常好用，它包含了你已经可以使用的数字人类资产，你可以立即通过雕刻工作来完成角色的实时版本。
比较棘手的是某些动作，不过你可以将iPhone的ARKit连接到虚幻引擎。这个流程其实已经众所周知了，现在你即便在家都可以制作出逼真渲染的脸部说话动作。哪怕是在五年前，要想做到这一点都需要花费大量的时间。
你认为数字人类接下来的发展方向是什么？
Hendler：你会看到YouTube和Instagram上涌现大量的虚拟偶像。我们之前已经看到过静态的，很快他们就会开始动起来，开始表演。你可以将现场的演员转换为人造人类、生物或角色，并拍摄视频博客。虚拟制片会在这个全新的领域迎来升华——提供内容。
我们也看到有很多关于如何在疫情期间完成虚拟拍摄的讨论。我们已经在做项目，并且通过Zoom会议获得了大量的表演数据。我们也构建了自主的人类代理，让会议之类的流程显得更加真实。
整个过程之所以如此顺利是因为我们会和演员密切合作，而演员也理解这个过程。我们会为你构建一项工具来呈现你的表演。我们只要把所有事情都做好，你就可以作为数字角色实现表演，这一点真的非常神奇。
可以介绍一下CubicMotion以及它是如何契合虚幻引擎的吗?
NathalieBergeron：我们和Epic已经有多年深厚的合作关系，我们一起构建了许多具有高保真度的数字人类演示。年GDC的Siren就是一个很好的例子。我们还和NinjaTheory有密切合作。我们有许多服务客户的工作都要使用虚幻引擎。去年，Cubic发布了自己的首款产品Persona，这是一套用于现场表演捕捉的硬件和软件解决方案。
Persona是一套现场表演捕捉系统，你可以用它将演员的剧本或非剧本表演直接转换到数字角色上。我们也很高兴能和3Lateral和Epic团队合作完成项目。
可以更详细地介绍一下Persona吗？
Bergeron：我们一开始举行了一场培训会议，了解到演员和剧本要求的动作范围。然后我们获取这些数据，并为这项资产构建了一个定制的追踪器和解算器。最后再将相应的配置文件返给客户。
硬件部分我们用的是头盔，并且搭配了前方和侧面的头戴式摄像机系统。侧面的摄像机可以捕捉到嘴唇和下巴的动作，如果只用一个前方的摄像机是比较难捕捉这些动作的。然后还有一个小型的佩戴式PC，演员会把它戴在腰带下面，它可以实现实时追踪和解算。
这个佩戴式的PC会把捕捉数据发送到台式PC，这台台式PC会运行Persona并将其作为监控应用程序，接着你就可以把现场表演的数据直接流送到虚幻引擎。如果你不想现场查看角色，依然可以使用Persona完成线下捕捉，但是大多数情况下都会使用现场捕捉。当你用账号登录系统之后，就几乎可以实现实时切换你的角色。
这个系统也是完全无线运行的，所以地上并没有各种电缆，而演员自己就是动画工作室。我们同时测试了四个角色，不过理论上你还能运行更多角色。我们将继续与Epic展开密切合作，探索接下来要做的工作，然后了解下一代的Persona应该是什么样子。
如果演员不了解动作捕捉，会不会有学习曲线？
Bergeron：在最近的一次拍摄中，有一位女演员是第一次做面部动作捕捉，所以她当时很紧张。不过她穿上动捕套装以后说其实过程非常顺畅。如果你的套装穿起来很舒服，那么你可能会忘记头上戴的东西，然后融入自己的角色。
我觉得演员穿的动捕套装应该非常柔韧，因为毕竟演员一次要穿几个小时。不过和我合作过的演员似乎都觉得挺轻松的，或者说从来没有抱怨过。这对他们的演技来说是个挑战，而这种技术也更方便演员发挥了。
你们是如何处理非人类面部结构的表演捕捉的？
Bergeron：你要有外形类似的演员和模型。如果你有一个风格化的角色，可能就需要一点创意。你要来回打磨才能获得需要的表演效果。这需要你运用技术，并且和其它团队成员展开良好的美术合作，从而确保你可以获得想要的表演效果，即便不是人类的表演。
相较后期捕捉，现场表演捕捉有何挑战？
现场表演捕捉需要非常强大的追踪，从而避免角色表演时出现断裂。你需要手动训练系统，让它可以识别特定的姿势，还要有机器学习工具来训练模型，并将两者混合。
如果我们要用的角色完全不是人类，那它就更像是黑盒解决方案。我们会利用机器学习的优势去驱动部分结果。同时还要与客户互动，确保我们得到的是客户想要的结果。
如果团队无法在同一个现实场景中，是否可以通过远程合作来做表演捕捉？
Bergeron：这并不是理想的情况，因为我们肯定还是想要多位演员和追踪可以在同一个地方。但是如果真的别无选择，我们也还是想继续推进工作。我曾经在zoom上参与过一次12人的拍摄工作。你突然发现有很多人参加，然后还要给他们基础指导。例如，如果你要做一段视频剪辑，头就不能左右乱晃。
由于这个限制，他们就无法放开去表演，不过这样依然可以获得数据。如果是拍大片，要让所有人都在场可能并非易事。在最近几周，我们看到部分客户回到了动捕摄影棚，用头戴式摄像机来完成拍摄。Epic也开始推出下一代的硬件解决方案。
除了制作电影角色，面部动画还有其它用途吗？
Bergeron：有的，我们的客户也在讨论相应的项目，希望面部动画可以不局限于电影角色，还可以用来拍摄剧集内容等等。这样他们可以将这些动画用到其他媒体中。我们也听到很多目前无法走出家门的人想要成为这种角色。
你对有意迈入数字人类领域的人才有何建议？
Bergeron：现在动画领域非常吃香，也有许多很棒的学校。大家可以去上那些提供或包含虚拟制片课程的学校。此外你还要拥有终身学习的能力和强大的求知欲。你要了解相关工作、多看电影，然后去参加很多的课程来跟上日新月异的发展。我之前还见证了好几次开支不菲的硬件革新，当时只有一个人能操作那台设备；然后突然之间它就普及开来，所有人都能在自己的笔记本电脑上做视效工作了。我感觉到我们即将迎来又一次变革，实时引擎会让我们重归合作，未来可期。
你认为数字人类技术接下来的发展方向是什么？
Bergeron：数字人类的品质会不断提高，直到完全模糊了现实和虚拟的区别。比如我们在《堡垒之夜》举行了社交活动，我们用的角色就是数字人类。除了游戏和其它实时体验，数字人类也可以出现在我们的日常生活中。
其实我们去商场之类的地方就会看到数字人类，而它们还会变得更加平易近人。我们打算构建一个数字人类会成为社会一部分的世界，大家会很难看出真实和虚拟的区别。
UnrealEngine4学习总动员动画设计+游戏开发游戏编程教材虚幻引擎蓝图应用快速入门京东好评率%无理由退换￥.6购买已下架转载请注明：http://www.0431gb208.com/sjszjzl/2355.html
