电影特效太磨人？这家公司用AI实现远程动作捕获 手机2D视频轻松转成3D版

Move.ai可以利用AI，在称为运动捕获（motion capture）的过程中捕获演员的3D动态展示。它使游戏公司可以在大流行期间以远程方式进行动作捕捉。

这是一项重要的技术进步，因为运动捕捉系统本身缺陷造成的麻烦，已导致电影制作人和视频游戏公司的生产停滞。Move.ai希望通过“无标记”（markerless）动作捕捉来解决此问题，从而降低成本和处理上的繁琐过程。

该技术的灵感来源来自伦敦的一家公司，该公司之前都是捕获体育运动员的图像，然后将其转换为数字动画对象。但是随着体育赛事按下暂停键，新冠大流行使该公司的这一业务陷入困境。

幸运的是，游戏需要更好的真实感，才能让玩家完全沉浸在这种替代现实中，并参与其中，这意味着他们需要动作捕捉。

而如今随着机器学习和深度学习算法特效制作环节的应用，电影拍摄和特效处理的自动化操作比例大幅增加，在提高效率的同时，特效的艺术性也有了更好的保证。“AI+特效”具体涉及动作捕捉、虚拟角色构建、模拟动力学和自然现象等等多种应用场景，已经有了丰富的应用。

捕获人像

Move.ai可以将iPhone或三星Galaxy手机上录制的人的2D视频转化为3D化身。传统的开发者创造引人入胜的图形，要么是通过人类艺术家的一番艰辛创作，要么是通过复杂的动作捕捉系统来实现。对比而言，Move.ai的方案简直不要简易太多。

在大流行之前，一流的游戏开发人员不得不租用那些带有大量摄像机的动作捕捉工作室，才能保证完美捕捉演员在舞台上的动作，并最终将这些图像合成为他们的3D展示。摄像头可以检测到紧身衣上的白色标记，不过这种情况下演员的工作很辛苦，动作捕捉的舞台和系统也很昂贵，而且必须被绿幕包围，才能确保人物的边缘很容易被辨别出来。

但这样的方案的确派上了用场。演员的表现被捕捉下来，呈现为流畅的运动，使动画师更容易根据捕捉到的图像创建游戏角色。这些游戏角色移动流畅，让玩家充分沉浸在更加真实的游戏画面之中。

大流行的影响

但在大流行期间，许多工作室已经关闭。他们无法安全地进行动作捕捉。于是人们利用AI开发出了一种叫做“无标记动作捕捉”（markerless motion capture）的解决方案，它可以用视频捕捉一个人的自然动作，并用更少的设备创建一个完整的表演。

最重要的是，没有必要穿带有白球的紧身衣。这意味着演员们可以更好地表演，而且不会筋疲力尽。传统的身体捕捉套装没有全方位的动作，如果你想要模拟战斗或武术场景，那就不妙了。

此时此刻，你可能会想到微软Xbox 360游戏机上的Kinect摄像头技术，用于像Dance Central这样的游戏。但Kinect没有捕捉到足够多的数据，它没有最好的人工智能，在硬件上也没有足够的处理能力。

Move.ai表示，人工智能就像一个成熟版的Kinect，可以捕获一个人的100,000个数据点，而以往通过标记的方式一般只能捕获10-15个数据点。而且他们表示，他们的方法比传统的动作捕捉成本更低。

Endemano说:“我们相信我们可以将这种能力大众化，并将其赋予每个人进行利用和创作，从做用户生成内容的有影响力的人，到制作大型游戏的aaa级游戏开发者。”

Move.ai使用计算机视觉和人工智能软件检查标准摄像机的视频，以创建动画特效表现。这个演员不受阻碍，不受拘束，所以表演得更好。例如，他们可以穿任何他们想穿的鞋子，这样他们的步态就不会受到特殊鞋子的影响。

Endemano还表示：“当然，把它传递给动画师和创作者更容易。”“我们捕捉动作，并将其投射到游戏角色上。”

这个过程现在大部分是自动化的，所以输出可以直接进入游戏引擎或3D美术软件，如Maya。Endemano说:“结果是你可以更快地得到更高质量的结果。”“你根本不需要工作室。你可以在公园里完成这些操作和过程。”

技术起源

这项技术是由Move.ai的创始人和首席技术官蒂诺·米勒（Tino Millar）开发的。他在伦敦帝国理工学院(Imperial College)期间从事这项技术工作，并为此获得了多项专利。他的博士学位还剩几个月，但他决定辞职去公司工作。他觉得用摄像机来跟踪自己的运动很有趣。

米勒说:“我们不再谈论俄罗斯方块和太空入侵者了。”“游戏需要角色从不同的方向和角度完全沉浸其中。这带来了许多挑战。例如，如果你在玩《刺客信条》或《战神》，你就需要从很多不同角度来制作角色动画。”

他补充说，“我们已经把这个给动画导演看了，他们说它很震撼。”

对于一个只有12个人，天使投资不到200万美元的公司来说，这是相当令人兴奋的事情。但该公司已经开始与客户签约。

不过接下来还有重重的挑战在等着Move.ai。人工智能将涉足大型游戏工作室，这些工作室可能在开发同样的技术，也可能没有。Move.ai倒是看到了其他潜在的应用和机会——这项技术可以应用于体积动画和虚拟广告。电影和游戏导演也可以使用这种技术来预先可视化场景和故事板，因为使用数据成本不高。

米勒说:“我在大学里待了很多年，我们已经训练了一个机器学习模型，以便在3D中理解人的真实形态。”“我们已经通过扫描积累了大量的3D图形，然后我们从摄像机中给它不同的视角，然后我们训练它能够从那里开始。”我们希望摄像头能够重现人体的3D模型。”

“作为人类，我们可以环顾四周，如果你闭上一只眼睛，你仍然可以分辨出物体是3D的。从技术上讲，你需要两只眼睛或摄像头来理解3D中的一些东西。但由于我们的大脑，我们已经看到了如此多的3D物体，以至于我们现在闭上眼睛就能非常有效地确定3D物体的形态。”

有一些竞争对手已经采取了行动。人工智能必须击败对手才能获得电子游戏客户。幸运的是，我们周围有很多这样的客户。

Endemano和Millar对这项技术在程序员和美工之外的人手中的潜力感到兴奋。更多的人可以利用这项技术来制作游戏，因为它简化了整个过程。

米勒说:“人们可以在自己家里创造出最非凡的东西。”“这种力量不应该被低估。”

编译/前瞻经济学人APP资讯组

本文来源前瞻网，转载请注明来源。本文内容仅代表作者个人观点，本站只提供参考并不构成任何投资及应用建议。（若存在内容、版权或其它问题，请联系：service@qianzhan.com）

 

252