作为一名独立游戏开发者,大谷透露道,因为一个人做游戏开发,接触到AI是想要了解AI能否为他节省时间,后来发现AI能做的不止这些,在社会公益上也有不少应用,比如老片修复。
正如大谷所说,这次的视频修复“技术管线参考自Denis Shiryae的影像修复教程”,针对Denis的欧美老片修复,大谷也做过汉化视频进行了专门的介绍。
Denis Shiryaev通过神经网络修复老视频的内容今年在油管爆红了一阵子,他使用Topaz Labs的Gigapixel AI和DAIN图像编辑应用程序将1896胶片缩放到4K分辨率,不仅将素材增加到4K,还将帧率提高到每秒60帧。
Shiryaev最火的作品是用Gigapixel AI将1896年拍摄的50秒无声短片《火车进站》(the Arrival of a Train at La Ciotat Station)做成了4K格式,把模糊的原片做成了高清画质,完全符合当下的高清视频标准!
尽管存在一些缺陷,如图像会出现跳跃或某些细节依旧模糊,但已经很棒了!为了使这一作品更加完整,Shiryaev还为这部无声电影添加了声音。
这些图像是通过生成对抗网络(GANs)得来的。
科普一下,GANs是由两个相反的神经网络组成的。第一个网络基于训练对象的数据生成对象,而第二个的作用是确定对象的真实性。第一个网络通过不断尝试,直到它的作品完美到足以欺骗第二个网络。通过这种方式,才得以生成最有可能的图像。
Gigapixel AI软件使用一种专有的插值算法来分析图像,它可以使图像更清晰,甚至在放大了600%之后。
再来说说DAIN(深度感知视频帧插值),它可以将帧想象并插入现有视频剪辑的关键帧之间。换句话说,DAIN首先分析并映射视频片段,然后插入在现有图像之间生成填充图像。这与4K电视的运动平滑功能是同一个概念。为了在这段1896年的视频中达到同样的效果,Shiryaev添加了足够多的图像来将速度提高到60帧每秒。因此,DAIN自动生成,然后在最初记录的24张图像之外,每秒添加36张额外的图像。
Shiryaev的 “火车”的视频修复版本看起来像是一部使用智能手机或GoPro拍摄的最新电影。与原始视频相比,效果非常惊人,尤其是在新版本中获得了流畅性。列车上的阳光反射和月台上的女士珠宝都被记录的很完整,也许是最显着的改进之一。
Shiryaev也用神经网络对这一修复视频进行了着色:从一堆彩色照片开始,将它们转换为黑白,然后训练神经网络以重建彩色原稿。
Shiryaev的新技术也因此在技术圈火了起来,激发了包括大谷在内的更多技术人,修复珍贵的影像文献。
除了上文提到的《开国大典》,在老片修复上,“中影·神思”的开发,能缩短修复电影所需时间的四分之三,成本可以减少一半,目前已成功应用于《厉害了,我的国》《血色浪漫》《亮剑》等多部影视剧的图像修复与增强当中。
爱奇艺也推出了其自主研发的视频增强技术ZoomAI,为电影修复提出解决方案,这是业内第一个利用较低成本、将深度学习技术应用在视频画质增强场景中的方案。
但不可否认的是,这种技术如果被有恶意的人使用,例如,可以用于制作“伪造品”并允许视频中的身份盗用,也会导致巨大的社会问题。