具体到操作上,根据大谷介绍,可以大致分为补帧、扩分辨率、上色三个环节,每个环节也都用了不同的工具,整体框架的流程则主要参考了Denis Shiryaev在社交媒体上分享的经验贴。
大谷说道,整个项目只用了7天时间,大部分都是硬性的时间消耗,比如补帧需要一到两天,扩分辨率至少一天,上色也需要花费一天时间,再加上要做到4K60fps,渲染速度很慢。多方考量之下,他把人民日报14分钟的原片剪到了10分钟。
相比而言,去年国庆164分钟修复版《开国大典》让人们亲眼目睹三次战役胜利到开国大典的历史过程。除了借助AI,胶片的撕裂、划痕等都是专业的修复师一帧一帧地修补。“修复过程中,我们70%的时间都在完成资料片镜头的修复工作。”负责本片修复工作的三维六度公司的首席技术官周苏岳说道,虽然修复时间只用了40天,但这却是600人每天工作20小时的奋战结果!
除了硬性的时间消耗,大谷还笑称,最大的问题就是自己笔记本电脑的显卡不够好,“要1070的显卡才带得动,否则会out of memory”,迫不得已之下向女朋友求了助。
再困难的部分,大谷选择了谷歌的Colab Notebook在线系统,通过远端分配一台带显卡的电脑,就无需在本地操作了,“这也是选择开源AI的原因”,“很多开源的AI都会把代码上传上去”。
对于最后的结果,大谷表示,“还是比较满意的”,不过在颜色上还存在可以改进的地方。
在视频中,相信大家也会看到时不时会出现颜色跳来跳去的情况,大谷表示,在补帧之前用工具把老电影中经常出现的画面闪烁去掉了,否则会更严重,整体的色彩上,AI的渲染效果也明显偏淡。
除此之外,大谷这次利用的是国外的一套模型,显然无法直接将其套用到100年前的中国影片修复上,在颜色上就无法做到历史性的准确,视频中的上色都是AI学习的成果,虽然肤色大致还原了,但是在红绿服装等方面的真实性还有待商榷。
也正是考虑到这些不足,大谷对去年参与《开国大典》修复的工作人员表达了敬意,“AI没办法做到艺术家那么准确,尤其是在历史方面,而《开国大典》对历史准确性的要求更高”,随后他也打趣地说道,或许可以“让AI看看清宫剧,提升一下准确率”。
就像大谷在视频开头所说,他想用技术做一些对社会有意义的事,在这次视频爆红之后,他表现得相当豁达,“太深刻的大意义倒也说不上”,主要是想借此让人们对历史有所反思。不少网友指出,视频中几乎看不到女性,这正是历史生动性的体现,既有光鲜也有不足,让大家意识到现在的生活是多么来之不易。
同时,作为老北京人,大谷也想通过视频分享他的切身感受,让更多人看到一百年前的民俗,尤其是上了色帧数提高之后,“感觉确实不一样,也感慨这一百年的变化”。
对于目前收到得反馈,大谷表示“完全没想到”,他看了很多评论,也受感触于一些留言,还有人私信向他表示,给太姥姥看后,也很怀念那个年代。
大谷透露道,这其实是他第一次尝试做视频修复,后续或许会出一期视频介绍一下具的操作。对于后续的视频更新计划,他想要介绍一下国内已经成熟的语音修复技术。
目前,大谷在研究一款换衣AI,通过把模特导入系统,在Photoshop里换好衣服,就能生成模特穿上衣服的各种姿势,听上去是淘宝卖家会喜欢的AI。不过,大谷介绍道,这个AI目前还处于“婴儿状态”,精度上不是很乐观,未来需要大量的训练,以后或许也会做个视频介绍一下。
AI助力,老片修复一直在路上
对于这次用到的技术,大谷表示,上色主要还是应用在黑白照片和电影上,补帧技术就可以遍地开花了,比如修复像素动画的跳帧问题,或者在动画领域加以应用,因为动画很多是12帧/秒,甚至6帧/秒,补帧之后效果很好,也终于可以看更流畅的EVA了。