近几周,一股由AI引发的“搬家”风潮席卷互联网。各种将照片变成视频的动画不时出现在各大社交网络的时间线上,有的甚至还伴有音乐。
在层出不穷的应用之后,另一款AI动画生成器脱颖而出。在线家谱服务公司MyHeritage提供的Deep Nostalgia服务可以为静态照片创造最佳的动态效果,并成为上周末的热门活动。他们提供的工具有点像iPhone上的Live Photos功能,可以自动生成几秒钟的视频,帮助智能手机摄影师找到最佳拍摄角度。
不过,与iPhone上基于多张照片合成和选择的方法不同,Deep Nostalgia可以让任何相机拍摄的内容“活起来”。该工具根据人工智能训练过程中的人物动作制作了短视频,旨在帮助人们以新的视角看待过去亲人的照片。
与那些以应用程序形式存在的产品不同,使用MyHeritage 照片工具只需在其网站上注册一个免费帐户并上传照片(前几张是免费的)。图像处理过程完全自动化。如果您的旧照片的分辨率有点低,这不是问题。 ——Deep Nostalgia在处理前会自动对图像进行超分辨率等增强操作。
工具链接:https://www.myheritage.com/deep-nostalgia
这样一个简单易用的工具突然出现,自然就成为了Twitter 等社区网友手中的创作表情包的工具。人们迅速将人工智能带来的想象力推向极限。既然是人工智能的产物,我们首先要用它来“复活”现代计算机科学的奠基人阿兰·图灵。就用最经典的照片来试试吧:
AI完美还原了图灵的智慧之眼。
还有鲁迅说过的话:
中国第一位女建筑师林徽因:
还有更夸张的吗?如果四舍五入的话,罗马时代的雕像也可以被视为人物。为了给AI制造麻烦,一些考古学家使用雕像的照片来创建动画图形:
他是公元一世纪古罗马帝国的安提诺乌斯。我们应该感谢精湛的人工智能技术还是古典时代雕塑的修复?
尽管Deep Nostalgia 具有惊人的功能,但它也有其局限性:它只能处理单个图像中的面孔,因此您不能指望深度学习在这里为您生成行走的木乃伊。如果您尝试了五张以上的图片,则必须注册一个帐户才能继续“创作”。
无论如何,这并不能阻止人们思考。
当然,网友们也纷纷表达了对《深怀乡》的初衷的感谢。
“我父亲29年前去世了,当时我才几个月大。这是我第一次看到他动,第一次看到他眨眼和微笑……”
除了给老朋友不一样的面貌之外,未来我们是否可以期待博物馆里的人物为我们讲述他们自己的故事?
亚伯拉罕·林肯动画视频(音频版)由MyHeritage 制作。或许在不久的将来,我们就可以期待博物馆里的历史人物“亲自”向我们讲述他们的故事。
可能的技术
由于MyHeritage网站没有透露这个深度怀旧项目使用了哪些技术,想要自己动手的研究人员只能给出一些自己的猜测。
其中,比利时列日大学教授Gilles Louppe 推测,他们实现了三星AI 中心(《Few-Shot Adversarial Learning of Realistic Neural Talking Head Models》) 2019 年的一篇论文。
在这篇论文中,来自三星和斯科尔科沃研究所的研究人员仅使用少量甚至单个图像或绘画合成了一个角色说话的头部动画。
具体来说,研究人员使用Few-shot Learning等技术主要合成头部图像和面部标志。少镜头学习意味着模型仅使用几张甚至一张图像来模拟人脸。研究人员使用VoxCeleb2 视频数据集进行元训练。在元学习过程中,系统创建三个神经网络:将帧映射到向量的嵌入器网络、在合成视频中映射面部标志的生成器网络以及评估生成图像的真实性和姿势的鉴别器网络。
结合这三个网络,该系统能够对大型视频数据集执行长期元学习过程。元学习收敛后,可以构建少样本或单样本神经头像特写模型。该模型将看不见的目标任务视为对抗性学习问题,从而利用高质量的学习生成器和判别器。
论文地址:https://arxiv.org/pdf/1905.08233.pdf
当然,也有人提出了其他想法,认为NeurIPS 2019中的一篇论文(《First Order Motion Model for Image Animation》)更接近。
本文完成的任务是:给定一张图片和一段包含一系列动作的驾驶视频,然后生成一个新视频,新视频中的人物是源图片中的人物,动作是源图片中的动作驾驶视频。
整个模型可以分为两个模块:运动估计模块和图像生成模块。在运动估计模块中,模型通过自监督学习分离目标物体的外观和运动信息,并进行特征表示。在图像生成模块中,模型对目标运动过程中发生的遮挡进行建模,然后从给定的名人图片中提取外观信息,并将其与先前获得的特征表示相结合以进行视频合成。
论文链接:https://aliaksandrsiarohin.github.io/first-order-model-website/
项目链接:https://github.com/AliaksandrSiarohin/first-order-model
当然,以上只是两种不同的猜测。哪种模式更稳定、更接近MyHeritage的实施效果,还需要大家去尝试。
标签:
用户评论
哇,用AI复活民国老照片,这个点子太赞了!每次看到这些老照片,都能感受到历史的厚重感,仿佛能穿越回那个时代。
有20位网友表示赞同!
这个技术真神奇,我爷爷的照片都能被复活,感觉像是给亲人带来了第二次生命,太感动了。
有9位网友表示赞同!
每次看到这些老照片,都会想起小时候听爷爷讲的故事,现在连照片都能复活,真是科技进步得太快了。
有11位网友表示赞同!
民国时期的老照片,承载着太多历史的记忆,用AI复活它们,让后人也能感受到那个时代的风貌。
有17位网友表示赞同!
AI复活民国老照片,虽然技术先进,但感觉有点不真实,毕竟人死不能复生。
有15位网友表示赞同!
这个技术有点恐怖,感觉像是在玩弄生命,虽然是为了怀念,但总觉得有点不舒服。
有6位网友表示赞同!
用AI复活民国老照片,这种怀旧之情我懂,只是希望技术不要滥用,尊重逝者的尊严。
有18位网友表示赞同!
看到这些复活的照片,仿佛能听到那个时代的喧嚣,真是太有意思了。
有11位网友表示赞同!
这个技术让我想起了《哈利·波特》里的魔法,太神奇了,希望未来还能看到更多类似的技术。
有11位网友表示赞同!
民国老照片复活,让我想起了那些逝去的亲人,虽然他们已经不在,但照片里的笑容依然温暖。
有18位网友表示赞同!
AI复活民国老照片,这让我想起了小时候玩过的老式游戏机,那个时代的回忆太美好。
有11位网友表示赞同!
虽然AI技术很厉害,但总觉得这种复活方式有点不尊重逝者,毕竟人死不能复生。
有20位网友表示赞同!
民国老照片复活,让我想起了爷爷的爷爷,那些照片里的故事,仿佛就在昨天。
有13位网友表示赞同!
用AI复活民国老照片,这种怀旧之情让人感慨万分,希望这样的技术能让我们更好地传承历史。
有6位网友表示赞同!
AI复活民国老照片,这让我想起了那些逝去的青春,虽然已经过去,但回忆依然美好。
有15位网友表示赞同!
这个技术让我对历史有了更深的认识,原来民国时期的生活是这样的,太有意思了。
有12位网友表示赞同!
AI复活民国老照片,虽然技术先进,但总觉得有点不真实,毕竟人死不能复生。
有15位网友表示赞同!
看到这些复活的照片,仿佛能闻到那个时代的气息,真是太奇妙了。
有7位网友表示赞同!