岁月流逝带走了时光却带不走回顾,从 1839 年法国画家达盖尔将“摄影术”带到世人背后,世界上就多了一种应用影像记录回顾的形式。那些咱们想要留在心底或未曾经验过的从前,都能够通过翻看老照片找回来。
为了不让心底的和煦消失,也为了能把历史的真容留住,各种图像修复工具层出不穷。咱们看到了百年前的北京,看到了民国时的摩登女郎,还有被从新修复的母亲的老照片。
最近,几个中国小伙组成的微软钻研团队开发了一种全新的修复旧照片的工具,目前已在 GitHub 上开源。
AI 是如何修复旧照片的
现在,咱们用手机就能拍出上亿像素的照片,有了美颜相机、智能算法,无论是风景还是人物都能留下最美的霎时。但拍照技术不是一开始就那么先进,不能把所有画面齐全实在的出现进去,比方没有彩色照片的时候能留下的只有黑白照片。而随着时光的流逝,那些老照片的细节也不再清晰。
几个中国小伙组成的微软钻研团队提出了一种修复成果优于目前最先进办法的照片修复办法。这个团队由来自香港城市大学计算机科学系的二年级博士生万紫宇和 Microsoft Research Asia 视觉计算小组的张波等人组成。
他们提出的办法与能够通过监督学习解决的惯例还原工作不同,因为实在照片的降级很简单,并且合成图像和实在旧照片之间的域间隙使网络无奈推广。
因而,他们通过利用实在照片和大量合成图像提出了一种新鲜的三重态域翻译网络。他们训练了两个变体主动编码器(VAE),别离将旧照片和清晰的照片转换为两个潜在空间,并应用合成配对数据学习这两个潜在空间之间的转换。
此外,为了解决一张旧照片中混和的多种进化问题,钻研团队还设计了一个全局分支和部分非全局分支。全局分支针对结构化缺点(例如划痕和灰尘斑点)进行修复,部分非全局分支针对非结构化缺点的部分分支,例如乐音和模糊性。他们利用这种办法在潜在空间中交融了两个分支,从而进步了从多个缺点还原旧照片的能力。
如何装置照片还原工具
目前,这种照片还原工具的代码曾经在装有 Nvidia GPU 和 CUDA 的 Ubuntu 上进行了测试,须要 Python> = 3.6 能力运行代码。
下载安装预训练模型后,能够应用一个简略的命令轻松复原旧照片。
没有划痕的图像能够抉择以下命令:
有划痕的图像能够抉择以下命令:
须要留神的是,请尝试应用绝对路径,图像的修复后果将最终保留在 ./output_path/final_output/ 中。
钻研团队示意,他们不打算间接公布带有标签的有划痕的旧照片数据集,如果须要获取配对数据,能够应用他们的预训练模型来测试收集图像以取得标签。
前文提到的新鲜的三重态域翻译网络能够用来解决结构化进化和非结构化进化问题,做到旧照片的全局还原。
以下图为例:
对于面部的修复,钻研团队应用了渐进式生成器来欠缺旧照片的脸部区域。
影像技术和 AI 的倒退让咱们有机会“穿梭回”百年前去看那时的人们是如何生存的,也能让咱们一睹父母年老时的风采。
咱们看多有越来越多的工具和技术能够帮咱们复原正在逐步隐没的记忆。看着百年前北京百姓的生存现象,咱们能更切实的领会到文化的提高和历史的变迁,看到反动先辈浴血奋战的影像咱们能亲眼见证整个国家和社会的改革,更加珍惜明天来之不易的幸福生活。
科技的提高让人类的物质文明和精神文明都失去了高度的倒退,成为了咱们取得更好的生存,感触到更大的精力满足的推动力。
GitHub 地址:https://github.com/microsoft/Bringing-Old-Photos-Back-to-Life
论文链接:https://arxiv.org/pdf/2009.07047v1.pdf