乐趣区

关于机器学习:为回忆上色GitHub-上一开源影像还原工具-Star-数已破万

影像记录的形式让咱们有机会直观的感触历史,一张张照片、一段段视频,承载的是一代代人的记忆。利用着色和还原技术修复老照片,成为了咱们回顾亲人,回顾历史的新办法。

最近,GitHub 上就有一个名为 DeOldify 的黑白影像还原工具受到了很多关注,目前 Star 数曾经破万了。值得一的是,这个我的项目还是开源的!

三种模型各有千秋

DeOldify 能够对旧图像和胶片进行着色和还原,在 DeOldify 中能够抉择三种模型,每一个都有要害的长处和毛病,因而具备不同的用例。

艺术性模型: 该模型在乏味的细节和娇艳度方面实现了图像着色的最高品质后果。然而,最显著的毛病是,要获得最佳后果要花些力量,必须调整渲染分辨率或 render_factor 能力实现此目标。该模型在一些要害的常见场景,包含天然场景和肖像中体现不佳,它的重点放在解码器端的层深度上。

稳定性模型: 该模型在横向和纵向条件下可获得最佳成果,通常比艺术色具备更少的怪异色泽,该模型着重于解码器侧的层宽度。

视频模型: 此模型针对平滑,统一和无闪烁的视频进行优化。这必定是这三种模型中色调起码的一种,然而说实话,它与“稳固”相差不远。该模型在架构上与“稳固”雷同,但在训练上有所不同。

尽管旧照片还原技术让咱们有机会看到过来你十年甚者上百年前的实在影像,但它仍可能存在一个问题,那就是这些照片和视频的色彩还原是否精确?

以上面这张图为例,还原出的照片中,桥的色彩是红色的,但通过考察,这座桥其实是红色的。也就是说,对于旧照片还原技术来说,历史准确性依然是一个微小的挑战。

NoGAN 是啥?为啥用了它图像色调更稳固?

什么是 NoGAN?

这是 DeOldify 创建者开发的一种新型 GAN 训练,用于解决以前的 DeOldify 模型中的一些关键问题。大部分训练工夫都破费在通过更间接、更疾速、更牢靠的惯例办法别离对生成器和正文器进行预训练。这种办法能够打消故障和伪影。

原始 DeOldify 模型:

基于 NoGAN 的 DeOldify 模型:

影像修复技术中,稳固的还原视频图像十分有难度。DeOldify 采纳了 NoGAN 训练联合 GAN 训练的形式,不仅能够提供稳固的色调图像修复,还能打消视频中的闪动。

视频是应用隔离的图像生成来渲染的,而无需附加任何工夫建模,一次应用 1% 到 3% 的 imagenet 数据。而后,与静止图像着色一样,在重建视频之前对各个帧进行“DeOldify”解决。

除了进步视频稳定性之外,还有一件乏味的事件值得一提。尽管不同的模型和具备不同的培训构造的模型,但都都或多或少地得出雷同的解决方案。甚至对任意的和不可知的事物进行着色的状况也是如此,例如衣服,汽车的色彩,甚至是特殊效果的色彩。

对此,DeOldify 的创建者猜想,这些模型正在学习一些乏味的规定,以依据黑白图像中存在的轻微提醒来着色。即便在静止场景中,这些渲染的后果也十分统一。

对于开源反对的申明

开源曾经为世界带来了很多益处,DeOldify 的创立也得益于开源。

DeOldify 的创建者在申明中示意,“咱们的立场是,咱们提供的钻研代码和文档,是有益于世界的。咱们所提供的是对于黑白化、广域网和视频的新鲜体现,心愿对开发人员和钻研人员有所帮忙,以供学习和采纳。”

他们并不打算提供一个能够随时应用的收费“产品”或“应用程序”,并且将来也不打算提供这种服务。他们说:“DeOldify 将持续是一个基于 Linux 的我的项目,没有 Windows 反对,用 Python 编码,并要求人们有一些额定的技术背景能力应用它。”

当初,曾经有一些人通过 DeOldify 开发了本人的应用程序,有的是付费的,有的是收费的。对此,DeOldify 创建者的立场是,只有你有适当的背景和资源,则该我的项目将为你提供足够的入门资源。

装置细节

这个我的项目是围绕 Fast.AI 库构建的,当初曾经能够应用 Anaconda 进行简略装置了。

具体步骤如下:

关上命令行并导航到要装置的根文件夹,而后键入以下命令:

而后开始应用以下命令运行:


参考链接:https://hackernoon.com/deoldify-can-colorize-your-black-and-white-photos-with-full-photorealistic-renders-5k2i33c3

GitHub 地址:https://github.com/jantic/DeOldify#a-statement-on-open-source-support

退出移动版