关于机器学习:神工鬼斧惟肖惟妙M1-mac系统Pytorch的二次元迁移滤镜AnimeGANFfmpeg图片视频

原文转载自「刘悦的技术博客」https://v3u.cn/a_id_201

前段时间，业界鼎鼎有名的动漫格调转化滤镜库 AnimeGAN 公布了最新的 v2 版本，一时间街谈巷议，风头无两。提起二次元，目前国内用户基数最大的无疑是抖音客户端，其内置的一款动画转换滤镜“变身漫画”，可能让用户在直播中，把本人的理论外貌转换为二次元“画风”。对于二次元粉丝来说，“突破次元壁，变身纸片人”这种自娱自乐形式堪称屡试不爽：

然而看多了就不免有些审美疲劳，千人一面的“锥子脸”，变化无穷的“卡姿兰”式大眼睛，让人多少有点百读不厌的感觉，未免过犹不及，失之事实。

而基于 CartoonGan 的 AnimeGAN 动漫格调滤镜则可能在保留原图特点的同时，兼具二次元的炫酷和三次元的写实，颇有些刚柔并济、举重若轻的感觉：

并且 AnimeGAN 项目组业已在线上公布 demo 接口，能够间接运行模型成果：https://huggingface.co/spaces… 然而受限于带宽以及线上资源瓶颈，线上迁徙队列常常会处于排队的状态，同时一些原图的上传也可能造成个人隐私的外泄。

所以本次咱们在 M1 芯片的 Mac os Monterey 基于 Pytorch 深度学习框架，本地搭建 AnimeGANV2 版本的动态图片以及动静视频的转化服务。

咱们晓得，目前 Pytorch 的 cpu 版本在 M1 芯片 mac 上的反对版本是 Python3.8，在之前的一篇文章中：金玉良缘易配而木石前盟难得 |M1 Mac os(Apple Silicon)天生一对 Python3 开发环境搭建(集成深度学习框架 Tensorflow/Pytorch)，已经应用 condaforge 来构建 Pytorch 的开发环境，这次咱们应用原生的安装包进行装置，首先进入 Python 官网，下载 Python3.8.10 universal2 稳定版：https://www.python.org/downlo…

双击装置即可，随后进入终端键入命令装置 Pytorch:

pip3.8 install torch torchvision torchaudio

这里咱们默认装置最新的稳定版 1.10，随后进入 Python3.8 命令行，导入 torch 库：

(base) ➜  video git:(main) ✗ python3.8  
Python 3.8.10 (v3.8.10:3d8993a744, May  3 2021, 09:09:08)   
[Clang 12.0.5 (clang-1205.0.22.9)] on darwin  
Type "help", "copyright", "credits" or "license" for more information.  
>>> import torch  
>>>

确定 Pytorch 能够应用之后，将官网我的项目克隆下来：

git clone https://github.com/bryandlee/animegan2-pytorch.git

AnimeGAN 也是基于生成反抗网络(Generative adversarial network)，原理就是咱们手上有一定量的原图，咱们能够称之为三次元图片，实在的图片特色会存在一个散布，比方：正态分布，均匀分布，或者更为简单的散布模式，那么 GAN 的目标是通过生成器来生成一批与实在散布靠近的数据。这些数据能够了解为二次元的优化，然而会保留三次元的一些特色，比如说眼睛变大、脸型更靠近滤镜模型的画风等等，在咱们的解决中，这个生成器趋向于应用神经网络，因为它能示意更为简单的数据分布状况。

下载胜利之后，能够在 weights 文件夹下看到四种不同的权重模型，其中 celeba\_distill.pt 和 paprika.pt 是用来转化风景图片的，而 face\_paint\_512\_v1.pt 和 face\_paint\_512\_v2.pt 则更重视于肖像的转化。

首先装置图像处理库 Pillow:

pip3.8 install Pillow

随后新建 test\_img.py 文件：

`from PIL import Image  
import torch  
import ssl  
ssl._create_default_https_context = ssl._create_unverified_context  
  
model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="celeba_distill")  
#model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="face_paint_512_v1")  
#model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="face_paint_512_v2")  
#model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="paprika")  
  
  
face2paint = torch.hub.load("bryandlee/animegan2-pytorch:main", "face2paint", size=512)  
  
img = Image.open("Arc.jpg").convert("RGB")``out = face2paint(model, img)  
  
out.show()`

这里以凯旋门的照片为例子，别离应用 celeba\_distill 和 paprika 滤镜查看成果，留神本地申请须要敞开 ssl 证书检测，同时首次运行须要下载线上模型参数：

这里图像尺寸参数指的是宽高通道的总数，接下来就是人物肖像动漫格调转化了，调整导入的模型生成器类型，输出图片改成人物肖像：

from PIL import Image  
import torch  
import ssl  
ssl._create_default_https_context = ssl._create_unverified_context  
  
import numpy as np  
  
#model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="celeba_distill")  
#model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="face_paint_512_v1")  
model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="face_paint_512_v2")  
#model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="paprika")  
  
  
face2paint = torch.hub.load("bryandlee/animegan2-pytorch:main", "face2paint", size=512)  
  
img = Image.open("11.png").convert("RGB")  
  
out = face2paint(model, img)  
  
  
out.show()

能够看到，v1 滤镜绝对风格化更强烈一些，而 v2 在风格化的根底上绝对保留了原图的特色，源于三次元又不拘泥于体验，架空却又不流于虚浮，比抖音的漫画滤镜不晓得高到哪里去了。

上面咱们来看看动静视频的动漫滤镜转换，视频从狭义上来讲，就是多张图片的连拍播放，只不过取决于视频帧的速率问题，帧速率也称为 FPS(Frames PerSecond)的缩写——帧 / 秒，是指每秒钟刷新的图片的帧数，也能够了解为图形处理器每秒钟可能刷新几次。越高的帧速率能够失去更晦涩、更真切的动画，每秒钟帧数 (FPS) 越多，所显示的动作就会越晦涩。

这里能够通过第三方软件将连贯的视频转换为以 FPS 为单位的图片，在 m1 mac os 零碎中，举荐应用驰名的视频处理软件:Ffmpeg

应用 arm 架构的 Homebrew 进行装置：

brew install ffmpeg

装置胜利后，在终端键入 ffmpeg 命令查看版本：

(base) ➜  animegan2-pytorch git:(main) ✗ ffmpeg     
ffmpeg version 4.4.1 Copyright (c) 2000-2021 the FFmpeg developers  
  built with Apple clang version 13.0.0 (clang-1300.0.29.3)  
  configuration: --prefix=/opt/homebrew/Cellar/ffmpeg/4.4.1_3 --enable-shared --enable-pthreads --enable-version3 --cc=clang --host-cflags= --host-ldflags= --enable-ffplay --enable-gnutls --enable-gpl --enable-libaom --enable-libbluray --enable-libdav1d --enable-libmp3lame --enable-libopus --enable-librav1e --enable-librist --enable-librubberband --enable-libsnappy --enable-libsrt --enable-libtesseract --enable-libtheora --enable-libvidstab --enable-libvmaf --enable-libvorbis --enable-libvpx --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxml2 --enable-libxvid --enable-lzma --enable-libfontconfig --enable-libfreetype --enable-frei0r --enable-libass --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenjpeg --enable-libspeex --enable-libsoxr --enable-libzmq --enable-libzimg --disable-libjack --disable-indev=jack --enable-avresample --enable-videotoolbox

装置没有问题，随后筹备一个视频文件，新建 video\_img.py:

import os  
  
# 视频转图片  
os.system("ffmpeg -i ./ 视频.mp4 -r 15 -s 1280,720 -ss 00:00:20 -to 00:00:22 ./myvideo/%03d.png")

这里咱们应用 Python3 内置的 os 模块间接运行 ffmpeg 命令，针对当前目录的视频，以每秒 15 帧的速率进行转化，- s 参数代表视频解析度，-ss 参数能够管制视频的开始地位和完结地位，最初是导出图片的目录。

运行脚本之后，进入 myvideo 目录：

(base) ➜  animegan2-pytorch git:(main) ✗ cd myvideo   
(base) ➜  myvideo git:(main) ✗ ls  
001.png    004.png    007.png    010.png    013.png    016.png    019.png    022.png    025.png    028.png     
002.png    005.png    008.png    011.png    014.png    017.png    020.png    023.png    026.png    029.png     
003.png    006.png    009.png    012.png    015.png    018.png    021.png    024.png    027.png    030.png     
(base) ➜  myvideo git:(main) ✗

能够看到，图片依照帧数作为下标文件名曾经转换结束。

接着须要利用 AnimeGAN 滤镜对图片进行批量转换：

from PIL import Image  
import torch  
import ssl  
ssl._create_default_https_context = ssl._create_unverified_context  
  
import numpy as np  
  
import os  
  
img_list = os.listdir("./myvideo/")  
  
  
# model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="celeba_distill")  
# model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="face_paint_512_v1")  
model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="face_paint_512_v2")  
# #model = torch.hub.load("bryandlee/animegan2-pytorch:main", "generator", pretrained="paprika")  
  
face2paint = torch.hub.load("bryandlee/animegan2-pytorch:main", "face2paint", size=512)  
  
for x in img_list:  
  
    if os.path.splitext(x)[-1] == ".png":  
  
        print(x)  
  
        img = Image.open("./myvideo/"+x).convert("RGB")  
  
        out = face2paint(model, img)  
  
        out.show()  
        out.save("./myimg/"+x)  
  
        # exit(-1)

每一次转换都将原图保留并且滤镜转化后的图片寄存在绝对目录 myimg 外面，随后新建 img\_video.py 将其从新转换为视频：

import os  
  
# 图片转视频  
os.system("ffmpeg -y -r 15 -i  ./myimg/%03d.png -vcodec libx264 ./myvideo/test.mp4")

仍然是每秒 15 帧的速率，和原视频雷同。

如果原视频带有音轨，能够先将音轨进行拆散操作：

# 抽离音频  
import os  
os.system("ffmpeg -y -i ./lisa.mp4 -ss 00:00:20 -to 00:00:22 -vn -y -acodec copy ./myvideo/3.aac")

进行动漫滤镜转换之后，将转换后的视频和原视频的音轨进行合并操作:

# 合并音视频  
  
os.system("ffmpeg -y -i ./myvideo/test.mp4 -i ./myvideo/3.aac -vcodec copy -acodec copy ./myvideo/output.mp4")

原视频的测试用例：

转换后成果：

在 m1 芯片的加持下，基于 cpu 版本的 Pytorch 跑起来效率还是不错的，不过令人遗憾的是适配 m1 芯片的 gpu 版本的 Pytorch 咱们还须要期待一段时间，在上个月，Pytorch 我的项目组成员 soumith 给出过这样的回应：

So, here’s an update.

We plan to get the M1 GPU supported. @albanD, @ezyang and a few core-devs have been looking into it. I can’t confirm/deny the involvement of any other folks right now.

So, what we have so far is that we had a prototype that was just about okay. We took the wrong approach (more graph-matching-ish), and the user-experience wasn’t great — some operations were really fast, some were really slow, there wasn’t a smooth experience overall. One had to guess-work which of their workflows would be fast.

So, we’re completely re-writing it using a new approach, which I think is a lot closer to your good ole PyTorch, but it is going to take some time. I don’t think we’re going to hit a public alpha in the next ~4 months.

We will open up development of this backend as soon as we can.

能够看进去，项目组应该是彻底为 m1 芯片重构 Pytorch 底层，公开测试版也不会在近期推出，兴许明年的下半年会放进去，还是十分值得期待的。

结语：无论是清华大学的 CartoonGAN，还是基于 CartoonGAN 的 AnimeGANv2，毫无疑问，它们都是业界的翘楚，是高峰中的高峰，就算是放在世界人工智能的范畴上，摆在 PyTorch-GAN 这样的我的项目旁边，也是毫不逊色的，在人工智能畛域，AnimeGANv2 向世界发表，中国人只能制作药丸补剂的历史曾经一去不复返了。

原文转载自「刘悦的技术博客」https://v3u.cn/a_id_201