乐趣区

关于ide:大片既视感快速生成好莱坞特效视频的开源库

【导语】:SkyAR 是一种基于视觉的视频天空置换和协调办法,将某个视频中的实在天空背景,通过 AI 替换成相似科幻片中的电影场景,成果十分震撼。

简介

SkyAR 是一种基于视觉的视频天空置换和协调办法, 能够在可控格调的视频中主动生成真切和活泼的天空背景,作者是 Zhengxiao Zou。该办法是齐全基于视觉的,能够解决非动态图像,而且对拍摄设施没有任何要求,也没有用户交互,能够很好地解决在线或离线视频。这个算法的处理过程次要包含天空渲染、静止预计和图像混合。

我的项目地址

https://github.com/jiupinjia/…

下载安装

1. 装置以下依赖库


2. 下载我的项目源码

git clone https://github.com/jiupinjia/SkyAR.git 
cd SkyAR

3.下载预训练模型并解压(国内须要木弟子)

https://drive.google.com/file/d/1COMROzwR4R_7mym6DL9LXhHQlJmJaV0J/view?usp=sharing
unzip checkpoints_G_coord_resnet50.zip

简略应用

咱们间接应用我的项目提供的视频和天空模板进行体验:

1. 应用影片《第九区》中的飞船做天空背景模板

python skymagic.py --path ./config/config-canyon-district9ship.json

成果如下:

2. 应用超级月亮做天空背景模板

python skymagic.py --path ./config/config-annarbor-supermoon.json

成果如下:

批改配置应用自定义视频和天空模板

在 config 目录下,有一些 json 格局的配置文件,咱们能够依据本人的状况更改视频和天空模版,以批改 config-canyon-galaxy.json 为例:

{
  "net_G": "coord_resnet50",
  "ckptdir": "./checkpoints_G_coord_resnet50",
  "input_mode": "video",
  "datadir": "./test_videos/annarbor.mp4",
  "skybox": "floatingcastle.jpg",
  "in_size_w": 384,
  "in_size_h": 384,
  "out_size_w": 845,
  "out_size_h": 480,
  "skybox_center_crop": 0.5,
  "auto_light_matching": false,
  "relighting_factor": 0.8,
  "recoloring_factor": 0.5,
  "halo_effect": true,
  "output_dir": "./eval_output",
  "save_jpgs": false
}

ckptdir 为预训练模型文件解压后的目录,datadir 为输出视频的目录,skybox 为应用的天空模版,生成成果视频保留到 output\_dir 目录中。

批改好配置文件,应用以下命令间接运行:

python skymagic.py --path .\config\config-canyon-galaxy.json

应用浮动的城堡为天空背景,成果如下:

官网有相干的官网视频可供观赏,感兴趣的同学能够试试。

开源前哨 日常分享热门、乏味和实用的开源我的项目。参加保护 10 万 + Star 的开源技术资源库,包含:Python、Java、C/C++、Go、JS、CSS、Node.js、PHP、.NET 等。

退出移动版