关于机器学习:人工智能AI库Spleeter免费人声和背景音乐分离实践Python310

5次阅读

共计 1737 个字符,预计需要花费 5 分钟才能阅读完成。

在视频剪辑工作中,假如咱们拿到了一段电影或者电视剧素材,如果间接在剪辑的视频中播放可能会遭逢版权问题,大部分状况须要拆散其中的人声和背景音乐,随后替换背景音乐进行二次创作,人工智能 AI 库 Spleeter 能够帮咱们实现大部分素材的人声和背景音乐的拆散流程。

Spleeter 的模型源来自最大的音乐网站 Deezer,底层基于深度学习框架 Tensorflow,它能够通过模型辨认出素材中的背景音乐素材,从而判断出哪些是背景音乐,哪些是内部人声。

Spleeter 装置

在终端执行运行 pip 命令:

pip3 install spleeter --user

装置胜利之后,输出命令,查看 Spleeter 装置门路:

pip show spleeter

程序返回:

PS C:\Users\liuyue\www\videosite> pip show spleeter                                        WARNING: Ignoring invalid distribution -umpy (c:\python39\lib\site-packages)               Name: spleeter                                                                             Version: 2.3.2  
Summary: The Deezer source separation library with pretrained models based on tensorflow.  
Home-page: https://github.com/deezer/spleeter  
Author: Deezer Research  
Author-email: spleeter@deezer.com  
License: MIT  
Location: c:\users\liuyue\appdata\roaming\python\python39\site-packages                    Requires: ffmpeg-python, httpx, librosa, llvmlite, norbert, numpy, pandas, protobuf, tensorflow, typer

阐明装置胜利。

如果不想在本地搭建深度学习环境,也能够通过 Docker 镜像装置。对于 Docker,请移步:一寸宕机一寸血,十万容器十万兵 |Win10/Mac 零碎下基于 Kubernetes(k8s) 搭建 Gunicorn+Flask 高可用 Web 集群,这里不在赘述。

运行 Docker 命令:

docker pull deezer/spleeter:3.8-5stems

这里程序加上预训练模型大略须要 1.73GB 的硬盘空间。

Spleeter 拆散人声和背景音乐

Spleeter 同时反对视频和音频文件的人声和背景音乐拆散,Spleeter 自带三种预训练模型:

1、人声 & 伴奏声拆散模型 2 stems,拆散出两个音轨

2、鼓声、贝斯声及其它声拆散模型 4 stems,拆散出 4 个音轨 )

3、鼓声、贝斯声、钢琴声及其它声拆散模型 5 stems,拆散出 5 个音轨 )

前面两种模型绝对比拟精密,它能够把人声、鼓声、贝斯声、钢琴声各自拆散成多个音轨,个别适宜音乐行业的专业人士进行应用。

大多数状况下,咱们只须要应用第一种模型 2 stems 即可,它将音频拆散成两个音轨,人声和背景音乐的声音:

spleeter separate -o /output/ -p spleeter:2stems /test.mp3

这里 - o 代表输入目录,- p 代表抉择的拆散模型,最初是要拆散的素材。

首次运行会比较慢,因为 spleeter 会下载预训练模型,体积在 1.73g 左右,运行结束后,会在输入目录生成拆散后的音轨文件:

accompaniment.wav  
vocals.wav

accompaniment.wav 代表人声,vocals.wav 是背景音乐。

如果是基于 Docker 装置的,则须要运行对应的 Docker 命令:

docker run -v $(pwd)/output:/output deezer/spleeter:3.8-5stems separate test.mp3 -o /output

结语

Spleeter 能够算是收费的人声和背景音乐拆散性能的最佳本地计划了,除了影视剧素材的人声和背景音乐拆散的二次创作,如果是在外部环境录制的 Vlog,环境音十分嘈杂,而又不得不现场录音,那么应用 Spleeter 也能够将人声从环境音中分离出来,节俭了二次录制画外音的环节。

正文完
 0