关于云计算:JavaCV推流实战MP4文件

1次阅读

共计 8071 个字符，预计需要花费 21 分钟才能阅读完成。

https://github.com/zq2599/blog_demos

内容：所有原创文章分类汇总及配套源码，波及 Java、Docker、Kubernetes、DevOPS 等；

这里分类和汇总了欣宸的全副原创(含配套源码)：https://github.com/zq2599/blog_demos

本人的 mp4 文件，如何让更多的人近程播放？如下图所示：

这里简略解释一下上图的性能：

部署开源流媒体服务器 SRS
开发名为 PushMp4 的 java 利用，该利用会读取本机磁盘上的 Mp4 文件，读取每一帧，推送到 SRS 上
每个想看视频的人，就在本人电脑上用流媒体播放软件（例如 VLC）连贯 SRS，播放 PushMp4 推上来的视频

明天咱们就来实现上图中的实战，整个过程分为以下步骤：
环境信息
筹备 MP4 文件
用 docker 部署 SRS
java 利用开发和运行
VLC 播放

本次实战，我这边波及的环境信息如下，供您参考：
操作系统：macOS Monterey
JDK：1.8.0_211
JavaCV：1.5.6
SRS：3

筹备一个一般的 MP4 视频文件即可，我是在线下载了视频开发罕用的大熊兔视频，地址是：
https://www.learningcontainer…

SRS 是驰名的开源的媒体服务器，推到这里的流，都能够用媒体播放器在线播放，为了简略起见，我在 docker 环境下一行命令实现部署：
```
docker run -p 1935:1935 -p 1985:1985 -p 8080:8080 ossrs/srs:3
```
此刻 SRS 服务正在运行中，能够推流上去了

接下来进入最重要的编码阶段，新建名为 simple-grab-push 的 maven 工程，pom.xml 如下（那个名为 javacv-tutorials 的父工程其实没有什么作用，我这里只是为了方便管理多个工程的代码而已，您能够删除这个父工程节点）：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>javacv-tutorials</artifactId>
        <groupId>com.bolingcavalry</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.bolingcavalry</groupId>
    <version>1.0-SNAPSHOT</version>
    <artifactId>simple-grab-push</artifactId>
    <packaging>jar</packaging>

    <properties>
        <!-- javacpp 以后版本 -->
        <javacpp.version>1.5.6</javacpp.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>
        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
            <version>1.2.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-to-slf4j</artifactId>
            <version>2.13.3</version>
        </dependency>

        <!-- javacv 相干依赖，一个就够了 -->
        <dependency>
            <groupId>org.bytedeco</groupId>
            <artifactId>javacv-platform</artifactId>
            <version>${javacpp.version}</version>
        </dependency>
    </dependencies>
</project>

从上述文件可见，JavaCV 的依赖只有一个 javacv-platform，挺简洁
接下来开始编码，在编码前，先把整个流程画进去，这样写代码就清晰多了：

从上图可见流程很简略，这里将所有代码写在一个 java 类中：

package com.bolingcavalry.grabpush;

import lombok.extern.slf4j.Slf4j;
import org.bytedeco.ffmpeg.avcodec.AVCodecParameters;
import org.bytedeco.ffmpeg.avformat.AVFormatContext;
import org.bytedeco.ffmpeg.avformat.AVStream;
import org.bytedeco.ffmpeg.global.avcodec;
import org.bytedeco.ffmpeg.global.avutil;
import org.bytedeco.javacv.FFmpegFrameGrabber;
import org.bytedeco.javacv.FFmpegFrameRecorder;
import org.bytedeco.javacv.FFmpegLogCallback;
import org.bytedeco.javacv.Frame;

/**
 * @author willzhao
 * @version 1.0
 * @description 读取指定的 mp4 文件，推送到 SRS 服务器
 * @date 2021/11/19 8:49
 */
@Slf4j
public class PushMp4 {
    /**
     * 本地 MP4 文件的残缺门路(两分零五秒的视频)
     */
    private static final String MP4_FILE_PATH = "/Users/zhaoqin/temp/202111/20/sample-mp4-file.mp4";

    /**
     * SRS 的推流地址
     */
    private static final String SRS_PUSH_ADDRESS = "rtmp://192.168.50.43:11935/live/livestream";

    /**
     * 读取指定的 mp4 文件，推送到 SRS 服务器
     * @param sourceFilePath 视频文件的绝对路径
     * @param PUSH_ADDRESS 推流地址
     * @throws Exception
     */
    private static void grabAndPush(String sourceFilePath, String PUSH_ADDRESS) throws Exception {
        // ffmepg 日志级别
        avutil.av_log_set_level(avutil.AV_LOG_ERROR);
        FFmpegLogCallback.set();

        // 实例化帧抓取器对象，将文件门路传入
        FFmpegFrameGrabber grabber = new FFmpegFrameGrabber(MP4_FILE_PATH);

        long startTime = System.currentTimeMillis();

        log.info("开始初始化帧抓取器");

        // 初始化帧抓取器，例如数据结构（工夫戳、编码器上下文、帧对象等），// 如果入参等于 true，还会调用 avformat_find_stream_info 办法获取流的信息，放入 AVFormatContext 类型的成员变量 oc 中
        grabber.start(true);

        log.info("帧抓取器初始化实现，耗时 [{}] 毫秒", System.currentTimeMillis()-startTime);

        // grabber.start 办法中，初始化的解码器信息存在放在 grabber 的成员变量 oc 中
        AVFormatContext avFormatContext = grabber.getFormatContext();

        // 文件内有几个媒体流（个别是视频流 + 音频流）int streamNum = avFormatContext.nb_streams();

        // 没有媒体流就不必持续了
        if (streamNum<1) {log.error("文件内不存在媒体流");
            return;
        }

        // 获得视频的帧率
        int frameRate = (int)grabber.getVideoFrameRate();

        log.info("视频帧率 [{}]，视频时长[{}] 秒，媒体流数量[{}]",
                frameRate,
                avFormatContext.duration()/1000000,
                avFormatContext.nb_streams());

        // 遍历每一个流，查看其类型
        for (int i=0; i< streamNum; i++) {AVStream avStream = avFormatContext.streams(i);
            AVCodecParameters avCodecParameters = avStream.codecpar();
            log.info("流的索引[{}]，编码器类型[{}]，编码器 ID[{}]", i, avCodecParameters.codec_type(), avCodecParameters.codec_id());
        }

        // 视频宽度
        int frameWidth = grabber.getImageWidth();
        // 视频高度
        int frameHeight = grabber.getImageHeight();
        // 音频通道数量
        int audioChannels = grabber.getAudioChannels();

        log.info("视频宽度[{}]，视频高度[{}]，音频通道数[{}]",
                frameWidth,
                frameHeight,
                audioChannels);

        // 实例化 FFmpegFrameRecorder，将 SRS 的推送地址传入
        FFmpegFrameRecorder recorder = new FFmpegFrameRecorder(SRS_PUSH_ADDRESS,
                frameWidth,
                frameHeight,
                audioChannels);

        // 设置编码格局
        recorder.setVideoCodec(avcodec.AV_CODEC_ID_H264);

        // 设置封装格局
        recorder.setFormat("flv");

        // 一秒内的帧数
        recorder.setFrameRate(frameRate);

        // 两个关键帧之间的帧数
        recorder.setGopSize(frameRate);

        // 设置音频通道数，与视频源的通道数相等
        recorder.setAudioChannels(grabber.getAudioChannels());

        startTime = System.currentTimeMillis();
        log.info("开始初始化帧抓取器");

        // 初始化帧录制器，例如数据结构（音频流、视频流指针，编码器），// 调用 av_guess_format 办法，确定视频输入时的封装形式，// 媒体上下文对象的内存调配，// 编码器的各项参数设置
        recorder.start();

        log.info("帧录制初始化实现，耗时 [{}] 毫秒", System.currentTimeMillis()-startTime);

        Frame frame;

        startTime = System.currentTimeMillis();

        log.info("开始推流");

        long videoTS = 0;

        int videoFrameNum = 0;
        int audioFrameNum = 0;
        int dataFrameNum = 0;

        // 假如一秒钟 15 帧，那么两帧距离就是 (1000/15) 毫秒
        int interVal = 1000/frameRate;
        // 发送完一帧后 sleep 的工夫，不能齐全等于(1000/frameRate)，不然会卡顿，// 要更小一些，这里取八分之一
        interVal/=8;

        // 继续从视频源取帧
        while (null!=(frame=grabber.grab())) {videoTS = 1000 * (System.currentTimeMillis() - startTime);

            // 工夫戳
            recorder.setTimestamp(videoTS);

            // 有图像，就把视频帧加一
            if (null!=frame.image) {videoFrameNum++;}

            // 有声音，就把音频帧加一
            if (null!=frame.samples) {audioFrameNum++;}

            // 有数据，就把数据帧加一
            if (null!=frame.data) {dataFrameNum++;}

            // 取出的每一帧，都推送到 SRS
            recorder.record(frame);

            // 进展一下再推送
            Thread.sleep(interVal);
        }

        log.info("推送实现，视频帧 [{}]，音频帧[{}]，数据帧[{}]，耗时[{}] 秒",
                videoFrameNum,
                audioFrameNum,
                dataFrameNum,
                (System.currentTimeMillis()-startTime)/1000);

        // 敞开帧录制器
        recorder.close();
        // 敞开帧抓取器
        grabber.close();}

    public static void main(String[] args) throws Exception {grabAndPush(MP4_FILE_PATH, SRS_PUSH_ADDRESS);
    }
}

上述代码中每一行都有具体正文，就不多赘述了，只有上面这到处要害须要留神：

MP4_FILE_PATH 是本地 MP4 文件寄存的中央，请改为本人电脑上 MP4 文件寄存的地位
SRS_PUSH_ADDRESS 是 SRS 服务的推流地址，请改为本人的 SRS 服务部署的地址
grabber.start(true) 办法执行的时候，外部是帧抓取器的初始化流程，会获得 MP4 文件的相干信息
recorder.record(frame) 办法执行的时候，会将帧推送到 SRS 服务器

编码实现后运行此类，控制台日志如下所示，可见胜利的取到了 MP4 文件的帧率、时长、解码器、媒体流等信息，而后开始推流了：

23:21:48.107 [main] INFO com.bolingcavalry.grabpush.PushMp4 - 开始初始化帧抓取器
23:21:48.267 [main] INFO com.bolingcavalry.grabpush.PushMp4 - 帧抓取器初始化实现，耗时 [163] 毫秒
23:21:48.277 [main] INFO com.bolingcavalry.grabpush.PushMp4 - 视频帧率 [15]，视频时长[125] 秒，媒体流数量[2]
23:21:48.277 [main] INFO com.bolingcavalry.grabpush.PushMp4 - 流的索引[0]，编码器类型[0]，编码器 ID[27]
23:21:48.277 [main] INFO com.bolingcavalry.grabpush.PushMp4 - 流的索引[1]，编码器类型[1]，编码器 ID[86018]
23:21:48.279 [main] INFO com.bolingcavalry.grabpush.PushMp4 - 视频宽度[320]，视频高度[240]，音频通道数[6]
23:21:48.294 [main] INFO com.bolingcavalry.grabpush.PushMp4 - 开始初始化帧抓取器
23:21:48.727 [main] INFO com.bolingcavalry.grabpush.PushMp4 - 帧录制初始化实现，耗时 [433] 毫秒
23:21:48.727 [main] INFO com.bolingcavalry.grabpush.PushMp4 - 开始推流

接下来试试能不能拉流播放

请装置 VLC 软件，并关上
如下图红框，点击菜单中的 Open Network…，而后输出后面代码中写的推流地址（我这里是 rtmp://192.168.50.43:11935/live/livestream）：

如下图，胜利播放，而且声音也失常：

通过下面的实战，咱们相熟了播放和推流的基本操作，把握了惯例信息的获取以及参数设置，除了代码中的常识，还有以下几个暗藏的知识点也值得关注

设置 ffmpeg 日志级别的代码是 avutil.av_log_set_level(avutil.AV_LOG_ERROR)，把参数改为 avutil.AV_LOG_INFO 后，能够在控制台看到更丰盛的日志，如下图红色区域，外面显示了 MP4 文件的详细信息，例如两个媒体流（音频流和视频流）：

第二个知识点是对于编码器类型和编码器 ID 的，如下图，两个媒体流 (AVStream) 的编码器类型别离是 0 和 1，两个编码器 ID 别离是 27 和 86018，这四个数字别离代表什么呢？

先看编码器类型，用 IDEA 的反编译性能关上 avutil.class，如下图，编码器类型等于 0 示意视频(VIDEO)，类型等于 1 示意音频（AUDIO）：

再看编码器 ID，关上 avcodec.java，看到编码器 ID 为 27 示意 H264：

编码器 ID 值 86018 的十六进制是 0x15002，对应的编码器如下图红框：

至此，JavaCV 推流实战 (MP4 文件) 曾经全副实现，心愿通过本文咱们能够一起相熟 JavaCV 解决推拉流的惯例操作；
https://github.com/zq2599/blog_demos

正文完

云计算

发表至：云计算

2022-01-20

0

关于云计算:将渲染计算搬到云端开启低成本强交互沉浸式体验

关于云计算:龙智集团赢得2022年Atlassian与AWS云销售竞赛

关于云计算:终于有人把云原生数据库讲明白了

关于云计算:浪潮云以数据云IBP释放数据要素力量

关于javascript:VueUse中的这5个函数也太好用了吧

关于云计算:JavaCV推流实战MP4文件

欢送拜访我的 GitHub

欢送拜访我的 GitHub

本篇概览

环境信息

筹备 MP4 文件

用 docker 部署 SRS

开发 JavaCV 利用

用 VLC 播放

附加知识点

站内搜索