关于云计算:JavaCV的摄像头实战之一基础

这里分类和汇总了欣宸的全副原创(含配套源码)：https://github.com/zq2599/blog_demos

《JavaCV 的摄像头实战》顾名思义，是应用 JavaCV 框架对摄像头进行各种解决的实战汇合，这是欣宸作为一名 Java 程序员，在计算机视觉（computer vision）畛域的一个原创系列，通过间断的编码实战，与您一起学习把握视频、音频、图片等资源的各种操作
另外要阐明的是，整个系列应用的摄像头是 USB 摄像图或者笔记本的内置摄像头， 并非基于网络拜访的智能摄像头 

本篇概览
作为整个系列的开篇，本文十分重要，从环境到代码的方方面面，都会为后续文章打好根底，简略来说本篇由以下内容形成：
环境和版本信息
根本套路剖析
根本框架编码
部署媒体服务器
接下来就从环境和版本信息开始吧

当初就把实战波及的软硬件环境交代分明，您能够用来参考：

操作系统：win10
JDK：1.8.0_291
maven：3.8.1
IDEA：2021.2.2(Ultimate Edition)
JavaCV：1.5.6
媒体服务器：基于 dockek 部署的 nginx-rtmp，镜像是：alfg/nginx-rtmp:v1.3.1

《JavaCV 的摄像头实战》的残缺源码可在 GitHub 下载到，地址和链接信息如下表所示(https://github.com/zq2599/blo…)：

名称	链接	备注
我的项目主页	https://github.com/zq2599/blo…	该我的项目在 GitHub 上的主页
git 仓库地址(https)	https://github.com/zq2599/blo…	该我的项目源码的仓库地址，https 协定
git 仓库地址(ssh)	git@github.com:zq2599/blog_demos.git	该我的项目源码的仓库地址，ssh 协定

这个 git 我的项目中有多个文件夹，本篇的源码在 javacv-tutorials 文件夹下，如下图红框所示：

javacv-tutorials 外面有多个子工程，《JavaCV 的摄像头实战》系列的代码在 simple-grab-push 工程下：

全系列有多个基于摄像头的实战，例如窗口预览、把视频保留为文件、把视频推送到媒体服务器等，其根本套路是大致相同的，用最简略的流程图示意如下：

从上图可见，整个流程就是不停的从摄像头取帧，而后解决和输入

看过了下面根本套路，聪慧的您可能会有这样的想法：既然套路是固定的，那代码也能够按套路固定下来吧
没错，接下来就思考如何把代码依照 套路 固定下来，我的思路是开发名为 AbstractCameraApplication 的抽象类，作为《JavaCV 的摄像头实战》系列每个利用的父类，它负责搭建整个初始化、取帧、解决、输入的流程，它的子类则专一帧数据的具体解决和输入，整个体系的 UML 图如下所示：

接下来就该开发抽象类 AbstractCameraApplication.java 了，编码前先设计，下图是 AbstractCameraApplication 的次要办法和执行流程，粗体全副是办法名，红色块代表留给子类实现的形象办法：

接下来是创立工程，我这里创立的是 maven 工程，pom.xml 如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <parent>
        <artifactId>javacv-tutorials</artifactId>
        <groupId>com.bolingcavalry</groupId>
        <version>1.0-SNAPSHOT</version>
    </parent>
    <modelVersion>4.0.0</modelVersion>
    <groupId>com.bolingcavalry</groupId>
    <version>1.0-SNAPSHOT</version>
    <artifactId>simple-grab-push</artifactId>
    <packaging>jar</packaging>

    <properties>
        <!-- javacpp 以后版本 -->
        <javacpp.version>1.5.6</javacpp.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>
        <dependency>
            <groupId>ch.qos.logback</groupId>
            <artifactId>logback-classic</artifactId>
            <version>1.2.3</version>
        </dependency>
        <dependency>
            <groupId>org.apache.logging.log4j</groupId>
            <artifactId>log4j-to-slf4j</artifactId>
            <version>2.13.3</version>
        </dependency>

        <!-- javacv 相干依赖，一个就够了 -->
        <dependency>
            <groupId>org.bytedeco</groupId>
            <artifactId>javacv-platform</artifactId>
            <version>${javacpp.version}</version>
        </dependency>
    </dependencies>
</project>

接下来就是 AbstractCameraApplication.java 的残缺代码，这些代码的流程和办法命名都与上图保持一致，并且增加了具体的正文，有几处要留神的中央稍后会提到：

package com.bolingcavalry.grabpush.camera;

import lombok.Getter;
import lombok.extern.slf4j.Slf4j;
import org.bytedeco.ffmpeg.global.avutil;
import org.bytedeco.javacv.*;
import org.bytedeco.opencv.global.opencv_imgproc;
import org.bytedeco.opencv.opencv_core.Mat;
import org.bytedeco.opencv.opencv_core.Scalar;

import java.text.SimpleDateFormat;
import java.util.Date;

/**
 * @author will
 * @email zq2599@gmail.com
 * @date 2021/11/19 8:07 上午
 * @description 摄像头利用的根底类，这外面定义了拉流和推流的根本流程，子类只需实现具体的业务办法即可
 */
@Slf4j
public abstract class AbstractCameraApplication {

    /**
     * 摄像头序号，如果只有一个摄像头，那就是 0
     */
    protected static final int CAMERA_INDEX = 0;

    /**
     * 帧抓取器
     */
    protected FrameGrabber grabber;

    /**
     * 输入帧率
     */
    @Getter
    private final double frameRate = 30;

    /**
     * 摄像头视频的宽
     */
    @Getter
    private final int cameraImageWidth = 1280;

    /**
     * 摄像头视频的高
     */
    @Getter
    private final int cameraImageHeight = 720;

    /**
     * 转换器
     */
    private final OpenCVFrameConverter.ToIplImage openCVConverter = new OpenCVFrameConverter.ToIplImage();

    /**
     * 实例化、初始化输入操作相干的资源
     */
    protected abstract void initOutput() throws Exception;

    /**
     * 输入
     */
    protected abstract void output(Frame frame) throws Exception;

    /**
     * 开释输入操作相干的资源
     */
    protected abstract void releaseOutputResource() throws Exception;

    /**
     * 两帧之间的间隔时间
     * @return
     */
    protected int getInterval() {// 假如一秒钟 15 帧，那么两帧距离就是 (1000/15) 毫秒
        return (int)(1000/ frameRate);
    }

    /**
     * 实例化帧抓取器，默认 OpenCVFrameGrabber 对象，* 子类可按须要自行笼罩
     * @throws FFmpegFrameGrabber.Exception
     */
    protected void instanceGrabber() throws FrameGrabber.Exception {grabber = new OpenCVFrameGrabber(CAMERA_INDEX);
    }

    /**
     * 用帧抓取器抓取一帧，默认调用 grab()办法，* 子类能够按需要自行笼罩
     * @return
     */
    protected Frame grabFrame() throws FrameGrabber.Exception {return grabber.grab();
    }

    /**
     * 初始化帧抓取器
     * @throws Exception
     */
    protected void initGrabber() throws Exception {
        // 实例化帧抓取器
        instanceGrabber();

        // 摄像头有可能有多个分辨率，这里指定
        // 能够指定宽高，也能够不指定反而调用 grabber.getImageWidth 去获取，grabber.setImageWidth(cameraImageWidth);
        grabber.setImageHeight(cameraImageHeight);

        // 开启抓取器
        grabber.start();}

    /**
     * 预览和输入
     * @param grabSeconds 继续时长
     * @throws Exception
     */
    private void grabAndOutput(int grabSeconds) throws Exception {
        // 增加水印时用到的工夫工具
        SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

        long endTime = System.currentTimeMillis() + 1000L *grabSeconds;

        // 两帧输入之间的间隔时间，默认是 1000 除以帧率，子类可酌情批改
        int interVal = getInterval();

        // 水印在图片上的地位
        org.bytedeco.opencv.opencv_core.Point point = new org.bytedeco.opencv.opencv_core.Point(15, 35);

        Frame captureFrame;
        Mat mat;

        // 超过指定工夫就完结循环
        while (System.currentTimeMillis()<endTime) {
            // 取一帧
            captureFrame = grabFrame();

            if (null==captureFrame) {log.error("帧对象为空");
                break;
            }

            // 将帧对象转为 mat 对象
            mat = openCVConverter.convertToMat(captureFrame);

            // 在图片上增加水印，水印内容是以后工夫，地位是左上角
            opencv_imgproc.putText(mat,
                    simpleDateFormat.format(new Date()),
                    point,
                    opencv_imgproc.CV_FONT_VECTOR0,
                    0.8,
                    new Scalar(0, 200, 255, 0),
                    1,
                    0,
                    false);

            // 子类输入
            output(openCVConverter.convert(mat));

            // 适当距离，让肉感感触不到闪屏即可
            if(interVal>0) {Thread.sleep(interVal);
            }
        }

        log.info("输入完结");
    }

    /**
     * 开释所有资源
     */
    private void safeRelease() {
        try {
            // 子类须要开释的资源
            releaseOutputResource();} catch (Exception exception) {log.error("do releaseOutputResource error", exception);
        }

        if (null!=grabber) {
            try {grabber.close();
            } catch (Exception exception) {log.error("close grabber error", exception);
            }
        }
    }

    /**
     * 整合了所有初始化操作
     * @throws Exception
     */
    private void init() throws Exception {long startTime = System.currentTimeMillis();

        // 设置 ffmepg 日志级别
        avutil.av_log_set_level(avutil.AV_LOG_INFO);
        FFmpegLogCallback.set();

        // 实例化、初始化帧抓取器
        initGrabber();

        // 实例化、初始化输入操作相干的资源，// 具体怎么输入由子类决定，例如窗口预览、存视频文件等
        initOutput();

        log.info("初始化实现，耗时 [{}] 毫秒，帧率[{}]，图像宽度[{}]，图像高度[{}]",
                System.currentTimeMillis()-startTime,
                frameRate,
                cameraImageWidth,
                cameraImageHeight);
    }

    /**
     * 执行抓取和输入的操作
     */
    public void action(int grabSeconds) {
        try {
            // 初始化操作
            init();
            // 继续拉取和推送
            grabAndOutput(grabSeconds);
        } catch (Exception exception) {log.error("execute action error", exception);
        } finally {
            // 无论如何都要开释资源
            safeRelease();}
    }
}

上述代码有以下几处要留神：

负责从摄像头取数据的是 OpenCVFrameGrabber 对象，即帧抓取器
initGrabber 办法中，通过 setImageWidth 和 setImageHeight 办法为帧抓取器设置图像的宽和高，其实也能够不必设置宽高，由帧抓取器主动适配，然而思考到有些摄像头反对多种分辨率，所以还是依照本人的理论状况来被动设置
grabAndOutput 办法中，应用了 while 循环来一直地取帧、解决、输入，这个 while 循环的完结条件是指定时长，这样的完结条件可能满足不了您的须要，请依照您的理论状况自行调整（例如检测某个按键是否按下）
grabAndOutput 办法中，将取到的帧转为 Mat 对象，而后在 Mat 对象上增加文字，内容是以后工夫，再将 Mat 对象转为帧对象，将此帧对象传给子类的 output 办法，如此一来，子类做解决和输入的时候，拿到的帧都有了工夫水印

至此，父类曾经实现，接下来的实战，咱们只有专一用子类解决和输入帧数据即可

《JavaCV 的摄像头实战》系列的一些实战波及到推流和近程播放，这就要用到流媒体服务器了，流媒体服务器的作用如下图，咱们也在这一篇提前部署好：

对于媒体服务器的类型，我选的是罕用的 nginx-rtmp，简略起见，找了一台 linux 电脑，在下面用 docker 来部署，也就是一行命令的事儿：

docker run -d --name nginx_rtmp -p 1935:1935 -p 18080:80 alfg/nginx-rtmp:v1.3.1

另外还有个非凡状况，就是我这边有个闲置的树莓派 3B，也能够用来做媒体服务器，也是用 docker 部署的，这里要留神镜像要选用 shamelesscookie/nginx-rtmp-ffmpeg:latest，这个镜像有 ARM64 版本，适宜在树莓派上应用：

docker run -d --name nginx_rtmp -p 1935:1935 -p 18080:80 shamelesscookie/nginx-rtmp-ffmpeg:latest

至此，《JavaCV 的摄像头实战》系列的筹备工作曾经实现，接下来的文章，开始精彩的体验之旅吧，欣宸原创，必不让您悲观~

你不孤独，欣宸原创一路相伴

https://github.com/zq2599/blog_demos

关于云计算:JavaCV的摄像头实战之一基础

欢送拜访我的 GitHub

对于《JavaCV 的摄像头实战》系列

本篇概览

环境和版本信息

源码下载

根本套路剖析

根本框架编码

部署媒体服务器

你不孤独，欣宸原创一路相伴