欢送拜访我的GitHub
这里分类和汇总了欣宸的全副原创(含配套源码)：https://github.com/zq2599/blog_demos
对于《JavaCV的摄像头实战》系列
- 《JavaCV的摄像头实战》顾名思义，是应用JavaCV框架对摄像头进行各种解决的实战汇合，这是欣宸作为一名Java程序员，在计算机视觉（computer vision）畛域的一个原创系列，通过间断的编码实战，与您一起学习把握视频、音频、图片等资源的各种操作
另外要阐明的是，整个系列应用的摄像头是USB摄像图或者笔记本的内置摄像头，<font color="red">并非基于网络拜访的智能摄像头</font>
本篇概览
- 作为整个系列的开篇，本文十分重要，从环境到代码的方方面面，都会为后续文章打好根底，简略来说本篇由以下内容形成：
- 环境和版本信息
- 根本套路剖析
- 根本框架编码
- 部署媒体服务器
- 接下来就从环境和版本信息开始吧
环境和版本信息
- 当初就把实战波及的软硬件环境交代分明，您能够用来参考：
- 操作系统：win10
- JDK：1.8.0_291
- maven：3.8.1
- IDEA：2021.2.2(Ultimate Edition)
- JavaCV：1.5.6
- 媒体服务器：基于dockek部署的nginx-rtmp，镜像是：<font color="blue">alfg/nginx-rtmp:v1.3.1</font>
源码下载
- 《JavaCV的摄像头实战》的残缺源码可在GitHub下载到，地址和链接信息如下表所示(https://github.com/zq2599/blo...)：
| 名称 | 链接 | 备注 |
|---|---|---|
| 我的项目主页 | https://github.com/zq2599/blo... | 该我的项目在GitHub上的主页 |
| git仓库地址(https) | https://github.com/zq2599/blo... | 该我的项目源码的仓库地址，https协定 |
| git仓库地址(ssh) | git@github.com:zq2599/blog_demos.git | 该我的项目源码的仓库地址，ssh协定 |
- 这个git我的项目中有多个文件夹，本篇的源码在<font color="blue">javacv-tutorials</font>文件夹下，如下图红框所示：
- <font color="blue">javacv-tutorials</font>外面有多个子工程，《JavaCV的摄像头实战》系列的代码在<font color="red">simple-grab-push</font>工程下：
根本套路剖析
- 全系列有多个基于摄像头的实战，例如窗口预览、把视频保留为文件、把视频推送到媒体服务器等，其根本套路是大致相同的，用最简略的流程图示意如下：
- 从上图可见，整个流程就是不停的从摄像头取帧，而后解决和输入
根本框架编码
- 看过了下面根本套路，聪慧的您可能会有这样的想法：既然套路是固定的，那代码也能够按套路固定下来吧
- 没错，接下来就思考如何把代码依照<font color="blue">套路</font>固定下来，我的思路是开发名为<font color="red">AbstractCameraApplication</font>的抽象类，作为《JavaCV的摄像头实战》系列每个利用的父类，它负责搭建整个初始化、取帧、解决、输入的流程，它的子类则专一帧数据的具体解决和输入，整个体系的UML图如下所示：
- 接下来就该开发抽象类<font color="red">AbstractCameraApplication.java</font>了，编码前先设计，下图是AbstractCameraApplication的次要办法和执行流程，粗体全副是办法名，红色块代表留给子类实现的形象办法：
- 接下来是创立工程，我这里创立的是maven工程，pom.xml如下：
<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <parent> <artifactId>javacv-tutorials</artifactId> <groupId>com.bolingcavalry</groupId> <version>1.0-SNAPSHOT</version> </parent> <modelVersion>4.0.0</modelVersion> <groupId>com.bolingcavalry</groupId> <version>1.0-SNAPSHOT</version> <artifactId>simple-grab-push</artifactId> <packaging>jar</packaging> <properties> <!-- javacpp以后版本 --> <javacpp.version>1.5.6</javacpp.version> </properties> <dependencies> <dependency> <groupId>org.projectlombok</groupId> <artifactId>lombok</artifactId> </dependency> <dependency> <groupId>ch.qos.logback</groupId> <artifactId>logback-classic</artifactId> <version>1.2.3</version> </dependency> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-to-slf4j</artifactId> <version>2.13.3</version> </dependency> <!-- javacv相干依赖，一个就够了 --> <dependency> <groupId>org.bytedeco</groupId> <artifactId>javacv-platform</artifactId> <version>${javacpp.version}</version> </dependency> </dependencies></project>- 接下来就是<font color="red">AbstractCameraApplication.java</font>的残缺代码，这些代码的流程和办法命名都与上图保持一致，并且增加了具体的正文，有几处要留神的中央稍后会提到：
package com.bolingcavalry.grabpush.camera;import lombok.Getter;import lombok.extern.slf4j.Slf4j;import org.bytedeco.ffmpeg.global.avutil;import org.bytedeco.javacv.*;import org.bytedeco.opencv.global.opencv_imgproc;import org.bytedeco.opencv.opencv_core.Mat;import org.bytedeco.opencv.opencv_core.Scalar;import java.text.SimpleDateFormat;import java.util.Date;/** * @author will * @email zq2599@gmail.com * @date 2021/11/19 8:07 上午 * @description 摄像头利用的根底类，这外面定义了拉流和推流的根本流程，子类只需实现具体的业务办法即可 */@Slf4jpublic abstract class AbstractCameraApplication { /** * 摄像头序号，如果只有一个摄像头，那就是0 */ protected static final int CAMERA_INDEX = 0; /** * 帧抓取器 */ protected FrameGrabber grabber; /** * 输入帧率 */ @Getter private final double frameRate = 30; /** * 摄像头视频的宽 */ @Getter private final int cameraImageWidth = 1280; /** * 摄像头视频的高 */ @Getter private final int cameraImageHeight = 720; /** * 转换器 */ private final OpenCVFrameConverter.ToIplImage openCVConverter = new OpenCVFrameConverter.ToIplImage(); /** * 实例化、初始化输入操作相干的资源 */ protected abstract void initOutput() throws Exception; /** * 输入 */ protected abstract void output(Frame frame) throws Exception; /** * 开释输入操作相干的资源 */ protected abstract void releaseOutputResource() throws Exception; /** * 两帧之间的间隔时间 * @return */ protected int getInterval() { // 假如一秒钟15帧，那么两帧距离就是(1000/15)毫秒 return (int)(1000/ frameRate); } /** * 实例化帧抓取器，默认OpenCVFrameGrabber对象， * 子类可按须要自行笼罩 * @throws FFmpegFrameGrabber.Exception */ protected void instanceGrabber() throws FrameGrabber.Exception { grabber = new OpenCVFrameGrabber(CAMERA_INDEX); } /** * 用帧抓取器抓取一帧，默认调用grab()办法， * 子类能够按需要自行笼罩 * @return */ protected Frame grabFrame() throws FrameGrabber.Exception { return grabber.grab(); } /** * 初始化帧抓取器 * @throws Exception */ protected void initGrabber() throws Exception { // 实例化帧抓取器 instanceGrabber(); // 摄像头有可能有多个分辨率，这里指定 // 能够指定宽高，也能够不指定反而调用grabber.getImageWidth去获取， grabber.setImageWidth(cameraImageWidth); grabber.setImageHeight(cameraImageHeight); // 开启抓取器 grabber.start(); } /** * 预览和输入 * @param grabSeconds 继续时长 * @throws Exception */ private void grabAndOutput(int grabSeconds) throws Exception { // 增加水印时用到的工夫工具 SimpleDateFormat simpleDateFormat = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); long endTime = System.currentTimeMillis() + 1000L *grabSeconds; // 两帧输入之间的间隔时间，默认是1000除以帧率，子类可酌情批改 int interVal = getInterval(); // 水印在图片上的地位 org.bytedeco.opencv.opencv_core.Point point = new org.bytedeco.opencv.opencv_core.Point(15, 35); Frame captureFrame; Mat mat; // 超过指定工夫就完结循环 while (System.currentTimeMillis()<endTime) { // 取一帧 captureFrame = grabFrame(); if (null==captureFrame) { log.error("帧对象为空"); break; } // 将帧对象转为mat对象 mat = openCVConverter.convertToMat(captureFrame); // 在图片上增加水印，水印内容是以后工夫，地位是左上角 opencv_imgproc.putText(mat, simpleDateFormat.format(new Date()), point, opencv_imgproc.CV_FONT_VECTOR0, 0.8, new Scalar(0, 200, 255, 0), 1, 0, false); // 子类输入 output(openCVConverter.convert(mat)); // 适当距离，让肉感感触不到闪屏即可 if(interVal>0) { Thread.sleep(interVal); } } log.info("输入完结"); } /** * 开释所有资源 */ private void safeRelease() { try { // 子类须要开释的资源 releaseOutputResource(); } catch (Exception exception) { log.error("do releaseOutputResource error", exception); } if (null!=grabber) { try { grabber.close(); } catch (Exception exception) { log.error("close grabber error", exception); } } } /** * 整合了所有初始化操作 * @throws Exception */ private void init() throws Exception { long startTime = System.currentTimeMillis(); // 设置ffmepg日志级别 avutil.av_log_set_level(avutil.AV_LOG_INFO); FFmpegLogCallback.set(); // 实例化、初始化帧抓取器 initGrabber(); // 实例化、初始化输入操作相干的资源， // 具体怎么输入由子类决定，例如窗口预览、存视频文件等 initOutput(); log.info("初始化实现，耗时[{}]毫秒，帧率[{}]，图像宽度[{}]，图像高度[{}]", System.currentTimeMillis()-startTime, frameRate, cameraImageWidth, cameraImageHeight); } /** * 执行抓取和输入的操作 */ public void action(int grabSeconds) { try { // 初始化操作 init(); // 继续拉取和推送 grabAndOutput(grabSeconds); } catch (Exception exception) { log.error("execute action error", exception); } finally { // 无论如何都要开释资源 safeRelease(); } }}- 上述代码有以下几处要留神：
- 负责从摄像头取数据的是OpenCVFrameGrabber对象，即帧抓取器
- initGrabber办法中，通过setImageWidth和setImageHeight办法为帧抓取器设置图像的宽和高，其实也能够不必设置宽高，由帧抓取器主动适配，然而思考到有些摄像头反对多种分辨率，所以还是依照本人的理论状况来被动设置
- grabAndOutput办法中，应用了while循环来一直地取帧、解决、输入，这个while循环的完结条件是指定时长，这样的完结条件可能满足不了您的须要，请依照您的理论状况自行调整（例如检测某个按键是否按下）
- grabAndOutput办法中，将取到的帧转为Mat对象，而后在Mat对象上增加文字，内容是以后工夫，再将Mat对象转为帧对象，将此帧对象传给子类的<font color="blue">output</font>办法，如此一来，子类做解决和输入的时候，拿到的帧都有了工夫水印
- 至此，父类曾经实现，接下来的实战，咱们只有专一用子类解决和输入帧数据即可
部署媒体服务器
- 《JavaCV的摄像头实战》系列的一些实战波及到推流和近程播放，这就要用到流媒体服务器了，流媒体服务器的作用如下图，咱们也在这一篇提前部署好：
- 对于媒体服务器的类型，我选的是罕用的<font color="blue">nginx-rtmp</font>，简略起见，找了一台linux电脑，在下面用docker来部署，也就是一行命令的事儿：
docker run -d --name nginx_rtmp -p 1935:1935 -p 18080:80 alfg/nginx-rtmp:v1.3.1- 另外还有个非凡状况，就是我这边有个闲置的树莓派3B，也能够用来做媒体服务器，也是用docker部署的，这里要留神镜像要选用<font color="blue">shamelesscookie/nginx-rtmp-ffmpeg:latest</font>，这个镜像有ARM64版本，适宜在树莓派上应用：
docker run -d --name nginx_rtmp -p 1935:1935 -p 18080:80 shamelesscookie/nginx-rtmp-ffmpeg:latest至此，《JavaCV的摄像头实战》系列的筹备工作曾经实现，接下来的文章，开始精彩的体验之旅吧，欣宸原创，必不让您悲观~
你不孤独，欣宸原创一路相伴
https://github.com/zq2599/blog_demos