关于云计算:JavaCV的摄像头实战之六保存为mp4文件有声音

欢送拜访我的GitHub

https://github.com/zq2599/blog_demos

内容:所有原创文章分类汇总及配套源码,波及Java、Docker、Kubernetes、DevOPS等;

本篇概览

  • 本文是《JavaCV的摄像头实战》的第六篇,在《JavaCV的摄像头实战之三:保留为mp4文件》一文中,咱们将摄像头的内容录制为mp4文件,置信聪慧的您肯定觉察到了一缕瑕疵:没有声音
  • 尽管《JavaCV的摄像头实战》系列的主题是摄像头解决,但显然音视频健全才是最常见的状况,因而就在本篇补全前文的有余吧:编码实现摄像头和麦克风的录制

对于音频的采集和录制

  • 本篇的代码是在《JavaCV的摄像头实战之三:保留为mp4文件》源码的根底上减少音频解决局部
  • 编码前,咱们先来剖析一下,减少音频解决后具体的代码逻辑会有哪些变动
  • 只保留视频的操作,与保留音频相比,步骤的区别如下图所示,深色块就是新增的操作:

  • 绝对的,在利用完结时,开释所有资源的时候,音视频的操作也比只有视频时要多一些,如下图所示,深色就是开释音频相干资源的操作:

  • 为了让代码简洁一些,我将音频相干的解决都放在名为<font color=”blue”>AudioService</font>的类中,也就是说下面两幅图的深色局部的代码都在AudioService.java中,主程序应用此类来实现音频解决
  • 接下来开始编码

开发音频解决类AudioService

  • 首先是方才提到的AudioService.java,次要内容就是后面图中深色块的性能,有几处要留神的中央稍后会提到:
package com.bolingcavalry.grabpush.extend;

import lombok.extern.slf4j.Slf4j;
import org.bytedeco.ffmpeg.global.avcodec;
import org.bytedeco.javacv.FFmpegFrameRecorder;
import org.bytedeco.javacv.FrameRecorder;
import javax.sound.sampled.AudioFormat;
import javax.sound.sampled.AudioSystem;
import javax.sound.sampled.DataLine;
import javax.sound.sampled.TargetDataLine;
import java.nio.ByteBuffer;
import java.nio.ByteOrder;
import java.nio.ShortBuffer;
import java.util.concurrent.ScheduledThreadPoolExecutor;
import java.util.concurrent.TimeUnit;

/**
 * @author willzhao
 * @version 1.0
 * @description 音频相干的服务
 * @date 2021/12/3 8:09
 */
@Slf4j
public class AudioService {

    // 采样率
    private final static int SAMPLE_RATE = 44100;

    // 音频通道数,2示意立体声
    private final static int CHANNEL_NUM = 2;

    // 帧录制器
    private FFmpegFrameRecorder recorder;

    // 定时器
    private ScheduledThreadPoolExecutor sampleTask;

    // 指标数据线,音频数据从这里获取
    private TargetDataLine line;

    // 该数组用于保留从数据线中获得的音频数据
    byte[] audioBytes;

    // 定时工作的线程中会读此变量,而扭转此变量的值是在主线程中,因而要用volatile放弃可见性
    private volatile boolean isFinish = false;

    /**
     * 帧录制器的音频参数设置
     * @param recorder
     * @throws Exception
     */
    public void setRecorderParams(FrameRecorder recorder) throws Exception {
        this.recorder = (FFmpegFrameRecorder)recorder;

        // 码率恒定
        recorder.setAudioOption("crf", "0");
        // 最高音质
        recorder.setAudioQuality(0);
        // 192 Kbps
        recorder.setAudioBitrate(192000);

        // 采样率
        recorder.setSampleRate(SAMPLE_RATE);

        // 立体声
        recorder.setAudioChannels(2);
        // 编码器
        recorder.setAudioCodec(avcodec.AV_CODEC_ID_AAC);
    }

    /**
     * 音频采样对象的初始化
     * @throws Exception
     */
    public void initSampleService() throws Exception {
        // 音频格式的参数
        AudioFormat audioFormat = new AudioFormat(SAMPLE_RATE, 16, CHANNEL_NUM, true, false);

        // 获取数据线所需的参数
        DataLine.Info dataLineInfo = new DataLine.Info(TargetDataLine.class, audioFormat);

        // 从音频捕捉设施获得其数据的数据线,之后的音频数据就从该数据线中获取
        line = (TargetDataLine)AudioSystem.getLine(dataLineInfo);

        line.open(audioFormat);

        // 数据线与音频数据的IO建立联系
        line.start();

        // 每次获得的原始数据大小
        final int audioBufferSize = SAMPLE_RATE * CHANNEL_NUM;

        // 初始化数组,用于暂存原始音频采样数据
        audioBytes = new byte[audioBufferSize];

        // 创立一个定时工作,工作的内容是定时做音频采样,再把采样数据交给帧录制器解决
        sampleTask = new ScheduledThreadPoolExecutor(1);
    }

    /**
     * 程序完结前,开释音频相干的资源
     */
    public void releaseOutputResource() {
        // 完结的标记,防止采样的代码在whlie循环中不退出
        isFinish = true;
        // 完结定时工作
        sampleTask.shutdown();
        // 进行数据线
        line.stop();
        // 敞开数据线
        line.close();
    }

    /**
     * 启动定时工作,每秒执行一次,采集音频数据给帧录制器
     * @param frameRate
     */
    public void startSample(double frameRate) {

        // 启动定时工作,每秒执行一次,采集音频数据给帧录制器
        sampleTask.scheduleAtFixedRate((Runnable) new Runnable() {
            @Override
            public void run() {
                try
                {
                    int nBytesRead = 0;

                    while (nBytesRead == 0 && !isFinish) {
                        // 音频数据是从数据线中获得的
                        nBytesRead = line.read(audioBytes, 0, line.available());
                    }

                    // 如果nBytesRead<1,示意isFinish标记被设置true,此时该完结了
                    if (nBytesRead<1) {
                        return;
                    }

                    // 采样数据是16比特,也就是2字节,对应的数据类型就是short,
                    // 所以筹备一个short数组来承受原始的byte数组数据
                    // short是2字节,所以数组长度就是byte数组长度的二分之一
                    int nSamplesRead = nBytesRead / 2;
                    short[] samples = new short[nSamplesRead];

                    // 两个byte放入一个short中的时候,谁在前谁在后?这里用LITTLE_ENDIAN指定访问程序,
                    ByteBuffer.wrap(audioBytes).order(ByteOrder.LITTLE_ENDIAN).asShortBuffer().get(samples);
                    // 将short数组转为ShortBuffer对象,因为帧录制器的入参须要该类型
                    ShortBuffer sBuff = ShortBuffer.wrap(samples, 0, nSamplesRead);

                    // 音频帧交给帧录制器输入
                    recorder.recordSamples(SAMPLE_RATE, CHANNEL_NUM, sBuff);
                }
                catch (FrameRecorder.Exception e) {
                    e.printStackTrace();
                }
            }
        }, 0, 1000 / (long)frameRate, TimeUnit.MILLISECONDS);
    }
}
  • 上述代码中,有两处要留神:
  1. 重点关注<font color=”blue”>recorder.recordSamples</font>,该办法将音频存入了mp4文件
  2. 定时工作是在一个新线程中执行的,因而当主线程完结录制后,须要中断定时工作中的while循环,因而新增了volatile类型的变量isFinish,帮忙定时工作中的代码判断是否立刻完结while循环

革新本来只存视频的代码

  • 接着是对《JavaCV的摄像头实战之三:保留为mp4文件》一文中<font color=”blue”>RecordCameraSaveMp4.java</font>的革新,为了不影响之前章节在github上的代码,这里我新增了一个类<font color=”blue”>RecordCameraSaveMp4WithAudio.java</font>,内容与RecordCameraSaveMp4.java截然不同,接下来咱们来革新这个RecordCameraSaveMp4WithAudio类
  • 先减少AudioService类型的成员变量:
    // 音频服务类
    private AudioService audioService = new AudioService();
  • 接下来是要害,initOutput办法负责帧录制器的初始化,当初要加上音频相干的初始化操作,并且还要启动定时工作去采集和解决音频,如下所示,AudioService的三个办法都在此调用了,留神定时工作的启动要放在帧录制器初始化之后:
    @Override
    protected void initOutput() throws Exception {
        // 实例化FFmpegFrameRecorder
        recorder = new FFmpegFrameRecorder(RECORD_FILE_PATH,        // 寄存文件的地位
                                           getCameraImageWidth(),   // 分辨率的宽,与视频源统一
                                           getCameraImageHeight(),  // 分辨率的高,与视频源统一
                                            0);                      // 音频通道,0示意无

        // 文件格式
        recorder.setFormat("mp4");

        // 帧率与抓取器统一
        recorder.setFrameRate(getFrameRate());

        // 编码格局
        recorder.setPixelFormat(AV_PIX_FMT_YUV420P);

        // 编码器类型
        recorder.setVideoCodec(avcodec.AV_CODEC_ID_MPEG4);

        // 视频品质,0示意无损
        recorder.setVideoQuality(0);

        // 设置帧录制器的音频相干参数
        audioService.setRecorderParams(recorder);

        // 音频采样相干的初始化操作
        audioService.initSampleService();

        // 初始化
        recorder.start();

        // 启动定时工作,采集音频帧给帧录制器
        audioService.startSample(getFrameRate());
  • output办法保留原样,只解决视频帧(音频解决在定时工作中)
    @Override
    protected void output(Frame frame) throws Exception {
        // 存盘
        recorder.record(frame);
    }
  • 开释资源的办法中,减少了音频资源开释的操作:
    @Override
    protected void releaseOutputResource() throws Exception {
        // 执行音频服务的资源开释操作
        audioService.releaseOutputResource();

        // 敞开帧录制器
        recorder.close();
    }
  • 至此,将摄像头视频和麦克风音频存为mp4文件的性能已开发实现,再写上main办法,留神参数<font color=”blue”>30</font>示意抓取和录制的操作执行30秒,留神,这是程序执行的时长,<font color=”red”>不是录制视频的时长</font>:
    public static void main(String[] args) {
        // 录制30秒视频
        new RecordCameraSaveMp4WithAudio().action(30);
    }
  • 运行main办法,等到控制台输入下图红框的内容时,示意视频录制实现:

  • 关上mp4文件所在目录,如下图,红框中就是刚刚生成的文件和相干信息,留神蓝框的内容,证实该文件蕴含了视频和音频的数据:

  • 用VLC播放验证,后果视频和声音都失常
  • 至此,咱们已实现了保留音视频文件的性能,得益于JavaCV的弱小,整个过程是如此的轻松愉快,接下来请持续关注欣宸原创,《JavaCV的摄像头实战》系列还会出现更多丰盛的利用;

源码下载

  • 《JavaCV的摄像头实战》的残缺源码可在GitHub下载到,地址和链接信息如下表所示(https://github.com/zq2599/blo…):
名称 链接 备注
我的项目主页 https://github.com/zq2599/blo… 该我的项目在GitHub上的主页
git仓库地址(https) https://github.com/zq2599/blo… 该我的项目源码的仓库地址,https协定
git仓库地址(ssh) git@github.com:zq2599/blog_demos.git 该我的项目源码的仓库地址,ssh协定
  • 这个git我的项目中有多个文件夹,本篇的源码在<font color=”blue”>javacv-tutorials</font>文件夹下,如下图红框所示:

  • <font color=”blue”>javacv-tutorials</font>外面有多个子工程,《JavaCV的摄像头实战》系列的代码在<font color=”red”>simple-grab-push</font>工程下:

你不孤独,欣宸原创一路相伴

搜寻「程序员欣宸」,我是欣宸,期待与您一起畅游Java世界…
https://github.com/zq2599/blog_demos

评论

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

这个站点使用 Akismet 来减少垃圾评论。了解你的评论数据如何被处理