关于云计算:JavaCV的摄像头实战之六保存为mp4文件有声音

欢送拜访我的GitHub

https://github.com/zq2599/blog_demos

内容：所有原创文章分类汇总及配套源码，波及Java、Docker、Kubernetes、DevOPS等；

本篇概览

本文是《JavaCV的摄像头实战》的第六篇，在《JavaCV的摄像头实战之三：保留为mp4文件》一文中，咱们将摄像头的内容录制为mp4文件，置信聪慧的您肯定觉察到了一缕瑕疵：没有声音
尽管《JavaCV的摄像头实战》系列的主题是摄像头解决，但显然音视频健全才是最常见的状况，因而就在本篇补全前文的有余吧：编码实现摄像头和麦克风的录制

对于音频的采集和录制

本篇的代码是在《JavaCV的摄像头实战之三：保留为mp4文件》源码的根底上减少音频解决局部
编码前，咱们先来剖析一下，减少音频解决后具体的代码逻辑会有哪些变动
只保留视频的操作，与保留音频相比，步骤的区别如下图所示，深色块就是新增的操作：

绝对的，在利用完结时，开释所有资源的时候，音视频的操作也比只有视频时要多一些，如下图所示，深色就是开释音频相干资源的操作：

为了让代码简洁一些，我将音频相干的解决都放在名为AudioService的类中，也就是说下面两幅图的深色局部的代码都在AudioService.java中，主程序应用此类来实现音频解决
接下来开始编码

开发音频解决类AudioService

首先是方才提到的AudioService.java，次要内容就是后面图中深色块的性能，有几处要留神的中央稍后会提到：

package com.bolingcavalry.grabpush.extend;import lombok.extern.slf4j.Slf4j;import org.bytedeco.ffmpeg.global.avcodec;import org.bytedeco.javacv.FFmpegFrameRecorder;import org.bytedeco.javacv.FrameRecorder;import javax.sound.sampled.AudioFormat;import javax.sound.sampled.AudioSystem;import javax.sound.sampled.DataLine;import javax.sound.sampled.TargetDataLine;import java.nio.ByteBuffer;import java.nio.ByteOrder;import java.nio.ShortBuffer;import java.util.concurrent.ScheduledThreadPoolExecutor;import java.util.concurrent.TimeUnit;/** * @author willzhao * @version 1.0 * @description 音频相干的服务 * @date 2021/12/3 8:09 */@Slf4jpublic class AudioService {    // 采样率    private final static int SAMPLE_RATE = 44100;    // 音频通道数，2示意立体声    private final static int CHANNEL_NUM = 2;    // 帧录制器    private FFmpegFrameRecorder recorder;    // 定时器    private ScheduledThreadPoolExecutor sampleTask;    // 指标数据线，音频数据从这里获取    private TargetDataLine line;    // 该数组用于保留从数据线中获得的音频数据    byte[] audioBytes;    // 定时工作的线程中会读此变量，而扭转此变量的值是在主线程中，因而要用volatile放弃可见性    private volatile boolean isFinish = false;    /**     * 帧录制器的音频参数设置     * @param recorder     * @throws Exception     */    public void setRecorderParams(FrameRecorder recorder) throws Exception {        this.recorder = (FFmpegFrameRecorder)recorder;        // 码率恒定        recorder.setAudioOption("crf", "0");        // 最高音质        recorder.setAudioQuality(0);        // 192 Kbps        recorder.setAudioBitrate(192000);        // 采样率        recorder.setSampleRate(SAMPLE_RATE);        // 立体声        recorder.setAudioChannels(2);        // 编码器        recorder.setAudioCodec(avcodec.AV_CODEC_ID_AAC);    }    /**     * 音频采样对象的初始化     * @throws Exception     */    public void initSampleService() throws Exception {        // 音频格式的参数        AudioFormat audioFormat = new AudioFormat(SAMPLE_RATE, 16, CHANNEL_NUM, true, false);        // 获取数据线所需的参数        DataLine.Info dataLineInfo = new DataLine.Info(TargetDataLine.class, audioFormat);        // 从音频捕捉设施获得其数据的数据线，之后的音频数据就从该数据线中获取        line = (TargetDataLine)AudioSystem.getLine(dataLineInfo);        line.open(audioFormat);        // 数据线与音频数据的IO建立联系        line.start();        // 每次获得的原始数据大小        final int audioBufferSize = SAMPLE_RATE * CHANNEL_NUM;        // 初始化数组，用于暂存原始音频采样数据        audioBytes = new byte[audioBufferSize];        // 创立一个定时工作，工作的内容是定时做音频采样，再把采样数据交给帧录制器解决        sampleTask = new ScheduledThreadPoolExecutor(1);    }    /**     * 程序完结前，开释音频相干的资源     */    public void releaseOutputResource() {        // 完结的标记，防止采样的代码在whlie循环中不退出        isFinish = true;        // 完结定时工作        sampleTask.shutdown();        // 进行数据线        line.stop();        // 敞开数据线        line.close();    }    /**     * 启动定时工作，每秒执行一次，采集音频数据给帧录制器     * @param frameRate     */    public void startSample(double frameRate) {        // 启动定时工作，每秒执行一次，采集音频数据给帧录制器        sampleTask.scheduleAtFixedRate((Runnable) new Runnable() {            @Override            public void run() {                try                {                    int nBytesRead = 0;                    while (nBytesRead == 0 && !isFinish) {                        // 音频数据是从数据线中获得的                        nBytesRead = line.read(audioBytes, 0, line.available());                    }                    // 如果nBytesRead<1，示意isFinish标记被设置true，此时该完结了                    if (nBytesRead<1) {                        return;                    }                    // 采样数据是16比特，也就是2字节，对应的数据类型就是short，                    // 所以筹备一个short数组来承受原始的byte数组数据                    // short是2字节，所以数组长度就是byte数组长度的二分之一                    int nSamplesRead = nBytesRead / 2;                    short[] samples = new short[nSamplesRead];                    // 两个byte放入一个short中的时候，谁在前谁在后？这里用LITTLE_ENDIAN指定访问程序，                    ByteBuffer.wrap(audioBytes).order(ByteOrder.LITTLE_ENDIAN).asShortBuffer().get(samples);                    // 将short数组转为ShortBuffer对象，因为帧录制器的入参须要该类型                    ShortBuffer sBuff = ShortBuffer.wrap(samples, 0, nSamplesRead);                    // 音频帧交给帧录制器输入                    recorder.recordSamples(SAMPLE_RATE, CHANNEL_NUM, sBuff);                }                catch (FrameRecorder.Exception e) {                    e.printStackTrace();                }            }        }, 0, 1000 / (long)frameRate, TimeUnit.MILLISECONDS);    }}

上述代码中，有两处要留神：

重点关注recorder.recordSamples，该办法将音频存入了mp4文件
定时工作是在一个新线程中执行的，因而当主线程完结录制后，须要中断定时工作中的while循环，因而新增了volatile类型的变量isFinish，帮忙定时工作中的代码判断是否立刻完结while循环

革新本来只存视频的代码

接着是对《JavaCV的摄像头实战之三：保留为mp4文件》一文中RecordCameraSaveMp4.java的革新，为了不影响之前章节在github上的代码，这里我新增了一个类RecordCameraSaveMp4WithAudio.java，内容与RecordCameraSaveMp4.java截然不同，接下来咱们来革新这个RecordCameraSaveMp4WithAudio类
先减少AudioService类型的成员变量：

    // 音频服务类    private AudioService audioService = new AudioService();

接下来是要害，initOutput办法负责帧录制器的初始化，当初要加上音频相干的初始化操作，并且还要启动定时工作去采集和解决音频，如下所示，AudioService的三个办法都在此调用了，留神定时工作的启动要放在帧录制器初始化之后：

    @Override    protected void initOutput() throws Exception {        // 实例化FFmpegFrameRecorder        recorder = new FFmpegFrameRecorder(RECORD_FILE_PATH,        // 寄存文件的地位                                           getCameraImageWidth(),   // 分辨率的宽，与视频源统一                                           getCameraImageHeight(),  // 分辨率的高，与视频源统一                                            0);                      // 音频通道，0示意无        // 文件格式        recorder.setFormat("mp4");        // 帧率与抓取器统一        recorder.setFrameRate(getFrameRate());        // 编码格局        recorder.setPixelFormat(AV_PIX_FMT_YUV420P);        // 编码器类型        recorder.setVideoCodec(avcodec.AV_CODEC_ID_MPEG4);        // 视频品质，0示意无损        recorder.setVideoQuality(0);        // 设置帧录制器的音频相干参数        audioService.setRecorderParams(recorder);        // 音频采样相干的初始化操作        audioService.initSampleService();        // 初始化        recorder.start();        // 启动定时工作，采集音频帧给帧录制器        audioService.startSample(getFrameRate());

output办法保留原样，只解决视频帧（音频解决在定时工作中）

    @Override    protected void output(Frame frame) throws Exception {        // 存盘        recorder.record(frame);    }

开释资源的办法中，减少了音频资源开释的操作：

    @Override    protected void releaseOutputResource() throws Exception {        // 执行音频服务的资源开释操作        audioService.releaseOutputResource();        // 敞开帧录制器        recorder.close();    }

至此，将摄像头视频和麦克风音频存为mp4文件的性能已开发实现，再写上main办法，留神参数30示意抓取和录制的操作执行30秒，留神，这是程序执行的时长，不是录制视频的时长：

    public static void main(String[] args) {        // 录制30秒视频        new RecordCameraSaveMp4WithAudio().action(30);    }

运行main办法，等到控制台输入下图红框的内容时，示意视频录制实现：

关上mp4文件所在目录，如下图，红框中就是刚刚生成的文件和相干信息，留神蓝框的内容，证实该文件蕴含了视频和音频的数据：

用VLC播放验证，后果视频和声音都失常
至此，咱们已实现了保留音视频文件的性能，得益于JavaCV的弱小，整个过程是如此的轻松愉快，接下来请持续关注欣宸原创，《JavaCV的摄像头实战》系列还会出现更多丰盛的利用；

源码下载

《JavaCV的摄像头实战》的残缺源码可在GitHub下载到，地址和链接信息如下表所示(https://github.com/zq2599/blo...)：

名称	链接	备注
我的项目主页	https://github.com/zq2599/blo...	该我的项目在GitHub上的主页
git仓库地址(https)	https://github.com/zq2599/blo...	该我的项目源码的仓库地址，https协定
git仓库地址(ssh)	git@github.com:zq2599/blog_demos.git	该我的项目源码的仓库地址，ssh协定

这个git我的项目中有多个文件夹，本篇的源码在javacv-tutorials文件夹下，如下图红框所示：

javacv-tutorials外面有多个子工程，《JavaCV的摄像头实战》系列的代码在simple-grab-push工程下：

你不孤独，欣宸原创一路相伴

搜寻「程序员欣宸」，我是欣宸，期待与您一起畅游Java世界...
https://github.com/zq2599/blog_demos