关于openharmony:如何通过OpenHarmony的音频模块实现录音变速功能

126次阅读

共计 6183 个字符，预计需要花费 16 分钟才能阅读完成。

简介

OpenAtom OpenHarmony（以下简称“OpenHarmony”）是由凋谢原子开源基金会孵化及经营的开源我的项目，是面向全场景、全连贯、全智能时代的智能物联网操作系统。
多媒体子系统是 OpenHarmony 零碎中的外围子系统，为零碎提供了相机、音频和视频等多媒体性能。多媒体子系统的音频模块、音频录音性能能够提供两套接口，一是由 ohos.multimedia.media 提供的 AudioRecorder 接口，可能间接设置录音保留的文件门路，在录制完结当前主动生成对应的录音文件，代码编写比较简单；二是由 ohos.multimedia.audio 提供的 AudioCapturer 接口，可能取得录音过程中的 PCM 数据，并对数据进行解决。因为 Capturer 接口对于原始数据的解决更加灵便，明天就和大家介绍通过 Capturer 接口实现录音变速的性能的办法。

成果展现

通过 Capturer 接口实现音频的录制，在录制过程中对 PCM 数据进行重采样实现声音的快放和慢放。
首先设置录音减速或者录音加速，设置实现当前点击“录音开始”按钮进行录音，点击“录音完结”按钮进行录音，再通过点击“播放开始”对录音的音频进行播放，播放的音频是设置后的减速或者加速成果。
代码曾经上传至 SIG 仓库，链接如下：
https://gitee.com/openharmony…

目录构造

调用流程

1.Start 的框架层调用流程

  1. Read 的框架层调用流程

    源码剖析

    1. 首先看一下页面的布局，次要分为四个模块：
    （1）设置录音减速 

<div style="text-color: aqua;background-color: yellow;margin-bottom: 20fp;">
    <text style="font-size: 30fp;"> 设置录音减速：</text>
</div>

<div class="container">
    <button class="first" type="capsule" onclick="set_5_4">1.25 倍速 </button>
    <button class="first" type="capsule" onclick="set_6_4">1.5 倍速 </button>
</div>

<div class="container">
    <button class="first" type="capsule" onclick="set_7_4">1.75 倍速 </button>
    <button class="first" type="capsule" onclick="set_8_4">2 倍速 </button>
</div>

（2）设置录音加速 

<div style="text-color: aqua;background-color: yellow;margin-bottom: 20fp;margin-top: 20fp;">
    <text style="font-size: 30fp;"> 设置录音加速：</text>
</div>

<div class="container">
    <button class="first" type="capsule" onclick="set_3_4">0.75 倍速 </button>
    <button class="first" type="capsule" onclick="set_2_4">0.5 倍速 </button>
</div>

（3）录音 

<div style="text-color: aqua;background-color: yellow;margin-bottom: 20fp;margin-top: 20fp;">
    <text style="font-size: 30fp;"> 录音：</text>
</div>

<div class="container">
    <button class="first" type="capsule" onclick="record"> 录音开始 </button>
    <button class="first" type="capsule" onclick="recordstop"> 录音完结 </button>
</div>

（4）播放 

<div style="text-color: aqua;background-color: yellow;margin-bottom: 20fp;margin-top: 20fp;">
    <text style="font-size: 30fp;"> 播放：</text>
</div>

<div class="container">
    <button class="first" type="capsule" onclick="play"> 播放开始 </button>
    <button class="first" type="capsule" onclick="playstop"> 播放完结 </button>
</div>

<div class="container">
    <video if="{{display}}" id="{{videoId}}"
           class="video"
           src="{{url}}"
           autoplay="{{autoplay}}"
           controls="{{controlShow}}"
           muted="false"
           onseeked="seeked"
           onprepared="prepared"
            >
    </video>
</div>

2. 逻辑代码在 JS 中：
（1）首先通过 AudioCapturer 接口获取到 PCM 数据，再通过调用 AudioCapturer 的 start 接口来启动录音流程。

globalThis.capturer.start().then(function () {console.log("gyf start");
    globalThis.capturer.getBufferSize((err, bufferSize) => {if (err) {console.error('gyf getBufferSize error');
        } else {console.log("gyf bufferSize =" + bufferSize);
            globalThis.getBuf(bufferSize);
        }
    });
});

（2）启动胜利当前，getBuf 会调用到 getData 函数，getData 函数通过 AudioCapturer 的 read 办法来读取数据，胜利读取到数据当前，通过 handleBuffer 函数对数据进行解决。handleBuffer 函数的参数 arrayBuffer 就是通过 read 办法读取进去的 pcm 数据，在 handleBuffer 中对数据进行了疾速播放或者慢速播放的解决。

// 循环调用 read，进行数据的读取
handleBuffer(arrayBuffer) {console.log("gyf handleBuffer");

    let result = new Uint8Array(arrayBuffer);
    console.log("gyf handleBuffer ==================" + result);

    let outData = this.test(result, up, down);

    fileio.writeSync(globalThis.fd, outData.buffer);

    globalThis.capturer.read(globalThis.bufSize, true).then(this.handleBuffer);
},

getData(bufSize) {console.log("gyf getData");
    globalThis.capturer.read(bufSize, true).then(this.handleBuffer);
},

getBuf(bufSize) {console.log("gyf getBuf");
    this.getData(bufSize);
},

（3）疾速播放或者慢速播放是通过 up 和 down 两个办法的组合来实现的，down 办法的原理是对 PCM 数据进行插值解决，在相邻两点间插入 down 个采样点，up 办法的原理是距离抽取，距离 up 个点进行抽取采样。

up(data, up) {if (1 == up) {return data;}
    let length = data.byteLength;
    let upLength = Math.round(length / up);
    var upData = new Uint8Array(upLength);
    for (var i = 0, j = 0; i < length;) {if (j >= upLength) {break;}
        upData[j] = data[i];
        i += up;
        j++;
    }
    return upData;
},

down(data, down) {if (1 == down) {return data;}

    let length = data.byteLength;
    let downLength = Math.round(length * down);
    var downData = new Uint8Array(downLength);
    for (var i = 0, j = 0; i < length - 1;) {for (var k = 0; k < down; k++) {downData[j] = data[i];
            j++;
        }
        i++;
    }
    return downData;
},

（4）将 down 和 up 的办法组合调用，来实现 1.25 倍、1.5 倍、1.75 倍、2 倍、0.75 倍、0.5 倍的速度播放。

test(data, up, down) {let downData = this.down(data, down);
    let upData = this.up(downData, up);
    return upData;
},

（5）播放 wav 格局的音频文件，采集获取 PCM 数据，须要咱们依据设置的参数对 pcm 数据进行增加 wav 的头部信息，通过创立 AudioCapturer 实例的时候设置采集音频的参数，如采样率、通道数、采样格局等。

// 音频采集初始化
var audioStreamInfo = {
    samplingRate: audio.AudioSamplingRate.SAMPLE_RATE_8000,
    channels: audio.AudioChannel.CHANNEL_1,
    sampleFormat: audio.AudioSampleFormat.SAMPLE_FORMAT_U8,
    encodingType: audio.AudioEncodingType.ENCODING_TYPE_RAW
}

var audioCapturerInfo = {
    source: audio.SourceType.SOURCE_TYPE_MIC,
    capturerFlags: 1
}

var audioCapturerOptions = {
    streamInfo: audioStreamInfo,
    capturerInfo: audioCapturerInfo
}
let that = this;

audio.createAudioCapturer(audioCapturerOptions,(err, data) => {if (err) {console.error(`gyf AudioCapturer Created : Error: ${err.message}`);
    }
    else {console.info('gyf AudioCapturer Created : Success : SUCCESS');
        that.capturer = data;
    }
});

（6）依据这些参数设置的信息须要对 wav 文件写入文件头，头信息个别蕴含 44 个字节，外面须要设置三个 chunk 的信息（RIFF chunk、fmt chunk、data chunk），具体的信息能够查看官网的介绍 WAV 文件格式介绍：
（http://www-mmsp.ece.mcgill.ca…）

// 假如数据为 1000 秒钟的工夫（8000 * 1000）encodeWAV() {
    var dataLen = 8000000;
    var sampleRate = 8000;
    var sampleBits = 8;
    var buffer = new ArrayBuffer(44);
    var data = new DataView(buffer);

    var channelCount = 1;   // 单声道
    var offset = 0;

    // 资源交换文件标识符
    this.writeString(data, offset, 'RIFF'); offset += 4;
    // 下个地址开始到文件尾总字节数, 即文件大小 -8
    data.setUint32(offset, 36 + dataLen, true); offset += 4;
    // WAV 文件标记
    this.writeString(data, offset, 'WAVE'); offset += 4;
    // 波形格局标记
    this.writeString(data, offset, 'fmt'); offset += 4;
    // 过滤字节, 个别为 0x10 = 16
    data.setUint32(offset, 16, true); offset += 4;
    // 格局类别 (PCM 模式采样数据)
    data.setUint16(offset, 1, true); offset += 2;
    // 通道数
    data.setUint16(offset, channelCount, true); offset += 2;
    // 采样率, 每秒样本数, 示意每个通道的播放速度
    data.setUint32(offset, sampleRate, true); offset += 4;
    // 波形数据传输率 (每秒均匀字节数) 单声道×每秒数据位数×每样本数据位 /8
    data.setUint32(offset, channelCount * sampleRate * (sampleBits / 8), true); offset += 4;
    // 快数据调整数 采样一次占用字节数 单声道×每样本的数据位数 /8
    data.setUint16(offset, channelCount * (sampleBits / 8), true); offset += 2;
    // 每样本数据位数
    data.setUint16(offset, sampleBits, true); offset += 2;
    // 数据标识符
    this.writeString(data, offset, 'data'); offset += 4;
    // 采样数据总数, 即数据总大小 -44
    data.setUint32(offset, dataLen, true); offset += 4;

    return data;
},

总结

本文介绍了通过应用 OpenHarmony 音频模块的 AudioCapturer 接口实现录音性能。AudioCapturer 接口对于原始数据的解决非常灵活，可能对采集的数据进行插值 / 抽值的重采样解决，并将解决后的音频解决保留至本地文件。因为本地文件应用的是 WAV 格局，故在写数据前须要对 WAV 文件进行头部信息的增加，这些信息能够依据创立 AudioCapturer 时设置的参数来进行设置，以此保障头部信息的准确性，最初再通过应用层的 video 组件对音频数据进行播放。
心愿这篇文章能为开发者提供一些新的思路，从而进行其余场景的拓展，例如将获取到采集的数据通过这种形式实现语音辨认、语音转写等性能，在实际开发的过程中为 OpenHarmony 生态的倒退奉献一份力量。

正文完
openharmony
发表至： openharmony
2022-08-25
 0
关于openharmony:OpenHarmony应用开发之自定义弹窗
关于openharmony:OpenHarmony-32-Beta-Audio音频渲染
关于openharmony:如何在OpenHarmony上使用SeetaFace2人脸识别库
关于openharmony:OpenHarmony-32-Beta多媒体系列音视频播放gstreamer