关于音频:Android11多应用录音

63次阅读

共计 7150 个字符，预计需要花费 18 分钟才能阅读完成。

Android 的共享输出

安卓官网文档有提到该性能,

共享音频输出:

https://developer.android.goo…

也就是在 Android10 的时候就反对共享音频输出了，也就是多利用能够共用录音。

介绍文字一大堆，把人搞晕了，不过其中提到:

在大多数状况下，如果新利用获取音频输出，则之前的捕捉利用将持续运行，但会受到静默解决。在某些状况下，零碎能够持续向这两个利用传送音频

从这句话来看，所谓的静默解决更多的是出于隐衷平安的思考，多利用是能够同时收到失常的音频的。

咱们晓得录音各个利用可能采样率 (48K,16K…)，格局(16bit,24bit,32bit…), 通道数(1ch,2ch…) 等都不一样，要想共享，是否须要各利用的参数保持一致？

或者能够不一样，像播放一样不同的参数的利用在 AudioFlinger 里有重采样？带着这个问题，咱们能够钻研下是咋实现的(从实践上来说，必定是得 AF 重采样的，要是各参数统一就太弱鸡了，显示不出安卓的实力)。

能够先看下这篇文档：
Android Q 共享音频输出：
https://blog.csdn.net/u013490…

总之，

  1. 当初多利用同时录音不会报错，会持续，只是因为隐衷策略，有的利用会拿到静音数据, 可通过AudioPolicyService::updateUidStates_l() 定制你的策略;
  2. 利用可通过 AudioManager.AudioRecordingCallback()回调取得属性更改，是否静音，设施，源等更改信息。

接下来咱们看下 AF RecordThread::threadLoop()对数据转换的解决。

注：录音个别是 RecordThread 也有 flags 有 AUDIO_INPUT_FLAG_MMAP_NOIRQ 用 MmapCaptureThread 的状况，咱们以 RecordThread 为例

AF 里录音解决流程

录音的 threadLoop()和播放的都是很长的一个函数，大体的构造差不多，次要为:

  • 处理事件
  • 非 Active Track 的解决
  • 音效链解决
  • 从 HAL 读数据
  • 数据转换
// frameworks/av/services/audioflinger/Threads.cpp
AudioFlinger::RecordThread::threadLoop()
| // 处理事件
+ processConfigEvents_l();
| // 依据 active pause 等状态，是否要移除
+ mActiveTracks.remove(activeTrack); 
| // 音效链解决 咦，咋不是读数据后处理？+ effectChains[i]->process_l();
| // 从 HAL 读数据到 mRsmpInBuffer 里
+ mSource->read(|      (uint8_t*)mRsmpInBuffer + rear * mFrameSize, mBufferSize, &bytesRead);
|
+ for (size_t i = 0; i < size; i++) {+    activeTrack = activeTracks[i];
+    activeTrack->getNextBuffer(&activeTrack->mSink);
+    activeTrack->mResamplerBufferProvider->sync(&framesIn, &hasOverrun);
|    // 如果有 flag AUDIO_INPUT_FLAG_DIRECT，将数据拷到 mSink.raw
+    if (activeTrack->isDirect()) {|      activeTrack->mResamplerBufferProvider->getNextBuffer(&buffer);
|      memcpy(activeTrack->mSink.raw, buffer.raw, buffer.frameCount * mFrameSize);
|      activeTrack->mResamplerBufferProvider->releaseBuffer(&buffer);
+    } else {
|      // 如果须要转换，将 mResamplerBufferProvider 的数据处理后给到 mSink.raw
+      activeTrack->mRecordBufferConverter->convert(
|        activeTrack->mSink.raw,
|        activeTrack->mResamplerBufferProvider,
|        framesOut);
+    }

对于数据转换，如果是 direct 就间接把数据给到 activeTrack->mSink.raw 了，否则就要转换下。
这里 activeTrack 又是 mResamplerBufferProvider，又是mRecordBufferConverter 的很容易让人晕，
简略说从字面上看就晓得 Provider 就是数据的提供着，Converter 就将提供者的数据按要求进行转换的。

在看 convert()函数之前，咱们还是看下 Converter 的创立。

Converter 的创立

// frameworks/av/services/audioflinger/Tracks.cpp
AudioFlinger::RecordThread::RecordTrack::RecordTrack()
+ if (!isDirect())
|   // 创立 Converter
+   mRecordBufferConverter = new RecordBufferConverter(
|        thread->mChannelMask, thread->mFormat, thread->mSampleRate,
|        channelMask, format, sampleRate);
|
+ mServerProxy = new AudioRecordServerProxy(mCblk, mBuffer, frameCount,
|    mFrameSize, !isExternalTrack());
|
| // Buffer Provider
+ mResamplerBufferProvider = new ResamplerBufferProvider(this);

Converter 最次要的就是创立 Resampler，他会依据品质不同创立不同的 Resampler，比方 linear 的，cubic 的，sic 的或者 dynamic 等类型，

默认的会创立动静中等品质的 Resampler，当然厂商也能够在这实现本人的。

// frameworks/av/media/libaudioprocessing/RecordBufferConverter.cpp
RecordBufferConverter::RecordBufferConverter()
+ updateParameters()
  | // 如果采样率不一样，创立 Resampler
  + if (mSrcSampleRate != mDstSampleRate) {
  +   mResampler = AudioResampler::create(AUDIO_FORMAT_PCM_FLOAT,
  |                mSrcChannelCount, mDstSampleRate);

// 依据不同品质创立 AudioResampler
// frameworks/av/media/libaudioprocessing/AudioResampler.cpp
AudioResampler* AudioResampler::create(...) {...
    // 默认的创立动静中等品质的
    if (quality == DEFAULT_QUALITY) {quality = DYN_MED_QUALITY;}
    ...
    switch (quality) {
    default:
    case LOW_QUALITY:
        ALOGV("Create linear Resampler");...
        resampler = new AudioResamplerOrder1(inChannelCount, sampleRate);
        break;
    case MED_QUALITY:
        ALOGV("Create cubic Resampler");...
        resampler = new AudioResamplerCubic(inChannelCount, sampleRate);
        break;
    case HIGH_QUALITY:
        ALOGV("Create HIGH_QUALITY sinc Resampler");...
        resampler = new AudioResamplerSinc(inChannelCount, sampleRate);
        break;
    case VERY_HIGH_QUALITY:
        ALOGV("Create VERY_HIGH_QUALITY sinc Resampler = %d", quality);...
        resampler = new AudioResamplerSinc(inChannelCount, sampleRate, quality);
        break;
    case DYN_LOW_QUALITY:
    case DYN_MED_QUALITY:
    case DYN_HIGH_QUALITY:
        ALOGV("Create dynamic Resampler = %d", quality);
        if (format == AUDIO_FORMAT_PCM_FLOAT) {
            resampler = new AudioResamplerDyn<float, float, float>(inChannelCount,
                    sampleRate, quality);
        } else {LOG_ALWAYS_FATAL_IF(format != AUDIO_FORMAT_PCM_16_BIT);
            if (quality == DYN_HIGH_QUALITY) {
                resampler = new AudioResamplerDyn<int32_t, int16_t, int32_t>(inChannelCount,
                        sampleRate, quality);
            } else {
                resampler = new AudioResamplerDyn<int16_t, int16_t, int32_t>(inChannelCount,
                        sampleRate, quality);
            }
        }

数据转换

回过头来看下 convert()函数，也即 RecordBufferConverter::convert()，
分为不须要重采样的状况和须要重采样的状况。

AudioFlinger::RecordThread::threadLoop()
+ activeTrack->mRecordBufferConverter->convert()
| // frameworks/av/media/libaudioprocessing/RecordBufferConverter.cpp
| // RecordBufferConverter::convert()
| // 不须要重采样状况
+ if (mResampler == NULL) {+   provider->getNextBuffer(&buffer);
|   // format convert to destination buffer
+   convertNoResampler(dst, buffer.raw, buffer.frameCount); // --> 见下
|
+ } else {+   frames = mResampler->resample((int32_t*)mBuf, frames, provider); // 重采
|   // format convert to destination buffer
+   convertResampler(dst, mBuf, frames); // --> 见下
+ }

不须要重采样

对于不须要重采样，也就是采样率雷同状况，就只须要依据 channel 和 format(8bit, 16bit…)进行转换，
先进行的是 ch 的转换，
对 2ch->1ch 这种状况，会两声道相加再 x0.5，也就是 2 声道取均匀组成新的 1ch
对于 1ch->2ch 的，赋值给左右声道就行，也就是这两声道的值都一样的。

RecordBufferConverter::convertNoResampler()
| // do we need to do legacy upmix and downmix?
+ if (mIsLegacyUpmix || mIsLegacyDownmix) { // 当初还是用的老式办法
|   if (mIsLegacyUpmix) {
|     // 上混，1ch -> 2ch，间接赋值
+     upmix_to_stereo_float_from_mono_float()
+     | // /primitives.c
|     + dst[0] = temp;
|     + dst[1] = temp;
|   } else /*mIsLegacyDownmix */ {
|     // 下混, 2ch->1ch，取均匀
+     downmix_to_mono_float_from_stereo_float()
|     + *dst++ = (src[0] + src[1]) * 0.5
|   }
|
+   memcpy_by_audio_format() // format 转换
|   return;
+ }
| // 新的办法按 index 转换 channel
+ if (mSrcChannelMask != mDstChannelMask) {...
|   memcpy_by_index_array(dstBuf, mDstChannelCount,
|                 src, mSrcChannelCount, mIdxAry, audio_bytes_per_sample(mSrcFormat), frames);
|
|  // format 转换
+  memcpy_by_audio_format()

之后进行格局转换，其实也就是借助 uint8_t, int16_t, int32_t 进行一些解决，有趣味的能够认真的钻研下，特地是 24bit 的互相转换。

这里只贴下指标格局为 16bit 的代码。

// system/media/audio_utils/format.c
void memcpy_by_audio_format(void *dst, audio_format_t dst_format,
        const void *src, audio_format_t src_format, size_t count)
{...
    switch (dst_format) {
    case AUDIO_FORMAT_PCM_16_BIT:
        switch (src_format) {
        case AUDIO_FORMAT_PCM_FLOAT:
            memcpy_to_i16_from_float((int16_t*)dst, (float*)src, count);
            return;
        case AUDIO_FORMAT_PCM_8_BIT:
            memcpy_to_i16_from_u8((int16_t*)dst, (uint8_t*)src, count);
            return;
        case AUDIO_FORMAT_PCM_24_BIT_PACKED:
            memcpy_to_i16_from_p24((int16_t*)dst, (uint8_t*)src, count);
            return;
        case AUDIO_FORMAT_PCM_32_BIT:
            memcpy_to_i16_from_i32((int16_t*)dst, (int32_t*)src, count);
            return;
        case AUDIO_FORMAT_PCM_8_24_BIT:
            memcpy_to_i16_from_q8_23((int16_t*)dst, (int32_t*)src, count);
            return;
        default:
            break;
        }

须要重采样

须要重采样会先进行mResampler->resample()，这个就是后面提到的依据品质创立的不同的 Resampler，如同还是挺简单的，一时半会儿也看不明确，当前有机会再说。

而后就进行 convertResampler() 转换了，须要留神的是对于上混这种状况 resampler 会做解决，该函数就不再解决了，用到的函数和不须要重采的差不多，就不再过多的讲了。

RecordBufferConverter::convertResampler()
+ if (mIsLegacyUpmix) {
+    ; // mono to stereo already handled by resampler
| } else if (mIsLegacyDownmix
|           || (mSrcChannelMask == mDstChannelMask && mSrcChannelCount == 1)) {+    downmix_to_mono_float_from_stereo_float((...);
| } else if (mSrcChannelMask != mDstChannelMask) { // ch mask 不一样的状况
+    if (mSrcChannelCount == 1)
+       downmix_to_mono_float_from_stereo_float(...);
|
|    // 和不须要重采的有点小区别，先进行格局转换
|    // convert to destination format (in place, OK as float is larger than other types)
|    if (mDstFormat != AUDIO_FORMAT_PCM_FLOAT)
+        memcpy_by_audio_format() // 格局转换
|        // channel convert and save to dst
|        memcpy_by_index_array() // 依据 index 拷贝
|        return;
| }
| // ch 雷同只须要格局转换就行
+ memcpy_by_audio_format()

正文完
音频
发表至： 音频
2022-11-02
 0
关于音频:你真的懂语音特征吗
关于音频:RTC-科普视频丨聊聊空间音频的原理与其背后的声学原理
关于音频:AliIAC-智能音频编解码器在有限带宽条件下带来更高质量的音频通话体验
关于音频:麒麟操作系统-kylinos-从入门到精通-办公环境-第三十六篇-音频视频格式转换压缩