共计 6712 个字符,预计需要花费 17 分钟才能阅读完成。
音视频采集
在整个音视频解决的过程中,位于发送端的音视频采集工作无疑是整个音视频链路的开始。在 Android 或者 IOS 上都有相干的硬件设施——Camera 和麦克风作为输出源。本章咱们来剖析如何在 Android 上通过 Camera 以及录音设施采集数据。本章可联合之前公布的文章 Android 音视频 – MediaCodec 编解码音视频做一个残缺的 Demo。
Camera
在 Android 上的图片 / 视频采集设施无疑就是 Camera 了,在 Android SDK API21 之前的版本只能应用 Camera1,在 API 21 之后 Camera1 曾经被标记为 Deprecated ,Google 举荐应用 Camera2, 上面咱们来别离看一下。
Camera1
咱们先来看一下 Camera1 体系的局部类图。
Camera 类是 Camera1 体系的外围类,该类还有好多外部类,如上图:
Camera.CameraInfo 类表白 Camera 的前后 (facing) 和旋转 (orientation) 等 Camera 相干的信息。
Camera.Parameters 类是 Camera 相干的参数设置比方设置预览 Size 以及设置旋转角度等。
Camera 类领有关上 Camera、设置参数、设置预览等 API,上面咱们来看应用 Camera API 关上零碎照相机的流程。
1. 在开启 Camera 之前先开释 Camera,这一步的目标是重置 Camera 的状态重置 Camera 的 previewCallback 为 null。
调用 Camera 的 release 开释
把 Camera 对象设置为 null
/**
* 开释 Camera
*/
private fun releaseCamera() {
// 重置 previewCallback 为空
cameraInstance!!.setPreviewCallback(null)
cameraInstance!!.release()
cameraInstance = null
}
2. 获取 Camera 的 Id
/**
* 获取 Camera Id
*/
private fun getCurrentCameraId(): Int {val cameraInfo = Camera.CameraInfo()
// 遍历所有的 Camera id, 比拟 CameraInfo facing
for (id in 0 until Camera.getNumberOfCameras()) {Camera.getCameraInfo(id, cameraInfo)
if (cameraInfo.facing == cameraFacing) {return id}
}
return 0
}
3. 关上 Camera 获取 Camera 对象
/**
* 获取 Camera 实例
*/
private fun getCameraInstance(id: Int): Camera {
return try {
// 调用 Camera 的 open 函数获取 Camera 的实例
Camera.open(id)
} catch (e: Exception) {throw IllegalAccessError("Camera not found")
}
}
4. 设置 Camera 的相干参数
//[3]设置参数
val parameters = cameraInstance!!.parameters
if (parameters.supportedFocusModes.contains(Camera.Parameters.FOCUS_MODE_CONTINUOUS_PICTURE)) {parameters.focusMode = Camera.Parameters.FOCUS_MODE_CONTINUOUS_PICTURE}
cameraInstance!!.parameters = parameters
5. 设置 previewDisplay
//【4】调用 Camera API 设置预览 Surface
surfaceHolder?.let {cameraInstance!!.setPreviewDisplay(it) }
6. 设置预览回调
//【5】调用 Camera API 设置预览回调
cameraInstance!!.setPreviewCallback { data, camera ->
if (data == null || camera == null) {return@setPreviewCallback}
val size = camera.parameters.previewSize
onPreviewFrame?.invoke(data, size.width, size.height)
}
7. 开启预览
//【6】调用 Camera API 开启预览
cameraInstance!!.startPreview()
下面代码中的【3】【4】【5】【6】都是调用 Camera 类的 API 来实现,
通过下面的流程之后,Camera 的预览会显示在传入的 Surface 上,并且在 Camera 进行前会始终回调函数onPreviewFrame(byte[] data,Camera camera)
,其中 byte[] data 中存储的就是实时的 YUV 图像数据。byte[] data 的格局是 YUV 格局中的 NV21
YUV 图像格式
色调空间
这里咱们只讲罕用到的两种色调空间。
RGBRGB 的色彩模式应该是咱们最相熟的一种,在当初的电子设备中利用宽泛。通过 R G B 三种根底色,能够混合出所有的色彩。
YUV 这里着重讲一下 YUV,这种色调空间并不是咱们相熟的。这是一种亮度与色度拆散的色调格局。
晚期的电视都是黑白的,即只有亮度值,即 Y。有了彩色电视当前,退出了 UV 两种色度,造成当初的 YUV,也叫 YCbCr。
Y:亮度,就是灰度值。除了示意亮度信号外,还含有较多的绿色通道量。
U:蓝色通道与亮度的差值。
V:红色通道与亮度的差值。
采纳 YUV 有什么劣势呢?
人眼对亮度敏感,对色度不敏感,因而缩小局部 UV 的数据量,人眼却无奈感知进去,这样能够通过压缩 UV 的分辨率,在不影响观感的前提下,减小视频的体积。
RGB 和 YUV 的换算
Y = 0.299R + 0.587G + 0.114B
U = -0.147R - 0.289G + 0.436B
V = 0.615R - 0.515G - 0.100B
——————————————————
R = Y + 1.14V
G = Y - 0.39U - 0.58V
B = Y + 2.03U
YUV 格局
YUV 存储形式分为两大类:planar 和 packed。
-
planar:先存储所有 Y,紧接着存储所有 U,最初是 V;
-
packed:每个像素点的 Y、U、V 间断穿插存储。
pakced 存储形式曾经非常少用,大部分视频都是采纳 planar 存储形式。
对于 planar 存储形式,通过省略一些色度信息,即亮度共用一些色度信息,进而节俭存储空间。因而,planar 又辨别了以下几种格局:YUV444、YUV422、YUV420。
YUV 4:4:4 采样,每一个 Y 对应一组 UV 重量。
YUV 4:2:2 采样,每两个 Y 共用一组 UV 重量。
YUV 4:2:0 采样,每四个 Y 共用一组 UV 重量。
其中,最罕用的就是 YUV420。
YUV420 格局存储形式又分两种类型
- YUV420P:三立体存储。数据组成为 YYYYYYYYUUVV(如 I420)或 YYYYYYYYVVUU(如 YV12)。
- YUV420SP:两立体存储。分为两种类型 YYYYYYYYUVUV(如 NV12)或 YYYYYYYYVUVU(如 NV21)
Camera2
在 Andorid SDK API 21 之后呢,Google 就举荐应用 Camera2 体系来治理设施,Camera2 还是与 Camera1 有很大的不同的。一样的,咱们先来看一下 Camera2 体系的局部类图
Camera2 要比 Camera1 简单的多,CameraManager CameraCaptureSession 是 Camera2 体系的外围类,CameraManager 用来治理摄像头的关上和敞开 Camera2 引入了 CameraCaptureSession 来治理拍摄会话。
咱们上面来看一下更具体的流程图。
1. 在开启 Camera 之前先开释 Camera, 这一步的目标是重置 Camera 的状态。
private fun releaseCamera() {imageReader?.close()
cameraInstance?.close()
captureSession?.close()
imageReader = null
cameraInstance = null
captureSession = null
}
2. 获取 Camera 的 Id
/**
*【1】获取 Camera Id
*/
private fun getCameraId(facing: Int): String? {
return cameraManager.cameraIdList.find { id ->
cameraManager.getCameraCharacteristics(id).get(CameraCharacteristics.LENS_FACING) == facing
}
}
3. 关上 Camera
try {//【2】关上 Camera,传入的 CameraDeviceCallback()是摄像机设施状态回调
cameraManager.openCamera(cameraId, CameraDeviceCallback(), null)
} catch (e: CameraAccessException) {Log.e(TAG, "Opening camera (ID: $cameraId) failed.")
}
// 设施状态回调
private inner class CameraDeviceCallback : CameraDevice.StateCallback() {override fun onOpened(camera: CameraDevice) {
cameraInstance = camera
//【3】开启拍摄会话
startCaptureSession()}
override fun onDisconnected(camera: CameraDevice) {camera.close()
cameraInstance = null
}
override fun onError(camera: CameraDevice, error: Int) {camera.close()
cameraInstance = null
}
}
4. 开启拍摄会话
//【3】开启拍摄会话
private fun startCaptureSession() {val size = chooseOptimalSize()
// 创立 ImageRender 并设置回调
imageReader =
ImageReader.newInstance(size.width, size.height, ImageFormat.YUV_420_888, 2).apply {
setOnImageAvailableListener({ reader ->
val image = reader?.acquireNextImage() ?: return@setOnImageAvailableListener
onPreviewFrame?.invoke(image.generateNV21Data(), image.width, image.height)
image.close()}, null)
}
try {if (surfaceHolder == null) {
// 设置 ImageRender 的 surface 给 cameraInstance,以便前面预览的时候数据出现到 ImageRender 的 surface,从而触发 ImageRender 的回调
cameraInstance?.createCaptureSession(listOf(imageReader!!.surface),
//【4】CaptureStateCallback 是 CameraCaptureSession 的外部类,是摄像机会话状态的回调
CaptureStateCallback(),
null
)
} else {
cameraInstance?.createCaptureSession(
listOf(imageReader!!.surface,
surfaceHolder!!.surface),
CaptureStateCallback(),
null
)
}
} catch (e: CameraAccessException) {Log.e(TAG, "Failed to start camera session")
}
}
// 摄像机会话状态的回调
private inner class CaptureStateCallback : CameraCaptureSession.StateCallback() {override fun onConfigureFailed(session: CameraCaptureSession) {Log.e(TAG, "Failed to configure capture session.")
}
// 摄像机配置实现
override fun onConfigured(session: CameraCaptureSession) {
cameraInstance ?: return
captureSession = session
// 设置预览 CaptureRequest.Builder
val builder = cameraInstance!!.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW)
builder.addTarget(imageReader!!.surface)
surfaceHolder?.let {builder.addTarget(it.surface)
}
try {
// 开启会话
session.setRepeatingRequest(builder.build(), null, null)
} catch (e: CameraAccessException) {Log.e(TAG, "Failed to start camera preview because it couldn't access camera", e)
} catch (e: IllegalStateException) {Log.e(TAG, "Failed to start camera preview.", e)
}
}
}
PS
ImageRender 能够间接拜访出现在 Surface 上得图像数据,ImageRender 的工作原理是创立实例并设置回调,这个回调会在 ImageRender 所关联的 Surface 上的图像可用时调用
咱们剖析了下面的 Camera 采集数据,残缺的代码请看文末的 Github 地址。
AudioRecord
下面剖析完了视频,咱们接着来看音频,录音 API 咱们应用 AudioRecord,录音的流程绝对于视频而言要简略许多,一样的,咱们先来看一下简略类图。
就一个类,API 也简单明了,咱们来看一下流程。
上面上代码
public void startRecord() {
// 开启录音
mAudioRecord.startRecording();
mIsRecording = true;
// 开启新线程轮询
ExecutorService executorService = Executors.newSingleThreadExecutor();
executorService.execute(new Runnable() {
@Override
public void run() {byte[] buffer = new byte[DEFAULT_BUFFER_SIZE_IN_BYTES];
while (mIsRecording) {int len = mAudioRecord.read(buffer, 0, DEFAULT_BUFFER_SIZE_IN_BYTES);
if (len > 0) {byte[] data = new byte[len];
System.arraycopy(buffer, 0, data, 0, len);
// 解决 data
}
}
}
});
}
public void stopRecord() {
mIsRecording = false;
mAACMediaCodecEncoder.stopEncoder();
mAudioRecord.stop();}
AudioRecord 生成的 byte[] data 即 PCM 音频数据。
小结
本章咱们对音视频的原生输出 API 进行了具体的介绍,这个也是咱们前面博客的根底,有了 YUV 和 PCM 数据之后,就能够编码了,下一篇咱们再来剖析 MediaCodec,用 MediaCodec 对原生音视频数据进行硬编码生成 Mp4。