关于c++:SkeyeRTMPClient拉取RTMP流扩展支持HEVCH265解决方案

不久前咱们曾经在 RTMP 推送端扩大反对了 HEVC(H.265 后文统称 H265) 编码格局，然而，因为 RTMP 官网指定的协定格局曾经不再更新，官网的播放器的 Flash 播放器并不反对 H265 格局的编码数据进行解码播放；当初，咱们须要在播放器端解析 RTMP 流时对 H265 编码格局进行扩大反对。

首先，咱们能够通过扩大 ffmpeg，让其反对拉 H265 封装的 RTMP 流进行解码播放，咱们能够通过金山云对 FFmepg 的扩大反对 H265 来解决。

而后，咱们通过批改 SkeyeRTMPClient 的代码实现对 H265 的反对，因为咱们曾经实现了推送端的扩大反对，所以，播放端反对则绝对比较简单；不过仍然有几个方面咱们须要留神；上面将对整个扩大流程进行介绍。

1. 扩大编码 ID

和推送端一样，须要先扩大反对 H265 的编码 ID，咱们定义为 12，如下代码所示：

enum FlvVideoCodecId
{
    e_FlvVideoCodecId_None     = 0,
    e_FlvVideoCodecId_Jpeg     = 1,
    e_FlvVideoCodecId_H263     = 2,
    e_FlvVideoCodecId_Screen   = 3,
    e_FlvVideoCodecId_Vp6      = 4,
    e_FlvVideoCodecId_Vp6Alpha = 5,
    e_FlvVideoCodecId_ScreenV2 = 6,
    e_FlvVideoCodecId_Avc      = 7,
    // RTMP 扩大反对 HEVC(H.265) 
    e_FlvVideoCodecId_Hevc      = 12, 

};


enum FlvCodeId
{
    FlvCodeId_Jpeg = 1,
    FlvCodeId_Sorenson = 2,
    FlvCodeId_ScreenVideo = 3,
    FlvCodeId_On2Vp6 = 4,
    FlvCodeId_On2Vp6Alpha = 5,
    FlvCodeId_ScreenVideoV2 = 6,
    FlvCodeId_AVC = 7,
    // RTMP 扩大反对 HEVC(H.265)
    FlvCodeId_Hevc      = 12,
};

2. 扩大 H265 特有头部数据结构 VPS

因为 H264 只有 SPS 和 PPS，所以在兼容 H265 的时候，咱们须要定义其特有的头 VPS:

    char    vps_buf_[MAX_VPS_LEN];//256
    int        vps_len_;    

3. MetaData 解析扩大反对 H265

在推送端，咱们扩大 H265 发送的 MetaData 构造定义如下：

typedef struct HVCCNALUnitArray {
    uint8_t  array_completeness;
    uint8_t  NAL_unit_type;
    uint16_t numNalus;
    uint16_t *nalUnitLength;
    uint8_t  **nalUnit;
} HVCCNALUnitArray;

typedef struct HEVCDecoderConfigurationRecord {
    uint8_t  configurationVersion;
    uint8_t  general_profile_space;
    uint8_t  general_tier_flag;
    uint8_t  general_profile_idc;
    uint32_t general_profile_compatibility_flags;
    uint64_t general_constraint_indicator_flags;
    uint8_t  general_level_idc;
    uint16_t min_spatial_segmentation_idc;
    uint8_t  parallelismType;
    uint8_t  chromaFormat;
    uint8_t  bitDepthLumaMinus8;
    uint8_t  bitDepthChromaMinus8;
    uint16_t avgFrameRate;
    uint8_t  constantFrameRate;
    uint8_t  numTemporalLayers;
    uint8_t  temporalIdNested;
    uint8_t  lengthSizeMinusOne;
    uint8_t  numOfArrays;
    HVCCNALUnitArray *array;
} HEVCDecoderConfigurationRecord;

当初咱们须要从 MetaData 外面讲 VPS，SPS 和 PPS 解析进去，首先，判断视频编码格局：

    parser_VideoTag *video_tag = (parser_VideoTag*)(buf+parser_offset);
    FlvCodeId video_code_id = (FlvCodeId)(video_tag->code_id&0x0f);
    if (video_code_id == FlvCodeId_Hevc)
    {av_frame.u32AVFrameFlag = SKEYE_SDK_VIDEO_CODEC_H265;// HEVC;} 
    else
    {av_frame.u32AVFrameFlag = SKEYE_SDK_VIDEO_CODEC_H264;// 默认 h264, 其余类型是否须要判断?!;}

而后，判断视频帧格局为 H265 后，咱们从 MetaData 中获取 VPS,SPS 和 PPS，如下代码所示：

         char *parser_config = buf;
        Parser_HEVCDecoderConfigurationRecord *decoder_header = (Parser_HEVCDecoderConfigurationRecord*)((char*)parser_config);
        parser_offset += sizeof(Parser_HEVCDecoderConfigurationRecord);
        int nNumOfArrays = decoder_header->numOfArrays;
        for (int i=0; i<nNumOfArrays; i++)
        {Parser_HVCCNALUnitArray* pNALUnit = (Parser_HVCCNALUnitArray*)((char *)parser_config+parser_offset);
            parser_offset += sizeof(Parser_HVCCNALUnitArray);
            int numNalus = ntohs(*(unsigned short *)((char *)parser_config + parser_offset));  
            parser_offset += 2;
            for (int nI=0; nI<numNalus; nI++)
            {
                //     uint16_t *nalUnitLength;
                //     uint8_t  **nalUnit;
                ps_len = *pNALUnit[i]->nalUnitLength;
                if (pNALUnit[nI]->NAL_unit_type == 0x20)
                {
                    // 获取 VPS
                    memcpy(vps_buf_, *pNALUnit[i]->nalUnit, ps_len);
                    vps_len_ = ps_len;
                } 
                else if (pNALUnit[nI]->NAL_unit_type == 0x021)
                {
                    // 获取 SPS
                    memcpy(sps_buf_,*pNALUnit[i]->nalUnit, ps_len);
                    sps_len_ = ps_len;
                }
                else if (pNALUnit[nI]->NAL_unit_type == 0x22)
                {
                    // 获取 PPS
                    memcpy(pps_buf_,*pNALUnit[i]->nalUnit, ps_len);
                    pps_len_ = ps_len;
                }    
                parser_offset += ps_len;
            }
        }
        // 从 H265 的 SPS 头部构造中获得视频长宽
        rtmpclient_h265_decode_sps((unsigned char *)sps_buf_, sps_len_, width_, height_);    

4. 视频数据帧 Nalu 解析扩大反对 H265

首先，判断如果是 H265 视频帧，则须要解析视频帧是否携带 VPS：

        if(av_frame.u32AVFrameFlag == SKEYE_SDK_VIDEO_CODEC_H265)
        {nalu_type = (buf[parse_offset] >> 1) & 0x3F;
            if(nalu_type == e_H265_NAL_UNIT_VPS)
            {memcpy(vps_buf_,buf + parse_offset,nalu_len);
                vps_len_ = nalu_len;
                parse_offset += nalu_len;
                continue;
            }
        }else{nalu_type = buf[parse_offset]&0x1F;
        }

而后，对于 SPS 和 PPS，以及 Idr 帧、P 帧的 nalu 数据单元的解析，该局部解析和 H264 解析办法统一，就不做过多赘述。

上面咱们通过 SkeyeScreenLive 来推 H265 编码格局的 RTMP 流到 SkeyeSMS，通过 skeyplayer（ffmpeg 拉流）和 skeyeexpeedplayer(SkeyeRTMPClient 拉流) 播放，如下图所示：

咱们发现通过网页播放咱们推送的基于 H265 编码的 RTMP 是播放不了的，而通过 SkeyePlayer 则胜利播放了进去，阐明咱们通过 SkeyeRTMPClient 拉取 RTMP 流扩大反对 H265 的计划曾经完满解决。