NDK Mediacodec

发布于 2019-09-26 作者 风铃 108次 浏览 版块 前端


Mediacodec



Android从API 16开始提供java层的MediaCodec视频硬解码接口;从API 21,也就是Android 5.0开始提供native层的MediaCodec的接口。



详细描述可参见官方文档:https://developer.android.com/reference/android/media/MediaCodec.html



NDK中附带的例子使用MediaExtractor解析视频文件数据,其中隐藏了很多细节。下面以h264编码的mp4文件为例,简单介绍一下在native层使用MediaCodec对视频进行硬解码的使用方式。



MediaCodec的接口定义在头文件media/NdkMediaCodec.h中,各个接口参数的含义不再赘述,仅列出过程和需要注意的细节。


1.创建解码器



    const char* mine = "video/avc";

AMediaCodec* mMediaCodec = AMediaCodec_createDecoderByType(mine);


2.配置解码器


    AMediaFormat* videoFormat = AMediaFormat_new();

AMediaFormat_setString(videoFormat, "mime", "video/avc");

AMediaFormat_setInt32(videoFormat, AMEDIAFORMAT_KEY_WIDTH, width); // 视频宽度

AMediaFormat_setInt32(videoFormat, AMEDIAFORMAT_KEY_HEIGHT, height); // 视频高度

AMediaFormat_setBuffer(videoFormat, "csd-0", sps, spsSize); // sps

AMediaFormat_setBuffer(videoFormat, "csd-1", pps, ppsSize); // pps


注:我们的视频文件是用ffmpeg解析的。widht和height可以从ffmpeg中读取。sps和pps在ffmpeg对应的视频流AVStream->codec->extradata中。


3.向解码器设置数据


    ssize_t bufidx = AMediaCodec_dequeueInputBuffer(mMediaCodec, 2000);

if (bufidx >= 0) {

// 获取buffer的索引

uint8_t* inputBuf = AMediaCodec_getInputBuffer(mMediaCodec, bufidx, &outsize);

if (inputBuf != nullptr && bufSize <= outsize) {

// 将待解码的数据copy到硬件中

memcpy(inputBuf, bufData, bufSize);

media_status_t status = AMediaCodec_queueInputBuffer(mMediaCodec, bufidx, 0, bufSize, pts, 0);

}


从ffmpeg里面读取的解码前的每帧数据的前四个字节表示该帧数据的大小,而MediaCode要求的数据必须以x00x00x00x01开头。将前四个字节直接用x00x00x00x01替换即可。从ffmpeg里面读取的第一帧数据可能对应多个h264帧,后几个h264帧的头部也要修改,否则前几帧图像显示不正确。



  1. 以轮询方式读取解码后的数据,解码后的数据格式在mColorFormat中,本例得到的是NV12格式


    AMediaCodecBufferInfo info;

ssize_t outbufidx = AMediaCodec_dequeueOutputBuffer(mMediaCodec, &info, 2000);

if (outbufidx >= 0) {

size_t outsize;

uint8_t* outputBuf = AMediaCodec_getOutputBuffer(mMediaCodec, outbufidx, &outsize);

if (outputBuf != nullptr) {

pts = info.presentationTimeUs;

int32_t pts32 = (int32_t) pts;

uint8_t* dst = buffer;

memcpy(dst, outputBuf, MIN(mOriFrameSize, mFrameSize));


uint8_t * uvBuf = outputBuf + mFrameSize;
uint32_t uvSize = MIN(mOriFrameSize >> 1, mFrameSize >> 1);
uint8_t *uBuf = dst + mOriFrameSize;
uint8_t *vBuf = uBuf + (mOriFrameSize >> 2);
memcpy(uBuf, uvBuf, uvSize);
AMediaCodec_releaseOutputBuffer(mMediaCodec, outbufidx, info.size != 0);
return GOT_OUT_PUT;
}
}
else {
switch (outbufidx) {
case AMEDIACODEC_INFO_OUTPUT_FORMAT_CHANGED:
// 解码输出的格式发生变化
{
auto format = AMediaCodec_getOutputFormat(mMediaCodec);
AMediaFormat_getInt32(format, "width", &mWidth);
AMediaFormat_getInt32(format, "height", &mHeight);
int32_t localColorFMT;
AMediaFormat_getInt32(format, AMEDIAFORMAT_KEY_COLOR_FORMAT, &localColorFMT);
mColorFormat = getTTFormatFromMC(localColorFMT);
int32_t stride = 0;
AMediaFormat_getInt32(format, "stride", &stride);
if(stride == 0) {
stride = mWidth;
}
mLineSize[0] = stride;
mFrameSize = stride * mHeight;
mOriFrameSize = stride * mOriHeight;
return OUTPUT_FORMAT_CHANGED;
}
case AMEDIACODEC_INFO_OUTPUT_BUFFERS_CHANGED:
break;
default:
break;
}
}




作者:梧桐光影
链接:https://www.jianshu.com/p/1bdae1c6d3b7
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

收藏
暂无回复