利用ffmpeg和opencv进行视频的解码播放Word文档格式.docx
- 文档编号:21983470
- 上传时间:2023-02-02
- 格式:DOCX
- 页数:16
- 大小:19.48KB
利用ffmpeg和opencv进行视频的解码播放Word文档格式.docx
《利用ffmpeg和opencv进行视频的解码播放Word文档格式.docx》由会员分享,可在线阅读,更多相关《利用ffmpeg和opencv进行视频的解码播放Word文档格式.docx(16页珍藏版)》请在冰豆网上搜索。
的声明,所以在cpp文件里调用ffmpeg函数要注意了。
一般来说,一个用C写成的库如果想被C/C++同时可以使用,那在头文件应该加上
#ifdef__cplusplus
extern"
{
#endif
}//endofextern"
如果在.cpp里调用av_register_all()在链接时将找到不符号,因为.cpp要求的符号名
和ffmpeg库提供的符号名不一致。
可以这么解决:
{
#include<
libavutil/avutil.h>
libavcodec/avcodec.h>
#include<
libavformat/avformat.h>
}
使用ffmpegSDK解码流数据过程以H264视频流为例,讲解解码流数据的步骤。
准备变量
定义AVCodec,AVCodec*变量为解码器指针。
定义AVCodecContext,使用该变量可以将其定义为ffmpeg解码类的类成员。
定义AVFrame,AVFrame描述一个多媒体帧。
解码后的数据将被放在其中。
定义AVFormatContext变量,AVFormatContext用于保存视频流的有效信息。
AVCodec*pCodec;
AVCodecContext*pCodecCtx;
AVFrame*pAvFrame;
AVFormatContext*pFormatCtx;
初始化解码器
第一件事情就是初始化libavformat/libavcodec:
ffmpeg注册复用器,编码器等的函数av_register_all()。
av_register_all();
这一步注册库中含有的所有可用的文件格式和编码器,这样当打开一个文件时,它们才能够自动选择相应的文件格式和编码器。
要注意你只需调用一次av_register_all(),所以,尽可能的在你的初始代码中使用它。
这里注册了所有的文件格式和编解码器的库,所以它们将被自劢的使用在被打开的合适格式的文件上。
注意你只需要调用av_register_all()一次,因此我们在主函数main()中
来调用它。
如果你喜欢,也可以只注册特定的格式和编解码器,但是通常你没有必要这样做。
打开视频文件,取出包含在文件中的流信息//打开视频文件
if(av_open_input_file(&
pFormatCtx,filename,NULL,0,NULL)!
=0)
handle_error();
//不能打开此文件
这个函数读取文件的头部并且把信息保存到我们给的AVFormatContext结构体中。
最后三个参数描述了文件格式,缓冲区大小,size,和格式参数;
我们通过简单地指明NULL戒0告诉libavformat去自劢探测文件格式并且使用默认的缓冲区大小。
//取出流信息
if(av_find_stream_info(pFormatCtx)<
0)
//不能够找到流信息
查找文件的流信息,avformat_open_input函数只是检测了文件的头部,接着要检查在文件中的流的信息。
这一步会用有效的信息把AVFormatContext的流域,streamsfield,填满。
作为一个可调试的诊断,我们会将这些信息全盘输出到标准错误输出中,不过你在一个应用程序的产品中并不用这么做。
我们仅仅处理视频流,而不是音频流。
为了让这件事情更容易理解,我们只简单使用我们发现的第一种视频流。
//遍历文件的各个流,找到第一个视频流,并记录该流的编码信息videoindex=-1;
for(i=0;
i<
pFormatCtx->
nb_streams;
i++){
if(pFormatCtx->
streams[i]->
codec->
codec_type==AVMEDIA_TYPE_
VIDEO)
videoindex=i;
break;
}
if(videoindex==-1)
printf("
Didn'
tfindavideostream.\n"
);
return;
pCodecCtx=pFormatCtx->
streams[videoindex]->
codec;
我们已经得到了一个指向视频流的称之为上下文的指针。
接下来,我们需要找到真正的编码器打开它。
寻找视频流的解码器
在库里面查找支持该格式的解码器
pCodec=avcodec_find_decoder(pCodecCtx->
codec_id);
if(pCodec==NULL)
//找不到解码器
打开解码器
if(avcodec_open(pCodecCtx,pCodec)<
给视频帧分配空间,以便存储解码后的图片数据
pAvFrame=avcodec_alloc_frame();
解码视频帧就像我前面提到过的,视频文件包含数个音频和视频流,并且他们各个独自被分开存储在固定大小的包里。
我们要做的就是使用libavformat依次读
取这些包,过滤掉所有那些视频流中我们不感兴趣的部分,并把它们交给
libavcodec进行解码处理。
进行解码
通过该api读入一帧
result=av_read_frame(pFormatCtx,packet);
通过下面的api进行解码一帧数据,将有效的图像数据存储到pAvFrame成员变量中
ret=avcodec_decode_video2(pCodecCtx,pAvFrame,&
got_picture,
packet);
下面是ffmpeg解码的API:
将YUV420p颜色编码转换成BGR颜色编码首先得到图片转换上下文img_convert_ctx,这里注意的是,opencv的RGB编码顺序为BGR,所以选用AV_PIX_FMT_BGR24的编码方式。
//根据编码信息设置渲染格式
if(img_convert_ctx==NULL){
img_convert_ctx=sws_getContext(pCodecCtx->
widt
h,pCodecCtx->
height,
pCodecCtx->
pix_fmt,pCodecCtx->
width,pCodec
Ctx->
AV_PIX_FMT_BGR24,SWS_BICUBIC,NULL,NULL,NU
LL);
再得到为BGR格式帧分配内存
AVFrame*pFrameRGB=NULL;
uint8_t*out_bufferRGB=NULL;
pFrameRGB=avcodec_alloc_frame();
//给pFrameRGB帧加上分配的内存;
intsize=avpicture_get_size(AV_PIX_FMT_BGR24,pCodecCtx->
height);
out_bufferRGB=newuint8_t[size];
avpicture_fill((AVPicture*)pFrameRGB,out_bufferRGB,AV_PIX_FM
T_BGR24,pCodecCtx->
width,pCodecCtx->
最后进行转换
sws_scale(img_convert_ctx,pFrame->
data,pFrame->
linesize,0,p
CodecCtx->
height,pFrameRGB->
data,pFrameRGB->
linesize);
OpenCVMat数据复制
cv:
:
Mat对象中有data指针,指向内存中存放矩阵数据的一块内存(uchar*data)。
所以,要将ffmpeg解码之后得到的RGB色彩的帧数据复制给该指针,这样就实现了ffmpeg解码数据到opencv中Mat格式的转换,进而就可以对Mat对象进行相应的处理。
代码示例
ffmpegDecode.h文件
#ifndef__FFMPEG_DECODE_H__
#define__FFMPEG_DECODE_H__
opencv2/core/core.hpp>
extern"
#include"
libavcodec/avcodec.h"
#include"
libavformat/avformat.h"
//图像转换结构需要引入的头文件
libswscale/swscale.h"
};
#pragmacomment(lib,"
avcodec.lib"
)
avformat.lib"
)#pragmacomment(lib,"
avutil.lib"
avdevice.lib"
avfilter.lib"
postproc.lib"
swresample.lib"
swscale.lib"
classffmpegDecode
public:
ffmpegDecode(char*file=NULL);
~ffmpegDecode();
MatgetDecodedFrame();
MatgetLastFrame();
intreadOneFrame();
intgetFrameInterval();
private:
AVFrame*pAvFrame;
AVCodecContext*pCodecCtx;
AVCodec*pCodec;
inti;
intvideoindex;
char*filepath;
intret,got_picture;
SwsContext*img_convert_ctx;
inty_size;
AVPacket*packet;
Mat*pCvMat;
voidinit();
voidopenDecode();
voidprepare();
voidget(AVCodecContext*pCodecCtx,SwsContext*img_convert
_ctx,AVFrame*pFrame);
};
ffmpegDecode.cpp文件
ffmpegDecode.h"
ffmpegDecode:
~ffmpegDecode(){
pCvMat->
release();
//释放本次读取的帧内存
av_free_packet(packet);
avcodec_close(pCodecCtx);
avformat_close_input(&
pFormatCtx);
ffmpegDecode(char*file)
pAvFrame=NULL/**pFrameRGB=NULL*/;
pFormatCtx=NULL;
pCodecCtx=NULL;
pCodec=NULL;
pCvMat=newcv:
Mat();
i=0;
videoindex=0;
ret=0;
got_picture=0;
img_convert_ctx=NULL;
y_size=0;
packet=NULL;
if(NULL==file)
filepath="
opencv.h264"
;
else
filepath=file;
init();
openDecode();
prepare();
voidffmpegDecode:
init()
//ffmpeg注册复用器,编码器等的函数av_register_all()。
//该函数在所有基于ffmpeg的应用程序中几乎都是第一个被调用的。
只有调用了该函数,才能使用复用器,编码器等。
//这里注册了所有的文件格式和编解码器的库,所以它们将被自动的使用在被打开的合适格式的文件上。
注意你只需要调用av_register_all()一次,因此我们在主函数main()中来调用它。
如果你喜欢,也可以只注册特定的格式和编解码器,但是通常你没有必要这样做。
//pFormatCtx=avformat_alloc_context();
//打开视频文件,通过参数filepath来获得文件名。
//最后2个参数用来指定特殊的文件格式,缓冲大小和格式参数,但如果把它们设置为空NULL或者0,libavformat将自动检测这些参数。
if(avformat_open_input(&
pFormatCtx,filepath,NULL,NULL)!
无法打开文件\n"
//查找文件的流信息,avformat_open_input函数只是检测了文件的头部,接着要检查在文件中的流的信息
Couldn'
tfindstreaminformation.\n"
openDecode(){
//遍历文件的各个流,找到第一个视频流,并记录该流的编码信息
videoindex=-1;
i++)
codec_type==AVMEDIA_T
YPE_VIDEO)
//在库里面查找支持该格式的解码器
pCodec=avcodec_find_decoder(pCodecCtx->
if(pCodec==NULL)
Codecnotfound.\n"
//打开解码器
if(avcodec_open2(pCodecCtx,pCodec,NULL)<
0)
Couldnotopencodec.\n"
prepare()
//分配一个帧指针,指向解码后的原始帧
pAvFrame=avcodec_alloc_frame();
y_size=pCodecCtx->
width*pCodecCtx->
height;
//分配帧内存
packet=(AVPacket*)av_malloc(sizeof(AVPacket));
av_new_packet(packet,y_size);
//输出一下信息-----------------------------
文件信息-----------------------------------------\n"
av_dump_format(pFormatCtx,0,filepath,0);
//av_dump_format只是个调试函数,输出文件的音、视频流的基本信息了,
帧率、分辨率、音频采样等等
-------------------------------------------------\n
"
intffmpegDecode:
readOneFrame()
intresult=0;
returnresult;
MatffmpegDecode:
getDecodedFrame(){
if(packet->
stream_index==videoindex)
//解码一个帧
got_pi
cture,packet);
if(ret<
解码错误\n"
returncv:
if(got_picture)
//----------------------opencv
if(pCvMat->
empty())
create(cv:
Size(pCodecCtx->
height),CV_8UC3);
if(img_convert_ctx!
=NULL)
get(pCodecCtx,img_convert_ctx,pAvFrame);
return*pCvMat;
getLastFrame()
got_picture,packet);
height,pCodecCtx->
height,PIX_FMT_RGB24,SWS_BICUBIC,NULL,NULL,NULL);
get(pCodecCtx,img_convert_ctx,pAvFrame);
get(AVCodecContext*pCodecCtx,SwsContext*img_convert_ctx,AVFrame*pFrame)
intsize=avpicture_get_size(AV_PIX_FMT_BGR24,pCod
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 利用 ffmpeg opencv 进行 视频 解码 播放