后端视频智能分析功能实现方案Word格式文档下载.docx
- 文档编号:17228778
- 上传时间:2022-11-29
- 格式:DOCX
- 页数:11
- 大小:117.36KB
后端视频智能分析功能实现方案Word格式文档下载.docx
《后端视频智能分析功能实现方案Word格式文档下载.docx》由会员分享,可在线阅读,更多相关《后端视频智能分析功能实现方案Word格式文档下载.docx(11页珍藏版)》请在冰豆网上搜索。
MESSAGEsip:
420100000325701229@10.10.4.161:
5060SIP/2.0
Via:
SIP/2.0/UDP10.10.5.11:
5060;
rport;
branch=z9hG4bK921473260
From:
<
sip:
cms@10.10.5.11:
5060>
;
tag=849763891
To:
Call-ID:
2064933922cms10310353115060cms10310353115060
CSeq:
393273MESSAGE
Contact:
User-Agent:
SIP.NET1.0evaluationversion
Max-Forwards:
70
Content-Type:
application/global_eye_v10+xml
Content-Length:
407
<
?
xmlversion="
1.0"
encoding="
UTF-8"
?
>
MessageVersion="
IE_HEADERMessageType="
MSG_GET_PU_IMAGE_ENCODE_PARA_REQ"
SequenceNumber="
0"
SessionID="
"
SourceID="
420100105000002541"
DestinationID="
420100000325701229"
/>
IE_IMAGE_ENCODE_PARAVideoId="
1"
EncodeMode="
PicQuality="
BitRate="
BitRateType="
FrameRate="
ImageSize="
StreamType="
IFrameInterval="
ChannelMode="
/Message>
响应:
SIP/2.0200OK
Allow:
INVITE,ACK,OPTIONS,CANCEL,BYE,SUBSCRIBE,NOTIFY,MESSAGE,INFO,REFER,UPDATE
628
MessageVerison="
MSG_GET_PU_IMAGE_ENCODE_PARA_RESP"
IE_RESULTValue="
ErrorCode="
ErrorPhrase="
PU_SUCCESS"
6"
3072"
25"
8"
100"
2"
128"
12"
3、实现方案
智能分析模块与平台整合有两种方式:
1、智能分析模块实现SIP协议、RTP/RTCP协议,与平台之间通过协议方式交互;
2、智能分析模块提供SDK,平台开发代理模块,完成嘉崎SDK与SIP协议的转换。
本项目计划要在1月10日完成,考虑到时间进度,我们建议采用SDK方式接入。
虹信和嘉崎都向对方提供相应SDK。
3.1基本流程
3.1.1从前端编码器获取视频
智能分析模块调用SDK(平台为智能分析模块提供获取视频SDK),从平台获取视频流并解码得到YUV数据。
3.1.2平台开始分析任务
1、客户端在界面上设置规则,通过SIP消息发给中心管理单元,然后透传给代理单元;
2、代理单元将SIP消息转换为嘉崎SDK,调用SDK向智能分析模块下发规则;
3、规则设置成功后,客户端请求开始分析任务;
4、代理单元同样将开始分析任务转换为嘉崎SDK后下发给智能分析模块;
5、智能分析模块根据3.1.1的方法获取视频进行分析。
3.1.3告警结果上报
1、智能分析模块对视频进行分析,将分析结果(告警信息)和图片通过SDK(嘉崎为虹信提供)回调函数告知代理单元;
2、代理单元将告警信息转换后转发给中心管理单元;
3、代理单元将图片信息转换后转发给图片管理单元;
4、客户端从中心管理单元上查看相关告警信息。
3.1.4请求实时分析视频
平台向智能分析模块请求视频,视频信息中包含规则信息和实时分析信息。
1、客户端请求实时分析视频,代理单元调用SDK(嘉崎提供)下发请求给智能分析模块(接口中包含媒体分发单元的IP和端口);
2、智能分析模块将视频打包成标准RTP数据包后发送给媒体分发单元,媒体分发单元将数据分发给客户端。
3.2虹信为嘉崎提供的接口
3.2.1SDK初始化
SDK初始化HxAgent_Initial
函数原型
intHxAgent_Initial()
函数功能
SDK初始化
参数
无
返回值
0:
成功;
其它值:
失败;
3.2.2SDK销毁
SDK销毁HxAgent_Destory
intHxAgent_Destory()
SDK销毁
3.2.3设置媒体处理回调函数
设置媒体处理回调函数HxAgent_Setmediacallback
voidHxAgent_Setmediacallback(HxAgent_mediacallbackproc);
设置媒体处理回调函数
HxAgent_mediacallback:
媒体回调函数
说明:
回调函数原型为:
typedefint(*HxAgent_mediacallback)(longSinkID,char*pBuf,longnSize,FRAME_INFO*pMediadata,longreserved);
//reserved为userdata
其中,
SinkID:
为请求视频(HxAgent_StartVideo)时返回的值;
pBuf:
媒体数据;
nSize:
媒体数据长度;
pMediadata:
媒体信息,如视频的宽、高、YUV格式(目前只支持YUV420),帧率等。
在使用中应注意,媒体回调函数不能被阻塞,上层应用得到YUV数据后,应尽快拷贝到其它位置进行后续处理。
成功
3.2.4用户登录
登录函数HxAgent_Login
intHxAgent_Login(char*username,char*password,char*serverip,UINTport,char*ResouceID);
登录到视频监控平台
username:
登录的用户名
password:
用户密码
serverip:
服务器的ip地址
serverport:
服务器端口号
ResouceID:
暂时不用
注:
此处的函数返回值只表明函数调用成功,并不代表是否真正登录成功到平台,登录的结果要在事件回调函数中进行处理。
3.2.5用户登出
用户登出HxAgent_LogOut
intHxAgent_LogOut();
用户登出
3.2.6请求视频
请求视频HxAgent_StartVideo
longHxAgent_StartVideo(char*puid,intchannelno,intmediatype,inttransType,longcalluserdata,intplayWnd);
请求指定的视频播放
puid:
设备id号;
channelno:
设备通道号;
mediatype:
视频:
HXAGENT_VIDEO音频:
HXAGENT_AUDIO
transType:
HXAGENT_TRANS_UDP、HXAGENT_TRANS_TCP
playWnd:
视频播放窗口句柄
=0:
成功,该返回值为请求视频的句柄,用于停止视频或媒体回调中进行关联;
3.2.7停止视频
停止视频HxAgent_StopVideo
intHxAgent_StopVideo(longSinkID);
停止视频
调用HxAgent_StartVideo返回的视频句柄
媒体数据回调处理函数
int(*HxAgent_mediacallback)(longSinkID,char*pBuf,longnSize,FRAME_INFO*pMediadata,longreserved);
含义
解码一帧YUV数据的回调处理函数
参数说明
媒体信息,如视频的宽、高、YUV格式,帧率等。
structFRAME_INFO
{
enum{AUDIO16=1,RGB32=2,YV12=3,UYVY=4,YUV420=5};
longnWidth;
//画面宽,单位为像素,如果是音频数据则为0
longnHeight;
//画面高,单位为像素,如果是音频数据则为0
longnStamp;
//时标信息
longnType;
//数据类型,见上表:
RGB32YUV420
longnFrameRate;
//编码时产生的图像帧率
};
在使用中应注意,媒体回调函数不能被阻塞,应用得到YUV数据后,应尽快拷贝到其它位置进行后续处理。
3.3嘉崎为虹信提供的接口
以下暂以功能来划分接口
3.3.1SDK初始化
3.3.2SDK销毁
3.3.3登陆智能分析模块
平台会检测智能分析模块是否在线。
3.3.4断开与智能分析模块连接
3.3.5下发分析规则
平台下发规则给智能分析模块,对于不同的算法所包含的规则不同。
3.3.6开始视频分析任务
接口中包含平台服务器IP、端口、用户名、密码、设备标识、通道号
3.3.7停止视频分析
3.3.8设置事件回调函数
平台需要接收分析结果的告警消息和告警图片,而且告警消息和告警图片通过ID来标识。
告警消息包含:
事件类型、发生的时间点等信息;
告警图片:
JPG格式或其它?
采用什么方式传输?
3.3.9请求实时分析视频
平台需要从智能分析模块获取实时视频,其中包含了规则信息和实时分析信息,接口中会包含媒体转发服务器的IP、端口和传输方式(TCP或UDP),智能分析模块将媒体数据打包成标准的RTP数据后发向指定的媒体转发服务器的IP和端口。
3.3.10断开实时分析视频
3.3.11解码插件和视频叠加功能
客户端收到智能分析模块的实时视频后,调用解码插件和视频叠加功能,将规则信息和实时分析视频展现给用户。
此外,如何在客户端上绘制规则,如框图、划线等方法,嘉崎能否提供其它更有效的方法实现。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 后端 视频 智能 分析 功能 实现 方案