人群分析系统立项报告图文.docx
- 文档编号:29021862
- 上传时间:2023-07-20
- 格式:DOCX
- 页数:21
- 大小:6MB
人群分析系统立项报告图文.docx
《人群分析系统立项报告图文.docx》由会员分享,可在线阅读,更多相关《人群分析系统立项报告图文.docx(21页珍藏版)》请在冰豆网上搜索。
人群分析系统立项报告图文
人群分析系统立项报告
2015年11月
1.背景
随着我国经济的发展和人口的增长,大城市交通状况日趋恶化,各大城市将城市轨道交通作为城市基础设施建设领域的投资重点,但轨道交通在飞速发展的同时,由于人流密集、人员复杂、空间相对封闭等因素,成为了盗窃、恐怖袭击等违法犯罪行为的高发场所。
如何保障乘客的安全出行成为了轨道交通运营和安全管理部门工作的重中之重。
同时在现代城市中完善的生活和强大的交通运输能力,在公共场所形成大规模的聚集状况,随之而来的人群聚集风险也愈发突出,已成为政府和社会关注的城市公共安全首要问题。
而且随着轨道交通最近几年的快速发展,在各大城市中,轨道交通承担的人员运输量也越来越大,例如在北京、上海等发达城市的上下班高峰时段,轨道交通主要线路都处于人员密度非常大、拥挤度非常高的情况,公共安全隐患也越来越高。
目前人群密度过高主要体现在两个方面:
一是人群过度密集可能直接引发拥挤踩踏事件,二是人群过度密集造成公共场所火灾、爆炸、中毒等风险的二次放大,导致更大的人员伤亡和社会影响。
我司的人群分析系统主要功能是:
分析即时人群密度,累计人群驻留时间,分析个体运动轨迹,群体运动方向。
通过以上分析可以为相关管理人员提供实时的数据,为预防和解决问题的发生提供技术手段支持。
2.技术背景
2.1.为什么采用视频分析
为什么要采用视频来进行人群分析?
主要有以下原因:
●直观
●获取方便
●视频监控资源多,可复用性高
●技术可实现(参见下面介绍的深度学习技术)
●性能已基本接近实用
2.2.什么是深度学习技术
深度学习是机器学习研究中的一个新的领域,其概念源于人工神经网络的研究。
深度学习提出的动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像,声音和文本。
包含多隐层的神经网络就是一种深度学习结构。
深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表示。
通俗地讲,深度学习没有像传统机器学习那样自己框定边界,而是直接把海量数据投放到算法中,让数据自己说话,系统会自动从数据中学习。
在训练的时候从来不会告诉机器说:
‘这是一个人。
’系统其实是在通过大量的学习后是自己发明或者领悟了“人”的概念。
目前深度学习技术在声音、图像、文本等机器学习研究领域已经取得巨大的突破。
在针对视频的人群分析技术领域,我司将深度学习技术用于其中,也已经取得了突破性的进展。
借助于深度学习本身的特性,新的技术还可以对某个场景进行自学习,从而朝着真正的场景理解前景。
3.总体设计
3.1.系统总体架构
本系统由数据接入层、深度学习层、核心算法层、应用算法层、展现层组成:
图1系统总体架构图
●数据接入层:
系统可接入外部的实时视频流或不含私有协议的视频文件。
●深度学习层:
包含两部分:
离线学习部分和在线分析部分。
其中离线学习主要是通过深度学习框架对大量数据进行学习,同时也支持增量学习。
学习得到的模型库将用于在线分析。
在线分析会将最底层的分析结果输送给核心算法层。
这里的模型库包括人体模型、人群模型、单个场景相关的参数模型、事件模型、群体运动模型等。
●核心算法层:
包含用于人群分析技术的所有核心算法模块,包括人群检测、人群分割、目标跟踪、群体行为分析、数据挖掘与预测等。
这些核心算法模块是实现各种应用的基础。
●应用算法层:
针对人群分析应用,例如统计人群流量,跟踪人群运动轨迹,计算人流运动速度与方向,计算即时人群密度,统计人群驻留的累计时间,分析人群活动的异常状态等,将核心算法分析结果转换为用户需要的、用户能理解的结果。
●展现层:
直接面向用户的数据展现,包括报警查看、状态展示、热力图、轨迹分析、趋势预测等。
3.2.系统流程说明
本系统支持实时视频流接入或视频文件的的接入,工作流程如下:
图2实时视频处理基本流程
在外部数据接入后,通过部署在视频分析服务器中我司系统,主要是进行外部数据的处理,分离出场景数据、在复杂的图像画面中,识别出“人”和“人群”;再根据实际业务需求进行统计人群流量、跟踪人群运动轨迹、计算即时人群密度、统计人群驻留的累计时间、分析人群活动的异常状态等,再用不同颜色进行渲染,最后用最直观、有效的方式展现给相关管理人员。
图3人群分析中间结果示意图(左图为原图)
4.系统功能
4.1.总体功能介绍
本系统主要是由:
实时监控、趋势分析、事件查询、系统配置四大模块组成。
其中:
●实时监控可实现对多路监控视频进行实时报警监测、实时状态查看;
图4人群分析多路监控界面示意图
●趋势分析主要利用历史数据,采用数据挖掘技术,针对单一场景进行分析,通过人群数量折线图和人群平均分布热力图的方式来统计过去人群相关规律、预测后续人群行为状态。
主要包括状态监控、统计分析、趋势预测三大功能。
图5趋势分析界面示意图
●事件查询是对各监控视频内已发生的事件追溯和定位,可通过查询功能来完成。
在事件查询页面内,依次选择视频通道、类型发生的时间段即可查询出已发生的事件。
图6事件查询界面示意图
●系统配置主要包含系统参数配置和监控算法参数配置。
4.2.主要功能介绍
人群智能分析系统是以事件分析为主,此处主要介绍事件分析的详细功能。
人群密度与计数
此功能是系统对视频进行实时分析,检测出画面中人群的区域,并对其进行人群分割(如图7所示),从而可以统计场景中的实时人数。
同时根据人群和人体之间的关系,估计各区域的人群密度,得到整个场景的人群密度分布图,如图8所示。
图7人群检测与分割示意图
图8人群密度与计数示意图
在地铁环境中,可以根据不同的环境进行设置进行人数的统计;
下图是地铁中的闸机入口,在该图中可以看到此图像包含了扶梯、楼梯及闸机、和进入闸机的区域;在实际使用中更加关心的应该是人员从扶梯、楼梯进入本站的情况,而在闸机及闸机后侧区域(黄色圆圈区域)由于遮挡物等原因也不便于人员计数分析等,所以建议的在图中红色框线范围内定义为人数统计区域,以便得到更加精确的数据。
图9地铁场景人数统计区域设置示意图
过线人流统计
此功能是在需要计数的图像中设置一条虚拟规则线,当人越过此线时系统自动进行计数从而达到人员计数的功能。
此功能一般应用于人员不太拥挤的场景中,如地铁可以在站厅层的进行设置。
在换乘通道、站台层的候车区域建议采用人群计数方式实现计数功能。
图10过线人流统计参数设置示意图
个体轨迹分析
此功能主要是实现在视频图像分析“人”的个体移动、停留的信息和轨迹。
图11人体轨迹分析示意图
滞留区域分析
滞留分析主要用于识别场景中有人长时滞留的区域,在展现层用不同颜色标记。
以下图为例,红色区域表示有滞留时间较长,蓝色表示滞留时间较短。
滞留的等级和标准及显示的颜色可以根据实际需求和要求进行调整,在本系统中也可对到达何种级别进行报警等进行灵活设置。
(a)
(b)
图12人群滞留分析示意图
混乱程度分析
此功能主要分析场景中群体运动的一致性,我们给出了一个混乱程度的定义。
对于混乱程度高的场景,进行报警。
如下图中,左图人群滞留时间长,基本无运动,因此混乱程度低;右图区域颜色为蓝色,说明运动频繁。
事实上场景中很多人在奔跑,因此混乱程度高。
此事可能伴随有事件发生,当予以警示。
图13不同混乱程度的画面(左图混乱程度低)
群体轨迹分析
此功能主要是分析在视频中,静止的人群对常用的行进路线的影响情况。
当出现有人群的滞留严重影响了正常的行进路线时,系统会进行报警,告知工作人员;便于对该区域的人群进行疏导,避免出现更大范围的人群滞留。
图14人群运动轨迹分析示意图
5.产品优势
5.1.和传统视频分析技术的比较
在传统的视频分析技术,是通过各种模型找到“人”。
事实上,模型找出的只是已经被定义好的一组特征,比如“头肩模型”,根据头部形状,头肩轮廓,还有头发颜色等组合特征,去分析画面中的目标。
通过计算目标与既定特征组合的相似程度来判断该目标是不是“人”,进而对找到的“人”做行为分析,个数统计等等。
基于这样的技术原理实现的智能分析系统,受场景制约比较显著。
一般是要求在背景简单,光照稳定,特定摄像机安装方式的视频中。
一旦有影响模型特征提取的干扰情况,“人”的误检漏检就会表现明显。
而我司的人群分析技术,不再采用人为定义特征组合的方式去判断目标是否为“人”。
而是通过大量数据样本分析,让计算机自行学习人和其他目标的区别,运算出能显著标识“人”的一层层特征信息。
由于样本覆盖率较大,在机器学习的过程中,该技术能有效突破光照突变,背景复杂,人体部分遮挡,应用场景单一等传统技术的难点。
5.2.技术亮点
1.场景适应性,能在光照变化,背景复杂,人群遮挡严重的不利环境中使用;并且系统通过了在线学习的功能,在不同的行业应用时,可以通过对该行业的场景进行系统的实际视频图像学习后主动更新各类的模型库、规则库,是的更加符合该行业用户的实际需求;
2.分析的准确性:
在准确性中,同样可以通过系统的在线学习功能,优化模型、优化算法,得到更加准确的分析结果;
3.处理速度快,基于大数据处理:
本系统在设计都已充分考虑到用户对处理速度相应的要求,系统内具备了基于大数据处理的算法和模型;极大的提高了数据的处理速度。
6.算法部门定位
6.1.工作内容概述
算法部门主要服务于公司2016年的产品需求,包括人群分析系统,人体追逃系统,综合搜人系统,图像清晰化服务等。
1.人群分析系统最初是由香港中文大学王晓刚老师实验室提供ITFSDK,SenseTime深圳进行算法应用开发包装,目前人群分析系统SDK包括人群计数,静止人群检测,人群跟踪,跨线计数;
2.人体追逃系统目前在ITFSDK中已经有原型封装,规划内容包括人体检测,人体跟踪,人体再识别;
3.综合搜人系统处于预研阶段,规划利用人脸、人体、人体属性、wifi/app定位信息等综合信息进行研发;
4.图像清晰化服务也是处于预研阶段,主要解决监控视频场景下特有的压缩模糊,预期清晰化的人体和人脸图片能提升人体追逃系统和综合搜人系统的性能。
6.2.组织结构
如下图所示:
Figure1算法部门组织结构图(较小规模规划)
Figure2算法部门组织结构图(较大规模规划)
6.3.目前人员及组织
如下表所示。
部
组
姓名
岗位名称
备注/特长
算法部门
人体组(10人)
赵瑞
资深算法工程师
算法部门总监兼人体算法总体负责人
张李亮
高级算法工程师
人体检测
徐静
中级算法工程师
人体检测
李志刚
中级算法工程师
人体跟踪
张学武
中级算法工程师
人体再识别
董登科
中级算法工程师
人体再识别
王璋
实习算法工程师
人体再识别
尚敏
实习算法工程师
人体属性识别
郝静
实习算法工程师
人体属性识别
人群组
(6人)
杨延生
ST算法工程师
人群算法总体负责人
王坤
实习算法工程师
人群统计
杨志雄
实习算法工程师
人群统计
程博
初级算法工程师
技术能力还可以,方向面比较宽,深入度不够,背景与视频监控相关。
徐志敏
初级算法工程师
caffe一年半的经验,主要基于深度学习做车辆信息提取的工作。
意向在北京进行基于机器人的图像研究。
马金秀
初级算法工程师
研究生阶段主要从事算法视觉相关的工作,适合应用算法集成开发工作,在校成绩优秀本硕top5%。
王海强
初级算法工程师
做过人群统计
优化组(3人)
秦仁波
ST算法工程师
支持具体产品的算法优化
刘建博
ST算法工程师
支持具体产品的算法优化
姜子伦
算法优化工程师
思路清晰,描述问题能力优秀,善于表达。
在图像去雾领域从事2年的研究,具备算法GPU优化经验。
图像组(2人)
王露
初级算法工程师
图像清晰化预研
+
中级算法工程师
数据组(2人)
~
中级算法工程师
~
中级算法工程师
Figure3人员列表
6.4.岗位职责
1.算法研究部经理和总监
∙负责算法管理体系的建立和持续改进;
∙建立并完善算法研发的管理制度、标准,督促各算法方向开发、实施,部门按照对应标准予以执行;
∙协助其他部门在项目间进行资源协调;
∙对部门中的人员进行绩效管理和考核;
∙研发方向规划(预研、基础算法、应用算法);
∙各算法方向算法立项、思路决策;
∙算法效果测试、评估;
∙人员招聘配置;
2.初级算法工程师
∙按照文献或者上级指定的方法,编写算法实现代码;
∙专用算法调研、评估、实现;
∙算法样本采集、标定、测试;
∙算法文档维护;
∙其他临时任务;
(说明:
算法工程师包含基础算法研究、算法应用、算法优化,下同)
3.中级算法工程师
∙算法调研、实现;
∙应用算法集成,文档撰写;
∙和公司产品相关应用算法的联调、改进、跟踪调试;
∙其他临时任务;
4.高级算法工程师
∙研究方向负责人,特定方向算法组织、决策、推进、协调;
∙至少在某一方向有深入研究,具有相当的研究经验;
∙前沿算法跟踪、新算法预研;
∙算法的验证、测试、整理;
∙算法性能宣传、专利撰写等;
5.实习算法工程师
∙按照文献或者分配导师指定的方法,编写算法实现代码;
∙协助采集算法所需数据,并参与编写标注工具开发和数据标定;
∙对特定的算法进行调研、实现、测试;
∙专利撰写、论文等;
∙实习期结束时,总结答辩;
∙其他临时任务;
6.ST算法工程师
∙协助深网算法部门工作从SenseTime过渡(具体过渡工作包括人脸追逃系统开发,人群分析系统开发以及算法优。
)
7.工作管理制度
7.1.员工管理
原则上,每个员工的工作都至少属于某一个项目。
项目可以是产品线的,也可以是资源线的。
其中资源线主要指的是需要长期投入的项目,如人体人群的算法研发;也可以是技术预研类的项目,如人脸图像清晰化;或者是公共基础模块类的研发项目,如分布式数据管理存储系统开发、wiki的建立与更新等。
员工日常工作(周报、例会)按所属各项目组要求执行。
7.2.项目管理
项目主要指的是挂靠在算法部门的项目,一般都是资源线项目。
各项目负责人按照资源线项目管理流程对所负责的项目进行管理,包括:
1.日常管理:
例会、周报、报告等;
2.过程管理:
需求、立项、设计、计划、执行、监督、验收、结项、维护等;
3.质量管理:
计划执行质量、代码质量、文档质量、输出材料完整性等。
项目负责人每周提交项目周报到所属分组,抄送算法部门负责人。
8.2016工作计划
主要聚焦人体、人群两个方向的产品线所需的算法支持进行分类说明。
每个子项目的描述可能不会很详细,具体内容参见相关文档。
工作性质主要分为以下几类:
1.应用算法研发:
如已经有核心算法SDK,则主要基于已有算法SDK进行定制化开发等;
2.算法深度研究:
主要解决算法性能问题,以提高算法性能指标为主;
3.算法预研研究:
主要解决算法性能问题,以提高算法性能指标为主;
4.算法优化研究:
主要解决算法速度问题,以提高算法运行速度为主。
5.各组具体研发方向按产品线所需算法支持在下面分别介绍。
8.1.人体组方向
主要是人体组规划(需补充详细工作计划含目标)
人体追逃系统
算法内容主要包含以下几个方向的核心算法研发
∙人体检测
∙人体跟踪
∙人体再识别
∙人体属性识别(主要包括性别,年龄,身份等)
另外还包括各个方向所需数据的搜集及标注,算法优化,算法应用研发,内部评价标准的建立等工作;
算法性能方面:
人体检测、人体跟踪、人体再识别、人体属性识别等算法相应的准确率(包括多个内部测试集的测试标准和外部评测标准)以及算法速度。
算法的应用:
主要用于深网人体追逃系统,以及结构化追逃系统的辅助信息。
综合搜人系统
算法内容方面,将包括人体信息在内的其他信息,例如人脸信息、人体属性信息、基于wifi或手机app的地理位置定位信息等结合形成综合信息用于搜人,并研究开发基于综合信息的识别算法。
综合信息对应的数据搜集和标注(用于测试评估算法性能)。
算法性能方面:
身份识别的准确率。
预期应比人脸或人体单独的识别性能要好。
算法应用:
用于综合信息的身份追逃系统。
人脸人体清晰化系统
算法内容方面:
专注于监控视频中特有的压缩模糊对人脸和人体数据进行超分辨率清晰化;
算法性能方面:
人脸和人体数据的清晰化效果,以及处理效率;
算法的应用:
主要用于清晰化人脸和人体数据,提升追逃系统的性能。
8.2.人群组方向
人群分析系统
算法内容方面:
对香港实验室已有人群分析算法进行继承并进一步深入研发提升定制化性能,具体方向包含
∙人群计数
∙人群分割
∙静止人群检测
∙跨线计数
对各个子方向搜集并标注不同场景下的数据,建立内部测试数据和评价标准;对效率不足的模型进行算法优化;针对于产品线具体应用需求进行算法应用开发。
算法性能方面:
在相应评价标准下的准确率和速度。
算法的应用:
专注应用于人群分析系统。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 人群 分析 系统 立项 报告 图文