基于YOLOV5s的吸烟行为识别系统研究开题报告

 2023-11-22 09:04:14

1. 研究目的与意义

公共场合抽烟的危害很大,国家也相应地出台了在公共场合禁烟的政策,吸烟对自己和他人的身体健康会造成很大危害,同时吸烟也会污染环境,稍有不慎还会引发火灾。

因此,吸烟行为检测得到学者越来越多的重视。

以前实行相关的政策都是靠工作人员巡逻发现并出言禁止,这样做效率很低下。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

2. 课题关键问题和重难点

1.首先是YOLOv5对关键点的识别,其中对烟头的检测是首要难点。吸烟行为检测中香烟检测属于小目标检测,容易出现误判,忽略等检测错误,存在一定检测难度。笔者拟用改进的YOLOv5s算法对小目标进行检测。改进的YOLOv5检测模型增加了基于YOLOv5算法的小目标检测层。针对香烟的小目标检测具有一定优势。

2.其次是对人脸关键点识别的难点。抽烟动作和打电话,摸耳朵等动作很容易混淆,几个动作相似度很高 ,因为两个行为在摄像头底下很容易被误解,计算机易误判,因而要区分抽烟动作与其他几个类似动作,不能仅用目标检测来解决。因此笔者拟用yolov5face人脸检测模型对人脸关键点进行识别。Yolo5face算法把人脸检测视为一般的目标检测任务,以现在比较热门的YOLOv5模型为基础,辅助以人脸特性,得到一个新的人脸检测器。

3. 国内外研究现状(文献综述)

公共场所吸烟行为检测的方法主要分为基于传感器和基于视觉的吸烟行为检测。基于传感器的吸烟行为检测方法主要通过烟雾传感器、可穿戴传感器等。但是,由于香烟烟雾易扩散,容易受到环境的千扰,烟雾传感器很难适用于公共场所吸烟行为检测,而可穿戴传感器一般只适用于主动戒烟人群。因此,基于计算机视觉的吸烟行为检测得到越来越多的关注,主要方法分为基于传统算法和基于深度学习的吸烟行为检测。

传统算法的吸烟行为检测主要从香烟烟雾方面考虑,利用烟雾的颜色特征和变化特征进行分析,如汪祖云等利用香烟烟雾在HSV颜色空间下特有的颜色特征实现对疑似烟雾区域的定位[6],分析烟雾的面积变化速率特征和质心相对角度正弦变化特征,对烟雾进行检测。但在实际场景中,颜色很容易受到环境的影响,此方法只能针对特定场景下的吸烟行为检测。

近年来,深度学习已经广泛应用到各学科领域,因此部分学者利用深度学习来检测人体吸烟行为。一些学者发现吸烟行为从点燃烟到吸人烟再到呼出烟的过程中,手部到嘴部的距离是有节奏、有规律的,一段时间内的这种过程可以认定为一个吸烟周期,将人体吸烟行为检测转化为基于深度学习的人体姿态估计问题来解决。

刘婧等利用人体关节点信息,关注关节点的运动轨迹,检测运动轨迹是否符合周期性规律进行吸烟动作识别[3]。由于吸烟行为和其他行为(如吃饭、打电话)存在一定的相似性,因此当图像中的手部动作不清晰或不完整时,很难准确地检测出吸烟行为。

也有一些学者将吸烟行为检测转化为基于深度学习的烟头目标检测问题来解决。其中,一类方法是首先找到图片中人脸区域,在人脸区域找到烟头,判断是否存在吸烟行为,如李倩等将检测到的人脸图片作为烟支检测区域[4],利用 Faster R-CNN算法对初步判断可能存在烟支的图像进行烟支目标检测并判断是否存在吸烟行为;或者如王鹏等采用改进的RetinaFace网络提取人脸感兴趣区域,采用改进的YOLOV4目标检测模型检测该区域内是否存在香烟,从而识别吸烟行为[8];或者如孙召龙等设计了一种采用 YOLOv5深度学习算法的油田作业现场吸烟行为检测方法。通过监控摄像头及单反相机采集真实场景下中距离的吸烟数据集,使用LabelImg平台手动标注,经过 YOLOv5的四种预训练框架训练,通过对比训练过程中产生的结果得到最佳训练模型[9];另一类方法是直接目标定位嘴部,检测嘴部区域是否存在香烟烟头,判断是否存在吸烟行为,如马晓菲通过神经网络算法和回归树方法快速定位嘴部区域,采用残差网络对感兴趣区内目标进行检测和状态识别进而判断出吸烟行为[7]。但是,目标检测算法检测烟头极易识别出错,并不能很好地检测出吸烟行为。因此, 姜晓凤等提出一种基于人体关键点和YOLOv4的吸烟行为检测方法,在利用深度学习对烟头进行目标检测的基础上,加入人体关键点检测,通过计算距离、角度、时间周期判断吸烟动作是否发生[1],有效去除了对摸脸,拿粉笔等动作的众多误判情况。

在实际场景中,因香烟目标过于微小且特征不明显,现有的目标检测算法难以区分类烟物与香烟,导致吸烟行为识别效果差。张洋等提出一种基于弱监督细粒度结构与 EfficientDet网络的吸烟行为识别算法[2]。采用 Edge Boxes算法检测图像块的特征边缘,通过非极大值抑制对边缘进行筛选,形成候选区域块。通过融合物体级筛选器与局部级筛选器得到的结果,以准确识别吸烟行为。

参考文献

[1]姜晓凤,王保栋,夏英杰,李金屏.基于人体关键点和YOLOv4的吸烟行为检测[J].陕西师范大学学报(自然科学版),2022,50(03):96-103.

[2]张洋,姚登峰,江铭虎,李凡姝.基于EfficientDet网络的细粒度吸烟行为识别[J].计算机工程,2022,48(03):302-309 314.

[3]刘婧,杨旭,刘董经典,牛强.基于人体关节点的多人吸烟动作识别算法[J].计算机工程与应用,2021,57(01):234-241.

[4]李倩.基于深度学习的烟支检测技术研究与应用[D].导师:周有;时念武.西安邮电大学,2020.

[5]韩贵金,李倩.基于Faster R-CNN的吸烟快速检测算法[J].西安邮电大学学报,2020,25(02):85-91.

[6]汪祖云,廖惠敏,张日东,刘鹏宇,贾克斌.结合烟雾多特征的出租车司机吸烟行为检测[A].中国高科技产业化研究会智能信息处理产业化分会.第十二届全国信号和智能信息处理与应用学术会议论文集[C].中国高科技产业化研究会智能信息处理产业化分会:中国高科技产业化研究会,2018:368-373

[7]马晓菲.基于人脸分析的公共场所吸烟行为检测系统研究[D].导师:程淑红;王国宾.燕山大学,2020.

[8]王鹏,尹勇,宋策.基于改进RetinaFace和YOLOv4的船舶驾驶员吸烟和打电话行为检测[J].上海海事大学学报,2022,43(04):44-50.

[9]孙召龙,徐昕,朱云龙,田枫.基于YOLOv5的油田作业现场吸烟检测方法[J].系统仿真技术,2021,17(02):89-93.

4. 研究方案

设计方案:

①目标检测部分: 采用YOLOv5s对手部头部,烟头进行目标检测。YOLOv5 模型集成了 YOLOv3 中的 FPN 多尺度检测及 YOLOv4 中的 Mosaic 数据增强和SPP结构。同时YOLOv5模型的体积很小,最小模型YOLOv5s的权重数据文件大小为27MB,是 YOLOv4 权重数据的九分之一。除此之外,其推理速度达每秒140fps。吸烟行为检测中香烟检测属于小目标检测,容易检测错误,存在一定检测难度。笔者拟用改进的YOLOv5s算法对小目标进行检测。改进的YOLOv5检测模型增加了基于YOLOv5算法的小目标检测层。针对香烟的小目标检测具有一定优势。

②人脸识别部分:采用Yolov5face人脸检测模型,相较于RetinaFace模型,Yolov5face模型具有更高的精度和更少的计算量。Yolo5face算法把人脸检测视为一般的目标检测任务,以现在比较热门的YOLOv5模型为基础,辅助以人脸特性,得到一个新的人脸检测器。抽烟动作和打电话,摸耳朵等动作很容易混淆,容易造成判断错误 ,因而要区分抽烟动作与其他几个类似动作,不能仅用目标检测来解决。因此笔者拟用yolov5face人脸检测模型对人脸关键点进行识别。Yolo5face算法把人脸检测视为一般的目标检测任务,以现在比较热门的YOLOv5模型为基础,辅助以人脸特性,得到一个新的人脸检测器。

基本流程如图1所示:

③训练和推理部分:

训练过程:首先是数据处理,需要将训练数据处理成yolov5所需要的格式,值得注意几点是:

1.需要处理人脸关键点坐标,注意输入输出的关键点顺序;

2.在本方案中,烟头的两个端点也作为关键点输入训练;

3.所有的关键点数据都要归一化处理;

4.增加对样本数据增强的处理: 比如高斯模糊, 随机裁剪等等;

推理过程:

1.为了加快速度, 需要使用TensorRT来推理模型,因此需要将训练好的模型转成tensorrt engine格式部署;

2.将图像resize成合适的大小,输入推理网络,这个需要做很多测试;

3.推理的前处理后处理尽量在放到GPU上面执行,以加快推理速度;

研制方案:

由于烟头目标较小,用目标检测算法检测香烟识别准确率不高。通过对吸烟行为的大量观察,发现人在吸烟时,手部运动轨迹存在一定的周期性,故首先获取图像中的人体和人脸关键点;其次基于每个人的关键点位置找到手部的位置,计算出手部到嘴部的距离,建立吸烟行为检测判别模型,判断是否有吸烟动作;然后利用YOLOv5检测图像中是否存在香烟烟头;最后结合以上两方面,当人们的行为满足吸烟动作规则和图像中存在香烟烟头时,判断人们存在吸烟行为,基本算法逻辑如图2所示.

5. 工作计划

2022.12-2023.01收集到的文献资料,确定系统的开发思路,完成开题报告。研究国内外论文,与导师讨论关键方案的步骤和实施,并学习python有关的材料,和linux技巧,查找yolov5相关材料,完成主体环境的搭建。学习有关人脸识别有关资料,向导师询问有关难点作为了解,为下学期的论文完成和演示做好准备。

2023.01-2023.02 拟定开发系统大纲,实现系统页面开发和功能设计,完善软件开发,查阅相关资料,完善软件算法功能,初步实现人脸特征提取算法,人脸特征匹配算法实现

2023.02-2023.03 进行系统的开发和系统测试,完善和改进算法,使得人脸识别更加精确,反应速度提高。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文开题报告,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。