电脑基础 · 2023年4月18日

基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

一 修改思想

目前yoloV7已经发布有一段时间了,其中yoloV7有一个关键点检测的分支pose,是一个姿态关键点的检测算法,其中有给出的数据,大家可以下载运行起来。
由于实际项目需求,发现17个关键点是不能满足大家的需求的,这里我就稍作修改了一下,把关键点的数量修改为任意数量,并且添加目标检测多分类情况。

二 数据修改

这里我是以车牌的关键点进行举例修改,所有关键点的数量为4个。
修改的过程中需要做左右翻转,所以我的关键点翻转后,1和2交换,3和4交换,5和6交换,依次类推。

1 yaml文件修改

  • 设置关键点数量,修改关键点数量为4
    基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

  • 设置类别数量和类别标签
    基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

数据制作

  • 训练标签制作
# -nfs-阿拉伯车牌字符-沙特阿拉伯卡口车牌-2-沙特阿拉伯卡口车牌-2-image1837.txt
# data.txt   含义分别是: cls   	 x	           y          w       h        point1x		point1y		point2x	   	point2y		 point3x	  point3y	  point4x	   point4y		    ...
# 						类别  目标中心点x    目标中心点y   目标宽w   目标高h    目标点1x坐标  目标点1y坐标   目标点2x坐标  目标点2y坐标   目标点3x坐标  目标点3y坐标   目标点4x坐标  目标点4y坐标    依次类推 
0  0.5739299610894941  0.1724137931034483  0.3715953307392996  0.29064039408866993  0.38910505836575876  0.08374384236453201  0.7587548638132295  0.029556650246305417  0.7607003891050583  0.2660098522167488  0.39299610894941633  0.32019704433497537
2  0.5739299610894941  0.1724137931034483  0.3715953307392996  0.29064039408866993  0.38910505836575876  0.08374384236453201  0.7587548638132295  0.029556650246305417  0.7607003891050583  0.2660098522167488  0.39299610894941633  0.32019704433497537
0  0.5739299610894941  0.1724137931034483  0.3715953307392996  0.29064039408866993  0.38910505836575876  0.08374384236453201  0.7587548638132295  0.029556650246305417  0.7607003891050583  0.2660098522167488  0.39299610894941633  0.32019704433497537
  • 训练文件train.txt 和val.txt 制作
# train.txt
./train/images/-nfs-阿拉伯车牌字符-沙特阿拉伯卡口车牌-2-沙特阿拉伯卡口车牌-2-image1837.jpeg
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 11-11-52屏幕截图.png
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 13-57-27屏幕截图.png
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 10-19-54屏幕截图.png
./train/images/-nfs-阿拉伯车牌字符-外国车牌现场_20210519_1-外国车牌现场_20210519_1-e0d92b0990a1249388bc77bdfa8e43ed.jpg
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 13-51-28屏幕截图.png
./train/images/-nfs-车牌字符-约旦车牌-videoplayback-videoplayback_13_1460.jpg
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 13-56-51屏幕截图.png
./train/images/-nfs-车牌字符-埃及车牌-埃及车牌截图-2021-04-30 10-27-50屏幕截图.png

数据读取修改

核心思想就是要把关键点的数量传入数据读取中,根据关键点数量进行数据读取操作。

  • datasets.py/LoadImagesAndLabels() 初始化修改
    基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

  • cache_labels() 方法 :数据读取修改
    基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

  • LoadImagesAndLabels()中__getitem__() 方法 :数据左右翻转修改
    基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

  • datasets.py/random_perspective() 方法

基于yoloV7-pose添加任意关键点 + 多类别分类网络修改
用到random_perspective()方法的地方记得都去添加一个关机键点数量参数。
基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

三 网络结构修改

1 model文件修改

  • yolo.py 我们用到的是IKeypoint()方法,所以这里只修改这个方法,其他方法是一样的修改。
    结构中主要是把分类数量和关机键点数量加入进去就ok了。
    基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

loss文件修改

  • loss初始化类别数量和关机键数量
    基于yoloV7-pose添加任意关键点 + 多类别分类网络修改
  • loss 计算中加入类别和关机键点计算
    基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

  • build_targets() 方法修改 添加关键点数量
    基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

四 训练代码修改

1 train.py

  • 添加关机键点数量
    基于yoloV7-pose添加任意关键点 + 多类别分类网络修改
  • 读取数据加入关机键点数量
    基于yoloV7-pose添加任意关键点 + 多类别分类网络修改
  • 初始化loss 添加关键点数量和类别数量
    基于yoloV7-pose添加任意关键点 + 多类别分类网络修改
  • 画图添加关键点数量
    基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

2 test.py

  • 读取数据添加关机键点数量
    基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

  • 画图添加关机键点数量
    基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

3 general.py 中non_max_suppression()方法修改

基于yoloV7-pose添加任意关键点 + 多类别分类网络修改
基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

4 plots.py 文件夹修改

主要是添加关机键点的数量

基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

基于yoloV7-pose添加任意关键点 + 多类别分类网络修改
基于yoloV7-pose添加任意关键点 + 多类别分类网络修改

五 代码分享

1 训练测试

基于yoloV7-pose添加任意关键点 + 多类别分类网络修改
关键点效果已经成功加上去了,并且也添加了多分类。

2 代码链接

代码地址(yolov7-pose_Npoint_Ncla):https://github.com/qinggangwu/yolov7-pose_Npoint_Ncla