指标Precision比对率。

Recall调查全率。

mAP与IOU及可靠性阈值的关系

TP: IoU0.5的检测框数(同一Ground Truth仅计算一次) ) ) ) ) ) ) ) ) )。

FP: IoU=0.5的检测框或检测到相同GT的多余检测框的数量

提高可靠性阈值后,会对预测值有信心。 也就是说,适合率上升。 但是,这样检查率会下降。 (高精度,低精度)

减小置信度阈值,模型错过的真实例子减少,匹配率增加。 (低精度,高精度)

进而得到PR曲线上不同点

PR曲线:设置不通的阈值(score)可以得到不同的(P,R)点,将这些点连接起来就是PR曲线

PR曲线中的p为precision,r为recall,表示准确率和召回率的关系,通常recall设定为横坐标,precision设定为纵坐标。 PR曲线下包围的面积为AP,所有类别的AP平均值为Map

如果一个学习器的PR曲线a完全包含另一个学习器b的PR曲线,则可以断言a的性能优于b。 但是,a和b交叉的情况下,该如何判断其性能呢? 可以通过曲线下方的面积大小进行比较,但经常使用平衡点F1。 平衡点(BEP )是P=R时的值(斜率为1 ),认为F1的值越大,该学习器的性能越好。 F1的计算如下。 f1=2*p*r/(pr )。

非VOC2007算法:对于给定类下的所有真实目标,将IOU=0.5作为检测到的目标,采用不同的确认阈值计算相应的修复和召回,每个召回对应评价时,COCO评价不同交叉比[0.5:0.05:0.95]的共计10个IoU下的AP,最后将这些阈值下的AP平均作为结果,设定为mAP@[.5, 95]。 另一方面,在Pascal VOC中,检测结果只评价了IOU的0.5这个阈值下的AP值。

因此,对COCO数据集的评估将比VOC更全面。 不仅可以评价物体检测模型的分类能力,还可以表现检测模型的定位能力。 因此,在IoU像0.8这样大的情况下,预测框只有与实际框具有较大的重复比才能被认为是正确的。 计算映射,首先要画各种PR曲线,计算映射。 如何对PR曲线进行采样,VOC采用过两种不同的方法。 参考: thepascalvisualobjectclasseschallenge 2012 (VOC 2012 )开发工具包

在VOC2010之前,Recall=0、0.1、0.2、1,只需要选择合计11个点的Precision的最大值,AP的这11个Precision的平均值为VOC2010以上,各不相同(BB表示边界盒号码,IoU0.5时GT=1)。

bb确认

BB1 | 0.9 | 1

BB2 | 0.9 | 1

BB1 | 0.8 | 1

BB3 | 0.7 | 0

BB4 | 0.7 | 0

BB5 | 0.7 | 1

BB6 | 0.7 | 0

BB7 | 0.7 | 0

BB8 | 0.7 | 1

BB9 | 0.7 | 1

因此,假设TP=5(BB1、BB2、BB5、BB8、BB9 )、FP=5)重复检测的bb1也为FP )。 除了表里检测到的5个GT之外,我们还没有检测到2个GT,因此: FN=2。 在这种情况下,可以按照确认的顺序来给出各处的PR值,如下。

rank=1precision=1.00 and recall=0.14 (recall=TP/(tpfn ) ),当rank=1时,预测的TP=1相对于假设有7个GT,因此recall=1

rank=2precision=1.00 and recall=0.29

rank=3precision=0.66 and recall=0.29

rank=4precision=0.50 and recall=0.29

rank=5precision=0.40 and recall=0.29

rank=6precision=0.50 and recall=0.43

rank=7precision=0.43 and recall=0.43

rank=8precision=0.38 and recall=0.43

rank=9precision=0.44 and recall=0.57

rank=10 precision=0.50 and recall=0.71

对于上述宣传值,请执行以下操作:

在VOC2010之前的方法中,选择了recall=0,0.1,1的11个Percision的最大值。 1,1,1,0.5,0.5,0.5,0.5,0.5,0.0,0,0。 此时Aeroplane类的AP=5.5/11=0.5VOC2010以后的方法,相对于recall=0、0.14、0.29、0.43、0.57、0.71、1,是此时的Percision的最大值选择1时,Aeroplane类别的AP=(0.14-0 )1) 0.29-0.14 )1) 0.43-0.29 ) 0.5 ) 0.71-0.57 ) 0.5 )

mAP是按类别计算AP,计算AP平均值的好参考资料

3359 www.zhi Hu.com/question/53405779

3359 blog.csdn.net/gu Zhao 9901/article/details/107961184

3359 www.zhi Hu.com/question/53405779/answer/419532990