ICME- 安全AI挑战者计划第九期:小样本商标检测挑战赛
前言一、比赛介绍赛题背景数据集测试结果提交二、服务器比赛环境准备三、寻找Baseline四、改进Baseline五、改进参考总结前言
本文章用于记录本人参加小样本商标检测挑战赛的全部流程——小白一枚,能力有待提升
一、比赛介绍
比赛官网
赛题背景
在电商平台,商品标识作为企业和品牌的知识产权代表,应避免受恶意使用和剽窃。为保护商品标识资质、降低知识产权风险和财务损失,我们提出小样本电商标识检测挑战赛。挑战赛需要参赛者利用少量样本,处理品牌logo小目标检测、做相似品牌标识区分等。
这项挑战的目的是吸引来自深度/机器学习社区、内容安全/保护社区,一起在这一领域进行尝试,并为内容安全构建先进学习技术的基础。我们寻求就问题定义和稳健的目标检测框架达成共识。我们还想描述确保感知模型安全的特性,并评估在实际商业多媒体系统的各种对抗性样本下的后果。最后,我们希望为在这个问题上的跨社区合作规划出重要的未来方向。
数据集
1、训练集合:共3500张训练图片,100类商品品牌logo,7千多个实例。初赛50类,每类50张训练图片;复赛50类,每类20张训练图片。
图片示例
COCO数据格式
官方给了一组标注好的训练集,一组未标注的测试集。
验证集需要自行设置,本人从训练集中拿出200张图做验证集。
测试结果提交
在测试集上进行预测,提交评估数据结构:
上传识别结果文件为.json,要求文件大小在1G内。
二、服务器比赛环境准备
服务器系统上个人推荐用Ubuntu,因为Windows容易出各种Bug。
一个算力足够的深度学习服务器平台,是在比赛中取得良好成绩的基础。本人曾经一次比赛依靠租用服务器打比赛,非常不便与辛苦。
最最重要的就是我们的代码库了:目前三大目标检测开源神器Detectron2/mmdetection/SimpleDet,本人使用mmdetection及近年来屠版的Swin-Transformer。
Ubuntu1~18.04RTX 3090*2PyTorch: 1.10.1+cu111MMDetection: 2.11.0+
三、寻找Baseline
如下表,本人通过遍历.4月版本mmdetection库中所有模型,挑选出如下COCO_AP值较好的基础模型。
通过对数据集的训练与测试,获得了如下结果。结果表明,采用Swin-Transformer模型的得分最高。
首先,我是直接下载了Swin-Transformer-Object-Detection,这个里面包括了Swin-t/s/b/l等,相比于mmdetection更全。但是经过一段时间的试验后发现结果不理想。
如上表,配置的模型与之前在mmdetection中的一样,但是swin-s的分数从0.52下降到0.36。这个原因具体不清楚,可能是其对应的版本过老?不过这里的swin-b比s高了近0.4,说明swin-b效果是有的。
总之我只能用回最新的mmdetection,自己配置Swin-b等。(问题是我现在不会!!!捂脸)