1000字范文 > 快速制作自己的VOC语义分割数据集

快速制作自己的VOC语义分割数据集

时间：2019-09-01 09:41:42

相关推荐

快速制作自己的VOC语义分割数据集

语义分割数据集制作与转换方法

提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加

第一章基于PS的语义分割标注

第二章构建VOC语义分割数据集

文章目录

语义分割数据集制作与转换方法前言PASCAL VOC数据集简介一、构建文件夹二、移动图片三、生成TXT文件总结

前言

PASCAL VOC数据集简介

PASCAL VOC是语义分割任务极为重要的官方数据集，大量优秀的语义分割模型都会刷一下这个数据集，因此我们在使用别人的开源代码时，如果能将自己的数据集整理成官方数据集的格式，则可快速验证模型性能，减少自身工作量。

VOC官方数据集文件结构共包含五个文件夹

其中语义分割需要的包括：

1.ImageSets/Segmentation:存放训练验证集文件名称的txt文件;

2.JPEGImages：存放原始图像的文件夹

3.SegmentationClass：存放标注文件的文件夹

因此，在制作自己数据集时，只需保证这三个文件夹的内容统一，即可完成数据集制作。

一、构建文件夹

根据上述的文件夹结构，创建VOC文件夹，在VOC内创建ImageSets文件夹、JPEGImages文件夹、SegmentationClass文件夹，在ImageSets文件夹内创建Segmentation文件夹。

二、移动图片

将自己数据集的原始图片移动到JPEGImages文件夹下，将自己数据集的标注图片移动到SegmentationClass文件夹下。

PS标注工具的使用请移步至：【PS才是真科研利器，助力快速分割标注工作】

三、生成TXT文件

这里提供一段代码：可自动生成train.txt、val.txt、trainval.txt，并检查图像与标注图像长宽维度是否一致、标注图像是否为二维图像、并生成数据集均值、方差及各类别像素比例：

import mmcvimport osimport os.path as ospimport random"""1.检查图像维度"""import numpy as npfrom PIL import Image,ImageOpsfrom torchvision import transformsdef get_Image_dim_len(png_dir: str,jpg_dir:str):png = Image.open(png_dir)png_w,png_h=png.width,png.height#若第十行报错，说明jpg图片没有对应的png图片png_dim_len = len(np.array(png).shape)assert png_dim_len==2,"提示:存在三维掩码图"jpg=Image.open(jpg_dir)jpg = ImageOps.exif_transpose(jpg)jpg.save(jpg_dir)jpg_w,jpg_h=jpg.width,jpg.heightprint(jpg_w,jpg_h,png_w,png_h)assert png_w==jpg_w and png_h==jpg_h,print("提示：%s mask图与原图宽高参数不一致"%(png_dir))"""2.读取单个图像均值和方差"""def pixel_operation(image_path: str):img = cv.imread(image_path, cv.IMREAD_COLOR)means, dev = cv.meanStdDev(img)return means,dev"""3.分割数据集，生成label文件"""# 原始数据集 ann上一级data_root = 'VOC'#图像地址image_dir="JPEGImages"# ann图像文件夹ann_dir = "SegmentationClass"# txt文件保存路径split_dir = 'ImageSets/Segmentation'mmcv.mkdir_or_exist(osp.join(data_root, split_dir))png_filename_list = [osp.splitext(filename)[0] for filename in mmcv.scandir(osp.join(data_root, ann_dir), suffix='.png')]jpg_filename_list=[osp.splitext(filename)[0] for filename in mmcv.scandir(osp.join(data_root, image_dir), suffix='.jpg')]assert len(jpg_filename_list)==len(png_filename_list),"提示：原图与掩码图数量不统一"print("数量检查无误")for i in range(10):random.shuffle(jpg_filename_list)red_num=0black_num=0with open(osp.join(data_root, split_dir, 'trainval.txt'), 'w+') as f:length = int(len(jpg_filename_list))for line in jpg_filename_list[:length]:pngpath=osp.join(data_root,ann_dir,line+'.png')jpgpath=osp.join(data_root,image_dir,line+'.jpg')get_Image_dim_len(pngpath,jpgpath)img=cv.imread(pngpath,cv.IMREAD_GRAYSCALE)red_num+=len(img)*len(img[0])-len(img[img==0])black_num+=len(img[img==0])f.writelines(line + '\n')value=red_num/black_numtrain_mean,train_dev=[[0.0,0.0,0.0]],[[0.0,0.0,0.0]]with open(osp.join(data_root, split_dir, 'train.txt'), 'w+') as f:train_length = int(len(jpg_filename_list) * 7/ 10)for line in jpg_filename_list[:train_length]:jpgpath=osp.join(data_root,image_dir,line+'.jpg')mean,dev=pixel_operation(jpgpath)train_mean+=meantrain_dev+=devf.writelines(line + '\n')with open(osp.join(data_root, split_dir, 'val.txt'), 'w+') as f:for line in jpg_filename_list[train_length:]:jpgpath=osp.join(data_root,image_dir,line+'.jpg')mean,dev=pixel_operation(jpgpath)train_mean+=meantrain_dev+=devf.writelines(line + '\n')train_mean,train_dev=train_mean/length, train_dev /lengthdoc=open('均值方差像素比.txt','a+')doc.write("均值:"+'\n')for item in train_mean:doc.write(str(item[0])+'\n')doc.write("训练集方差:"+'\n')for item in train_dev:doc.write(str(item[0])+'\n')doc.write("像素比:"+'\n')doc.write(str(value))train_mean,train_dev=[[0.0,0.0,0.0]],[[0.0,0.0,0.0]]

运行完上述代码后，在VOC文件夹下便可看到均值方差像素比.txt文件:

同时,三个标签引索txt文件也随之生成：