今天，给大家介绍一个经典的图像分类数据集——CIFAR-10，其广泛用于机器学习领域的计算机视觉算法基准测试。虽然经过10多年的发展，这个数据集的识别问题已经被“解决”，很多模型都能轻松达到80%的分类准确率，深度学习卷积神经网络在测试数据集上的分类正确率也能在90%以上，拥有较好的性能。但它仍然是许多初学者不错的选择，一起来看看。

目录

一、数据集简介

二、数据集详细信息

三、数据集任务定义及介绍

四、数据集文件结构解读

五、数据集下载

一、数据集简介

发布方：University of Toronto Computer Science

发布时间：2009

背景：

CIFAR-10本质是从一个叫做【the 80 million tiny images dataset】（“8000万张小图”数据集）中精炼剥离出来的一部分，是该数据集的子集。因为该数据涉及到了一些争议内容，目前已经被下架。

简介：

CIFAR10是由 Hinton 的学生 Alex Krizhevsky 和 Ilya Sutskever 整理的一个用于识别普适物体的小型数据集。CIFAR-10数据集包含60000幅32x32的彩色图像，分为10个类，每类6000幅图像。

二、数据集详细信息

1. 标注数据量

训练集：50000张图像

测试集：10000张图像

2. 标注类别

数据集共有10个类别。具体分类见图1。

3. 可视化

（图1）

三、数据集任务定义及介绍

1. 图像分类

● 任务定义

图像分类是计算机视觉领域中，基于语义信息对不同图像进行分类的一种模式识别方法。

● 评价指标

Accuracy：

n_correct / n_total，标签预测正确的样本占所有样本的比例。

某个类别的Precision：

TP/(TP+FP)，被预测为该类别的样本中，有多少样本是预测正确的。

某个类别的Recall：

TP/(TP+FN)，在该类别的样本中，有多少样本是预测正确的。

注：在上面的评价指标中，TP代表True Positive，FP代表False Positive，FN代表False Negative，n_correct代表所有预测正确的样本数量，n_total代表所有的样本数量。

四、数据集文件结构解读

1. 数据集目录结构

dataset_root/├── batches.meta            #记录分类信息的元文件├── data_batch_1            #训练集1├── data_batch_2            #训练集2├── data_batch_3            #训练集3├── data_batch_4            #训练集4├── data_batch_5            #训练集5├── readme.html             #README文件└── test_batch              #测试集文件

2. 标注文件格式

由于数据集中的每一副图片均为32X32的RGB图片，数据集并没有直接储存图片文件，而是将每一个数据集的所有图片通过numpy二维数组储存下来，并且记录对应的文件名。 

利用官网提供的unload代码，可以将data_batch_1等文件中的数据进行解析。

python3：

def unpickle(file):import picklewithopen(file, 'rb') as fo:dict = pickle.load(fo, encoding='bytes')return dict

python2:

def unpickle(file):import cPicklewithopen(file, 'rb') as fo:dict = cPickle.load(fo)return dict

经过解析后，得到的字典分为四部分内容，一是训练集的编号，二是每一张图片的分类编号、三是所有图片组成的numpy数组，四是文件名的列表。

在label列表中，每一个值对应的分类类别：

在data列表中，存放了这个batch所有图片的信息。Array是一个10000X3072的二维numpy数组，每一行储存一张图片的RGB信息。在每一行的一维数组中前1024个数据记录该图片的R通道信息，中间1024个数据记录该图片的G通道信息，最后1024个数据记录B通道信息。

在每一个通道信息的1024个数据中，以32个为一组，每一组记录图片每一行的32个像素点取值。第一组32个值记录图片第一行的像素取值，第二组32个值记录图片第二行的像素取值，以此类推。

3. 元信息格式

batches.meta文件记录了分类变量取值和对应类别的对照信息，经过提供的代码解析后，得到的字典结果为：

五、数据集下载

OpenDataLab平台为大家提供了CIFAR-10数据集完整的数据集信息、直观的数据分布统计、流畅的下载速度、便捷的可视化脚本，欢迎体验。点击原文链接可查看。

https://opendatalab.org.cn/CIFAR-10

参考资料

[1] 官网：http://www.cs.toronto.edu/~kriz/cifar.html

[2] 数据集下载：http://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz

作者丨杜坤明

有智者，万事兴

- End -

以上就是本次分享，更多精彩的数据集干货，不容错过。还有哪些想看的内容，快来告诉小助手吧。更多数据集上架动态、更全面的数据集内容解读、最牛大佬在线答疑、最活跃的同行圈子……欢迎添加微信opendatalab_yunying加入OpenDataLab官方交流群。