totall_set = DatasetFolder("../labeled", loader=tifffile.imread, extensions="tif", transform=None)
train_set, test_set = torch.utils.data.random_split(totall_set, [batch_size_train, batch_size_test])
train_loader = DataLoader(train_set, batch_size=batch_size_train, shuffle=True)
test_loader = DataLoader(test_set, batch_size=batch_size_test, shuffle=True)
DatasetFolder如下：
目的: 在使用
pytorch
进行神经网络训练的时候，需要每次向网络中输入一组图片，但是每次使用
pytorch
内置的ImageFolder，
DatasetFolder
等函数读取文件夹中的文件时，里面的文件总是不是按照顺序来读取的。
它的排序方法是：1.tif，10.tif，100.tif…我们希望他是按照顺序来读取，所以有了以下的解决方法：
# 文件夹路径
path = "./splitdata/splitdata"
dir_list = os.listdir(path)
# 将顺序读取的文件保存到该lis
深度学习数据集定义与加载
深度学习模型在训练时需要大量的数据来完成模型调优，这个过程均是数字的计算，无法直接使用原始图片和文本等来完成计算。因此与需要对原始的各种数据文件进行处理，转换成深度学习模型可以使用的数据类型。
一、框架自带数据集
飞桨框架将深度学习任务中常用到的数据集作为领域API开放，对应API所在目录为paddle.vision.datasets与paddle.text.datasets，可以通过以下代码飞桨框架中提供了哪些数据集。
import paddle
print(‘视觉相关数据集：’
pytorch
加载数据集主要分为两种方法：
1、所使用数据集已被集成在
pytorch
内，如：CIFAR-10，CIFAR-100，MNIST等等。对于这种数据集，可以直接使用
pytorch
内置函数：torchvision.datasets.CIFAR100来直接加载，比较方便。例程如下:
transform_
train
= transforms.Compose([
#transforms....
加载自己的数据集
对于torchvision.datasets中有两个不同的类，分别为
DatasetFolder
和ImageFolder,ImageFolder是继承自
DatasetFolder
。
下面我们通过源码来看一看folder文件中
DatasetFolder
和ImageFolder分别做了些什么
import torch.utils.data as datafrom PIL imp...
本文介绍了classdataset的几个要点，由哪些部分组成，每个部分需要完成哪些事情，如何进行数据增强，如何实现自己设计的数据增强。然后，介绍了分布式训练的数据加载方式，数据读取的整个流程，当面对超大数据集时，内存不足的改进思路。
本文延续了以往的写作态度和风格，即便是自己知道的内容，也仍然在写之前看了很多的文章来保证内容的正确性和全面性，因此写得极累，耗费时间较长。若有读者看完后觉得有所帮助，文末可以赞赏一点。
文末扫描二维码关注公众号CV技术指南 ，专注于计算机视觉的技术总结、最新技..
本文通过猴痘识别，介绍数据集新API
DatasetFolder
和 random_split 使用，并通过HAPI和自定义CNN模型进行了全过程实现，有助于初学者学习掌握PaddlePaddle。
构造一个my_dataset类，继承自torch.utils.data.Dataset
重写__getitem__ 和__len__ 类函数
建立两个函数find_classes、has_file_allowed_extension，直接从这copy过去
建立my_make_dataset函数用来构造(path,lable)对
一、构造一个my_dataset类，继承自torch.utils.data.Data
一、ImageFolder
ImageFolder会将目录中的文件夹名自动转化成序列，每个文件夹下会存储相同的一个类别，文件夹名为类名；当DataLoader载入时，标签自动就是整数序列了；
还是先查看一下用法：
help(datasets.ImageFolder)
class ImageFolder(
DatasetFolder
)函数构造：
| ImageFolder(root, transform=None, target_transform=None, loader=<default_.
文章目录`torch.utils.data`构造映射类型的数据集构造方法例1 `torchvision.
DatasetFolder
`例2 用于猫狗分类的数据抽象类 `DogCat`Note:构造可迭代类型的数据集采样模块`torch.utils.data.sampler``torchvision``torchvision`概览`torchvision.transforms`
这篇博客主要介绍torch.utils.data的数据集载入、torchvision.transforms的数据预处理。
torch.
点击上方“对白的算法屋”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨ronghuaiyang来源丨人工智能前沿讲习
PyTorch
在学术界和工业界的应用研究中都获得了很多关注。它是一个具有很大灵活性的深度学习框架，使用了大量的实用工具和函数来加快工作速度。
PyTorch
的学习曲线并不是那么陡峭，但在其中实现高效和干净的代码可能会很棘手。在使用它超过2年之后，以下是我最喜欢的
PyTorch
功能，我希望我一开始学习它就知道。1
DatasetFolder
当学习
PyTorch
时，人们首先要做的事情之一是实
class ImageFolder(
DatasetFolder
):
"""A generic data loader where the images are arranged in this way: ::
root/dog/xxx.png
root/dog/xxy.png
root/dog/xxz.png
root/cat/123.png
root/cat/nsdf3.png
root/cat/.
