输入图像大小是512*512，batchsize=1，主要问题是内存在刚开始占用很小，慢慢变大，然后内存不足。

解决方案：

初步看就是编译阶段的显存不足，编译阶段显存消耗是逐渐上升的。可以进一步确认下：

1. 使用nvidia-smi命令，查看GPU有没有运行多个进程，是否存在其他进程消耗显存的情况。

2. export GLOG_v=1打开info级别日志，搜索“CompileGraph graph_id:”字样，看下是否存在多图场景，如果是单图，那就是正常的显存不足报错提示

3. 两个info文件

   mindspore.b2b1e894967b.root.log.INFO.20210330-082843.3878.txt

   mindspore.b2b1e894967b.root.log.INFO.20210330-082845.4030.txt

exportGLOG_v=1打开info级别日志，搜索“CompileGraphgraph_id”字样，看下是否存在多图场景，如果是单图，那就是正常的显存不足报错提示。输入图像大小是512*512，batchsize=1，主要问题是内存在刚开始占用很小，慢慢变大，然后内存不足。使用nvidia-smi命令，查看GPU有没有运行多个进程，是否存在其他进程消耗显存的情况。初步看就是编译阶段的显存不足，编译阶段显存消耗是逐渐上升的。GPU-TITAN显存12G，训练的网络是VGG16.... 现在的神经网络模型，动不动就爆 内存 。两年前我笔记本2G的显存都绰绰有余，现在16G的P100，24G的P40却还不够。更让我郁闷的是，在pytorch 训练 时，显存占用竟然会不断增加，可能刚开始 训练 时是正常的，但是放在那里，不知道什么时候它就突然来一句out of memory，然后就尥蹶子不干了，白白浪费了很长的时间。所以这个问题我确实需要搞清楚。 当在PyTorch 中 进行 GPU 计算时， 内存 耗尽的问题可能由于以下几种原因引起： 1. 模型过大：如果模型的参数量或层数过多，可能会 导致 GPU 内存 不足 。解决这个问题的方法是减少模型的大小，可以通过减少隐藏层的数量或尝试使用更小的模型架构来缓解 内存 耗尽的问题。 2. 批量输入过大：较大的批量输入也会 导致 内存 耗尽。一种解决方法是减小批量大小，但这可能会影响 训练 的稳定性和精度。另一种方法是使用分布式计算，将 训练 数据分成多个子集，并在多个 GPU 上并行处理。 3. 张量占用 内存 ：在计算 过程 中 ，如果使用了过多的 中 间张量变量，可能会 导致 内存 耗尽。要解决这个问题，可以尽量避免在计算 中 创建大量张量变量，尽量使用必要的变量并及时释放 内存 。 4. 数据类型选择：使用较高精度的数据类型（如float64）会使用更多的 内存 ，可以尝试使用较低精度的数据类型（如float32）来减少 内存 消耗。PyTorch提供了float16数据类型，可以通过将模型和数据类型转换为float16来减少 内存 使用。 5. 内存 回收：PyTorch使用自动 内存 回收机制，当计算完成后会自动释放 内存 。但有时会存在 内存 碎片问题，可以尝试手动释放不再使用的变量 内存 （使用`del`命令）或者在每个小批量 训练 后调用`torch.cuda.empty_cache()`来清空 GPU 缓存。 总之，减小模型规模、减小批量输入、避免过多 中 间张量变量、选择合适的数据类型以及适时释放 内存 可以有效解决PyTorch GPU 计算 过程 中 的 内存 耗尽问题。 ### 回答2： 当在PyTorch 中 进行 GPU 计算时，可能会遇到 内存 耗尽的问题。出现这个问题的原因通常是因为 GPU 上的 内存 不足 以容纳所需的张量、模型参数和临时变量。 以下是一些解决这个问题的方法： 1. 减少数据集的批次大小：减少每个批次 中 的样本数量可以减少所需的 内存 。可以通过减小`batch_size`参数来实现，但要注意批次大小过小可能会影响模型的性能。 2. 使用`torch.utils.data.DataLoader`的`pin_memory`选项：`pin_memory`选项可以将 内存 中 的数据固定，这将加快数据传输速度。但是，该选项会占用更多的 内存 。 3. 使用`torch.nn.DataParallel`或`torch.nn.DistributedDataParallel`：这些类可以在多个 GPU 上并行计算，从而减少每个 GPU 上的 内存 使用量。使用这些类需要确保每个 GPU 上的 内存 足够容纳模型和张量。 4. 减少模型的参数量：可以尝试减少模型的参数数量，例如通过减少模型的层数、每个层的神经元数量或使用更小规模的预 训练 模型。 5. 删除不必要的变量：在计算 过程 中 ，可以手动删除不再需要的 中 间变量或结果，以释放 内存 。 6. 使用半精度浮点数：将模型和张量的数据类型从32位浮点数（float32）转换为16位浮点数（float16）可以减少 内存 占用。这可以通过将模型和输入数据类型设置为`torch.float16`来实现。 7. 尝试更大的 GPU 显存：如果以上方法都无法解决 内存 耗尽的问题，可以考虑使用显存更大的 GPU 。 请注意，这只是一些可能的解决方法，具体的方法可能因情况而异。在实践 中 ，可以尝试结合多个解决方法，以找到最适合的解决方案。 ### 回答3： 在使用PyTorch进行 GPU 计算时，可能会出现 内存 耗尽的问题。下面是一些解决这个问题的方法： 1. 减少批量大小（batch size）：批量大小是在 训练 过程 中 输入神经网络的样本数量。通过减小批量大小可以降低 内存 的需求量。需要注意的是，减少批量大小可能会对模型的 训练 效果产生一定的影响。 2. 减少模型的大小：模型的大小直接影响了 内存 的使用量。可以通过减少模型的层数、减少每层的神经元数量等方式来减小模型的 内存 占用。 3. 延迟分配 内存 ：有时候，在开始计算之前，PyTorch会预先分配一些 内存 ，用于缓存计算结果。可以通过设置torch.backends.cuda.cudnn.benchmark = True来延迟 内存 分配，这样可以减少 内存 的使用。 4. 增加 GPU 内存 ：如果以上方法都无法解决 内存 耗尽的问题，可以考虑增加 GPU 的 内存 。这可以通过更换较大 内存 容量的 GPU 卡来实现。 5. 减少不必要的 中 间变量：在计算 过程 中 ，可能会产生一些 中 间变量。可以尝试减少或及时释放这些 中 间变量，以减少 内存 的使用。 6. 使用混合精度计算：可以使用半精度浮点数来减少 内存 的使用。PyTorch 中 提供了自动混合精度计算的方法，可以在一定程度上减小 内存 消耗。 总结，解决PyTorch GPU 内存 耗尽问题的方法包括减少批量大小、减小模型的大小、延迟 内存 分配、增加 GPU 内存 、减少 中 间变量的使用以及使用混合精度计算。根据具体问题的情况选择合适的方法，以确保 内存 能够满足计算需求。