pytorch 多gpu inference

PyTorch 支持多 GPU 运算，在 inference 时也可以使用多 GPU 加速。

你可以使用 torch.nn.DataParallel 或 torch.nn.parallel.distributed 来实现多 GPU 计算。

torch.nn.DataParallel 可以轻松地将一个模型包装到多 GPU 中，并且使用时不需要修改原始代码，只需要在定义模型后加入：

model = nn.DataParallel(model)
torch.nn.parallel.distributed 则是一个更高级的分布式计算的工具，它可以在多台机器上使用多 GPU 进行计算。
如果你对这两种方法还有任何疑问，请继续提问。