前提，cuda 11.6，pytorch 1.9.0，python 3.8
torch 没有autocast 这个属性，1.6.0版本以上的pytorch才有，我的版本是1.9.0，因为源代码说的是1.8.0以上都行，我自己试过很多个版本了，也升级过最新的，最新的又显示，我的cuda driver too old ，搞一下午没整出来

解决方法如下：

with torch.autocast(device.type,enabled=use_fp16): with torch.cuda.amp.autocast(enabled=use_fp16):

我是偶然才发现这个问题的，无语了、、、、、

注意两句话参数不一样，传参的时候别搞错了

https://zhuanlan.zhihu.com/p/165152789 https://zhuanlan.zhihu.com/p/176998729 https://py torch .org/docs/stable/amp.html https://py torch .org/docs/stable/notes/amp_examples.html#amp-examples py torch 版本 有点旧，更新一下就好了，我直接更新到1.7 import torch print( torch ._ 这项来自斯坦福大学、加州大学伯克利分校、加州大学圣迭戈分校和 Meta 的研究提出了一个新颖的序列建模方法，称为测试时训练（Test-Time Training, TTT）层。TTT 层通过用机器学习模型取代 RNN 的隐藏状态，并使用输入 token 的实际梯度下降来压缩上下文。研究表明，这种方法在性能上可以优于现有的 Transformer 和 Mamba 架构。 在环境变量中再把以下两行（v10.0是cuda 版本 号，根据自己下载的 版本 对应填入）行数因为是改后再看的可能有几行的差距。4，还有一个关于RMSprop报错的。train.py第115行。train.py第79行。分别添加进去，就行了。 device= torch .device("cuda" if torch .cuda.is_available() else "cpu"), AttributeError : module ' torch ' has no attribute 'device' 导入 torch 后，通过 torch .__version__语句查看时出现如标题所示的报错。在导入 torch 的geometric库前，需查看电脑安装的 torch 版本 。解决方法是version前后是2个“_”，添加后即可查看。 解决方法：先通过别的 torch 版本 （后续统称为低 版本 ，即2.0之前）去下载 ‘_six.py’ 文件，然后将该文件移植在自己的 torch 包（后续统称为高i 版本 ，即2.0之后）中，除此外，还需要在 torch 的初始化文件进行相关配置。2. 在低 版本 中导入 torch ，然后按下ctrl、点击 torch ，在__init__文件夹下，ctrl+f搜索 _six 然后将代码复制下来，同样移植到高 版本 中。 torch 版本 ：2.0（可以通过 torch .__version__)去检查一下自己的 torch 版本 ） 这是因为 torch 1.8.1是最新版很多接口发生了变化下载旧 版本 可以解决这个 问题 。 pip install torch ==1.1.0 torch vision==0.3.0 -f 由于最近的程序对速度要求比较高，想要快速出结果，因此特地学习了一下混合精度运算和并行化操作，由于已经有很多的文章介绍相关的原理，因此本篇只讲述如何应用 torch 实现混合精度运算、数据并行和分布式运算，不具体介绍原理。 自动混合精度训练（auto Mixed Precision，AMP）可以大幅度降低训练的成本并提高训练的速度。在此之前，自动混合精度运算是使用NVIDIA开发的Apex工具。从Py Torch 1.6.0开始，Py Torch 已经自带了AMP模块，因此接下来主要对Py Torch 自带的a