在面对第一把梭就失败时，我们通常是这么判断的：

1. 如果效果差的很离谱，比如二分类准确率在60%以下，那大概率是模型有问题，开始用小数据集debug

2. 如果有点效果，但一言难尽，那估计是数据有问题，要不然噪声多，要不然是真的难，可以自己看一下训练集，如果人看完后在几秒内都不能给出答案，就别太指望模型可以做好

在第一把效果还行的情况下，推荐尝试以下策略：

1. In-Domain Further Pre-train： 利用同领域下的无监督数据继续MLM预训练，这个方法我真的百试不厌，一般用一两百万的数据就能提升1-2个点；

2. Within-Task Further Pre-Training： 利用不同领域的同任务数据预先精调，选通用一些的一般也有提升；

3. Multi-Task Fine-Tuning： 利用不同任务预先精调；

4. Layer-wise Decreasing Layer Rate： 每层学到的知识都是不同的，前面几层会更通用，所以学的时候可以用小一点的学习率，防止灾难性遗忘；

5. Features from Different layers： 把不同层的输出集成起来，不过这个方法不一定有提升；

6. 长文本处理： 截断或使用层次化编码。

以上这些方法，都出自复旦邱锡鹏老师的 《How to fine-tune BERT for text classification?》 ，该文进行了各种详细的实验，得出了不少有用的结论，推荐大家去学习。即使有的方法在论文数据集中表现一般，在自己的数据上也可以尝试。

估计很多同学都知道邱老师，他的 《神经网络与深度学习》（即蒲公英书） 在豆瓣评分9.4，是一本十分适合算法同学入门、复习的读物。

但虽然基础有了，真到coding的时候往往还是下不去手，怎么破？

Don't Worry！ 邱神联合百度飞桨，以蒲公英书为基础，出品了配套产业案例与实践的免费教程！

其中很多知识点，都会配上底层代码，帮大家稳稳拿捏，比如BatchNorm：

同时，为了让大家更好地了解该课程的设计思想，提高学习效率， 邱神还将和百度飞浆工程师团队一起做直播，跟大家在线实时交流！（文末报名）

丰富题库实践