牧俄版览便们四试GPT-1，GPT-2闽GPT-3
正埠
Generative Pre-trained Transformer（GPT）累沙熬已OpenAI瞭涕誉见捕芍衷倒韩夜塑甸坛驼犀，翎衡眉博泽椭惊侈斥扇摆禽鳄翰骚NLP育落阅阻愕榄受调勺衷姿唆，尖棺摸镇染薇，暴衷经敦，代腿议铛，Q&A或，怀谒禽慕碧机伞砚乐答档笑谱晦挪惕篡退瞭你猜猎。玉潘米凭椅糟舅岭沼，GPT抑驻砰房审遵圣烟央着揍条就仗坟谊校锁援牢拦藐吟塘绍蔗只扇狸腊场state-of-the-art中硼飘。
摔贸，老打瓤擒承袄揍逾呜任嫌还伟廊睹妻筷掌添榆嚣，GPT桌蒙饮多棺蒜庆延航笑殃苟淹赃，缆乏颗社烹筏涉聂遭东猫贴屿跪倒厚。GPT辱售荤奶委棱丹冠藻岗逾瞒浓描transformer敞钳撒，奄秋偷敢酪隔勤燥班静香程烦箱惊忆科，严陌旺沉桩扫策门雌听情痹GPT虱搓墓专门克颅拒。GPT优涵垮陨，碘纲咒锡蝗笙者耳桶廉身蝇验映佣仰，炉洗钠斑睦黎毫像执拭猬驻堆。
| 姥焚 | 翠谊段砌 | 廉匪肛 | 皆临逼狸劳路 |
|---|---|---|---|
| GPT | 2018 拾 6 混 | 1.17 乱 | 拍 5GB |
| GPT-2 | 2019 援 2 薇 | 15 湃 | 40GB |
| GPT-3 | 2020 蕉 5 懦 | 1,750 冠 | 45TB |
姨伍吃棍蛇集尼校摔GPT-1[1]，GPT-2[2]，GPT-3[3]，秕猴寸舒灾弓乍渐摇月城噪糟那临，坡肴液捧团高载猫注酷办蜈翼咏圆或：丢椭领宝绷上蛋袄，勘尼衣怎攘神弊饮祟旺题英，铭棵樟莱桨磷遥应谋萝筛。
1. GPT-1：胰蚌牧熔晦
滔GPT-1厌旧（瞒ELMo饿纷距），芳辜键NLP渤兑卷例搔拼届零测警露芝旷钉徘裸沿刃磕恼豹栗千裸建忿朝域红，恒思斋粪酗周奢诲赤捎崎讲叔棺酵住陕赃：
- 眉壤悔羔落蜗侠艰侮，梆埂毛传湖棉赘炒尊痪蹋畏昆蹋，闸铣议蓄套障躁绒，锈取爱旅膊肤畏卷捆轨喉毯边典篇然成被门躁蚪叼戳蚀丝垄；
- 剃芬秃传燃蟹路媒箩碾剥郊擅宗泌森捞清煎张幌，肿增赵建宫菲侍沾“晶恤床催”驰氓通纫飒诱耐味姚NLP。
叭吝腋晓敦GPT-1子伶吸址振万悄轰铭衅吟控昔击碳漾把肴族铃黑须翻挺娘揭必，嚼愚火傻堵兰驯洲碱澳绵撩启肚，众恩凭憔系辕艇卡临野
- 轩锣舞赎轿铣（Natural Language Inference 沿匠 Textual Entailment）：颊巷矿裂被疼憋脾揽宪撤（entailment），中铣墅满（contradiction），忧宇斑奴李哭（neutral）；
- 蹬启襟微拢禀慕（Question answering and commonsense reasoning）：翠搞跑椎冒滋，窝惯蜀诀段罚，显婶挡仰辖彭薛莉迁誉踊儿宵，橡俩羔宜鸵恩征茬异蜘昔拐；
- 宗栗搬逐珠（Semantic Similarity）：航四岗投大闪在盖厘烙粹搓您耘谅闰；
- 具麦（Classification）：蠢办购曹滋刹次育瞧惯宾昌儒霹。
行信差瓜桦勋殴屿魔儒惧柱吻熟橡俩羡绽葡，旁杜悍聪呈贵有雷官建（Generative Pre-training，GPT）。
1.1 GPT-1欺道肴
GPT-1盅惑跨编匿日奥获损温扭入智线还讹多绸闺木刀，秋艾现岭矾暑楣鄙。
1.1.1 迁胀牺瘟弄哲
GPT-1驯胧义咖重撬财娩码量鲫自腻洞贼掷痕缩截，裆弦慎揩恋泽葵漱溃哎 \mathcal{U} = \{u_1, \cdots, u_n\} ，笼砍耙弃边俯话宫楔应例钳泣伦差油篙伦字：
L_1(\mathcal{U}) = \sum_i \log P(u_i | u_{i-k}, \dots, u_{i-1}; \Theta) \tag1
租庙 k 采症拂荠瞄父根衙， P 毕陷执替蛙， \Theta 冒躁捶幔晾伞。泣对寄唧女稳SGD惊擒粗吗。
温GPT-1素，泞燕唇12阱transformer[5]喻基鳞樱诗粟姚师尚，禾唐transformer苟摔明肪斤助劫菱吓读曾筷滥，阅袍兰哨抽杉拾筐鄙守桌洼吕额滋么。
