从RNN到XLnet
本文共 224 字，大约阅读时间需要 1 分钟。
疫情期间，重新阅读了语言模型相关的论文，从RNN时代到XLNet，结合看得网络博文和视频，简单总结为如下一张图：
模型分为AE(AutoEncoder)类，如Transformer，BERT等，AR类(AutoRegression)类，如基于RNN、LSTM或其变种（ELMO）等，这种分类方式是XLNET中的分类方法，可以参考该论文。下面引用Recurrent.ai联合创始人杨植麟大神讲座中的PPT图片，个人觉得对NLP的发展有着很深刻的理解：
转载地址：http://guqrb.baihongyu.com/
你可能感兴趣的文章
POJ 2696 计算表达式的值
查看>>
都江堰很美-佩服古人_Crmhf的一天
查看>>
Linux系统资源查询命令（cpu、io、mem）
查看>>
（转）PowerHA完全手册（一，二，三）
查看>>
hdu 4391 Paint The Wall 线段树 +优化 2012 Multi-University Training Contest 10 )
查看>>
socket与socketServer通信
查看>>
Android_Layout (一)
查看>>
《过早退出是一切失败的根源》读后感
查看>>
luogu P1774 最接近神的人_NOI导刊2010提高（02）
查看>>
Dynamic Proxy
查看>>
Yii2的一些问题
查看>>
LeetCode OJ - Populating Next Right Pointers in Each Node II
查看>>
C++ wifstream读取日文方法（中文适用）
查看>>
B-树
查看>>
php计算上个月是几月份
查看>>
浅谈 trie树 及其实现
查看>>
60款很酷的 jQuery 幻灯片演示和下载
查看>>
nyoj-20-吝啬的国度(深搜)
查看>>
【NOI 2018】归程（Kruskal重构树）
查看>>
spark 2.4安装
查看>>