如何使用LSTM和Transform等经典模型

Question

最近在学习自然语言处理的预训练语言模型，然后最近看了LSTM和Transform，然后我l师给我说这几个比较经典，需要会用，而且我后面还要学习bert，但是我学的不好我不知道咋用，只是大概清楚了基本原理和架构。
是需要我找个代码跑一跑就行吗？还是需要我搞个tensorflow深度学习平台吗？还是怎么地呀？求各位指点迷津😭😭

Answer 1

建议换pytorch，信我，tensorflow坑巨多，还有各个版本之间的api兼容性，cuda兼容性巨差，旧版本的代码（1.08-1.15）在新版本（2.x）基本上跑不动,而一些旧的代码基本上都是1.x版本的，有些会有大佬重写2.x版本的代码，有些就没有。你显卡要是30系的cuda只能装11.x的基本上跑不了，自己去编译旧版本也没啥意义，还折腾。
至于学习，你可以找别人代码跑，在别人的基础上调整一些网络的超参数看下这些超参数作用。然后主要的是要自己动手搭建，从0开始，数据加载，数据预处理增强，损失函数设计等等，而如果不会搭建至少也要会根据具体需求在别人的网络里修改一些网络结构或者模块等等。