在广州想要一个可以植入gpt技术的工作室
用于人工智能,数据分析的
1条回答 默认 最新
关注【相关推荐】
- 你可以参考下这个问题的回答, 看看是否对你有帮助, 链接: https://ask.csdn.net/questions/7769580
- 这篇博客也不错, 你可以看下【深度学习】深度学习中经常会被问到的知识点总结(1) | GPT记录
- 除此之外, 这篇博客: 【论文阅读笔记】GPT三部曲中的 GPT2和GPT的区别 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读:
我们在GPT
预训练模型的时候,是在自然语言上进行训练的,在微调的时候,我们对输入进行了构造,有Start、Extract、Delim这些特殊符号,这些符号在之前预训练时是没有出现过的,所以模型也不认识这些。所以微调的时候模型会去重新认识这些符号,需要调整模型。所以我们在进行下游任务,构造输入时,不能引入这些没见过的符号,而是使输入长得和预训练模型时的输入一样,都接近自然语言。 如:对于一个翻译子任务
(translate to french, english text, french text)
构造一个这样的序列
translate to french叫做prompt(提示) 如:对于一个阅读理解子任务
(answer the question, document, question, answer)
如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^解决 无用评论 打赏 举报