使用无标签进行预训练的意义是什么

Question

最近我在研究nlp领域，但是我一直有一个疑惑。
就是现在我手中有一个有标签的训练集，一个无标签的测试集，但是还有一个很大的无标签的数据用于给我给我们作为预训练使用，但是我不理解使用无标签的数据作为预训练的意义是什么？
就比如说我现在手里有的数据集，我的任务是实体标注ner任务，那么我应该如何使用这些无标签的数据进行预训练，这个预训练出来的结果是什么，我又应该如何使用这个结果去提升我的模型在有标签的训练集上的学习效果？

Answer 1

有标签叫分类，无标签就叫聚类咯
聚类有啥意义？
• Underlying structure: to gain insight into data, generate hypotheses, detect
anomalies, and identify salient features.
• Natural classification: to identify the degree of similarity among forms or
organisms (phylogenetic relationship).
• Compression: as a method for organizing the data and summarizing it through
cluster prototypes.
From 50 years beyond k-means