怎么获取下面的： glove_word2id.json和 glove_numpy.npy 这两个文件

Question

怎么获取下面的： glove_word2id.json和 glove_numpy.npy 这两个文件

    def load_glove_embeddings(self, data_word2id_dic, embedding_dim):
        """Loading the glove embeddings"""
        glove_word2id_path = "../data/glove_word2id.json"
        glove_embedding_path = "../data/glove_numpy.npy"
        f = open(glove_word2id_path, 'r')
        glove_word2id = json.load(f)
        f.close()
        glove_vecs = np.load(glove_embedding_path)
        embeddings = np.zeros((len(data_word2id_dic), embedding_dim))
        data_id2word_dic = {}
        for key, value in data_word2id_dic.items():
            data_id2word_dic[value] = key

        # data_vecs = np.zeros((len(data_word2id_dic), embedding_dim), dtype=np.float32)
        scale = np.sqrt(3.0 / embedding_dim)
        for i in range(len(data_word2id_dic)):
            if data_id2word_dic[i] in glove_word2id:
                embeddings[i] = glove_vecs[glove_word2id[data_id2word_dic[i]]]
            else:
                embeddings[i] = np.random.uniform(-scale, scale, [1, embedding_dim])
        return torch.from_numpy(embeddings).float()

Answer 1

以下参考免费微信小程序：皆我百晓生 作答，并由阿齐Archie整理回复，若还有疑问可评论或留言。

要获取 glove_word2id.json 和 glove_numpy.npy 这两个文件，您需要下载预训练的 GloVe 词嵌入模型。这里有一些步骤可以帮助您获取这些文件：

1. 访问 GloVe 词嵌入模型的官方网站：https://nlp.stanford.edu/projects/glove/

2. 根据您的需求选择合适的预训练模型。例如，如果您需要较小的模型，可以选择 glove.6B.50d.txt（6B 个单词，50 维词向量）。

3. 下载您选择的模型文件。通常，这些文件以 .txt 格式提供。

4. 将下载的 .txt 文件转换为所需的 glove_word2id.json 和 glove_numpy.npy 文件。您可以使用 Python 编写一个简单的脚本来完成这个任务。以下是一个示例脚本，将 GloVe 的 .txt 文件转换为所需的格式：

import json
import numpy as np

def glove_to_json_np(input_file, json_file, npy_file):
    embeddings = {}
    word2id = {}

    with open(input_file, 'r', encoding='utf-8') as f:
        for line in f:
            values = line.split()
            word = values[0]
            vector = np.asarray(values[1:], dtype='float32')
            embeddings[word] = vector
            word2id[word] = len(word2id)

    with open(json_file, 'w') as jf:
        json.dump(word2id, jf)

    np.save(npy_file, embeddings)

input_file = 'glove.6B.50d.txt'  # 您下载的 GloVe 文件路径
json_file = 'glove_word2id.json'  # 输出的 JSON 文件路径
npy_file = 'glove_numpy.npy'  # 输出的 NumPy 文件路径

glove_to_json_np(input_file, json_file, npy_file)

1. 确保 glove_word2id.json 和 glove_numpy.npy 文件的路径与您在代码中指定的路径相匹配（例如，../data/glove_word2id.json 和 ../data/glove_numpy.npy）。

2. 现在，您应该可以在代码中加载这些文件了。

请注意，您可能需要根据实际的文件路径和需求调整上述示例脚本。