预训练的实体链接和表示工作

Question

实体链接问题 是否有可以直接使用的预训练模型或工具，可以将文本中提取到的mentions（提及）链接到知识图谱中的实体，并获取该实体预训练好的嵌入表示？

Answer 1

引自免费微信小程序：皆我百晓生

为了实现预训练的实体链接和表示，我们可以使用基于深度学习的方法，比如TransE、DistMult、ComplEx等。这些方法在知识图谱完成预训练后，可以用于新数据上的实体链接任务，并为每个实体提供嵌入表示。这里推荐一个流行的开源库——PyTorch-BigGraph (PBG)：https://github.com/facebookresearch/pytorch-biggraph，它是一个用于大规模知识图谱表示学习的框架。

以下是使用PBG进行实体链接和表示的基本步骤：

1. 安装PyTorch-BigGraph：

pip install pytorch-biggraph

1. 准备数据： 你需要一个知识图谱文件，通常采用N-Triples格式，例如data.nq-triples.txt。这个文件包含了一系列三元组，例如(Barack_Obama, birthPlace, Honolulu)。

2. 下载预训练模型： 由于PBG没有内置的预训练模型，但你可以找到一些开源项目，如OpenKE（https://github.com/thunlp/OpenKE），提供了预训练的模型。下载并解压缩后，会得到一组.bin文件，代表不同模型的预训练权重。

3. 使用PBG加载数据和模型： 首先，创建一个配置文件，例如config.json，定义数据路径、模型类型以及模型权重路径。

{
  "input_files": ["data.nq-triples.txt"],
  "model_type": "transe",
  "embedding_dim": 50,
  "entity_initializer": "xavier_uniform",
  "relation_initializer": "xavier_uniform",
  "negative_sample_size": 64,
  "learning_rate": 0.01,
  "num_negative_samples_per_positive": 1,
  "epochs": 1,
  "checkpoint_path": "path/to/your/pretrained_model/checkpoint",
  "load_pretrained": true
}

然后，运行以下Python代码加载数据和模型：

import torchbiggraph as bg

# Load the configuration file
with open('config.json', 'r') as f:
    config = json.load(f)

# Initialize a BigGraph object
bg_config = bg.GraphConfig.from_dict(config)
bg = bg.Graph(bg_config)

# Load the data into the graph
bg.add_data_from_files(config["input_files"])

# Load the pre-trained model
bg.serve()
bg.wait_until_serving()

# Now you can query for entity embeddings and link mentions to entities

1. 实体链接与嵌入查询： 对于给定的文本，你需要先通过命名实体识别（NER）将其转化为mention。例如，"Barack Obama was born in Honolulu" 中的 "Barack Obama" 和 "Honolulu" 是两个mention。接下来，使用PBG提供的API查询最相似的实体：

from torchbiggraph import QueryResult

# 假设我们已经有了mention列表
mentions = ['Barack Obama', 'Honolulu']

for mention in mentions:
    # 进行实体链接查询
    result = bg.query(mention, entity_type="person", top_k=1)
    
    if result.successful():
        # 获取最相关的实体ID和得分
        entity_id, score = result.get_top_entity()
        print(f"The entity ID of '{mention}' is {entity_id}, with a similarity score of {score}")
        
        # 获取对应的嵌入表示
        embedding = bg.get_embedding(entity_id)
        print(f"The embedding of '{mention}':\n{embedding}")
    else:
        print(f"No entity found for '{mention}'")

注意：上述代码示例可能需要根据实际情况调整，例如处理mention的输入方式，以及可能存在的错误处理。此外，实际应用中可能需要对ner结果进行进一步处理，确保mention与知识图谱中的实体匹配。