chromadb向量数据库一直存不进去embedding

Question

chromadb向量数据库一直存不进去embedding

我这里get了一下id0和id1，但是embeddings显示是None

我是这样创建的collection

self.collection = chroma_client.get_or_create_collection(name=collection_name,embedding_function=MyEmbeddingFunction())

EMBEDDING_MODEL用的是bge-large-zh

class MyEmbeddingFunction(EmbeddingFunction):
    def __call__(self, texts:Documents)->Embeddings:
        embeddings = [EMBEDDING_MODEL.encode(x).tolist() for x in texts]
        return embeddings

想问问大家到底是怎么回事

Answer 1

引自免费微信小程序：皆我百晓生

看起来你在尝试将文本嵌入到Chromadex数据库中，并遇到了问题。首先，我们需要确认几个关键点：确保Bert模型（bge-large-zh）已经正确安装并且可用，其次，检查MyEmbeddingFunction类中的编码函数是否正常工作，以及在插入数据时是否正确传递了ID和嵌入向量。

为了更好地帮助你，我需要更多的上下文信息，比如错误信息、你尝试插入数据的部分代码等。然而，我可以给你一个例子，展示如何创建并使用ChromaDB集合以及如何插入数据。假设你已经在环境中安装了必要的库（包括chord和transformers）。

首先，确保你已经安装了所需的库：

pip install chord transformers

接下来，根据你的描述，我会提供一个完整的示例代码，用于设置ChromaDB集合，定义嵌入函数，然后插入数据。请替换your_api_key为你的实际API密钥，并确保你已经下载并安装了bge-large-zh模型。

import json
from typing import List, Dict
from chord.client import ChromaClient
from chord.types import Documents, Embeddings
from transformers import BertTokenizerFast, BertModel

# 初始化Chroma客户端
chroma_client = ChromaClient(api_key="your_api_key")

# 定义嵌入函数
class MyEmbeddingFunction(EmbeddingFunction):
    def __init__(self):
        self.tokenizer = BertTokenizerFast.from_pretrained("bge-large-zh")
        self.model = BertModel.from_pretrained("bge-large-zh").eval()

    def __call__(self, texts: Documents) -> Embeddings:
        inputs = self.tokenizer(texts, padding=True, truncation=True, max_length=512, return_tensors="pt")
        with torch.no_grad():
            outputs = self.model(**inputs)
            last_hidden_states = outputs.last_hidden_state[:, 0]  # Take <s> token embedding
            embeddings = last_hidden_states.detach().numpy()
        return [[emb.tolist()] for emb in embeddings]

# 创建或获取集合
collection_name = "my_embedding_collection"
embedding_function = MyEmbeddingFunction()
self.collection = chroma_client.get_or_create_collection(name=collection_name, embedding_function=embedding_function)

# 示例文本
texts = ["ide", "another text example"]

# 获取嵌入向量
embeddings = self.collection.embed(texts)

# 插入数据
data_to_insert = [{"id": f"id{i}", "text": t, "embedding": e} for i, (t, e) in enumerate(zip(texts, embeddings))]
insert_result = self.collection.insert(data_to_insert)

print(insert_result)

这个示例代码应该能帮你解决这个问题。如果你仍然遇到问题，请提供详细的错误信息或者插入数据部分的代码，以便我能更准确地定位问题。