python爬取json并写入mongodb

Question

用python爬取https://py.btc126.com/json/markets.json 这个json，

写入到mongodb数据库，同时以 json中的 id为唯一字段， mongodb里如果没有就插入，已经存在就更新。

谢谢。

Answer 1

from pymongo import MongoClient
import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Safari/537.36",
}
# 获取json数据
response = requests.get("https://py.btc126.com/json/markets.json", headers=headers)
data = response.json()
# 建立MongoDB数据库连接
client = MongoClient('127.0.0.1', 27017)
# 连接所需数据库,test为数据库名
db = client.test
# 连接所用集合，也就是我们通常所说的表，json为表名
collection = db.json
# 读出集合中所有数据
json_datas = collection.find()
for json_data in data:
    for item in json_datas:
        if json_data.get("id") == item.get("id"):
            # 更新
            collection.update({"id":json_data.get("id")},json_data)
            break
    else:
        # 插入
        collection.insert(json_data)

这。。。