Python解决嵌套for循环性能慢

Question

两个json文件关联 其中文件file1次取500条关file2
关联得到结果500条记录

目前情况是file2数据总数大概十万左右 for循环嵌套关联效率极低

###代码：

import json

with open(file1,'r') as f1,open(file2,'r') as f2:
    a=json.load(f1)
    b=json.load(f2)
list_a=[]
for i in range(len(a)):
    for n in range(len(b)):
        if b[n]["id"]==a[i]["id"]:
             list_a.append(dict(b[n],**a[i]))
f3=open(result,'w') as f3
json.dump(list_a, f3,sort_keys=True, ensure_ascii=False)
f3.close()

###1000条关联7万数据大概是两分钟

file1 :

[
  {
    "id":"1",
    "name":"Tom"
 },
  {
    "id":"2",
    "name":"Jim"
 },
   {
    "id":"3",
    "name":"Bob"
 },
   {
    "id":"4",
    "name":"Jeny"
 },
   {
    "id":"5",
    "name":"Lara"
 },
  {
    "id":"6",
    "name":"Lin"
 },
   {
    "id":"7",
    "name":"Kim"
 },
   {
    "id":"8",
    "name":"Jack"
 },
   {
    "id":"9",
    "name":"Tony"
 }
]
``

##file2##

[
{
"id":"1",
"Details":[
{
"label":"jcc",
"hooby":"Swimming"
},
{
"label":"hkt",
"hooby":"Basketball"
},
]
},
{
"id":"2",
"Details":[
{
"label":"NTC",
"hooby":"Games"
}
]
},
{
"id":"3",
"Details":[
{
"label":"Nill",
"hooby":"BBQ"
},
{
"label":"hkt",
"hooby":"PAY"
},
]
},
{
"id":"4",
"Details":[
{
"label":"HFF",
"hooby":"Games"
}
]
},
{
"id":"5",
"Details":[
{
"label":"Make",
"hooby":"BBQ"
}
]
},
{
"id":"6",
"Details":[
{
"label":"LLL",
"hooby":"Games"
}
]
},
{
"id":"7",
"Details":[
{
"label":"mmm",
"hooby":"Games"
}
]
},
{
"id":"8",
"Details":[
{
"label":"nnn",
"hooby":"Games"
}
]
},
{
"id":"9",
"Details":[
{
"label":"yyy",
"hooby":"Games"
}
]
}
]

####
##预期结果:##

[
{
"id":"1",
"name":"Tom",
"Details":[
{
"label":"jcc",
"hooby":"Swimming"
},
{
"label":"hkt",
"hooby":"Basketball"
},
]
},
{
"id":"2",
"name":"Jim",
"Details":[
{
"label":"NTC",
"hooby":"Games"
}
]
},
{
"id":"3",
"name":"Bob",
"Details":[
{
"label":"Nill",
"hooby":"BBQ"
},
{
"label":"hkt",
"hooby":"PAY"
},
]
},
{
"id":"4",
"name":"Jeny",
"Details":[
{
"label":"HFF",
"hooby":"Games"
}
]
},
{
"id":"5",
"name":"Lara",
"Details":[
{
"label":"Make",
"hooby":"BBQ"
}
]
},
{
"id":"6",
"name":"Lin",
"Details":[
{
"label":"LLL",
"hooby":"Games"
}
]
},
{
"id":"7",
"name":"Kim",
"Details":[
{
"label":"mmm",
"hooby":"Games"
}
]
},
{
"id":"8",
"name":"Jack",
"Details":[
{
"label":"nnn",
"hooby":"Games"
}
]
},
{
"id":"9",
"name":"Tony",
"Details":[
{
"label":"yyy",
"hooby":"Games"
}
]
}
]

能不能把file1 map到一个里面然后只执行一次匹配

Answer 1

map肯定是没问题的
def deal（tmp）：
for i in b:
if i['id']==tmp['id']:
return dict(i,**tmp)
return None
map(deal,a)

如果b文件中没有id重复的数据，可在数据区陪后break 对b的循环这样也会减少很多无用的循环步骤。
同时对b的循环可以考虑用fiter来代替，可能会更好。
也可以考虑线程处理，也是很不错的一个方式。
最后建议对数据的处理尽量使用pandas库。