平常练习gym中Q表都是

Q = defaultdict(lambda: [0, 0, 0])

在for循环中增加数据更新Q值 s为state a为action

Q[s][a] = (1 - lr) * Q[s][a] + lr * (reward + factor * max(Q[next_s]))

但我现在的问题是我的s和a都变成了list形态 s为state a为action例如

s=[{('S1', 1): 0, ('S2', 1): 0}, {('S1', 'P1', 1): 0, ('S2', 'P1', 1): 0, ('S1', 'P2', 1): 0, ('S2', 'P2', 1): 0}, {('P1', 1): 0, ('P2', 1): 0}, 1]

a=[{('S1', 1): 0, ('S2', 1): 0}, {('S1', 'P1', 1): 0, ('S2', 'P1', 1): 0, ('S1', 'P2', 1): 0, ('S2', 'P2', 1): 0}]

并且a不像平常gym练习那样只有几个动作了，a有很多种情况

而且不能像练习时那样Q[s][a]=这样更新添加Q值，因为s变成了list模式不能哈希会报错

请问应该怎么解决该问题如何设计Q表有会的大佬私聊成功给vx给hongbao

修改字段注释导致查询其他字段异常