这个错误该如何解决urllib.error.HTTPError: HTTP Error 404: Not Found

Question

这个错误该如何解决 ；
urllib.error.HTTPError: HTTP Error 404: Not Found

response = opener.open(r"https://www.imo.net/members/imo_live_shower?shower=GEM&year=2021%22,timeout = timeout)
# response = opener.open(r"https://www.imo.net",timeout = timeout)

        data = response.read()
        # print(chardet.detect(data))

        print(data.decode())

response = opener.open(r"https://www.imo.net",timeout = timeout)

如果是爬取https://www.imo.net/ ， 是可以的

但是https://www.imo.net/members/imo_live_shower?shower=GEM&year=2021 网站却不行，不知道为啥

Answer 1

如果链接是正常的， 那试着加上 header ， 模拟下正常的浏览器。