爬取迁徙数据时中途中断该怎么办？

Question

dt=city&id=130200&type=move_in&date=20230729
唐山市:https://huiyan.baidu.com/migration/cityrank.jsonp?dt=city&id=130200&type=move_in&date=20230730
Traceback (most recent call last):

  File D:\Anacoda\lib\site-packages\urllib3\connection.py:174 in _new_conn
    conn = connection.create_connection(

  File D:\Anacoda\lib\site-packages\urllib3\util\connection.py:95 in create_connection
    raise err

  File D:\Anacoda\lib\site-packages\urllib3\util\connection.py:85 in create_connection
    sock.connect(sa)

TimeoutError: [WinError 10060] 由于连接方在一段时间后没有正确答复或连接的主机没有反应，连接尝试失败。

爬取迁徙数据出现如上问题，有办法可以解决吗？

Answer 1

用 try ... except 包裹代码，吃掉异常，配合 while循环重试