Python爬虫想要定时爬取数据

Question

但是爬取的时候post的数据是读取的csv文档的，6w+条记录，不想切割，但是爬虫时会被拒绝访问，要怎么解决呢

Answer 1

你可以做一下异常处理，将拒绝访问的数据记录下来，然后第二次只爬取被拒绝访问的数据。
另外，做爬虫最后还是要做一些应对反爬的措施，比如每次访问之间sleep几秒钟（最好用随机数）。
如果，想要做定时的话，可以用 APScheduler进行
望采纳！