爬取某外国网站的航班信息

Question

我想爬取加拿大航空航班的信息，如下图，从上海到加拿大的卡尔加里，日期选择一个月，将每页的航班信息数据爬到，网址：https://www.aircanada.com/cn/zh/aco/home.html%E3%80%82

但是单我点击搜索时，会提示：很抱歉，我们无法处理您的申请。请重试，或联系我们在新标签页中打开以获取帮助。无法下一步，请指教一下

Answer 1

或许你可以在网站的最后加上robots.txt 看看它的爬虫协议 或许有所帮助