尽管现在已经存在scrapy,api 接口等各种获取各种数据的方法,但我搜寻了很久都没有找到符合我需求的方法,有人会说可以利用scrapy的项目portia做带表单的数据获取,
但是问题就在于汽油这种竞争激烈利润巨高的企业是不会允许你用简单的方法就能获取人家全部的汽油价格。 虽然网站再填入邮编 数量等信息后会提交表单,但是该提交信息的api/http请求的返回结果却不包含返回的价格等信息,甚至简单到reserve 一个单词这么简单。
当初一看检索不需要难看验证码,就觉得这个东西 so easy,后来发现太naive啦~~~
社区的大佬能不能来帮帮小弟,提供一些解决问题的思路和方法。 有人说有专门的软件可以做这个,但是付费昂贵。