刚接触scrapy框架一周的菜鸟,之前都没用过框架手撸爬虫的,这次遇到了一个问题,我先请求一个网页
def start_requests(self):
urls=["http://www.tiku.cn/index/index/questions?cid=14&cno=1&unitid=800417&chapterid=701354&typeid=600122&thrknowid=700137"]
for url in urls:
yield scrapy.Request(url=url,callback=self.parse)
然后传给parse方法获得了question_ID这个关键参数,然后我想在这里面直接利用这个question_id这个参数构造post请求获得它回传的json数据包并保存在
item['正确答案']之中,请问我要如何实现?,谢谢大佬百忙之中抽空回答我的疑问,谢谢!
def parse(self, response):
item = TikuItem ()
for i in range(1,11):
QUESTION_ID=str(response.xpath('(/html/body/div[4]/div[2]/div[2]/div['+str(i)+']/div[@class="q-analysis text-l"]/@id)').extract_first()[3:])
item['question_ID']=QUESTION_ID
这是我的items.py文件
class TikuItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
question_ID=scrapy.Field()#题号
correct_answer=scrapy.Field()#正确答案