岁月冲淡々 2022-01-29 11:20 采纳率: 16.7%
浏览 9

请问需要获取登录后的内容,是在cookies吗,应该怎么加呢

这是爬虫部分,
我想要获取30页的内容,但是不登录只能获取10页的内容,我看是需要加cookie,
但是应该怎么加呢,加在哪儿

#import scrapy
#from demo1.items import Demo1Item

#class BaiduSpider(scrapy.Spider):

name = 'baidu'

#allowed_domains = ['daidu.com']
#page_num = 15
#url = 'https://www.liepin.com/zhaopin/?&dq=280020&currentPage='
#start_urls = [url + str(page_num)]
print(start_urls)

def parse(self, response):
    li_list = response.xpath('//div[@class="left-list-box"]/ul/li')

    for li in li_list:
        item = Demo1Item()
        # print(li)
        name =li.xpath('.//div[@class="job-title-box"]/div/@title')[0].extract()
        print(name)
        # 获取工作地点
        location =li.xpath('.//div[@class="job-dq-box"]/span[@class="ellipsis-1"]/text()')[0].extract()
        print(location)

        item = Demo1Item()
        item['name'] = name
        item['location'] = location

        #将item提交给管道
        yield item

        self.page_num += 1
        yield scrapy.Request(self.url + str(self.page_num),callback = self.parse,dont_filter = True)
  • 写回答

1条回答 默认 最新

  • A Python 萌新花花 2022-02-04 09:58
    关注

    加在request那块吧

    评论

报告相同问题?

问题事件

  • 创建了问题 1月29日

悬赏问题

  • ¥15 在不同的执行界面调用同一个页面
  • ¥20 基于51单片机的数字频率计
  • ¥50 M3T长焦相机如何标定以及正射影像拼接问题
  • ¥15 keepalived的虚拟VIP地址 ping -s 发包测试,只能通过1472字节以下的数据包(相关搜索:静态路由)
  • ¥20 关于#stm32#的问题:STM32串口发送问题,偶校验(even),发送5A 41 FB 20.烧录程序后发现串口助手读到的是5A 41 7B A0
  • ¥15 C++map释放不掉
  • ¥15 Mabatis查询数据
  • ¥15 想知道lingo目标函数中求和公式上标是变量情况如何求解
  • ¥15 关于E22-400T22S的LORA模块的通信问题
  • ¥15 求用二阶有源低通滤波将3khz方波转为正弦波的电路