京东爬虫jsoup获取不到数据问题 5C

用jsoup获取进洞页面,但好像除了标题,其他的像卖点价格都为空,这个是什么情况啊

3个回答

用jsoup获取进洞页面,但好像除了标题,其他的像卖点价格都为空,这个是什么情况啊

京东 做了反爬虫 , 或者你没有找到对应的api

qq_37739083
qq_37739083 京东现在有反爬虫吗现在,记得前两年就可以获取所有信息
大约 2 年之前 回复

###京东的价格在这个链接上 http://p.3.cn/prices/get?skuid=J_' + str(pid)
url = 'http://p.3.cn/prices/get?skuid=J_' + str(pid) ###pid是你需要查找的商品编码
html2 = s.get(url,headers=headers)
dd=json.loads(html2.text)
print(dd)
nprice = dd[0]['p']

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
反爬虫问题,七麦数据如何实现让Jsoup.connect(url).get()拿不到页面数据。

请教大家一个反爬虫问题, 七麦是如何实现反爬虫的? 目标网址: https://www.qimai.cn/search/index/country/cn/search/王者荣耀 使用Jsoup.connect(url).get()获取不到页面数据的。只返回head 、body数据。

使用jsoup 获取纯文本后如何提取数据

![图片说明](https://img-ask.csdn.net/upload/201701/23/1485152523_213489.png) 如上图; 想要获取: 项目名称 太康县马厂镇2014年通村公路建设工程项目 招标单位 太康县马厂镇人民政府 中标候选人名称 信阳市金江工程有限公司 1 河南恒亘路桥工程有限公司 2 商丘市恒信路桥工程有限公司 项目经理/项目总监/ 项目负责人 郑东东 许留哲 叶修林 获取之后保存到数据库 请大神帮忙给个方法

java中使用jsoup获取cookies

我需要获得一个一个页面的cookies,但是这个页面时重定向以后的页面,比如 http://www.17sct.com/city.php?ename=CHANGZHOU 这个页面,会重定向到 http://www.17sct.com这个地址,这个地址的cookies中的99a0_city如果使用 Jsoup.connect("http://www.17sct.com/city.php?ename=CHANGZHOU").execute().cookies()获取,那么获取到得99a0_city=1,但是1这个值是这个站点默认的城市的cookies,不是重定向之前那个url的cookies,有什么办法能够获取重定向之前的那个页面的url吗?

jsoup 获取所有图片和视频

jsoup 获取所有图片和视频,大神们有代码例子吗?能否给小弟参考参考

Jsoup爬虫抓取网页数据

String url = rule.getUrl(); System.out.println("url============"+url); url============http://www.11315.com/search Connection conn = Jsoup.connect(url); System.out.println("conn============"+conn); Jsoup.connect(url); 不能执行

jsoup不能获取html的全部内容?

我用 ``` Document doc=Jsoup.connect("http://www.baidu.com").get(); System.out.println(doc); ``` 只能得出js代码,如图所示: ![图片说明](https://img-ask.csdn.net/upload/201902/24/1550992419_470168.jpg) 但是却可以通过doc.getElementById("ul"); 获取里面的标签值。 这是怎么回事呢?? ------------------------------------------------ 然后我用 ``` // 将string转成url对象 URL realUrl = new URL(url); URLConnection connection = realUrl.openConnection(); connection.connect(); in = new BufferedReader(new InputStreamReader(connection.getInputStream(),"utf-8")); String line; while ((line = in.readLine()) != null) { result += line; } ``` 这种方式可以获取到网页所有的html代码。 哪位大神能给小弟指点下怎么回事?谢谢啦。

关于Jsoup网络爬虫遇到的问题

我用这个语句 Elements element = doc.getElementsByClass("recommend_list"); 取不到数据 但是用 Elements element = doc.getElementsByClass("bang_nav"); 却能取到数据,这是为什么 截图如下 ![图片说明](https://img-ask.csdn.net/upload/201710/24/1508836957_18031.png)

如何用Jsoup爬取网址中懒加载的图片地址?

RT,最近学习用Jsoup爬取极客公园网站的数据,但发现用这个开源库只能爬取到静态的数据,像是首页新闻的图片和作者的头像不能够爬取出来,想问下大神怎么爬取动态加载后的数据呢? 网址: https://www.geekpark.net/ 想爬取的数据: 新闻列表<article-item>下的文章图片<img-cover>和作者头像<img-box>的信息,发现待爬图片网址的属性是 lazy="loaded",在网页的操作是,当网页请滑到相应的位置时,对应的图片加载出来。 不知道这个是不是动态的数据,请大神指导,谢谢!! 想爬取网址的截图如下 ![想获取的两个图片链接](https://img-ask.csdn.net/upload/201809/29/1538234830_153852.png) ![用Jsoup获取到的document](https://img-ask.csdn.net/upload/201809/29/1538234867_764462.png)

JSoup获取html源码显示不同怎么获取图二中的内容?

<h4>想要获取图二字符串该怎么做?</h4> 图一 起点页面显示为<br/>![图片说明](https://img-ask.csdn.net/upload/201902/08/1549640521_905265.png)<br/> 图二为 查看源代码出现的html实体<br/>![图片说明](https://img-ask.csdn.net/upload/201902/08/1549640584_109398.png)<br/> 图三为程序中获取到输出的内容<br/> ![图片说明](https://img-ask.csdn.net/upload/201902/08/1549640711_706851.png)<br/> 代码如下: ``` public static void main(String[] args) throws IOException, DataFormatException { Document jsoup = Jsoup.parse(new URL("https://book.qidian.com/info/1013414929"),999999); Elements bookinfo = jsoup.select(".book-info p em span"); String webclass = null; for(int i = 0,len = bookinfo.size();i<len;i++) { webclass = bookinfo.get(i).attr("class"); System.out.println(bookinfo.get(i)); } } ```

jsoup 抓取数据如何解决 IP封锁

jsoup 抓取 数据 如何 解决 爬取 网站 的 IP封锁

关于java中网络爬虫,jsoup相关的知识

关于java中网络爬虫,jsoup相关的知识。有时候在审查元素里面/源代码里面看不到需要获取的列表链接,在这个netword里面能找到。这种location属性的值我们怎么才能获取到呢?求解 ![图片说明](https://img-ask.csdn.net/upload/201509/11/1441959912_738249.jpg)

爬虫jsoup对robots.txt支持吗?

爬虫jsoup对robots.txt支持吗?可以不抓取Disallow规定的目录下的网页吗?

jsoup爬取网页信息问题。。。。

“<p> <font>哈哈哈</font></p>“ 上面元素对象.html();输出会带有字体font,而text();返回的只有内容,但是是String类型的。一个串。 多个<p>元素是不好分割。 请问如何去掉p下的font元素,或者如何判断呢? 我用了选择器p:not(font),并不能不查询出不带font的p元素。 总之就是如何去掉父元素下的子元素(不是属性呦)

java jsoup怎么获取最后一个html里的a标签

代码如下 ``` Document doc = Jsoup.parse(input, "UTF-8", ""); Elements hrefss = doc.select("td"); for (Element elem : hrefss) { if (elem.hasClass("good")) { System.out.println(elem.text()); } } ``` 这样输出的是html里的<td> class等于good的 <a>标签 有很多但是我只想获取最后一个 怎么写

java通过jsoup怎么爬取动态加载的 内容

要爬取的url:http://www.zdic.net/c/cipy/ci/?z=啊 要爬取的标签:![图片说明](https://img-ask.csdn.net/upload/201804/10/1523348192_354488.png) 但是在控制台的Elements里可以看到,如![图片说明](https://img-ask.csdn.net/upload/201804/10/1523348522_783648.png) 后来发现 这些数据来源于一个url请求:![图片说明](https://img-ask.csdn.net/upload/201804/10/1523348564_102493.png) 该怎么爬取这个zdiv这个标签的内容,,,

jsoup解析html某段字符串获取不了,应该是转义问题,但不知道如何解决,求帮助

http://pan.baidu.com/wap/share/home?uk=3306425232&third=0 这是我用jsoup解析的一个url地址,解析其中一段class为该页面信息: 控制台输出如下 ``` <div class="pages complete-pages" xmlns="http://www.w3.org/1999/xhtml"> <a data-ac="active" id="firstPage">首页</a> <a data-ac="active" id="pre">上一页</a> <div class="pagenum" id="pagenum"></div> <a data-ac="active" id="next">下一页</a> <a data-ac="active" id="lastPage">末页</a> </div> ``` 而用本地加载的时候控制台打印结果: ``` <div class="pages complete-pages" xmlns="http://www.w3.org/1999/xhtml"> <a data-ac="active" id="firstPage">首页</a> <a data-ac="active" id="pre">上一页</a> <div class="pagenum" id="pagenum">1/2</div> <a data-ac="active" id="next">下一页</a> <a data-ac="active" id="lastPage">末页</a> </div> ``` 可以看到加载url方法的时候1/2这段字符串被jsoup省略了,而本地加载正常显示,,应该是该字符串带有/的原因,但不知道怎么解决,,,求帮助

关于java的jsoup爬取数据问题

本人想做一个java爬取美团网的爬虫,但是其中通过class来获取对应element元素时获取不到是什么原因,如图![图片说明](https://img-ask.csdn.net/upload/201901/07/1546865718_871273.png) 这个是美图网通过浏览器查看里面的dom ![图片说明](https://img-ask.csdn.net/upload/201901/07/1546865942_39631.png) 这是控制台打印的。 求大佬帮忙解答问题。

java中用jsoup怎么获取div标签里的呢三个只有文本节点的p标签的内容。

``` <!DOCTYPE html> <html> <head> <title>test</title> </head> <body> <div id="contnet"> <p>111111111111111111111</p> <p><img src="1111.jpg"></p> <p>2222222222222222222222</p> <p><img src="22222.jpg"></p> <p><img src="22222222222.jpg"></p> <p>33333333333333333333333</p> </div> </body> </html> ```

关于Jsoup爬取数据,有没有大神教一下~

这段时间朋友偶然提起爬虫,我就想试试,然后用了Jsoup进行爬取,过了入门,我就在想,怎么用Jsoup爬取一个网站最近一周发布的链接呢。 我的问题总结就是:怎么用Jsoup根据时间和文章标题关键字进行筛选爬取。

在中国程序员是青春饭吗?

今年,我也32了 ,为了不给大家误导,咨询了猎头、圈内好友,以及年过35岁的几位老程序员……舍了老脸去揭人家伤疤……希望能给大家以帮助,记得帮我点赞哦。 目录: 你以为的人生 一次又一次的伤害 猎头界的真相 如何应对互联网行业的「中年危机」 一、你以为的人生 刚入行时,拿着傲人的工资,想着好好干,以为我们的人生是这样的: 等真到了那一天,你会发现,你的人生很可能是这样的: ...

程序员请照顾好自己,周末病魔差点一套带走我。

程序员在一个周末的时间,得了重病,差点当场去世,还好及时挽救回来了。

我以为我学懂了数据结构,直到看了这个导图才发现,我错了

数据结构与算法思维导图

String s = new String(" a ") 到底产生几个对象?

老生常谈的一个梗,到2020了还在争论,你们一天天的,哎哎哎,我不是针对你一个,我是说在座的各位都是人才! 上图红色的这3个箭头,对于通过new产生一个字符串(”宜春”)时,会先去常量池中查找是否已经有了”宜春”对象,如果没有则在常量池中创建一个此字符串对象,然后堆中再创建一个常量池中此”宜春”对象的拷贝对象。 也就是说准确答案是产生了一个或两个对象,如果常量池中原来没有 ”宜春” ,就是两个。...

技术大佬:我去,你写的 switch 语句也太老土了吧

昨天早上通过远程的方式 review 了两名新来同事的代码,大部分代码都写得很漂亮,严谨的同时注释也很到位,这令我非常满意。但当我看到他们当中有一个人写的 switch 语句时,还是忍不住破口大骂:“我擦,小王,你丫写的 switch 语句也太老土了吧!” 来看看小王写的代码吧,看完不要骂我装逼啊。 private static String createPlayer(PlayerTypes p...

Linux面试题(2020最新版)

文章目录Linux 概述什么是LinuxUnix和Linux有什么区别?什么是 Linux 内核?Linux的基本组件是什么?Linux 的体系结构BASH和DOS之间的基本区别是什么?Linux 开机启动过程?Linux系统缺省的运行级别?Linux 使用的进程间通信方式?Linux 有哪些系统日志文件?Linux系统安装多个桌面环境有帮助吗?什么是交换空间?什么是root帐户什么是LILO?什...

将一个接口响应时间从2s优化到 200ms以内的一个案例

一、背景 在开发联调阶段发现一个接口的响应时间特别长,经常超时,囧… 本文讲讲是如何定位到性能瓶颈以及修改的思路,将该接口从 2 s 左右优化到 200ms 以内 。 二、步骤 2.1 定位 定位性能瓶颈有两个思路,一个是通过工具去监控,一个是通过经验去猜想。 2.1.1 工具监控 就工具而言,推荐使用 arthas ,用到的是 trace 命令 具体安装步骤很简单,大家自行研究。 我的使用步骤是...

学历低,无法胜任工作,大佬告诉你应该怎么做

微信上收到一位读者小涛的留言,大致的意思是自己只有高中学历,经过培训后找到了一份工作,但很难胜任,考虑要不要辞职找一份他能力可以胜任的实习工作。下面是他留言的一部分内容: 二哥,我是 2016 年高中毕业的,考上了大学但没去成,主要是因为当时家里经济条件不太允许。 打工了三年后想学一门技术,就去培训了。培训的学校比较垃圾,现在非常后悔没去正规一点的机构培训。 去年 11 月份来北京找到了一份工...

JVM内存结构和Java内存模型别再傻傻分不清了

JVM内存结构和Java内存模型都是面试的热点问题,名字看感觉都差不多,网上有些博客也都把这两个概念混着用,实际上他们之间差别还是挺大的。 通俗点说,JVM内存结构是与JVM的内部存储结构相关,而Java内存模型是与多线程编程相关,本文针对这两个总是被混用的概念展开讲解。 JVM内存结构 JVM构成 说到JVM内存结构,就不会只是说内存结构的5个分区,而是会延展到整个JVM相关的问题,所以先了解下

和黑客斗争的 6 天!

互联网公司工作,很难避免不和黑客们打交道,我呆过的两家互联网公司,几乎每月每天每分钟都有黑客在公司网站上扫描。有的是寻找 Sql 注入的缺口,有的是寻找线上服务器可能存在的漏洞,大部分都...

Google 与微软的浏览器之争

浏览器再现“神仙打架”。整理 | 屠敏头图 | CSDN 下载自东方 IC出品 | CSDN(ID:CSDNnews)从 IE 到 Chrome,再从 Chrome 到 Edge,微软与...

讲一个程序员如何副业月赚三万的真实故事

loonggg读完需要3分钟速读仅需 1 分钟大家好,我是你们的校长。我之前讲过,这年头,只要肯动脑,肯行动,程序员凭借自己的技术,赚钱的方式还是有很多种的。仅仅靠在公司出卖自己的劳动时...

上班一个月,后悔当初着急入职的选择了

最近有个老铁,告诉我说,上班一个月,后悔当初着急入职现在公司了。他之前在美图做手机研发,今年美图那边今年也有一波组织优化调整,他是其中一个,在协商离职后,当时捉急找工作上班,因为有房贷供着,不能没有收入来源。所以匆忙选了一家公司,实际上是一个大型外包公司,主要派遣给其他手机厂商做外包项目。**当时承诺待遇还不错,所以就立马入职去上班了。但是后面入职后,发现薪酬待遇这块并不是HR所说那样,那个HR自...

女程序员,为什么比男程序员少???

昨天看到一档综艺节目,讨论了两个话题:(1)中国学生的数学成绩,平均下来看,会比国外好?为什么?(2)男生的数学成绩,平均下来看,会比女生好?为什么?同时,我又联想到了一个技术圈经常讨...

搜狗输入法也在挑战国人的智商!

故事总是一个接着一个到来...上周写完《鲁大师已经彻底沦为一款垃圾流氓软件!》这篇文章之后,鲁大师的市场工作人员就找到了我,希望把这篇文章删除掉。经过一番沟通我先把这篇文章从公号中删除了...

85后蒋凡:28岁实现财务自由、34岁成为阿里万亿电商帝国双掌门,他的人生底层逻辑是什么?...

蒋凡是何许人也? 2017年12月27日,在入职4年时间里,蒋凡开挂般坐上了淘宝总裁位置。 为此,时任阿里CEO张勇在任命书中力赞: 蒋凡加入阿里,始终保持创业者的冲劲,有敏锐的...

总结了 150 余个神奇网站,你不来瞅瞅吗?

原博客再更新,可能就没了,之后将持续更新本篇博客。

副业收入是我做程序媛的3倍,工作外的B面人生是怎样的?

提到“程序员”,多数人脑海里首先想到的大约是:为人木讷、薪水超高、工作枯燥…… 然而,当离开工作岗位,撕去层层标签,脱下“程序员”这身外套,有的人生动又有趣,马上展现出了完全不同的A/B面人生! 不论是简单的爱好,还是正经的副业,他们都干得同样出色。偶尔,还能和程序员的特质结合,产生奇妙的“化学反应”。 @Charlotte:平日素颜示人,周末美妆博主 大家都以为程序媛也个个不修边幅,但我们也许...

MySQL数据库面试题(2020最新版)

文章目录数据库基础知识为什么要使用数据库什么是SQL?什么是MySQL?数据库三大范式是什么mysql有关权限的表都有哪几个MySQL的binlog有有几种录入格式?分别有什么区别?数据类型mysql有哪些数据类型引擎MySQL存储引擎MyISAM与InnoDB区别MyISAM索引与InnoDB索引的区别?InnoDB引擎的4大特性存储引擎选择索引什么是索引?索引有哪些优缺点?索引使用场景(重点)...

如果你是老板,你会不会踢了这样的员工?

有个好朋友ZS,是技术总监,昨天问我:“有一个老下属,跟了我很多年,做事勤勤恳恳,主动性也很好。但随着公司的发展,他的进步速度,跟不上团队的步伐了,有点...

我入职阿里后,才知道原来简历这么写

私下里,有不少读者问我:“二哥,如何才能写出一份专业的技术简历呢?我总感觉自己写的简历太烂了,所以投了无数份,都石沉大海了。”说实话,我自己好多年没有写过简历了,但我认识的一个同行,他在阿里,给我说了一些他当年写简历的方法论,我感觉太牛逼了,实在是忍不住,就分享了出来,希望能够帮助到你。 01、简历的本质 作为简历的撰写者,你必须要搞清楚一点,简历的本质是什么,它就是为了来销售你的价值主张的。往深...

离职半年了,老东家又发 offer,回不回?

有小伙伴问松哥这个问题,他在上海某公司,在离职了几个月后,前公司的领导联系到他,希望他能够返聘回去,他很纠结要不要回去? 俗话说好马不吃回头草,但是这个小伙伴既然感到纠结了,我觉得至少说明了两个问题:1.曾经的公司还不错;2.现在的日子也不是很如意。否则应该就不会纠结了。 老实说,松哥之前也有过类似的经历,今天就来和小伙伴们聊聊回头草到底吃不吃。 首先一个基本观点,就是离职了也没必要和老东家弄的苦...

男生更看重女生的身材脸蛋,还是思想?

往往,我们看不进去大段大段的逻辑。深刻的哲理,往往短而精悍,一阵见血。问:产品经理挺漂亮的,有点心动,但不知道合不合得来。男生更看重女生的身材脸蛋,还是...

什么时候跳槽,为什么离职,你想好了么?

都是出来打工的,多为自己着想

程序员为什么千万不要瞎努力?

本文作者用对比非常鲜明的两个开发团队的故事,讲解了敏捷开发之道 —— 如果你的团队缺乏统一标准的环境,那么即使勤劳努力,不仅会极其耗时而且成果甚微,使用...

为什么程序员做外包会被瞧不起?

二哥,有个事想询问下您的意见,您觉得应届生值得去外包吗?公司虽然挺大的,中xx,但待遇感觉挺低,马上要报到,挺纠结的。

当HR压你价,说你只值7K,你该怎么回答?

当HR压你价,说你只值7K时,你可以流畅地回答,记住,是流畅,不能犹豫。 礼貌地说:“7K是吗?了解了。嗯~其实我对贵司的面试官印象很好。只不过,现在我的手头上已经有一份11K的offer。来面试,主要也是自己对贵司挺有兴趣的,所以过来看看……”(未完) 这段话主要是陪HR互诈的同时,从公司兴趣,公司职员印象上,都给予对方正面的肯定,既能提升HR的好感度,又能让谈判气氛融洽,为后面的发挥留足空间。...

面试:第十六章:Java中级开发(16k)

HashMap底层实现原理,红黑树,B+树,B树的结构原理 Spring的AOP和IOC是什么?它们常见的使用场景有哪些?Spring事务,事务的属性,传播行为,数据库隔离级别 Spring和SpringMVC,MyBatis以及SpringBoot的注解分别有哪些?SpringMVC的工作原理,SpringBoot框架的优点,MyBatis框架的优点 SpringCould组件有哪些,他们...

面试阿里p7,被按在地上摩擦,鬼知道我经历了什么?

面试阿里p7被问到的问题(当时我只知道第一个):@Conditional是做什么的?@Conditional多个条件是什么逻辑关系?条件判断在什么时候执...

终于懂了TCP和UDP协议区别

终于懂了TCP和UDP协议区别

立即提问
相关内容推荐