请问，有没有支持高并发的Java爬虫服务器？？？？

请问，有没有支持高并发的爬虫服务器。。。。目前想实现支持一个高并发的爬虫。。

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
NK_test 博客专家认证 2016-05-04 07:07
关注
你应该说的是开源的爬虫框架吧，可以看看这个: nutch
另外，Ｃ++的larbin也不错

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

急！请问java的jsoup爬虫如何完整获得响应验证码？ java 开发语言爬虫
2022-04-21 11:40

回答 2 已采纳代码抛了异常，后面的代码没有执行。try catch 下抛出异常的代码试下。
在有标头的情况下，服务器是怎么区分浏览器和爬虫的？ python 有问必答爬虫
2021-11-02 20:35

回答 1 已采纳还有cookie，比如网站使用了session，会生成对应的cookie发送到客户端，如asp.net的ASP.NET_SessionId，php和jsp也有对应的cookie。要保持是同一个请求，
如何解决python爬虫问题？ python 人工智能爬虫
2022-08-15 09:11

回答 1 已采纳应该是css选择器里面的规则不够明确，可改成href = selectors.css('div.container div div div ul li a::attr(href)').getall()
http 爬虫采集工具，支持高并发，高速下载，支持ip代理接入.zip
2024-03-08 11:13

如果您下载了本程序，但是该程序无法运行，或者您不会部署，那么您可以选择退款或者寻求我们的帮助（如果找我们帮助的...然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问网站的服务器负责。
请问我的爬虫违规么？爬虫
2022-01-05 16:19

回答 6 已采纳可以参考下这个，这是一个整理了所有中国大陆爬虫开发者涉诉与违规相关的新闻、资料与法律法规。https://github.com/HiddenStrawberry/Crawler_Illegal_Cas
Python爬虫可行？？？ python 有问必答
2021-07-06 07:10

回答 2 已采纳不登陆的情况下不可以爬数据，网站会自动验证登录状态，你可以cookies去做，实际上也是已经登录了用户。如果跳过登录直接拿数据，就是入侵了，一般技术是做不到，而且难度大也是违法。如果对你有帮助，可以点
请问这样的python爬虫Header报错应该怎么办？ python 爬虫
2023-01-17 10:14

回答 2 已采纳 request.get那一行要缩进，放到collect的方法里面去，现在看起来是在方法外面啊！请采纳！！
爬虫使用代理ip时并发越大越好？
2023-03-27 17:40

京新云S5的博客实际上，许多代理产品都支持高并发，但是请求越多，访问速度就会变慢，有时还会超时，严重时甚至会导致代理服务器不稳定，无法连接。在爬虫工作中，工作任务通常较大，因此使用分布式和多线程进行工作是必要的。
python爬虫如何发送请求直到服务器响应为止呢？ python 爬虫
2022-06-24 16:17

回答 2 已采纳你可以加判断，正常响应是200，返回其他的你继续请求
爬虫代码没有改变每次爬取的数据不同？ python 爬虫
2021-09-19 15:55

回答 1 已采纳你应该发一发有什么错误，最佳250音乐，这本来就是可能变得，同时网络不好的时候，睡眠2秒是不够的，加上异常处理部分
请问应该怎么学习爬虫？ python
2021-09-13 19:58

回答 4 已采纳用手机下一个Python教程，对，名字就叫Python教程
JAVA高并发高性能高可用高扩展架构视频教程
2018-02-04 19:43

企业高并发基石(Tomcat服务器性能优化) spring事务处理课程文档 高并发之基础数据MySql调优 mongodb 三级联动课程资料应用架构之灵魂设计模式应用架构之魂设计模式实战演练应用架构之魂设计模式实战演练揭开...
Python有什么好的爬虫框架？ python
2020-11-16 22:17

回答 4 已采纳额，这个可以看一下我的爬虫 100 例，基本都有了。 https://dream.blog.csdn.net/article/details/86106916
java+如何解决反爬虫_反爬虫，到底是怎么回事儿？
2021-03-08 23:52

yxldr的博客有位被爬虫摧残的读者留言问：「网站经常被外面的爬虫程序骚扰怎么办，有什么方法可以阻止爬虫吗？」这是个好问题，自从 Python 火了起来，编写爬虫程序的门口越来越低，爬取别人网站数据也越来越猖獗。阻止爬虫也...
Java 高并发，什么方式解决？高并发和大流量解决方案
2020-06-04 13:22

IT茶馆技术斋的博客对于我们所研发的网站，若网站的访问量非常大，那么我们必须考虑相关的并发访问问题，而并发问题是绝大部分的程序员头疼的问题。本 Chat 带你领略一下相关概念和解决方案：概念类：什么是 QPS、PV、UV、QPS 不...
没有解决我的问题, 去提问

悬赏问题

¥15 求daily translation（DT）偏差订正方法的代码
¥15 js调用html页面需要隐藏某个按钮
¥15 ads仿真结果在圆图上是怎么读数的
¥20 Cotex M3的调试和程序执行方式是什么样的？
¥20 java项目连接sqlserver时报ssl相关错误
¥15 一道python难题3
¥15 牛顿斯科特系数表表示
¥15 arduino 步进电机
¥20 程序进入HardFault_Handler
¥15 关于#python#的问题：自动化测试