我用這兩個做了個簡單的基於google搜索引擎的搜索網頁，可是會出現突然java（也就是爬蟲程序）不能從頁面取得結果的情况，不知道是爲什麽，平時使用的時候都很正常。測試下，就是從網頁解析不到結果。
不知道有沒有人遇到過這個情况。
關於htmlparser和httpclinet爬蟲問題
- 写回答
- 好问题 0 提建议
- 关注问题
分享- 邀请回答
-
6条回答 默认 最新
- 爱上一条鱼 2011-11-17 20:35关注
可能有些网页编码太差，你的java解析不了
爬虫应该对这类情况进行处理一下，以免出现一些问题，比如网页里没有外链，或者死循环吧，比如httpclient获取不到html页面也有可能，比如别GFW屏蔽了 会导致exception。。。本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
- 2011-12-22 20:33回答 3 已采纳 或者你换个思路 TagNode应该是有getChildren()的方法获得及标签节点，tagNode.getChildren(); 还有nextNode()方法获取相邻节点 你可以先获
- 2022-04-16 15:54回答 1 已采纳 你抓回来的数据比如name,是这样的[name,],不是字符串就是个列表，你把列表再往表格里写，当然写不进去，你爬下来的比如name之类用join都给变成单个字符串，就能写进去了
- 2017-10-19 09:26回答 4 已采纳 你先搞个简单的 试试能不能用urlopen访问百度百科，一般大的网站都做了防爬处理。
- 2021-02-26 12:32yyyy52的博客 开发环境的搭建，在工程的 Build Path 中导入下载的Commons-httpClient3.1.Jar，htmllexer.jar 以及 htmlparser.jar 文件。图 1. 开发环境搭建HttpClient 基本类库使用HttpClinet 提供了几个类来支持 HTTP 访问。...
- 2017-08-16 02:31回答 1 已采纳 看错误描述，应该是accept()没有重写，所以编译不下去
- 2022-01-21 09:01回答 2 已采纳 import HTMLParser更换为from html.parser import HTMLParser参考： 问题解决：ModuleNotFoundError: N
- 2016-11-30 13:14回答 2 已采纳 原文字太小了，看不清 http://www.cnblogs.com/coding-hundredOfYears/archive/2012/12/15/2819217.html http://blo
- 2015-06-02 15:22柳家河的博客 开源包的使用，在此基础上实现了一个简易的网络爬虫 (Crawler)，来说明如何使用 HtmlParser 根据需要处理 Internet 上的网页，以及如何使用 HttpClient 来简化 Get 和 Post 请求操作，构建强大的网络应用程序。...
- 2021-11-29 17:50回答 2 已采纳 method默认为xml，设置为html就行了 etree.tostring(h2, encoding="utf-8", method='html')
- 2021-07-02 15:30回答 1 已采纳 你用requests请求的，响应内容不能看开发者的elements标签的，你要看network的doc，如图 最简单解决方法是用selenium打开网页，然后获取网页内容再获取数据 如果对你有帮助，
- 2017-12-07 09:21回答 6 已采纳 def get_new_url(self): return len(self.new_urls) != 0 def has_new_url(self): new_url =
- 2021-02-12 20:34YJ林的博客 使用 HttpClient 和 HtmlParser 实现简易爬虫这篇文章介绍了 HtmlParser 开源包和 HttpClient 开源包的使用，在此基础上实现了一个简易的网络爬虫 (Crawler)，来说明如何使用 HtmlParser 根据需要处理 Internet 上的...
- 2014-06-27 09:19wilsonke的博客 这篇文章介绍了 HtmlParser 开源包和 HttpClient 开源包的使用，在此基础上实现了一个简易的网络爬虫 (Crawler)，来说明如何使用 HtmlParser 根据需要处理 Internet 上的网页，以及如何使用 HttpClient 来简化 Get ...
- 2014-07-23 09:58java_wliang的博客 HtmlParser 提供了如此简便灵巧的类库，可以从网页中便捷的提取出指向其他网页的超链接。笔者结合这两个开源包，构建了一个简易的网络爬虫。 爬虫 (Crawler) 原理 学过数据结构的读者都知道有向图这种数据结构。如...
- 2019-09-23 21:06defkaug153461的博客 使用 HttpClient 和 HtmlParser 实现简易爬虫_Linux ！ 这篇文章介绍了 HtmlParser 开源包和 HttpClient 开源包的使用，在此基础上实现了一个...
- 2012-12-18 14:49mango_song的博客 这篇文章介绍了 HtmlParser 开源包和 HttpClient 开源包的使用，在此基础上实现了一个简易的网络爬虫(Crawler)，来说明如何使用 HtmlParser 根据需要处理 Internet 上的网页，以及如何使用 HttpClient来简化 Get 和 ...
- 没有解决我的问题, 去提问
