wsdydmw 2012-05-27 16:22
浏览 329
已采纳

想写一个爬虫程序，用什么框架比较好

RT 想用java写个爬虫 主要想爬取微博的数据 求指教

  • 写回答

4条回答 默认 最新

  • iteye_20539 2012-05-27 19:21
    关注

    1、页面请求使用httpclient比较好，如果涉及多线程最好使用4.x版本
    2、页面解析，推荐使用jsoup，功能比较强大

    另外，针对网络爬虫上面两点是基本的，但是微博数据是需要登录才能获取的，所以需要考虑模拟登录

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(3条)

报告相同问题？

悬赏问题

  • ¥15 应该如何判断含间隙的曲柄摇杆机构，轴与轴承是否发生了碰撞？
  • ¥15 vue3+express部署到nginx
  • ¥20 搭建pt1000三线制高精度测温电路
  • ¥15 使用Jdk8自带的算法，和Jdk11自带的加密结果会一样吗，不一样的话有什么解决方案，Jdk不能升级的情况
  • ¥15 画两个图 python或R
  • ¥15 在线请求openmv与pixhawk 实现实时目标跟踪的具体通讯方法
  • ¥15 八路抢答器设计出现故障
  • ¥15 opencv 无法读取视频
  • ¥15 按键修改电子时钟，C51单片机
  • ¥60 Java中实现如何实现张量类，并用于图像处理(不运用其他科学计算库和图像处理库）)