xiaodong9001
2017-02-14 08:29
采纳率: 50%
浏览 1.9k

爬虫代码怎么写 新手不知道思路

如题 想写一个爬虫 不知道怎么下手 从网上找了很久 不太清楚思路 求大神讲解

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

2条回答 默认 最新

  • convolutional_ 2017-02-14 08:32

    你可以找一个视频看一下简介 入门

    点赞 打赏 评论
  • blownewbee 2017-02-14 19:33

    看你用什么语言。不同的语言用的库不同。

    爬虫程序无非由遍历 - 抓取 - 解析页面 - 获得数据 - 再遍历别的链接这样一个循环构成。你需要做的无非也就是找每个步骤对应的源代码/库。其中抓取页面涉及验证码识别、表单的提交、session和cookie的保持。而解析页面主要是html/dom结构的解析和正则表达式解析两种。
    至于获取数据以后整理、存储、使用这些就看你的需要了。一般可以用数据库。

    点赞 打赏 评论

相关推荐 更多相似问题