爬虫工程师在日常工作时,对于爬取到的数据存入数据库后,一般后续会需要对数据做怎么样的处理?或者说一个爬虫工程师的日常工作流程是怎么样的呢?
有没有工作的爬虫工程师解答一下?
爬虫工程师的工作流程
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
2条回答 默认 最新
- honestman_ 2022-08-15 14:41关注
- 一般来讲就是爬虫工程师只对数据进行一个简单的清洗和过滤,解析出我们需要的所有字段,并做去重处理即可
- 后续对数据进行加工和价值挖掘有专业人员入手,比如算法工程师,数仓工程师等等
- 术业有专攻,爬虫工程师的工作重点还是在爬虫与反爬之间的博弈,保证你的爬虫能够长期的稳定的运行才是工作重点
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥100 连续两帧图像高速减法
- ¥15 组策略中的计算机配置策略无法下发
- ¥15 如何绘制动力学系统的相图
- ¥15 对接wps接口实现获取元数据
- ¥20 给自己本科IT专业毕业的妹m找个实习工作
- ¥15 用友U8:向一个无法连接的网络尝试了一个套接字操作,如何解决?
- ¥30 我的代码按理说完成了模型的搭建、训练、验证测试等工作(标签-网络|关键词-变化检测)
- ¥50 mac mini外接显示器 画质字体模糊
- ¥15 TLS1.2协议通信解密
- ¥40 图书信息管理系统程序编写