m0_58184957 2022-08-15 14:32 采纳率: 33.3%
浏览 35
已结题

爬虫工程师的工作流程

爬虫工程师在日常工作时，对于爬取到的数据存入数据库后，一般后续会需要对数据做怎么样的处理？或者说一个爬虫工程师的日常工作流程是怎么样的呢？
有没有工作的爬虫工程师解答一下？

  • 写回答

2条回答 默认 最新

  • honestman_ 2022-08-15 14:41
    关注
    • 一般来讲就是爬虫工程师只对数据进行一个简单的清洗和过滤，解析出我们需要的所有字段，并做去重处理即可
    • 后续对数据进行加工和价值挖掘有专业人员入手，比如算法工程师，数仓工程师等等
    • 术业有专攻，爬虫工程师的工作重点还是在爬虫与反爬之间的博弈，保证你的爬虫能够长期的稳定的运行才是工作重点
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

  • 爬虫工程师的工作流程 python selenium 爬虫
    2022-08-15 14:32
    回答 2 已采纳 一般来讲就是爬虫工程师只对数据进行一个简单的清洗和过滤，解析出我们需要的所有字段，并做去重处理即可后续对数据进行加工和价值挖掘有专业人员入手，比如算法工程师，数仓工程师等等术业有专攻，爬虫工程师的工作
  • python后端开发或爬虫怎么系统学习？ python 后端 爬虫
    2023-04-13 13:18
    回答 1 已采纳 爬虫严格来讲并不算一个大方向，更偏向于js逆向，python的话推荐走后端方向至于系统学习的话，推荐去blibili找一些路线，然后根据路线去找bilibili上播放量比较高的视频进行系统学习
  • 爬虫的如何过程展示出来 python 爬虫
    2022-04-15 11:16
    回答 1 已采纳 爬虫，爬取完一个网页之后就打印一个语句知道爬取的过程了。数据可以保存到本地目录，也可以去学mysql，然后保存到mysql数据库中
  • 爬虫是后端吗_前端有架构吗？
    2020-10-24 21:42
    weixin_39707201的博客 」问你的人的身份，可能是你的 boss 或上司，可能是后端同事，也可能是前端同行；问你的人的目的，可能是刁难，可能是嘲讽，也可能是请教。前端开发众所周知，做前端开发所依赖的核心技术就是 HTML、CSS 和 JS，就像...
  • 爬虫xpath提取数字的问题，希望得到解答 python 后端 爬虫
    2022-01-10 19:47
    回答 3 已采纳 已经找到原因，爬取的为静态的数据，对动态数据会有问题
  • 爬虫方向的工程师说说 javascript python
    2022-09-10 10:30
    回答 1 已采纳 不是练题，而是练经验，看你的描述，你应该不适合做这些，如果不是计算机专业，先把大学计算机的书看一下再开始应用方向吧
  • 爬虫爬到的新闻数据怎么让小程序展现出来？ python 后端 爬虫
    2022-03-27 23:50
    回答 3 已采纳 两种方案： 实时抓取显示：由于你使用的是云开发技术，可以使用nodejs技术实现爬虫，直接将爬取的过程使用nodejs封装成一个云函数放上去运行，这样也可以省去后端服务器，我的一个菜谱小程序就是这样做
  • 慢病爬虫数据管理后端.zip
    2024-01-19 17:02
    爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问...
  • 想学习后端的话那种语言比较好呢？ echarts 前端 后端
    2021-12-02 21:12
    回答 2 已采纳 既然用python将数据爬下来，那么你后端就用python写，了解一下python网络编程相关知识，应该就可以了
  • Jupyter Notebook 网站爬虫 jupyter python 爬虫
    2022-09-02 13:42
    回答 2 已采纳 比较笨的办法 import calendar import re import time import openpyxl import parsel as parsel from selenium
  • 爬虫，requests python 有问必答 爬虫
    2023-03-22 10:33
    回答 3 已采纳 下面输出的不就是和html吗？乱码了看不到具体内容是什么。估计是被反扒了。 测试了相同的代码联通宽带被反扒，电信则正常。题主重启路由器换个ip试试 还有请求头accept，Referer之类的全部加上
  • 以Node.js基于express以及爬虫实现的视频资源后端.zip
    2024-03-25 17:19
    爬虫工程师需要设计相应的策略来应对这些挑战。 爬虫在各个领域都有广泛的应用，包括搜索引擎索引、数据挖掘、价格监测、新闻聚合等。然而，使用爬虫需要遵守法律和伦理规范，尊重网站的使用政策，并确保对被访问...
  • python爬虫问题求解 python 爬虫
    2022-04-29 11:12
    回答 1 已采纳 我给你改了一下，你对比看看吧： from bs4 import BeautifulSoup import pandas as pd import requests def crawer_travel
  • 微专业python爬虫工程师_从零起步 系统入门Python爬虫工程师
    2020-12-09 20:50
    weixin_39751453的博客 课程简介：从零起步 系统入门Python爬虫工程师大数据时代，python爬虫工程师人才猛增，本课程专为爬虫工程师打造，课程有四个阶段，爬虫0基础入门->项目实战->爬虫难点突破->scrapy框架快速抓取，带你系统...
  • 爬虫工程师学习养成路径
    2021-11-23 21:36
    爱摸鱼的菜鸟的博客 首先知识点和方向实在是太多了，它关系到了计算机网络、编程基础、前端开发、后端开发、App 开发与逆向、网络安全、数据库、运维、机器学习、数据分析等各个方向的内容，它像一张大网一样把现在一些主流的技术栈都...
  • 没有解决我的问题, 去提问

问题事件

  • 系统已结题 8月27日
  • 已采纳回答 8月19日
  • 创建了问题 8月15日

悬赏问题

  • ¥100 支付宝网页转账系统不识别账号
  • ¥15 基于单片机的靶位控制系统
  • ¥15 AT89C51控制8位八段数码管显示时钟。
  • ¥15 真我手机蓝牙传输进度消息被关闭了，怎么打开？(关键词-消息通知)
  • ¥15 下图接收小电路，谁知道原理
  • ¥15 装 pytorch 的时候出了好多问题，遇到这种情况怎么处理？
  • ¥20 IOS游览器某宝手机网页版自动立即购买JavaScript脚本
  • ¥15 手机接入宽带网线，如何释放宽带全部速度
  • ¥30 关于#r语言#的问题：如何对R语言中mfgarch包中构建的garch-midas模型进行样本内长期波动率预测和样本外长期波动率预测
  • ¥15 ETLCloud 处理json多层级问题