楠木老林 2017-08-01 11:50 采纳率: 0%
浏览 1831

大数据的预处理清洗用什么方法简单

刚拿到某个城市千万级的停车出入数据量，针对我这样的原始数据怎么进行筛选，如何剔除脏数据，比如如何剔除异常将其标注出来用什么语言框架简单。都用什么思路。指点者感激不尽。

  • 写回答

1条回答 默认 最新

  • threenewbee 2017-08-01 15:51
    关注

    http://blog.csdn.net/u010700335/article/details/42099769

    评论

报告相同问题？

  • 使用python对csv表格预处理 python 大数据
    2022-10-16 09:40
    回答 2 已采纳 这篇文章：Python csv的使用及遇到问题的解决方法 也许有你想要的答案，你可以看看同时，你还可以查看手册：python-csv --- CSV 文件读写 中的内容
  • 数据挖掘 预处理语言模型 大数据 有问必答
    2021-09-22 12:02
    回答 1 已采纳 预处理语言模型是文本处理，其目的是，从原始html形式的文本中提取有效数据，并处理成构造语言模型(Language Model)所需要的格式。　步骤如下：预处理。[包括全半角字符转化，去掉注释、CSS
  • Java语言为什么没有使用预处理命令？ java
    2019-08-08 16:08
    回答 2 已采纳 因为C语言诞生的年代计算机都很原始，内存很小，代码一次性处理不完，所以要“预处理”。 你的问题好比问，为什么汽车不需要像拖拉机那样有一个拉线来发动，因为汽车内置了点火器，可以通过电瓶来驱动，所以
  • 大数据预处理架构和方法简介
    2021-01-07 03:46
    本节在介绍大数据预处理基本概念的基础上对数据预处理的方法进行讲解。 大数据预处理整体架构 大数据预处理将数据划分为结构化数据和半结构化/非结构化数据，分别采用传统 ETL 工具和分布式并行处理框架来实现。...
  • 用pandas对数据进行预处理 python 数据分析 机器学习
    2022-10-11 10:46
    回答 2 已采纳 [[dataset.columns[1], dataset.columns[2]]] 这句吗，只保留这两列，结果没什么影响，占用内存应该会小一点
  • 用python 对csv数据进行预处理 python 深度学习
    2023-03-29 19:09
    回答 3 已采纳 import pandas as pd import matplotlib.pyplot as plt from sklearn.decomposition import PCA # 读取CSV文件
  • 蒟蒻，想问一下堆预处理命令为什么会报错呀？蟹泄啦 c++ c语言
    2022-03-27 23:16
    回答 3 已采纳 拼写错了。注意编译器的提示
  • 大数据预处理之数据清洗
    2021-01-07 03:47
    本节介绍数据清洗的主要处理方法。 遗漏数据处理 假设在分析一个商场销售数据时，发现有多个记录中的属性值为空，如顾客的收入属性，则对于为空的属性值，可以采用以下方法进行遗漏数据处理。 1）忽略该条记录 若一...
  • 综合性数据预处理问题 python
    2022-05-28 15:45
    回答 1 已采纳 （3）Type字段，通过pd.get_dummies方法做OneHotEncode处理（4）Total_visits字段，通过sklearn.preprocssing.MinMaxScaler方法做归
  • 轴承故障振动数据预处理问题 python
    2022-04-26 15:14
    回答 1 已采纳 一般要保障采样的周期性，即保障信号段采样时间内轴承转过了一周或以上，再结合采样频率计算出每段信号的长度。截图没有说的太明白，估计随便取的吧！
  • 中文文本分类数据预处理 python 有问必答
    2022-04-13 06:36
    回答 3 已采纳 你的是简单清洗处理，如果要分词，用jieba模块可以满足你需求
  • 大数据预处理架构及方法详解
    2023-08-29 03:13
    幻想世界中的绚丽色彩的博客 这只是一个简单的示例，实际的大数据预处理过程可能涉及更多复杂的方法和技术，具体的实现方法可以根据具体需求和数据特点进行调整和扩展。（2）处理缺失值：常见的处理缺失值的方法包括删除含有缺失值的记录、使用...
  • yolov7需要预处理图片吗 python 深度学习 目标检测
    2022-10-19 15:25
    回答 1 已采纳 所有的操作目的都是为了能够更好的完成任务，可以直接训练，但是如果你的检测效果不太好的话，建议还是回过头来对数据集进行一定的处理
  • 大数据预处理工具的综合使用
    2022-07-07 11:45
    不懂开发的程序猿的博客 通过完成本实验任务，要求学生熟练掌握使用大数据预处理工具的综合使用的方法，为后续实验的开展奠定ETL平台基础，也为从事大数据平台运维工程师、大数据技术支持工程师等岗位工作奠定夯实的技能基础。1、掌握大数据...
  • 实验报告2-大数据预处理
    2023-05-26 23:59
    1掌握数据清洗方法 2掌握数据变换方法 3掌握数据规范化方法 4掌握其他预处理方法 5掌握kettle工具的安装方法 6初步掌握kettle的数据流处理过程 7掌握Pandas数据清理的方法； 8初步掌握Pandas的基本数据结构 9掌握...
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥20 delta降尺度方法，未来数据怎么降尺度
  • ¥15 c# 使用NPOI快速将datatable数据导入excel中指定sheet，要求快速高效
  • ¥15 再不同版本的系统上，TCP传输速度不一致
  • ¥15 高德地图点聚合中Marker的位置无法实时更新
  • ¥15 DIFY API Endpoint 问题。
  • ¥20 sub地址DHCP问题
  • ¥15 delta降尺度计算的一些细节，有偿
  • ¥15 Arduino红外遥控代码有问题
  • ¥15 数值计算离散正交多项式
  • ¥30 数值计算均差系数编程