joy-peace 2015-12-28 08:43 采纳率: 0%
浏览 2153

C# 读取4g大小的txt文件,并写成xml文件

我这边有个日志文件,非常的大,这边需要对这个日志文件进行数据分析,
对于每一行的数据进行处理比如ip地址相同的数据:ip:127.0.0.1 , num 22,
starttime 2015-2-5 12:21:20 endtime 2015-2-5 23:59:59提取这样格式的数据
并写入xml文件中,由于数据非常的大,写人的非常慢

  • 写回答

1条回答 默认 最新

  • wuheng_1 2015-12-28 12:00
    关注

    直接用Hadoop,Spark等分布式框架做分析吧,数据量太大了。
    这么大的XML解析起来也是麻烦事。

    评论

报告相同问题?

悬赏问题

  • ¥15 Oracle触发器记录修改前后的字段值
  • ¥100 为什么这个恒流源电路不能恒流?
  • ¥15 有偿求跨组件数据流路径图
  • ¥15 写一个方法checkPerson,入参实体类Person,出参布尔值
  • ¥15 我想咨询一下路面纹理三维点云数据处理的一些问题,上传的坐标文件里是怎么对无序点进行编号的,以及xy坐标在处理的时候是进行整体模型分片处理的吗
  • ¥15 CSAPPattacklab
  • ¥15 一直显示正在等待HID—ISP
  • ¥15 Python turtle 画图
  • ¥15 stm32开发clion时遇到的编译问题
  • ¥15 lna设计 源简并电感型共源放大器