joy-peace 2015-12-28 08:43 采纳率: 0%
浏览 2153

C# 读取4g大小的txt文件,并写成xml文件

我这边有个日志文件,非常的大,这边需要对这个日志文件进行数据分析,
对于每一行的数据进行处理比如ip地址相同的数据:ip:127.0.0.1 , num 22,
starttime 2015-2-5 12:21:20 endtime 2015-2-5 23:59:59提取这样格式的数据
并写入xml文件中,由于数据非常的大,写人的非常慢

  • 写回答

1条回答 默认 最新

  • wuheng_1 2015-12-28 12:00
    关注

    直接用Hadoop,Spark等分布式框架做分析吧,数据量太大了。
    这么大的XML解析起来也是麻烦事。

    评论

报告相同问题?

悬赏问题

  • ¥60 版本过低apk如何修改可以兼容新的安卓系统
  • ¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
  • ¥50 有数据,怎么建立模型求影响全要素生产率的因素
  • ¥50 有数据,怎么用matlab求全要素生产率
  • ¥15 TI的insta-spin例程
  • ¥15 完成下列问题完成下列问题
  • ¥15 C#算法问题, 不知道怎么处理这个数据的转换
  • ¥15 YoloV5 第三方库的版本对照问题
  • ¥15 请完成下列相关问题!
  • ¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像,如何解决?