Python 处理HDFS log 数据

Question

看不懂这种数据类型，大伙可以解释一下嘛

https://github.com/logpai/loghub/blob/master/HDFS/HDFS_2k.log

如何用python处理这种数据从而得到数字类型的数据呢？

        import pandas as pd
        df=pd.read_csv('./data.txt',header=None)
        print(df.head(5))

我尝试用pandas 读取数据 为啥这个只有一列？我该用什么函数才能提纯数字呢？

Answer 1

您好，我看了这个LOG数据，如果使用切分字符串的方法，2000行里最长的共有111个字段。
最关键的是会有数字类型和文本类型组合成文本类型，而这部分是字符串切割无法区分的。
所以正则还是香呀，一步到位

import pandas as pd
import re
with open(r'C:\Users\MSI-NB\PycharmProjects\pythonProject\data.txt','r+') as f :
    for line in f.readlines() :
        compile=re.compile('\d+')
        str=compile.findall(line.strip())
        print(str)
       

结果：

这里只打印了第一行~
望采纳