我需要实时获取windows平台下某个文件夹内新增的文件内容(该文件夹下仍会有多个文件夹,会新增文件,文件中会新增内容)
我原先使用的python的watchdog,但发现watchdog只能监控到文件的变化,而不能直接获取新增的具体内容,所以我还用了redis记录上次这个文件长度,读取上次长度后的内容,来获取新的内容。
请问有无软件可以更好的实现我的目的,如flume或者logstash是否能满足我的要求?
我需要实时获取windows平台下某个文件夹内新增的文件内容(该文件夹下仍会有多个文件夹,会新增文件,文件中会新增内容)
我原先使用的python的watchdog,但发现watchdog只能监控到文件的变化,而不能直接获取新增的具体内容,所以我还用了redis记录上次这个文件长度,读取上次长度后的内容,来获取新的内容。
请问有无软件可以更好的实现我的目的,如flume或者logstash是否能满足我的要求?
是的,Flume和Logstash可以满足您的要求。Flume可以设置持续的监控,在文件夹的变化时触发事件,收集变化的数据,并输出到HDFS,Hive等存储系统中,这样就可以实时获取文件夹内新增的文件内容。
Logstash也可以实现类似的功能,它可以持续地监控文件夹变化,检测到新增的文件时,从中提取出需要的内容,并输出到指定的平台,这样也可以实时获取文件夹内新增的文件内容。